Решение 36р от 09. 06. 2007 Москва 2008 ббк 60. 5 Р 74 Учебное пособие подготовлено при поддержке Рособразования по аналитической ведомственной целевой программе Разви
 Скачать 2.38 Mb.
|
|
Дизайн оценочных исследований В оценке эффективности социальных проектов, которая может включать оценку деятельности социальных сервисов или действий их отдельных специалистов, как и в анализе социальной политики в це- лом, особое значение имеет применение количественных методов и ка- чественных сбора и анализа информации. Выбор той или иной методо- логии основывается на целом ряде условий. Количественные и качест- 1 Информацию о многих организациях и проектах по оценке социальных проектов можно найти на сайте «международной сети по оценке программ http://ipen21.org/ipen 148 Часть 4 венные методы сильно различаются между собой; поэтому определен- ные модели оценки, или эвалюаторного исследования более совмести- мы с качественными методами, чем другие 1 Например, проводя исследования эффективности в форме систем- ного анализа или оценивая степень достижения целей, чаще всего при- меняют количественные методы. Переменные для оценивания опреде- ляются заранее, их расписывают на измеряемые (операциональные) индикаторы и, если возможно, рассматривают в качестве объекта экспе- римента. Системный анализ требует (1) определения наиболее важных переменных на входе и выходе программы, (2) статистического анализа связей между тем, что имеет программа на входе и ее результатами. Пе- ременными на входе являются, например, такие показатели, как коли- чество персонала, отношение между количеством персонала и количе- ством участников программы, характеристики участников программы, базовый уровень обслуживания участников программы (претестовые оценки). Результаты программ включают, например, уровень обслу- живания участников программы после реализации программы (постте- стовые оценки), уровень трудоустройства, денежное выражение новых навыков у клиентов, новый уровень дохода клиентов или его эквивалент и так далее. Системный анализ является популярным подходом к оцен- ке в глазах правительства. Это подход, который зависит от компонент- ного анализа (разделения системы программы на отдельные части) в отличие от холистского т.е. целостного подхода в качественных методах. Переменные определяются дедуктивным путем, логически перед тем, как начнется сбор данных, в отличие от индуктивной аналитической стратегии качественного исследования, где параметры формулируют в процессе полевой исследовательской работы. Взгляд на мир системного аналитика несовместим с феноменологическим подходом. Анализ достигнутых целей некоторое время был доминирующим подходом к оценке. В этом подходе результаты, фиксируемые в процессе реализации программы, определяются в терминах успехов клиентов или участников, которые измеряются при помощи стандартизованных тес- тов. Данные этих тестов можно анализировать статистически, чтобы сравнить индивидов и группы участников. Однако, успехи участников могут быть оценены только в определенном контексте, или в связи с оп- ределенными смыслами, которые отдельный человек придает результа- там его или ее личного опыта участия в программе и личных пережива- ний по поводу испытываемых проблем. Качественные методы оценивания применяются в так называемой транзакционной модели, которая рассматривает каждый случай как уни- кальный и делает акцент на восприятии людьми происходящих событий. Транзакционная модель базируется на тех же допущениях, которые содер- жаться в качественном исследовании: важно понимать людей и программы в контексте; участие в исследовании должно складываться как естественная ситуация без специально организованного внешнего контроля и особых манипуляций; наиболее полное понимание возникает из индуктивного 1 Patton M. Q. Qualitative Evaluation Methods. Beverly Hulls, London: Sage Publica- tion, 1980. P.49-58 / Перевод П. Романова. Оценочные исследования 149 анализа детального и неформализованного сбора данных посредством прямого контакта с программой и ее участниками. В этой модели считается, что узнать о восприятии можно, только изучив определенные транзакции, в рамках которых восприятие может быть зафиксировано. Все участники ситуации взаимодействуют между собой, причем человек, проводящий оценку, тоже оказывает влияние и находится под влиянием ситуации, так как является частью транзакции. Значит, следует проводить рефлексию восприятия в наиболее естест- венных условиях функционирования программы. Для этого организуют различных людей для наблюдения за программой и с их помощью гото- вят короткие нарративы, т.е. повествования, словесные описания ре- зультатов, строят диаграммы. В этом случае используются методы социальной антропологии ор- ганизаций – этнографические наблюдения и интервью, с целью выявить ценности участников программы, проявляющиеся, в частности, в повсе- дневном общении, выражениях, организационном фольклоре. Так вы- ясняются общие для группы установки, а также конфликтующие инте- ресы и предпочтения. Исследователь проверяет качество своих записей, приглашая персонал программы и представителей целевой группы реа- гировать на точность полученных зарисовок и выводов. По большей части данные собираются неформально – в процессе взаимодействий. В итоге не все данные могут входить в отчет, исходя из этических сообра- жений и соглашений, достигнутых с участниками исследования. Еще одна модель оценки – так называемая «иллюминативная», ставящая своей задачей осветить как можно более широкий контекст, в котором функционирует программа. Такая модель в первую очередь направлена на описание и интерпретацию, чем на измерение и прогно- зирование, и тоже принадлежит к антропологической перспективе. Здесь исследователя занимает влияние программ на различные соци- альные ситуации, к которым они применяются, как это напрямую отно- сится к их достоинствам и недостаткам, и как они влияют на жизненный опыт и жизненный путь участников. Осуществляется это посредством постоянного поискового изучения и документирования всего, что явля- ется составными частями этой программы, в том числе, в действиях, си- туациях и разговорах участников. Американскому философу и специалисту в области эвалюаторных исследований Майклу Скривену принадлежит идея оценки эффектив- ности, свободной от целей. Этот подход означает сбор данных по ши- рокому кругу действительных результатов деятельности и оценку того, насколько эти результаты важны для удовлетворения демонстрируемых потребностей. Специалист по оценке в этом случае избегает формулиро- вать свои задачи и выводы в связи с целями программы. Никаких обсу- ждений целей с сотрудниками не проводится, проектные буклеты или заявки не читаются; изучаются только результаты программы и эффек- ты, доступные измерению. Дело в том, что при изучении узко обозначенных целей программы есть риск упустить важные незапланированные результаты, которые в этом случае будут называться «побочными», «непредвиденными» или «вторичными». Сами названия эти таковы, что какое-либо достижение, оказавшееся, возможно, наиважнейшим, будет недооцениваться, а ведь 150 Часть 4 признание такого результата в качестве прямого и важного могло бы позволить, например, переформулировать приоритеты дальнейшей ра- боты программы! Кроме того, именно из-за жесткой и конкретной фор- мулировки ожидаемых результатов возникает риск ошибочного воспри- ятия: мы начинаем видеть все сквозь призму заранее сформулирован- ных целей и ничего другого. Тем самым, специалист по оценке стано- вится в меньшей степени объективным в условиях, зависящих от целей. По собственному выражению Скривена, «оценка целей не является не только необходимым, но даже вредным шагом. Я начинаю работу с аль- тернативного подхода – просто оцениваю действительные эффекты в противоположность контуру демонстрируемых потребностей. Я назвал это оценкой эффективности свободной от целей… Чем меньше специа- лист по оценке эффективности слышит о цели проекта, тем больше внимания он будет уделять поиску действительных эффектов (в боль- шей степени, чем поиску мнимых эффектов)» 1 Свободная от целей оценка эффективности, с ее поиском «реаль- ных, действительных эффектов» представляет собой индуктивную и холи- стскую стратегию, направленную на преодоление логико-дедуктивных ог- раничений, воспроизводимых в количественном подходе к оценке, осно- вывающемся на четко сформулированных целях. Между тем, многие социальные программы не имеют артикулированных, измеряемых кон- кретными количественными показателями целей, и потому не могут быть подвержены количественной оценке. Традиционная формулировка вопроса по эффективности гласит: «В какой степени программа достигла своих целей?». Как видим, цель должна быть ясной для того, чтобы специалист по оценке эффективно- сти знал, что искать… Так начинается длительный, подчас болезненный процесс, в ходе которого люди должный установить цели в понятиях, которые ясны, определенны и доступны измерению. Программные це- ли, очерченные в точных и недвусмысленных выражениях, являются необходимой информацией для эвалюаторного исследования. В частно- сти, когда планируется, оценка программные цели особенно важны. Оп- ределенная в четких и конкретных индикаторах цель фигурирует в ко- личественной оценке результатов. Это распространенный подход оцен- ки достижения целей, который за рубежом давно используется в эва- люаторных исследованиях программ образования, социальной защиты и здравоохранения. По контрасту с оценкой, опирающейся на логически заданные из- меряемые цели, подход, свободный от целей означает сбор данных, на- прямую связанных с результатами программы, где понимание эффек- тивности не ограничено узким фокусом на установленные заранее цели. Свободная от целей оценка опирается на качественные методы, по- скольку широко доверяет описаниям и прямому опыту, почерпнутым из программы. Более того, свободная от целей оценка в особенности требу- ет от специалиста, проводящего такую работу, попридержать суждения относительно того, что программа пытается делать и сфокусироваться, вместо этого, на поисках того, что действительно происходит в програм- 1 Scriven М. 1972. Цит.по: Patton M. Q. Qualitative Evaluation Methods. Beverly Hulls, London: Sage Publication, 1980. P.49-58 / Перевод П. Романова. Оценочные исследования 151 ме, что рассматривается как ее результат. Специалист по оценке эффек- тивности, таким образом, может стать открытым к любым данным, воз- никающим из феномена программы как такового. Иногда оценку планируют и структурируют в соответствии с необ- ходимостью принять решение. Специалист по оценке эффективности нужен для того, чтобы обеспечить информацию, необходимую для при- нятия этого решения или решений, поэтому задачи оценки формулиру- ются, исходя из того, какая именно нужна информация, чтобы помочь выработать соответствующую стратегию. Отметим, что количественные и качественные методы применяются как при оценке процесса, так и при оценке результата, хотя в последнем случае более распространенным является использование статистических процедур. Оценка процесса действия программы – это практически то же самое, что и мониторинг. Мониторинг, как правило, проводят от лица офи- циальных лиц, желающих контролировать программу и знать, что проис- ходит во время ее реализации. В свою очередь, оценка процесса программы проводится для пользы программы, ее улучшения. Необходимо опреде- лить, где проводить оценку (например, выбрать несколько социальных служб), кто будет отвечать на вопросы, установить временные рамки – пе- риод проведения исследования, интервалы, интенсивность. Оценку процес- са можно осуществлять как при помощи качественных, так и с использова- нием количественных методов, а также комбинировать методы 1 Преимущество качественных исследований социальной программы заключается в возможности неожиданных открытий, ознакомлении со значимыми аспектами, элементами программы, незаметных при фор- мализованных подходах. Когда нужно применять качественные методы для оценки процесса? а) При отсутствии достаточного объема знаний о про- грамме и ее деятельности б) При оценке необычных, новых программ в) Если программа построена на спорных и неочевидных, противоречивых предпосылках г) Если исследователь предпочитает понимание контек- ста программы формальным замерам происходящего Если программа и реализующая ее организация давно известны, ха- рактеризуются прозрачностью, исследования там проводятся регулярно, то можно обратиться к количественному измерению процесса программы. Однако, от качественной методологии и в этом случае отказываться не сле- дует, так как порой за знакомым и привычным фасадом могут скрываться заблуждения и недостатки или, напротив, интересные наработки и иные достоинства. Получить необходимую информацию о процессе реализации программы можно, в частности, из анкет, регулярно заполняемых сотруд- никами и клиентами. Поставленные вопросы могут касаться проблем кли- 1 Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003. 152 Часть 4 ентов, предложенных им услуг, даты и времени предоставления услуг. Как анкеты, так и неформализованные интервью с получателями программы и персоналом тоже используются в качестве инструмента для сбора информа- ции. Все опрошенные могут отвечать на одни и те же вопросы или каждый расскажет свою историю. Использовать можно любой метод, комбинацию методов, определив при этом частоту сбора информации. Подобное реше- ние зависит от специфики программы, количества изменений. Информа- ция об участниках изменяется не часто, тогда как предоставляемые услуги, возможно, понадобится осветить несколько раз. Кроме того, полезно разра- ботать запасной план на случай неожиданных изменений 1 Оценка результатов может проводиться с использованием экспе- риментального или квазиэкспериментального дизайна: сравнение уча- стников до и после программы; сравнение участников программы с те- ми, кто в ней не участвовал (с группой людей, отобранных в контроль- ную группу методом случайной выборки). В частности, при помощи экс- перимента выясняется, действительно ли оцениваемая программа возы- мела положительное воздействие, например, на поведение или на дохо- ды представителей целевой группы. Достоверность оценки – понятие, помогающее оп- ределить правдивость выводов, их соответствие реаль- ному положению вещей. Различают внутреннюю и внешнюю достоверность. Внутренняя ука- зывает на причинную связь между независимыми (например, описание участников или полученных ими услуг) и зависимыми (результаты про- граммы) переменными. Внутренняя достоверность ставит вопрос о том, что вызывает наблюдаемый эффект – сама программа или внешние ус- ловия и факторы. Она указывает, состоят ли мероприятия программы и наблюдаемые результаты в каузальной, т.е. причинно-следственной взаимосвязи. Внешняя достоверность связана с выводами относительно возможности применения результатов одной оценки к другой программе подобного типа. Если одна программа по профилактике ВИЧ успешна, применимо ли это к другим и каким именно программам? В разных формах оценки можно достичь разной степени внутрен- ней и внешней достоверности. Случайная выборка способствует дости- жению высокой степени внутренней достоверности. Однако, в экспе- риментальном дизайне трудно достичь высокой внешней достоверно- сти. Стремясь проконтролировать условия эксперимента, исследовате- ли подчас создают тепличные условия, отличные от тех, в которых на- ходятся участники других подобных программ. Поэтому полученные результаты не всегда можно обобщить, перенести вовне. Единицей анализа может выступатьчеловек, группа, организация, сообщество. Но при этом следует понимать, что программы направле- ны не на отдельных людей, а на изменение поведения, норм, взглядов, качества жизни более крупных единиц. Например, кампания по разви- тию благотворительности призывает к действию отдельных людей, но 1 Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003. Оценочные исследования 153 осуществляется и оценивается на уровне сообщества. Результат такой кампании будет измеряться общим количеством пожертвований. Еди- ницей отбора выступают соседские общины, школьные классы, соци- альные службы, в которых реализуется программа. Например, при реа- лизации программы инклюзивного образования детей-инвалидов, обу- чающихся в обычных классах, отбор проводится в три этапа: школа, класс, конкретные дети-инвалиды, преподаватели, остальные дети, ро- дители – все участники специальных мероприятий по программе. Формы оценки Чаще всего проводится оценка отдельно взятого проекта, ряда проектов или целой программы, действующей на региональном или национальном уровне. В этом случае никаких сравнений с людьми или сообществами, не участвовавшими в программе, не проводится. Подобная оценка бывает двух видов: а) изучающая программу только после того, как ее долгое время осу- ществляли или даже завершили; б) изучающая ее как до, так и после про- граммы. Собранные данные могут быть качественными или количествен- ными. «Только после» программа оценивается в том случае, когда специа- листа приглашают во время осуществления программы, и у него нет данных, существовавших до ее начала. Исследования «до и после» предполагают присутствие специалиста по оценке с самого начала программы. Если спе- циалисту довелось оценивать программу «только после» ее осуществления, то он или она делает предположение об изначальной ситуации, во-первых, изучая всевозможную документацию, записи, беседуя с участниками, во- вторых, основываясь на своем собственном опыте предыдущих исследова- ний, изучении подобных целевых групп или организаций. Конечно, здесь возможны разнообразные искажения 1 Если оценка проводится «до и после», эта схема кажется довольно чистой, пригодной для эксперимента: участников программы изучают до и после ее осуществления; разница представляет собой эффект програм- мы. Однако, участники имели дело не только с программой: они смотрели телевизор, болели, спорили с родственниками, заводили новых друзей, переезжали, занимались на курсах, женились и выходили замуж. Возмож- но, что ряд изменений вызван не программой, а внешними факторами. В этом случае лучше всего собрать как можно больше деталей, тщательно отобрав информацию о программе и участниках. Дополнив информацию «до и после» данными «во время», можно будет судить о ходе программы. Для формативных целей (для изменения и улучшение программы) такой подход будет достаточным, тогда как для сумматив- ных (вынесение суждения об эффективности программы) – нет. При оценке одной группы невозможно провести сравнение с людь- ми, не участвующими в программе. Иногда подобное сравнение в прин- ципе невозможно, так как услуги предоставляются всем людям, имею- щим возможность их получения (например, социальное обеспечение, государственные школы, палаты реанимации в больницах, обязательное медицинское страхование и другие программы). В таких случаях уместно 1 Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003. 154 Часть 4 провести внутреннее сравнение. Прием оценки в этом случае – так на- зываемая «форма ответной реакции на дозу», обязанная своим названи- ем оценочным исследованиям программ, когда единственной переменой было количество полученных наркотиков. В социальных программах можно, например, сравнивать участников, получающих услуги в группе или индивидуально тем, кому представлены лишь услуги по трудоуст- ройству с теми, кто получил и эмоциональную поддержку. При подобной оценке сравниваются альтернативные виды услуг, и ограничений по предоставлению исчерпывающих услуг не существует. Можно сравнить участников, получивших больший объем услуг с теми, кто получил ее в меньшем объеме, и их достижения. Можно попытаться найти ответ на вопрос: «Достигнут ли услуги, предоставленные в ограниченном объеме и с меньшими затратами хороших результатов?» Используя этот подход, необходимо следить, чтобы объем услуг был единственным различием (исключить разницу в посещаемости, мотивации, потребностях в услу- гах). В таком случае будут получены ценные данные 1 Еще один вид оценки одной группы – оценка во времени. Основ- ные результаты измеряются с определенными интервалами до начала программы и по ее завершении. Подобная оценка позволяет лучше по- нять условия, которые должна изменить программа, например, безра- ботица или отчисления из школы. В этом случае исследователь задает- ся вопросами: Какими были условия до начала программы, улучшались они или ухудшались без вмешательства программы? Каковы стали ус- ловия после проведения программы? В чем их улучшение? Появились ли они по завершении программы? Достигнуты ли запланированные результаты? |