Решение 36р от 09. 06. 2007 Москва 2008 ббк 60. 5 Р 74 Учебное пособие подготовлено при поддержке Рособразования по аналитической ведомственной целевой программе Разви
 Скачать 2.38 Mb.
|
|
Формативная оценка позволяет улучшить работы про- граммы, отформатировать программу до ее завершения. Суммативная оценка позволяет сделать заключение об эффективности завершенной программы. Оценку могут проводить штатные сотрудники или нанятые органи- зации. По отношению к тому, кто осуществляет оценку, она может быть внутренней (ее еще называют самооценкой) или внешней. Внешняя проводится приглашеннымспециалистом. При этом важно, чтобы он не только не работал в этой организации, но и не был связан с ней отноше- ниями, которые можно расценить как конфликт интересов (например, такой специалист не должен быть прямым родственником кого-либо из руководителей организации или одним из тех, кто получает от нее по- мощь). Такую оценку, проводимую приглашенным экспертом, еще на- зывают независимой оценкой. Внутренняя оценка, или самооценка осуществляется теми же са- мыми людьми, которые работают в организации. Это проще и сложнее одновременно, потому что, с одной стороны, кто же знает организацию лучше, чем ее сотрудники, а с другой — проведение такой оценки потре- бует дополнительных усилий, а иногда и мужества, чтобы «подняться над ситуацией» и быть действительно объективными. Оба способа имеют ряд преимуществ. Штатные сотрудники знают больше об организации, ее интересах и потребностях, возможностях применения полученных результатов. У них больше возможностей распро- странения полученной информации. Нанятые организации независимы, престижны, предоставляют больше навыков и умений. У них есть возмож- ность распространения полученной информации вне организации. Нередко к оценке привлекаются эксперты или группа экспертов – специалистов из разных областей, имеющих знания о других програм- 1 Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003. Оценочные исследования 141 мах и большой опыт проведения экспертизы или работы в проектах. Эксперт может непредвзято рассматривать программу, но у него могут быть определенные предпочтения, которые повлияют на его суждение. Даже высококвалифицированный эксперт опирается на субъективные стандарты, в которых можно усомниться. Неудовлетворительный отчет поставит под сомнение опыт и репутацию эксперта. Поэтому, проводя большинство оценок, пытаются использовать наименее уязвимые ме- тоды и следовать основным принципам оценки. Принципы оценки программ 1 I. Основой оценки программ может быть только точная и дос- товерная информация. II. Исполнение работы по оценке должно быть компетентным. III. Специалисты по оценке программ гарантируют честность и открытость всего процесса оценки. IV. Специалисты по оценке программ уважают безопасность и достоинство людей, с которыми они взаимодействуют в процессе своей профессиональной деятельности. V. Специалисты по оценке программ имеют профессиональ- ные обязательства, определяющиеся общественными интересами и общественным благом. Цели оценки могут быть разные, зависят они от ожиданий и потребно- стей различных акторов – во-первых, кто организовал оценку, во-вторых, на деятельность которых повлияет исследование, в-третьих, кто принимает окончательные решения, в-четвертых, целевых групп населения, которые являются благополучателями программы, – а также от возможностей про- ведения исследования. Цели и задачи оценки в каждом конкретном случае удобнее всего формулировать в виде вопросов оценки. Они могут быть са- мыми разными, например, каковы фактические результаты программы и как они соотносятся с ее целями? Как соотносятся средства, потраченные на выполнение программы с полученным эффектом? Выполнены ли все ме- роприятия, предусмотренные программой? Стремясь ответить на каждый из этих вопросов, оценка будет проводиться по-разному с использованием разных методов сбора и обработки информации. Помимо разделения оценок на формативные и суммативные, в со- ответствии с тем, когда проводятся оценки, они подразделяется на пред- варительные, промежуточные и завершающие. Предварительная про- водится на этапе планирования проекта, при этом оценивается еще не реализация, а предложение вашей будущей работы. Промежуточная оценка осуществляется во время исполнения программы или проекта, чтобы помочь более успешно достичь намеченных целей и привести к планируемым результатам. Эту оценку также проводят, если в ходе реа- лизации проекта возникли проблемы, причины появления которых не- ясны. В данном случае говорят о диагностической оценке, которая слу- жит возвращению проекта «на путь истинный». Завершающее оценива- 1 Международная сеть оценки программ (IPEN): http://www.ipen21.org/ipen/ 142 Часть 4 ние бывает незадолго до завершения проекта или сразу же после него. Оно позволяет понять, что собой представляет проект, достигнуты ли его цели, получены ли планируемые результаты. Если же программу предполагается повторять где-либо еще, завершающая оценка поможет избежать ошибок при реализации подобных проектов в будущем. Можно также проводить оценку «постфактум». Она реализуется обя- зательно через какое-то время (скажем, через полгода или год) после того, как проект полностью завершен и можно проанализировать его воздейст- вие. В ходе подобной оценки обычно анализируются все (или почти все) изменения, вызванные проектом и то, насколько они стабильны, т. е. со- храняются ли изменения без дальнейшего воздействия со стороны проекта. Для того, чтобы ответить на вопросы оценки, разумно оценивать не всю программу целиком, а ее отдельные ключевые (согласно вопросам) аспекты, которые и подвергаются прицельному анализу. В качестве пара- метров оценки могут выделяться, в том числе, результативность програм- мы, эффективность организации выполнения программы, социально- экономический эффект, оказываемый программой на решение социаль- ных задач, соответствие программы интересам целевых групп населения. Ключевая задача любой оценки — улучшить работу проекта или ор- ганизации в целом, сделать ее деятельность более эффективной и по- лезной. Наиболее часто подвергаются оцениванию финансовая эффек- тивность, устойчивость и результаты проекта или организации, а также эффективность управления и методология. При этом ставятся вопросы, перечисленные в табл. 6 1 Структура оценки — это методическая основа, ориентированная на задачи и вопросы оценки и устанавливающая методы сбора и обработки данных, план работ, ресурсное обеспечение, систему отчетности и контро- ля исполнения проекта. Чтобы определить структуру оценки, необходимо продумать, какая информация понадобится для ее проведения, каким образом можно будет получить необходимые данные, кто именно будет собирать информацию, какие методы анализа данных следует применить, потребуется ли в ходе оценки консультация специалиста в какой-либо области; потребуются ли помощники (например, для проведения анкети- рования или интервьюирования клиентов организации); сколько време- ни понадобится для проведения оценки, какие ресурсы нужны для этого. Для тех, кто будет использовать результаты оценивания, важно по- нимать не только что и почему произошло, но и что нужно делать. Вот почему непосредственно после оценки проделанного следует этап кор- ректировки планов. Например, в случае проведения оценки деятельно- сти одного из реабилитационных центров, опрос клиентов помог точнее определять их потребности и соответственно более качественно и адрес- но предоставлять им услуги. Вообще, в том случае, когда деятельность организации в целом или отдельные проекты направлены на предоставление конкретных услуг, желательно представить «истории» о конкретных людях, чья жизнь из- менилась в результате осуществления проекта. Ведь отчеты только по результатам, описанным в заявке, как правило, отражают проведение запланированных мероприятий и не демонстрируют, изменилась ли как-либо ситуация для целевой группы после реализации проекта. 1 Бодунген А. Оценка деятельности НКО // Школа по оценке проектов. Новоси- бирск, 26—30 ноября 2001. Оценочные исследования 143 Таблица 6. Вопросы для оценки Иными словами, необходимо отслеживать воздействие проекта на целевые группы «благополучателей» или клиентов. Кроме того, для повышения эффективности деятельности организации важно уделять внимание не только соответствию первоначальному плану мероприя- тий, но отслеживать причины успеха и неудач, чтобы повлиять в даль- нейшем на управленческие решения. Для этого следует еще на этапе написания заявки продумать и включить в проект четкие показатели его эффективности в долгосрочной перспективе: вызовет ли заплани- рованный цикл мероприятий желаемые изменения. По итогам проек- та важно оценить результаты относительно данных показателей: на- пример, изменилось ли у школьников после проведенного тренинга по вопросам инвалидности их отношение к людям с инвалидностью и их проблемам 1 Перед выбором параметров оценки очень важно детально разо- браться в логике самой программы, понять ее механизм, определить, что входит в реальные задачи программы, как они соотносятся с набо- ром программных мероприятий и к чему они должны привести по плану. Для этого иногда полезно даже представить механизм про- 1 Боровых А., Грешнова Е. Исследование эффективности проектов и программ благотворительных организаций // Благотворительность в России. Социальные и исторические исследования. СПб.: Лики России, 2001. Что оценивается Вопросы Финансовая эффективность проекта Насколько приемлемо соотношение ресурсов, вовле- ченных в проект (в целом и/или для осуществления отдельных этапов), и его результатов? Можно ли до- биться удешевления подобных проектов в будущем, сохранив то же качество и тот же объем результатов? Эффективность управления проектом Соответствует ли выбранная схема управления типу проекта и осуществляемым видам деятельности? Способствовала ли она успешной реализации проекта? Достаточно ли гибко руководители проекта реагирова- ли на изменения, влиявшие на ход проекта? Насколько правильными (ошибочными) были прини- маемые решения? Методология проекта Все ли методы привели к достижению заявленных результатов? Какие методы оказались наиболее (наименее) эффек- тивными? Устойчивость проекта Будет ли работать этот проект при его повторении в другом месте? Сохранил ли проект актуальность, соответствует ли он сегодняшнему дню? Будет ли жизнеспособен проект после завершения его специального финансирования? (Как правило, этот вопрос особенно волнует фонды) Полнота решения проблемы или удовлетворения потребности В какой мере проектом решена заявленная проблема? Можно ли говорить о том, что проблема решена кар- динально, т. е. не появится вновь? Достаточно ли полно удовлетворены потребности кли- ентов (подопечных) проекта? 144 Часть 4 граммы схематично или в виде рисунка. Важнейший момент при изу- чении программы — структурирование предполагаемых результатов программы. Итоги и выводы большинства современных программ можно расположить в определенном иерархическом порядке: Рассмотрим для примера программу развития самозанятости инвалидов, содержательная основа которой – проведение курсов по обучению инвалидов навыкам организации и ведения бизнеса и пре- доставление кредитов вновь создаваемым фирмам 1 . Логическая по- следовательность результатов данной программы будет выглядеть примерно так: 1 Как измерить успех программ развития города?Муниципальное экономическое развитие. М.:Фонд «Институт экономики города», 2002 г. Выполнение мероприятий («выход») Непосредствен- ные результаты Долгосрочные результаты (последствия, каче- ственные изменения) Эффект программы (достижение программ- ных целей, влияние про- граммных действий на решение актуальной социальной проблемы) Ресурсы («вход») (финансовые, кадровые, технические и другие ре- сурсы и усилия, необхо- димые для выполнения программы Ресурсы («вход»): Различные ресурсы, затраченные на обуче- ние и предоставленные в виде кредитов) Выполнение меро- приятий («выход»): Проведены обучающие курсы, выдано n-ое количество кредитов Непосредственные результаты: n-ое число инвалидов обучено навыкам орга- низации и ведения бизнеса Эффект программы: Рост занятости среди инвалидов, рост благосостояния занятых инвалидов, рост собственных доходов городского бюджета, снижение расходов на социаль- ное обеспечение, развитие ма- лого предпринимательства Долгосрочные результаты: Создание устойчивых малых предприятий инвалидов Оценочные исследования 145 Как правило, на одной или нескольких указанных ступенях в после- довательности результатов и фокусируется оценка в зависимости от сво- их задач и возможностей проекта. Параметры оценки выбираются с та- ким расчетом, чтобы их можно было измерить с помощью доступных количественных показателей, которые называются индикаторами. Вы- бор индикаторов оценки – задача увлекательная, и, вместе с тем, слож- ная. Индикатор должен обладать определенными свойствами – одно- значность, доступность, измеримость. Сравнение значений индикаторов с целевыми показателями, зало- женными в программе, дает ответы на вопросы оценки в количественном выражении и позволяет экспертам судить об успешности программы. Возвращаясь к нашему примеру с программой развития малого бизне- са инвалидов, определим возможные индикаторы, с помощь которых мож- но измерить каждый из результативных уровней данной программы: Однако оценка не обязательно фокусируется на анализе тех или иных результатов программы. В ее задачи может входить оценка про- цесса создания программы или, эффективность механизма реализация программы. Для каждой из этих и других задач подбираются собствен- ные параметры и индикаторы оценки. Итак, у нас сформировалась логика оценки: Ресурсы («вход»): Индикаторы: Средства, затрачен- ные на обучение (руб.); средства, пре- доставленные в каче- стве кредитов (руб.) Выполнение меро- приятий («выход»): Индикаторы: число обучавшихся, чис- ло проведенных обу- чающих семинаров; чис- ло выданных кредитов Непосредственные результаты: Индикаторы: Процент обучившихся и спо- собных к дальнейшей орга- низации бизнеса инвалидов от общего числа участвовав- ших в программе, (%) Эффект программы: Индикаторы: прирост числа инвалидов, занятых в малом бизнесе (%); повышение благосос- тояния занятых инвалидов, снижение расходов на соци- альное обеспечение, рост доходов городского бюджета от малого бизнеса (%) Долгосрочные ре- зультаты: Индикаторы: Число организованных в городе малых предприятий инвалидов 146 Часть 4 Каждый из этапов работы играет особую роль и по-своему важен. Технически последовательность действий по оценке выглядит так: Последовательность действий по оценке – Определение целей проведения оценки – Формулировка и согласование вопросов оценки – Планирование оценки – Определение параметров и индикаторов оценки – Определение методов и инструментов для сбора информации – Составление графика работ – Составление бюджета проекта – Согласование структуры оценки с заказчиком – Сбор данных – Анализ данных – Выводы и рекомендации – Подготовка отчета – Информирование о результатах оценки Важно, чтобы выводы, сделанные в результате анализа данных, бы- ли доказанными. Доказанность результатов – непременное свойство профессиональной оценки. Если программу независимо друг от друга оценят две команды оценщиков с применением разных методов, но придут к одинаковым выводам, то их работу можно назвать выполнен- ной качественно. Оценка всегда должна быть нацелена на результат. Ведь оценка – это не научное исследование, а управленческий инструмент, такой же, как, скажем, бюджетное планирование. И предназначен он не для «ос- воения» бюджетных или грантовых средств, а для принятия качествен- ных и своевременных управленческих решений. Проводя оценку, всегда следует иметь в виду, кто и как будет использовать ее результаты. Вряд ли следует преувеличивать роль оценки в принятии решений относительно программ: на подобные решения влияет ряд факторов, и оценка – лишь один из них. Необходимо осознавать, что полученные результаты применяют не сразу. Вначале их изучают, а затем постепен- но применяют полученные знания при принятии решений о программе. задача оценки вопросы оценки параметры индикаторы Оценочные исследования 147 Тем не менее, для ответа на важные вопросы отчет по оцениванию дол- жен быть правильно сформулирован. Тогда, ознакомившись с получен- ными результатами, как ключевые фигуры, так и широкая аудитория смогут повлиять на улучшение политики и программ. Процедуру использования результатов оценки можно (и нужно) формализовать в рамках управления социальной сферой. Более того, желательно сделать это еще на этапе создания программы. Тогда разра- ботчики программы, зная о том, что продукт их деятельности будет ре- гулярно оцениваться, сделают программу максимально удобной для ее последующего мониторинга и оценки. Оценка программ – новое явление в российской практике муници- пального управления. Однако, эта практика успешно развивается. Так, несколько консалтинговых компаний, в основном при поддержке до- норских организаций, уже осуществили несколько успешных оценочных проектов в сфере городского развития. Фонд «Институт экономики го- рода» провел оценку различных муниципальных программ в четырех российских городах (Саратов, Городец, Кунгур и Междуреченск) и в на- стоящее время разворачивает сотрудничество с другими городами в этом направлении. Кроме того, накоплен большой опыт по оценке го- родских систем социальной защиты (Томск, Арзамас, Пермь, Нижний Новгород). Леонтьевский Центр (Санкт-Петербург) осуществил проект по оценке стратегий городского развития. Начали активно работать многие региональные и городские некоммерческие организации, зани- мающиеся оценкой городских социальных проектов 1 Логика оценки может сделать измеряемыми и такие отвлеченные и сложные понятия, как развитие социальной сферы района, качество жизни инвалидов, межсекторное взаимодействие. Ее можно использо- вать как мощный инструмент анализа в социальном управлении вообще – например, при оценке управленческих решений, при оценке деятель- ности социальных служб и организаций, при экспертизе местных нор- мативных актов. Мониторинг и оценка программ и проектов – это важный логиче- ский шаг в социальной работе и реализации социальной политики в целом, который неизбежен в случае перехода социальных служб на прин- ципы финансирования услуг, а следовательно, к программному методу управления. Более того, это эффективный и широко применяемый в разви- тых странах инструмент управления и важная часть проектной культуры, осваивать которую стоит российским социальным службам. |