Мониторинг_и_оценка_проекта. 1. Что такое оценка
 Скачать 405.72 Kb.
|
|
1. Что такое оценка? Далее мы попробуем разобраться с ключевыми терминами, которые используются в оценке. 1.1. Оценка и мониторинг Оценка является одной из функций управления проектом и инструментом для получения но- вого знания. Мы оцениваем то, что произошло, для улучшения последующей работы. Оценка, анализ и интерпретация изменений помогает нам: • определить, насколько мы достигли запланированных целей; • понять, насколько верны были предположения относительно того, что произошло; • судить об эффективности, результативности и устойчивости результатов работы. Определение оценки Назначение оценки Процесс, в ходе которого пытаются определить, как можно более систематически и объективно, ценность или значение проекта с точки зрения воздействия на социальную проблему. Это суждение основывается на таких общих «критериях оценки», как умест- ность, эффективность, результативность, влияние и устойчивость. Оценка должна обеспечить достоверную и полезную информа- цию, чтобы полученный опыт был учтен при принятии решений партнерами по программе и донорами. Обратите внимание, что слово «объективно» использовано здесь, чтобы указать на необходимость соблюдения равновесия при про- ведении анализа. То есть нужно помнить, что есть различные под- ходы, учитывать точки зрения заинтересованных сторон (всех, кто заинтересован в программе, и на кого она влияет, в том числе благо- получателей, которые являются главной заинтересованной сторо- ной) и использовать различные источники информации и методы. •повысить качество проекта или программы, улучшить методы и результаты; •приобрести знания, особенно об опыте, который можно использовать в других проектах, программах и ситуация; •доказать, что результаты проекта или программы действительно были по- лучены. Мониторинг и оценка проекта «Что такое оценка?» Мониторинг можно определить как непрерывный и методичный процесс сбора данных и информации в течение всего жизненного цикла проекта. Собранная информация используется для регулярной оценки проекта; таким образом, можно корректировать ход проекта без оста- новки работы. Мониторинг также используется для систематического отслеживания ситуации и для выявления тенденций. Например, можно отслеживать изменения в окружающей среде или положение лиц с особыми потребностями. Определение мониторинга Назначение мониторинга Процесс отслеживания или измерения того, что происходит. Включает два вида мониторинга: •мониторинг исполнения предполагает измерение хода реального процесса относи- тельно изначального плана вмешательства в ситуацию (например, программы, стратегии) и степени достижения конкретных целей; •мониторинг ситуации предполагает измере- ние того, как изменяется – или не изменяется – определенный параметр или набор параме- тров в ходе проекта (например, положение детей и женщин, или ситуация в стране в целом). •обеспечить контроль, чтобы работы выпол- нялись согласно плану проекта; • улучшить выполнение проекта; определить, когда нужно быстро адаптировать проект, особенно в условиях кризиса и нестабильно- сти; • служить источником информации для оцен- ки; • обеспечить информацию для обоснования необходимости изменить стратегию и про- граммы (особенно мониторинг ситуации). Основные различия между мониторингом и оценкой В таблице 1 , представленной ниже, описаны основные различия между монито- рингом и оценкой. Однако принципиальным отличием мониторинга от оценки про- грамм является также значительно большая, чем в мониторинге, глубина анализа. Оцен- ка предполагает глубокий анализ, а мониторинг лишь отслеживание текущей «картинки». 1 Курс лекций «Оценка проектов и программа» под редакцией Баханьковой Е.Р., Бодунгена А.Ю., Боровых А.Э., Грешновой Е.В., Гриднева П.В., Казакова О.Б., Кузьмина А.Н., М.:ЦПНКО, 2003, стр. 19 Мониторинг Оценка Проводится непрерывно Проводится на ключевых этапах реализации программы Проект принимается в существующем виде без изменений Проект подвергается анализу с целью опти- мизации/улучшения; Запланированные результаты и деятельность сравниваются с фактическими Анализируются причины достижения или не- достижения запланированных результатов Полученная информация используется для улучшения работы по проекту Полученная информация может использо- ваться как для улучшения работы по данно- му проекту, так и для уточнения планов на будущее С технической точки зрения главные отличия между мониторингом и оценкой заключаются в том, что: • мониторинг – постоянно действующая система, а оценка проводится время от вре-мени; • система мониторинга основана исключительно на замерах значений индикаторов, оцен ка же проводится с учетом данных мониторинга (значений индикаторов), но не ограни чивается ими. Именно поэтому системы мониторинга и оценки являются взаимодополняющими, но никак не могут заменить друг друга. 2.2. Типы оценки В зависимости от того, на каком этапе находится проект, можно говорить о разных типах оценки На разных стадиях проекта мы проводим разные типы оценки. И для каж- дого из этапов существуют свои вопросы. При внедрении системы мониторинга или проведении оценки суще- ствует три больших вопроса оценки для конкретных участников проекта. • «Делаем ли мы то, что должны делать?» – ответ нужен менед же рам программ, чтобы проверить, выполняется ли техническое задание (самоконтроль). • «Приводят ли наши действия к изменениям?» – ответ нужен всем заинтересованным сто ронам, но особенно востребован будет донорами, чтобы удостовериться, что деньги потрачены эффективно (социальное влияние). • «Правильно ли мы действуем?» – ответ предоставит руководителям организаций информа цию о том, актуальна ли наша деятельность, и движемся ли мы в стратегически верном на правлении (стратегическое соответствие). Первые два вопроса относятся непосредственно к жизненному циклу проек- та. Третий же вопрос лежит в более широких временных рамках. Обычно его зада- ют при проведении стратегического планирования организации. Поскольку в дан- ной брошюре мы фокусируемся на оценке проекта, а не организации в целом, рассмотрим подробнее, как могут выглядеть конкретные вопросы в этом случае. Экспертиза проекта (предварительная оценка). После того, как проект написан и оформлен в виде конкурсной заявки для получения финансирования, донор привлекает экспертов для оцен- ки проекта.. Такая оценка определяет, насколько проект приближает решение проблемы и соот- ветствует потребностям целевых групп. Эксперты оценивают не только сам проект и заложенные в нем мероприятия, но и то, насколько организация обеспечена кадрами, а также финансо- вую и организационную обоснованность планируемых действий. Это позволяет судить о реалистичности и потенциальной успешности проекта. Более под- робно о критериях оценки проектов, подаваемых на региональные конкурсы субсидий, вы можете прочитать в брошюре А. Москвиной «Особенности социального проектирования для участия в конкурсах региональных субсидий». Самые общие критерии отбора получателей субсидий описаны в требованиях Министерства экономического развития. Среди них такие, как: • актуальность и востребованность поставленных целей проекта, подтверждае мых научными исследованиями, публикациями в СМИ и т.д.; • соответствие планируемых результатов проекта поставленным целям; • инновационность механизмов реализации проекта, позволяющих в том числе снизить затраты на его реализацию; • привлечение к реализации проекта средств массовой информации; • привлечение к реализации проекта волонтеров; • наличие у организации ресурсов, необходимых для реализации проекта; • наличие у организации дополнительных источников финансирования проекта, под твержденных гарантийными письмами организаций-доноров. Каждый субъект федерации имеет возможность детализировать критерии отбо- ра и приоритетные направления конкурса с учетом специфики местной ситуации. Так, например, актуальные и социально значимые для региона направления деятель- ности могут быть отражены в региональной программе поддержки СО НКО или в стратегии социально-экономического развития региона. Во многих регионах на конкурсах получения субсидий сейчас кроме заседания экспертной комиссии начали проводить публич- ные защиты проектов, на которых могут присутствовать не только эксперты, но и коллеги из других НКО, а также другие заинтересованные лица. Говоря об экспертизе проекта, нужно упомянуть и другой вари- ант предварительной оценки проекта. Организация может ДО подачи проек- та на конкурс сама оценить свой проект по критериям, опубликованным в конкурс- ной документации, или привлечь к экспертизе сторонних специалистов, например, обратиться за консультацией в свой региональный ресурсный центр для СО НКО. Мониторинг и промежуточная оценка. На стадии реализации проекта кро- ме мониторинга, который проводится непрерывно, также осуществляют проме- жуточную оценку. В ходе нее, как правило, подводятся промежуточные ито- ги, и определяется, насколько сделанные шаги правильны и приведут к успешному завершению проекта. Результаты такой оценки помогут скорректировать стратегию и выбрать те или иные действия в следующей фазе проекта. В проектах, реализуемых за счет средств субсидий, также предусмотрена промежу- точная оценка. Часто эту функцию выполняет промежуточный отчет, который являет- ся необходимым основанием для выплаты финальной части субсидии (если это предус- мотрено договором). На этом же этапе организация может запросить изменение статей расходов – ведь проект был написан какое-то время назад, ситуация могла измениться, или исполнители проекта могут предложить более эффективный способ применения ресур- сов для достижения запланированных результатов. При разработке вопросов для промежуточной оценки сначала нужно ре- шить, какая информация о проекте является наиболее важной. Ниже приведен спи- сок вопросов, которые можно использовать при промежуточной оценке. • На основании чего принимается решение о том, что определенные продукты или услуги проекта необходимы его благополучателям/клиентам/потребителям этих услуг? • Каким образом исполнители/сотрудники проекта решают, какие именно услуги предо ставляются тому или иному клиенту? • Что требуется от исполнителей проекта для предоставления этих продуктов или услуг? • Каким образом происходит обучение исполнителей проекта/сотрудников, которые предоставляют эти услуги или разрабатывают/готовят эти продукты? • Каким образом клиенты узнают о проекте и получают доступ к нему? • Какие требования предъявляются к клиентам/пользователям услуг проекта? • Каков общий алгоритм проекта, т.е. процесс, который проходят клиенты от момента первого контакта с проектом до момента получения услуги и далее? • Что является сильными сторонами проекта с точки зрения его клиентов? • Что является сильными сторонами проекта с точки зрения его исполнителей? • Каковы наиболее типичные жалобы со стороны исполнителей программы и ее клиентов? • Какие рекомендации по улучшению проекта предлагают его исполнители и клиенты? • На основании чего принимается решение о том, что в продуктах или услугах проекта больше нет необходимости? Финальная оценка проводится на стадии окончания проекта. Цель финальной оценки вы- текает из ее названия. Она используется для подведения итогов выполнения проекта. Ре- зультаты итоговой оценки составляют основу содержательного отчета по проекту. В ситуа- ции с конкурсом субсидий такой отчет должен продемонстрировать не только достижение запланированных результатов, но и обоснованность расходования ресурсов. Органы го- сударственной власти уделяют огромное внимание контролю за целевым использовани- ем денежных средств конкурса. Во всех объявлениях о конкурсах есть указание на то, что средства, использованные не по назначению, должны быть возвращены государству. Оценка влияния (воздействия), как правило, проводится через некото- рое время после окончания проекта. Такая оценка проверяет, насколько устойчи- вы результаты проекта, как действия проекта повлияли на проблему, произош- ли ли изменения в благосостоянии клиентов/благополучателей проекта. Если возвращаться к конкурсам субсидий, то государство не требует от са- мих СО НКО проводить такую оценку, но при этом Министерство экономическо- го развития РФ и ряд региональных органов исполнительной власти заказыва- ют проведение такой оценки экспертным или исследовательским организациям для выявления социально-экономической отдачи вложенных бюджетных средств. Инициативно данный тип оценки обычно проводят те организации, кото- рые ведут длительные программы, а профинансированный за счет субсидий про- ект является частью такой программы. Часто оценку влияния проводят для тренин- гов и программ обучения. Таким образом, можно увидеть, пользуются ли участники обучения приобретенными навыками и знаниями на практике. Еще одной ситуацией явля- ется проведение оценки влияния по требованию донора. Оценка влияния напрямую не востребована в отчетности на конкурсах субсидий. Глав- ный фокус контроля органов государственной власти сосредоточен на целевом использо- вании средств. И здесь правомерно задавать два вопроса. Первый: какие результаты были достигнуты при реализации проекта, и соответствуют ли они запланированным результа- там? И второй вопрос: в какой мере фактические денежные расходы соответствуют рас- ходам, определенным при заключении соглашения о выделении субсидии (гранта)? По формам отчетов видно, что органы государственной власти уделяют большое внимание тому, чтобы получить ответ на второй вопрос. И это в большей степени касается финансо- вой отчетности. Но для организации и сотрудников, работавших в проекте, важен ответ и на пер- вый вопрос. Самой НКО важно понять, какие результаты были достигнуты в ходе ре- ализации проекта и какое влияние эти проекты оказали на жизнь ее благополуча- телей, какой вклад внесли исполнители проекта в решение заявленной социальной проблемы, стала ли наша жизнь лучше благодаря этому проекту. В большинстве своем эти вопросы исследуются в оценке влияния. Кро- ме того, что оценка влияния проверяет длительность результатов проекта и пока- зывает, как действия проекта повлияли на проблему, оценка воздействия помога- ет повысить эффективность программ, поскольку обращается к следующим вопросам. 1. Достигает ли проект запланированных целей? 2. Могут ли изменения, произошедшие в целевой группе, быть объяснены данным проек том, или они возникли под воздействием каких-то других параллельных факторов? 3. Различается ли эффект воздействия проекта для разных групп благополучателей (напри мер, мужчин, женщин, коренных народов и т.д.), разных регионов и в различные вре менные промежутки? 4. Имеет ли проект какие-то побочные эффекты, позитивные либо негативные? 5. Насколько эффективен данный проект по сравнению с другими проектами, направлен ными на достижение этих же целей? 6. Эффективен ли проект с точки зрения затраченных на него ресурсов? Центральный вопрос оценки воздействия: «Какова была бы ситуа- ция теперь, если бы проект, который подвергается оценке, не был реализован?» Если речь идет об обучающей программе, то хорошим результатом будет решение ак- туальных задач с помощью полученных знаний и приобретенных навыков. Вот несколь- ко примеров описания результатов, представленных в отчете по оценке воздействия: «Благодаря приобретенным знаниям социального проектирования и навыкам написания за- явки более половины участников семинара получили поддержку своих проектов на региональ- ных конкурсах субсидий». «Полученные знания о коммуникации и навыки разрешения конфликта помогли ученикам решать свои проблемы самостоятельно и мирным путем». «Знания об особенностях налогообложения и навыки ведения отчетности позволили орга- низациям пройти финансовый аудит без штрафов». Данный документ является фрагментом публикации. Полную версию вы найдете, пройдя по этой ссылке. Источик Гусева (Е.Г.), «Что такое оценка?» in Мониторинг и оценка проектов, ЦРНО, Санкт- Петербург, 2014 E-Corner – это электронная библиотека, созданная для обмена приобретенными знаниями, ин- струментами, лучшими практиками, руководящими принципами и аналитикой, для того чтобы поддерживать работу организаций гражданского общества, в частности, членов Гражданского форума ЕС - Россия. Переводчик: Russian in translation Посетите сайт E-Corner! Еще о видах оценки В зависимости от того, кто проводит оценку, можно говорить о внутренней или внешней оценке. • Оценка внутренняя осуществляется теми же са мыми людьми, которые работают в организации. • Внешняя, или независимая оценка проводится приглашенным специалистом. При этом важно, чтобы он не только не работал в вашей организации, но и не был связан с ней от ношениями, которые можно расценить как конфликт интересов. Содержание данной публикации является предметом ответственности организации и ни при каких обстоятельствах не отражает позицию Гражданского форума ЕС-Россия и наших грантодателей. Секретариат в |