Решение 36р от 09. 06. 2007 Москва 2008 ббк 60. 5 Р 74 Учебное пособие подготовлено при поддержке Рособразования по аналитической ведомственной целевой программе Разви
 Скачать 2.38 Mb.
|
|
Оценка программ и проектов Помимо оценки потребностей, в социальной работе проводится и оценка программ и проектов, а также оценка качества услуг. Одно из определений оценки – это экспертиза программ и проектов, направ- ленная на анализ работы программ, произведенного ими эффекта и сравнение этих результатов с определенными критериями (например, «что было – что стало после реализации программы» или «что стало – что должно было стать по плану программы»). Оценка программ – это всегда сравнение, по итогам которого выносится суждение о качестве программы, и разрабатываются рекомендации на будущее 2 Оценка – понятие растяжимое, распространяющееся на всевозмож- ные суждения. Оценивать можно все. Говорят об оценке различных про- грамм и политики в сфере образования, социального благосостояния, здоровья, жилья, юридических услуг, коррекции, экономического разви- тия, строительства автотрасс... Программы могут быть государственны- ми, федеральными, осуществляться на местном или международном уровне коммерческими или некоммерческими организациями. Они мо- гут быть направлены на изменение знаний, отношений, ценностей, по- ведения, организаций, институтов, сообществ. Их объединяет одна цель – улучшить жизнь людей 3 Согласно Федеральному закону от 10 декабря 1995 г. № 195-ФЗ «Об основах социального обслуживания населения в Российской Федера- ции», «социальное обслуживание должно соответствовать государст- венным стандартам, которые устанавливают основные требования к объемам и качеству социальных услуг, порядку и условиям их оказания» (статья 6). Эти стандарты утверждаются Правительством Российской Федерации, и требования, установленные ими, обязательны для соци- альных служб независимо от форм собственности на всей территории России. Однако в законе не раскрываются критерии качества и меха- низмы оценки эффективности социального обслуживания. 1 Смирнов С.Н., Колосницын И.В. Социальные обязательства государства: сокра- щение или реструктуризация? // Мир России. 2000. № 1 2 Как измерить успех программ развития города?Муниципальное экономическое развитие. М.: Фонд «Институт экономики города», 2002. 3 Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003. Оценочные исследования 133 Эффективность – степень успешности деятельности по достижению цели Проблема изучения качества и эффективности социального обслу- живания, качества социальной работы с различными группами пользо- вателей услуг, качества разнообразных социальных проектов, связанных с улучшением положения людей, очень важна. Теперь многие государ- ственные и общественные организации наряду с текущей деятельностью ведут и проекты по грантам, а также оказывают платные услуги. Про- ектная деятельность — инструмент развития; например, при выходе на новые группы потребителей или запуске новых видов услуг. Организа- ция работы по принципу проектов позволяет оценить, насколько успешна деятельность, достигаются ли запланированные результаты и в чем при- чины неудач, если таковые случаются. Для этого необходимо уметь от- слеживать, оценивать и представлять результаты своей деятельности 1 Будем считать программу комплексом мероприятий, разработан- ным, финансируемым и реализуемым на федеральном и региональном уровне. Более локальный уровень – конкретная организация или не- сколько организаций реализуют проекты. Фактически, проект представ- ляет собой ту же программу, но с меньшими масштабами. В дальнейшем будем оперировать более общим термином программа. В последние годы практически каждая из программ развития в России, разрабатываемых кабинетом министров и правительствами регионов, име- ет обязательный раздел, посвященный социальным эффектам и анализу эффективности. Он, по мысли разработчиков, должен отражать те факторы и показатели, по которым можно будет судить об эффективности проекта. Само по себе обсуждение таковой свидетельствует о более высоком уровне разработки социально значимых программ и проектов. Однако сущест- вующие на сегодня механизмы оценки эффективности недостаточно про- зрачны для представителей общественных организаций, внешних незави- симых экспертов. Эти механизмы требуется оптимизировать и делать дос- тупными как для государственных служб и учреждений, так и для неком- мерческих организаций, воплощающих проекты, связанные с социальным обслуживанием или развитием. Тогда будет возможно измерить результа- тивность деятельности в рамках проекта, предвосхищать и фиксировать ее прямой и косвенный эффект, оценивать качество оказываемых услуг, а также принимать меры по повышению их качества. Во многих странах мира в этих целях используются такие инструмен- ты, как мониторинг и оценка проектов. В зависимости от особенностей и хода реализации проекта организация могла бы применять тот или иной механизм, чтобы получить необходимую информацию (табл. 5) 2 Необходимо отметить, что оценка отличается от ревизии, проверки или экзамена, которых опасаются, видя в них нежелательные последст- вия. От недостатков не застрахована ни одна организация, но оценки, наряду со слабыми местами, позволяют выявить ресурсы, точки роста, удачи и достижения. Кроме того, ведь если не исследовать деятельность, то промахи трудно выявить, а следовательно, невозможно исправить. 1 Боровых А., Грешнова Е. Исследование эффективности проектов и программ благотворительных организаций // Благотворительность в России. Социальные и исторические исследования. СПб.: Лики России, 2001. 2 Там же. 134 Часть 4 Таблица 5. Механизмы получения информации Мониторинг Оценка Проводится непрерывно Проводится на ключевых этапах реализации проекта Модель принимается в существую- щем виде без изменений Модель подвергается анализу с це- лью оптимизации/улучшения Запланированные деятельность и результаты сравниваются с факти- ческими Анализируются причины достиже- ния/отсутствия запланированных результатов Полученная информация использу- ется для улучшения работы по про- екту Полученная информация может использоваться как для улучшения работы по данному проекту, так и для уточнения планов на будущее Оценка деятельности организации, по определению А. Бодунгена, — это процесс определения того, насколько организация или ее отдельная программа качественно и эффективно работает, приносит ли реальную пользу 1 Можно сказать, что оценка — поиск ответа на вопрос: успешно или не очень действует организация или программа. Текущий контроль дея- тельности — это мониторинг, в котором отслеживается, проведены ли все запланированные мероприятия, соблюдены ли планируемые вре- менные рамки, соответствуют ли расходы утвержденному бюджету, ох- вачено ли запланированное количество участников проекта. Существует целый ряд причин, по которым государственным и об- щественным организациям, предоставляющим услуги социальной рабо- ты различным клиентам или пользователям, полезно проводить оценку своей деятельности. Прежде всего, тогда сотрудники и администраторы организации обращают внимание и на достижения, и на неудачи, т. е. могут увидеть картину со всех сторон. В этом случае важно привлекать специалистов, владеющих навыками социологических исследований организаций, скорее даже независимых консультантов или экспертов, исследователей, которые могут обеспечить сторонний взгляд. Сами сотрудники, применяя исследовательские методы, могут стать более объективными по отношению к своей организации. Сотрудники, добровольцы и клиенты (потребители услуг) получат зримое подтвер- ждение того, что организация не работает «впустую». Благодаря оценке можно найти так называемые «критические точки», моменты, оказы- вающие решающее влияние на качество и эффективность работы; в дальнейшем, воздействуя именно на эти точки, менеджер и сотрудники организации сумеют добиться существенных положительных измене- ний, тем самым сэкономив ее силы, время и ресурсы. Оценка даст ра- ботникам и руководству повод задуматься о стандартах качества, к кото- рым следует стремиться их организации. С точки зрения потребителей услуг (благополучателей), спонсоров, партнеров — той среды, в которой действует организация, такая оценка 1 Бодунген А. Оценка деятельности НКО // Школа по оценке проектов. Новоси- бирск, 26-30 ноября 2001. Оценочные исследования 135 тоже имеет важный смысл. Прежде всего, пользуясь ее результатами, можно достаточно определенно ответить на вопрос: «Насколько хорошо работает эта организация?». В переговорах со своими потенциальными донорами социальная служба сможет привести факты и сравнительные характеристики, которые позволят понять, что же она собой представля- ет как организация и насколько эффективно работает. Периодическое проведение оценивания делает ее более привлекательным и надежным партнером. Некоторые типы доноров (например, фонды, дающие гран- ты) требуют включать в заявку на финансирование того или иного про- екта такой этап, как оценка. Оценка помогает увидеть реальное положение дел в организации, определить пути закрепления успехов и исправления недостатков. Вме- сто того, чтобы полагаться на суждения профессиональных наблюдате- лей, периодические отчеты сотрудников, человек, проводящий оценку, использует более методичные и точные научные методы социального исследования. При оценке ставятся четкие вопросы, проводится систе- матический сбор информации от разных людей, вовлеченных в про- грамму. Иногда полученные данные представлены с использованием количественных параметров («23% участников», «85 баллов»), в виде таблиц и диаграмм или в виде повествования. Затем делаются выводы о том, как была проведена программа, ее эффективности. Оценивать можно и политику – в частности, декларации государст- венных интересов, официально принятые заявления целей, связанные с определенной деятельностью, направленной на реализацию этих целей. В последние годы растет число работ о роли третьего сектора в развитии социального государства, роли регионов в решении вопросов социаль- ной защиты населения, проблемах взаимодействия коммерческих структур и учреждений социальной сферы. Значительно расширяются смысловые границы проблемы: речь идет об управлении системой со- циальной защиты, оценке эффективности учреждений, профессиона- лизме работников социальных служб, экспертизе федеральных целевых программ. Правда, пока еще отсутствуют четко определенные критерии оценки качества социального обслуживания в целом и результатов тру- да отдельных социальных работников. Такие критерии только обсужда- ются. Не решены полностью и вопросы о том, что учитывать при оценке целевых социальных программ – объемы и структуру финансирования, временные затраты, конечный результат или эффективность програм- мы, роль программ в выполнении федеральных законов и постановле- ний в области социального обслуживания; опираться ли на статистиче- ские данные, поступающие из регионов, проводить мониторинг дея- тельности учреждений или определять эффективность на основе прове- дения выборочных обследований социальных служб и их клиентов. За недостатком финансирования такие исследования проводятся от случая к случаю, носят эпизодический, фрагментарный характер. В регионах нет каких-либо единых инструментов или подходов к анализу этой дея- тельности, в том числе к оценке профессионализма работников соци- альных служб. Не все администраторы социальных служб могут точно объяснить, кто, какими методами и по каким индикаторам должен осу- ществлять измерение качества обслуживания. Особую актуальность в связи с этим приобретают теоретическое обоснование и критический анализ социальной политики и социальной работы, в частности в аспектах управления учреждениями и оценки эф- фективности деятельности организаций сферы социальных услуг, про- 136 Часть 4 ектов и программ, финансируемых из госбюджета и по грантам, сравни- тельное исследование процессов профессионализации социальной ра- боты и получение эмпирических данных о практике социальных служб. Региональный срез проблемы особенно важен в контексте децентрали- зации социального управления, а также в аспекте привлечения внима- ния научной общественности к анализу местного опыта. С одной сторо- ны, существуют общие тенденции и проблемы социального развития регионов России, с другой – вариативность и уникальность региональ- ного опыта, опосредованные рядом социокультурных факторов: локаль- ными социально-экономическими условиями, эффективностью соци- альной политики, практическими инициативами субъектов управления социальных служб, характером связи практики с системой социального образования и науки, возможностями международного сотрудничества. Сферы применения оценочных исследований многочисленны. Оценка может проводиться в организации: в этом случае полезно при- менять подходы, сложившиеся в организационной антропологии и со- циологии. Здесь важно учитывать особенности организационного кон- текста, в частности, те властные отношения, которые влияют на пози- цию респондентов. В организационных исследованиях активно приме- няются методы включенного наблюдения, анализа документов, интер- вью. Исследования организаций могут быть представлены следующими примерами: анализ проблем взаимодействия специалистов и клиентов в Центре планирования семьи, Центре помощи женщинам, семье и детям; изучение трудовых отношений и управления в частном бизнесе; социаль- но-психологическое самочувствие пациентов в медицинском учреждении. Выясняя явные и скрытые установки сотрудников, ценности организаци- онной культуры, механизмы власти и контроля, степень удовлетворенно- сти клиентов, исследователи могут проводить оценку эффективности, вы- рабатывать рекомендации по повышению качества обслуживания. В практике социальной работы и реализации социальной политики в силу сложности и многоплановости задач нет единой и общепризнан- ной методики оценки программ социально-экономического развития. В мировом сообществе оценщиков, принадлежащих к разным управлен- ческим и аналитическим школам, пока не сложилось единого термино- логического поля даже в тематике мониторинга и оценки проектов. По- этому говорить в настоящее время о создании универсальной для всех городов и для программ любого типа методики оценки программ вряд ли возможно. Можно говорить лишь о методических подходах к прове- дению оценки, определяющих общие принципы и логику оценочной деятельности. Но планировать оценку, выбирать ее параметры и спосо- бы их измерения необходимо в каждом конкретном случае отдельно. Мы ведем речь о систематической оценке процесса и/или резуль- татов программы или политики, сравниваемых с рядом явно выражен- ных или подразумеваемых стандартов. Такая оценка применяется в качестве средства, способствующего улучшению программы или поли- тики. Прежде всего, оценка является систематической – это значит, что она представляет собой исследование, выполненное в количественной или качественной методологии или же использующее сочетание разных методологий. При проведении оценки используется исследовательская терминология, например: качественные методы, количественные мето- ды, эмпирическое исследование, показатели, переменные, выборка, экс- периментальный дизайн, контрольная группа, случайная выборка, дос- товерность, надежность, измерение, отчет. Между оценкой и классическими академическими исследования- ми существуют сходные черты, поскольку и те, и другие направлены на Оценочные исследования 137 описание и анализ, понимание отношений между переменными и вы- явление причинных связей между ними. Кроме того, существуют про- межуточные формы – например, прикладные исследования, которые не являются оценочными, но их результаты так же востребованы на практике. Во всех случаях используются научные методы сбора данных: интервью, анкетирование, тестирование знаний и умений, описание отношений, наблюдение, анализ содержания документов, записей, изу- чение физических доказательств. Наиболее распространенная форма оценки – эксперимент с применением случайной выборки, включаю- щий измерение релевантных переменных, по меньшей мере, в двух аналогичных группах, одна из которых участвует в программе, а другая – так называемая контрольная группа – нет. Используется также изу- чение отдельно взятого случая (кейс стади), постпрограммные исследо- вания. За последние годы появилось множество изданий, публикую- щих статьи по оценке, методам оценки, ее этическим принципам и идеологии, возможностям применения результатов. В ряде случаев при планировании оценки следует иметь в виду более широкую аудиторию. Универсальной формулы проведения оценки не существует, по- скольку программы и организации весьма разнообразны. Многое зави- сит от того, как будет использоваться исследование: скажем, от того, необходимо ли для принятия решения или прояснения положения для лучшего понимания того, как работает программа. Многое, к сожале- нию, зависит от ограничений во времени, месте, доступности информа- ции, квалификации исследователей, отношений в исследуемой органи- зации. Играет роль и финансирование, которое существенно влияет на объем деятельности по оценке, а также продолжительность исследова- ния. Зачастую возможность оценивать негативные стороны или резуль- таты ограничивается заказчиком или руководством организации. При проведении оценки необходимо правильно поставить вопро- сы, выбрать форму исследования, суметь собрать и проанализировать информацию, проинтерпретировать полученные данные, кроме того, нужно уметь достигать компромисс с организацией или сотрудниками программы, но в то же время быть готовым защищать до конца те мо- менты, по отношению к которым компромисс невозможен. К тому же, необходимо иметь навыки распространения полученных результатов с целью улучшения политики и программ – готовить отчеты и оформ- лять их в публикации различных жанров. В зависимости от задач выделяют оценки результативности и эффективности. Оценка результативности — это экспертиза органи- зационного процесса выполнения программы, анализ при- чин отклонений в реализации программы от намеченных изначально целей. Оценка эффективности — сопос- тавление результатов программы с затраченными в ходе ее реализации ресурсами. Таким образом, в фокусе оценки могут оказаться процесс и/или ре- зультаты программы. Если оценка концентрируется на изучении про- цесса реализации программы, то внимание уделяется соответствию про- 138 Часть 4 граммы предписанному плану (замыслу) или тому, что происходит. Если же цель оценки – результат и эффект программы для ее бенефициариев, или благополучателей (т.е. тех людей или целевых групп, на улучшение жизни которых направлена программа). В этом случае пытаются найти ответ на вопрос: «Получают участники все то, что планировалось?» или «Как влияет на них программа?» Очень часто оценивают и процесс осу- ществления программы, и результаты 1 . Причем, результаты, или эф- фекты программы могут быть как прямыми, так и побочными, ожидае- мыми и неожидаемыми. Откуда же берутся стандарты для сравнения? Получив информацию о процессе и результатах, проводят оценку достоинств программы по сравнению с определенными ожиданиями. Независимо от того оценива- ется процесс или результаты, выражается мнение. К примеру, если про- водилась программа, направленная на уменьшение количества беременно- стей среди девушек подросткового возраста, эксплицитным стандартом бу- дет уменьшение количества беременностей среди участниц программы. Но оцениваться могут не только официальные цели программы, которые могли измениться во время осуществления программы. На данном этапе целью может быть обучение гигиене беременных. В таком случае критериями ста- новятся здоровье беременной и ребенка. Другие стандарты определяются ожиданиями других участников программы. Цели спонсоров, менеджеров, сотрудников и участников программы могут стать критериями оценки. Иногда оценка представляет определенную информацию о программе, оставляя за читателем право судить о ее достоинствах. Цель оценки, ее вклад в улучшение программы или политики опре- деляет критерии и методы оценивания. Оценка способствует улучшению программ и выделению средств на лучшие программы. Опираясь на ре- зультаты оценки, уполномоченные лица должны принимать мудрые ре- шения, а те, кто проводит оценку, получают удовлетворение от вклада в совершенствование программы. На оценочные исследования уходит больше времени и сил, по сравнению с интуитивной оценкой, которой нередко довольствуются руководители и сотрудники социальных служб, но они точнее, что особенно важно, если а) оцениваемый результат сло- жен, его трудно проследить, он состоит из множества разнообразных элементов; б) будущие решения важны и требуют больших материаль- ных затрат; в) данные необходимы для того, чтобы убедить людей в со- стоятельности выводов. В России осуществляется множество социальных программ и посто- янно появляется необходимость в новых. Это и программы помощи без- домным, ВИЧ-инфицированным и больным СПИДом, профилактики наркотизации среди молодежи. Некоторые новые программы являются логическим продолжением уже реализованных программ, а в другие внесены радикальные изменения. Осуществляя оценку, мы задаем сле- дующие вопросы: Как осуществляется программа? С какой целью ее про- водят? Осуществляется ли она в соответствии с намеченным планом? Каковы результаты, цели программы? Стоит ли она вложенных средств? Необходимо ли ее продолжать, расширять, урезать, менять, не доводить 1 Ваисс К. Оценка. Методы изучения программ и политики / Пер. с англ.: Про- грамма Тасис, 2003. Оценочные исследования 139 до конца? Каким образом определяются участники программы? Нужна ли она всем или только определенным людям? Если программу осуществляет частная компания, то многое может решать рынок: спрос на услугу среди населения и конкуренция между разными организациями, а качество услуг может влиять на уровень удов- летворенности пользователей и следовательно, на их выбор в пользу дан- ного или другого сервиса. Существует представление о том, что «рынок все расставит по своим местам», т.е. со временем плохие программы исчезнут с рынка, останутся только хорошие. Однако, если программу осуществляет государственная или некоммерческая организация, то удовлетворенность пользователей обычно не имеет большого значения: ведь программа может быть единственной в городе или районе, нацеленной на определенную группу людей, предоставляющая данный вид услуг бесплатно. В этом случае она будет осуществляться независимо от спроса и мнения клиентов. В свою очередь, частные фирмы могут организовывать подобные программы для своих сотрудников, при этом их качество тоже не зависит от того, насколько удовлетворен клиент. В то же время, многих организа- торов программ заботят вопросы, какой же эффект имеют государствен- ные или частные инвестиции. Соответствуют ли затраты тому качеству, которым характеризуются услуги? Получены ли ожидаемые результаты и соответствуют ли они поставленным целям? Насколько адекватны применяемые методы принципам программы? Можно ли уменьшить расходы, увеличить результативность? На эти вопросы трудно ответить, не проведя систематического оценивания. Применительно к социальной политике и социальной работе, оцен- ка – это ответ на вопрос, насколько успешна оцениваемая социальная программа. Однако ответить на вопрос «что такое успех программы» не так просто. Критерии успешности программы могут быть самыми раз- ными. Это зависит от того, кто заинтересован в проведении оценки про- граммы, какие результаты он хочет получить и как будет их использо- вать. Если к тому же учесть, что социальные программы весьма разно- образны, то возникает вывод, что один из важнейших атрибутов оценки и ее исходная точка – это цель оценки. Оценка социальной программы может быть вызвана самыми раз- ными потребностями, например: анализ хода выполнения программы; корректировка содержания программы (в том числе, уточнение целей и задач, переориентирование программы на реалистичные результаты); по- пытка активизировать работу по выполнению программы; повышение эф- фективности сбора данных; экспертиза дополнительных ресурсных по- требностей; анализ причин успехов и неудач выполнения программы; учет ошибок и недостатков программы при разработке других проектов; при- влечение внимания общественности; информирование лиц и организаций, принимающих решения; защита программы от критики; анализ разно- гласий среди исполнителей, возникших по ходу реализации программы. Оценку можно проводить на разных этапах реализации программы. Предварительную оценку – до начала запуска программы для анализа ее качества и соответствия потребностям города; промежуточную – во время реализации программы для оценки ее первичных результатов и корректировки в случае необходимости; обобщающую – после заверше- 140 Часть 4 ния программы для анализа ее результатов, учета ее недостатков и пре- имуществ при разработке следующих программ. Этап подготовки и планирования оценки столь же важен, сколь и ее результаты. Ключевое место в нем занимает структура (или дизайн) оценки. Структура оценки определяет состав и план работ, а также, ка- кая информация необходима для проведения оценки, как она будет полу- чена и с помощью каких методов будет обработана; сколько времени уйдет на проведение оценки и какие ресурсы понадобятся для ее проведения. Формативная оценка помогает менеджерам программ, практикам, специалистам, планирующим программу, улучшить программу в про- цессе ееразработки.Суммативная оценка проводится для предостав- ления информации по завершении программы или, по крайней мере, одного из ее циклов, касательно ее продолжения, прекращения, корен- ного изменения. Оценка процесса/результатов проводится в течение программы и по ее завершении. Эта информация может быть полезна для формативных целей 1 |