Методы оценки компетентности и согласованности группы. Методы оценки компетентности и согласованности группы экспертов
 Скачать 86 Kb.
|
|
§ 7. Методы оценки компетентности и согласованности группы экспертов Метод экспертных оценок основан на обработке результатов группы экспертов, причем результаты опроса являются единственным источником информации для принятия решений. Данный подход направлен на использование интеллектуального потенциала экспертов. В этом случае возникает возможность использования интуиции, жизненного профессионального опыта участников опроса. Применение метода экспертных оценок связано с решением ряда специфических проблем, от успешного решения которых зависит эффективность данного подхода. К числу таких проблем относятся формирование группы экспертов и организация их опроса. Непредвзятое, нестандартное мнение часто является наиболее ценным. Иногда полезны некоторые формальные характеристики экспертов, к числу которых можно отнести следующие: Компетентность. Зависит от характеристик профессионализма, числа публикаций, ученой степени, должности, цитируемости трудов. Возможна оценка компетентности самими экспертами. Применяется многоэтапное оценивание экспертов с отсеиванием. Такие оценки всегда относительны по отношению к группе экспертов. Предельные значения коэффициентов компетентности являются компонентами собственного вектора, соответствующего максимальному собственному числу нормированной матрицы опроса. Наиболее достоверной является апостериорная оценка компетентности, но она возможна не всегда, например, в случае однократного применения. Креативность – способность к нестандартным подходам к решению различных проблем. Отношение эксперта к экспертизе. Конформизм – неустойчивость оценки эксперта, сильная зависимость от внешних факторов, таких как суждения других экспертов, условий проведения опроса. Аналитичность и широта мышления связаны с креативностью. Прагматизм мышления. Умение вести дискуссию. Самокритичность эксперта. Представленный перечень характеристик экспертов может служить лишь ориентиром при подборе экспертов и не исключает применение других критериев. Опрос экспертов тоже является существенным элементом получения качественной информации. В зависимости от целей и методов обработки результатов опроса применяют различные способы организации работ экспертов, касающиеся их взаимных контактов, анонимности опроса, дозирования информации и т.п. Выделяют два уровня использования экспертных оценок: качественный и количественный. Применение экспертных оценок в тех областях, когда могут быть использованы инструментальные средства и информационные технологии, нередко обусловлено неумением правильно ими пользоваться. Причинно-следственный анализ, результатом которого является оценка, неразрывно связан с личностью эксперта; другой эксперт, поставленный перед той же проблемой, может прийти к другим оценкам. Оценки сложных объектов должны выполняться экспертами высокой квалификации. Оценки «средних» экспертов обычно основаны на традиционных, привычных представлениях. В сложных случаях они часто оказываются ошибочными. Уменьшить риск субъективности суждения можно, если обратиться к группе экспертов, которые могут обсуждать и согласовывать свои оценки. Полагают, что согласованность действий экспертов обеспечивает высокое качество экспертизы. Это не всегда верно. Известны случаи, когда именно эксперты, не согласные с мнением большинства, давали верные оценки. Существуют также более нестандартные подходы к организации работы экспертов, к числу которых можно отнести так называемый метод мозгового штурма. Этот метод предполагает специальную психологическую подготовку группы экспертов, направленную, например, на то, чтобы выработать у экспертов убежденность в разрешимости поставленной проблемы. Но подобные подходы связаны с большими потерями времени и средств и, как правило, редко применяются в экономическом анализе. При отборе экспертов необходимо также провести и их оценку. Помимо формальных квалифиционных требований, подтверждаемых дипломами об образовании, наличием лицензий и сертификатов, можно провести тестирование самооценку, взаимную оценку экспертов. Тестирование состоит в решении экспертами задач, с известными организаторам тестирования, но неизвестными экспертам результатами. Самооценка. Опыт показывает, что компетентность эффективно оценивается с помощью регламентированной самооценкиэкспертов. Показатели самооценки получаются на основе группы вопросов. Эксперту можно предложить проставить себе балл по десятибалльной шкале, ориентируясь на следующие значения баллов: 10 – эксперт специализируется по данному вопросу, имеет по нему успешно завершенные и используемые на практике разработки и практический опыт; 8 – в решении проблем по данному вопросу эксперт участвует, но этот вопрос не входит в сферу его узкой специализации; 5 – вопрос входит в сферу, тесно связанную с узкой специализацией эксперта, но в работе по данному вопросу он не участвует; 3 – вопрос не входит в сферу, тесно связанную с узкой специализацией эксперта. Согласно полученной по десятибалльной шкале оценке для каждого эксперта определяется весовой коэффициент путем деления оценки на 10 баллов. Значения этих коэффициентов интерпретируются как вероятность верной оценки и находятся в диапазоне от 0 до 1. Окончательный результат экспертной оценки при этом будет определяться как среднее арифметическое взвешенное:  , (14)где  - окончательный результат экспертной оценки; - оценка, которую дал объекту  -ый эксперт; - весовой коэффициент -ого эксперта; - общее число экспертов. Оценка экспертов в группе. Компетентность экспертов может быть определена самими же экспертами в этой группе. Для этого каждый эксперт, входящий в группу, присваивает весовые коэффициенты всем остальным экспертам, кроме себя. Оценка компетентности каждого эксперта определяется как среднее арифметическое весовых коэффициентов. При каждом новом опросе группы следует пользоваться полученными ранее результатами для уточнения характеристик компетентности экспертов. Согласованность мнения экспертов обычно считают важной характеристикой качества результатов. Согласованность рекомендуют оценивать по величине коэффициента конкордации Кендалла: , (15)где  - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего арифметического рангов; - число экспертов; - число объектов экспертизы.Коэффициент конкордации изменяется в диапазоне  , причем 0 соответствует несогласованности, а 1 соответствует полной согласованности. Если значение коэффициента конкордации превышает 0.4 – 0.5, то качество оценки считается удовлетворительным, если  0.7 – 0.8 – высоким. Проверка статистической значимости коэффициента конкордации. Для выяснения вопроса, как сильно отклоняться от нуля выборочные значения  в ситуации, когда значение теоретического коэффициента W(m) свидетельствует о полном отсутствии ранговой связи между анализируемыми переменными  , при малых значениях и ( ) можно воспользоваться табулированными значениями вероятности  , где (16).Если оказывается, что эта вероятность меньше принятого уровня значимости, то гипотеза об отсутствии связи отвергается. Таблица критических значений W(m) построена следующим образом: в ней при уровне значимости  в соответствии  даны критические значения величина S, т.е. такие значения, при превышении которых следует отвергнуть гипотезу об отсутствии связей.При  для проверки статистической значимости анализируемой связи можно воспользоваться фактом  – распределенности величины  , справедливым в условиях отсутствия связи в генеральной совокупности. Поэтому, если окажется, что  ,то гипотеза об отсутствии ранговой связи отвергается при уровне значимости  .Наличие статистической значимой ранговой связи между несколькими переменными можно проверить также, основываясь на том, что распределение величины  приближенно описывается Z –распределением Фишера с числом степеней свободы числителя  и знаменателя  . Строгих рекомендаций по построению доверительных интервалов для W пока не имеется. |