Цели, задачи и основания проведения экспертизы Специфичные задачи
 Скачать 4.41 Mb.
|
|
Методы опроса — методы, основанные на проведении анкетного опроса группы экспертов с последующим анализом и обработкой полученной от них информации. Целью этих методов является определение индивидуальной и групповой экспертной оценки для принятия окончательных решений. Основанием для выбора этих методов служит необходимость принятия сложных решений в ситуации неопределенности или составление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области {1ЛЙ многих областях знаний (например, знаний однородной группы товаров или всех продовольственных либо непродовольственных товаров). Важнейшими инструментами методов опроса служат его процедура и анкеты. Разработка процедуры опроса проводится после формулирования целей и задач, формирования группы аналитиков. Для этого составляются анкеты (открытые и закрытые) и определяются методы опроса (индивидуальные и групповые, очные и заочные). Существуют определенные методики составления анкет, которые целесообразно учитывать при их разработке. При разработке анкет группа аналитиков должна предусмотреть уровень детализации проблемы, который определяется спецификой и целями экспертизы. От уровня детализации зависит достоверность результатов экспертизы, причем с ростом степени детализации согласованность экспертных оценок, как правило, увеличивается. Однако излишняя детализация проблемы может привести и к снижению надежности информации, полученной от экспертов. Детализация проблемы осуществляется путем включения в анкету тестов (закрытых вопросов) с элементами готовых ответов или без ответов (открытых вопросов). Элементы готовых ответов в дальнейшем позволяют облегчить обобщение и формализацию ответов экспертов, но и ограничивают информативность оценки одним или несколькими альтернативными ответами, при этом возникает опасность навязывания эксперту ответов. При включении в анкету открытых вопросов эксперт может дать ответ в любой форме и с любым объемом информации. В этом случае появляется возможность обнаружения с помощью экспертов новых, порой неожиданных для аналитиков аспектов проблемы. Конкретный вопрос с определенным набором готовых альтернативных ответов называется признаком анкеты. Набор ответов может быть качественного и количественного характера. При качественном характере набора ответов задача эксперта заключается в выборе из предлагаемых элементов ответов, которые, по его мнению, наиболее полно отражают суть проблемы по данному вопросу. При количественном Характере набора ответам на вопросы присваивают числовые значения. При подборе признаков, которые желательно включить в анкету нельзя допускать возможность двойного толкования вопросов. Поэтому полезно проверить анкету самими аналитиками. Если распределение суждений по некоторому признаку имеет значительное стандартное отклонение, можно предположить, что данный признак двусмыслен. Все вопросы в анкете можно разделить в зависимости от их содержания на три группы:
Выбор того или иного способа проведения экспертного опроса определяется целями экспертизы, затратами на ее проведение и ожидаемыми результатами, а критериями выбора служат объективность, информированность и трудоемкость. Критерий объективности. Хотя требование объективности эксперта является одним из основных, однако на практике на экспертов может быть оказано определенное влияние. Оно может носить конформный или авторитарный характер и играет отрицательную роль, так как мнение и оценка эксперта формируются под влиянием факторов, не относящихся к свойствам товаров или других объектов экспертизы. В связи с этим при выборе способов проведения опросов экспертов предпочтение следует отдавать тем из них, при которых конформное или авторитарное влияние проявляется в меньшей степени. К таким способам относятся, например, анонимное обоснование оценок, отсутствие контактов между экспертами, закрытое голосование. При вынесении коллективной экспертной оценки обычно не происходит беспристрастного и последовательного анализа проблем. Оценка основана на компромиссе между суждениями отдельных экспертов, поэтому способ коллективной экспертной оценки редко применяется при опросе экспертов.  Рис. 17. Классификация способов экспертного опроса Критерий информированности относится к важнейшим факторам, влияющим на качество эксперта, а также на надежность принимаемых им оценок. Повышению информированности экспертов способствует их взаимное обогащение в ходе обсуждения оценок Логические доводы других экспертов, сообщаемая при этом дополнительная информация, ранее неизвестная другим экспертам, позволяют повысить уровень информированности, за счет чего эксперт может скорректировать свою оценку. Исходя из этого, наиболее удачными по критерию информированности являются способы, содержащие информацию об оценках других экспертов. Существуют также личные контакты между экспертами, происходит дискуссионное обсуждение оценок и персональное обоснование их. Поэтому при организации работы постоянных экспертных групп целесообразен обмен информацией, поскольку он способствует слаженной работе экспертов. При создании временных экспертных групп обмен информацией и коллективное обсуждение рекомендуются только в тех случаях, когда проведены оценка и отбор экспертов на объективность корректирования своих суждений (отсутствие конформизма). Во всех случаях при учете критерия информированности экспертов не следует забывать о создании условий для их объективности и исключения конформного или авторитарного влияния. Критерий трудоемкости зависит от количества проводимых операций, их продолжительности и характера. Так, при письменном обосновании оценок эксперт затрачивает больше времени, чем при устной дискуссии. Эффективность экспертного опроса в значительной степени зависит от способов и техники выявления суждений экспертов. Способы и техника опроса экспертов. При индивидуальном опросе технический работник проводит опрос каждого эксперта, а при групповом — сразу всей группы. Результаты индивидуального опроса после обобщения и соответствующих расчетов могут быть использованы для установления групповых оценок. Однако групповая оценка может быть получена и в результате индивидуального опроса лидера и сублидера экспертной группы. Индивидуальный опрос каждого эксперта в группе связан с повышенной трудоемкостью, значительными затратами времени и разбросом суждений, что затрудняет выявление объективной и достоверной экспертной оценки. При индивидуальном опросе лидеров и сублидеров экспертной группы и особенно отдельных экспертов затраты времени на опрос меньше, однако вероятность конформизма среди членов группы и проявления авторитарных мнений лидера и сублидера больше. В зависимости от технических приемов анкетирования индивидуальный опрос делится на следующие разновидности: интервью, интервью-анкеты, анкетирование и смешанное анкетирование. Достоинства и недостатки этих способов указаны в табл. 5. Индивидуальный способ опроса делится на разновидности в зависимости от применяемых технических приемов. Таблица 5 Достоинства и недостатки разных способов опроса экспертов
Интервью — разновидность опроса эксперта для выявления его оценки в ходе свободной, но проводимой по определенной программе беседы с экспертом. Интервью-анкета — разновидность опроса эксперта путем постановки перед ним конкретных вопросов в определенной последовательности, задаваемых в форме анкеты. Анкетирование — разновидность опроса экспертов с помощью вопросов анкеты, на которые эксперт дает письменные ответы. Чаще всего анкетирование проводится заочным методом без контакта с рабочей группой. Для повышения степени информированности эксперта к анкете прилагается пояснительная записка. Смешанное анкетирование — разновидность опроса эксперта с помощью анкет и дополнительного инструктажа членом рабочей группы. Целью инструктажа являются уточнение деталей, постановка дополнительных вопросов (при необходимости). По информативности наибольшими возможностями обладают такие методы, как интервью, интервью-анкета и смешанное анкетирование, а по объективности — анкетирование. Минимальная объективность свойственна интервью. Однако, исходя из разных целей экспертизы, на практике может применяться любой из указанных способов. При этом предпочтение одной из указанных разновидностей отдается в следующих случаях:
При проведении опроса экспертов необходимо соблюдать общие и специфические требования к условиям опроса. Общие требования к условиям опроса:
создание и поддержание оптимальной трудоемкости опроса путем выполнения экспертами только творческих, наиболее сложных оценочных операций и передачи вспомогательных расчетных, графических, других операций техническому персоналу рабочей группы; понимание экспертом задаваемых ему вопросов с помощью необходимого инструктажа, а в отдельных случаях и предварительного, тренировочного опроса; постановка четко сформулированных вопросов, не имеющих двусмысленного характера и не требующих больших дополнительных пояснений; использование общепринятых терминов, по мере возможности стандартизированных, а при их отсутствии разъяснение новых или неоднозначно применяемых терминов. Специфические требовании: а) к технике интервьюирования - предпочтительное использование стандартизированного интервью, - доверительность начала интервью, располагающая к откровенности, - быстрота и экономичность при кодировании ответов эксперта членами рабочей группы; - провоцирование экспертов на аргументацию своих оценок путем оспаривания его ответа; б) к технике анкетирования - обеспечение четкого и однозначного понимания экспертами характера выполнения операций путем приложения к каждой анкете пояснительной записки с определением целей и задач экспертизы, - методов и последовательности выполнения операций; - единообразие в составлении анкет и пояснительных записок для облегчения работы с ними; - случайный характер перечисления свойств, которым эксперт должен дать числовые оценки, причем эксперты должны быть предупреждены об этом, в противном случае может иметь место бессознательное завышение оценок свойств, стоящих в списке первыми. Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколько экспертных методов, получивших наибольшее признание и распространение. К ним относятся методы Дельфы, ПАТТЕРН и комбинированный. Метод Дельфы (в некоторых источниках — Дельфи) — метод опроса экспертов, основанный на последовательно осуществляемых процедурах, которые направлены на формирование группового мнения по процедурам с недостаточной информацией. Название метода произошло от древнегреческого города Дельфы, где жили оракулы, предсказывающие будущее. Особенностями метода Дельфы являются отказ от совместной работы экспертов; анонимность оценок; регулирование обратной связи; групповой ответ. Отказ от совместной работы экспертов и анонимность достигаются тем, что каждый эксперт высказывает свое мнение в анкете, без группового обсуждения. Применяются и другие технические приемы индивидуального опроса, например, ответы на вопросы вводятся экспертами в компьютер. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются статистическими методами и доводятся до сведения экспертов. Это позволяет уменьшить разброс индивидуальных оценок и получить групповой ответ, правильно отражающий мнение каждого эксперта. Количество туров (до четырех) зависит от того, насколько быстро удается добиться сближения оценок экспертов в группе. Анонимность опроса позволяет уменьшить конформное и авторитарное влияние отдельных доминирующих экспертов, а регулируемая обратная связь уменьшает влияние индивидуальных и групповых интересов. Введение обратной связи также повышает критерий объективности и надежность оценок. Проведение опроса в несколько туров с информированием экспертов о результатах предыдущих этапов работы, после которых каждый эксперт должен обосновать свое мнение, позволяет уменьшить колебания в индивидуальных и групповых ответах. Это дает неоспоримые преимущества по сравнению с обычным усреднением индивидуальных оценок. При использовании метода Дельфы к процедурам опроса предъявляются следующие требования: - поставленные вопросы должны допускать возможность выражения ответа в виде чисел; - достаточная информированность экспертов для выставления оценок; - наличие обоснований эксперта на каждый из заданных вопросов. Достоинством рассматриваемого метода является повышение критерия объективности за счет анонимности ответов экспертов, благодаря чему мнение эксперта не искажается вследствие внушения или приспособления к мнениям других экспертов. Кроме того, возрастает и информированность экспертов за счет ознакомления с оценками других экспертов после окончания очередного тура, а также обоснования собственных оценок. Выявление преобладающих мнений позволяет сблизить точки зрения разных экспертов, сформировать групповое, но не единое, мнение. Недостатки метода, проявляющиеся на начальном этапе его применения, — нестабильность состава экспертных групп, значительные разрывы во времени между турами, нечеткие формулировки вопросов, недоучет разной компетентности экспертов, необоснованность выбранного метода усреднения экспертных оценок — были частично устранены путем разработки модификаций этого метода (метод СИИР, Дельфы — Перт и др.). В результате этого метод Дельфы в настоящее время стал одним из наиболее применяемых, особенно для Целей прогнозирования, а также при изучении ряда экономических и социальных проблем. При использовании данного метода для целей экспертной оценки качества потребительских товаров проявляются следующие его недостатки: сложность опроса экспертов и заполнения анкет, трудоемкость оценки в связи с большим количеством показателей качества (иногда до 20—40) и заполнением нескольких анкет (3—10), громоздкость пояснительных записок из-за отсутствия прямого контакта организатора с экспертами. Из-за указанных недостатков использование метода Дельфы при экспертной оценке качества товаров затруднено, а в некоторых случаях и нецелесообразно. Однако он перспективен для получения групповой экспертной оценки и углубленного анализа событий в ситуациях неопределенности. Метод ПАТТЕРН — метод опроса экспертов, основанный на построении иерархической структуры — дерева целей и вынесении решения этих целей после открытого обсуждения. Название метода складывается из первых букв английских слов, означающих «Помощь планированию посредством количественной оценки технических данных». Метод был разработан в 1962-1964 гг. в американской фирме «Хоннуел» для оценки проектов новых систем вооружения. Данный метод предусматривает несколько этапов.
В результате такого деления получается иерархическая структура связанных друг с другом основных, вторичных проблем и задач, называемая деревом целей.
Такое открытое обсуждение наряду с достоинством (взаимодействие экспертов, стремящихся к принятию положительного решения) имеет и недостаток из-за конформизма, т. е. искажения действительного мнения экспертов за счет внушения или приспособления к мнению большинства.
Достоинством метода ПАТТЕРН по сравнению с методом Дельфы является упрощение процедуры экспертного опроса. Однако метод имеет и ряд недостатков: отсутствие обоснований оптимального числа членов экспертной группы, а также методики отбора в экспертную группу компетентных специалистов; обработка результатов опроса без учета различий в качестве отдельных экспертов; отсутствие барьеров для проявления конформизма экспертов; недостаточная разработка и неопределенность принципов построения дерева целей. Поскольку методы Дельфы и ПАТТЕРН имеют существенные недостатки и не отвечают полностью целям экспертной оценки, Э.Л. Райхман и Г.Г. Азгальдов предложили комбинированный метод, в котором были использованы положительные особенности других экспертных методов и исключены их недостатки [30]. Комбинированный метод — метод, основанный на сочетании индивидуальных и коллективных экспертных оценок. При экспертной оценке товаров комбинированный метод имеет следующий алгоритм операций:  Достоинствами комбинированного метода, наряду с вышеперечисленными, являются также достаточная гибкость, позволяющая исключить ошибки при опросе экспертов и повысить достоверность результатов экспертизы, четкое определение стратегии путем классификации задач по степени значимости и операций по их выполнению, высокая воспроизводимость результатов. К недостаткам метода относится многооперационность, требующая значительных затрат времени и средств. Однако этот недостаток окупается высокой достоверностью и воспроизводимостью результатов. Автор не ставит своей целью подробное описание каждого метода. Для этого существует специальная научная литература [30], в которой подробно рассматриваются экспертные методы, в том числе и комбинированный. Однако один из элементов, общий для многих экспертных методов, все же целесообразно рассмотреть подробно. Речь идет о коэффициенте весомости. |