Экспертные оценки. Тема 2 Экс. оценки-1 (1). Тема экспертные оценки. Методы и применение
 Скачать 0.92 Mb.
|
|
Тема 2. ЭКСПЕРТНЫЕ ОЦЕНКИ. МЕТОДЫ И ПРИМЕНЕНИЕ Методы экспертных оценок представляют собой комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений. Применение методов экспертных оценок обеспечивает активное и целенаправленное участие специалистов на всех этапах принятия решений, что позволяет существенно повысить их качество и эффективность. Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной и качественной оценкой суждений и формальной обработкой результатов. 2.1. Методологические основы и предпосылки применения методов экспертных оценок Методологические основы экспертных методов заключаются в получении от специалистов-экспертов недостающей информации (в виде количественных и качественных оценок), обработке и использовании собранной информации для подготовки и принятия решений. Практика показала, что даже простые статистические методы в сочетании с экспертной информацией при выборе перспективных решений часто приводят к более успешным результатам, чем «точные» расчеты с ориентацией на средние показатели. Основные трудности, возникающие при поиске и выборе решений, обусловлены, прежде всего, недостаточно высоким качеством и неполнотой имеющейся информации. Характерными особенностями метода экспертных оценок как инструмента решения сложных неформализуемых проблем являются, во-первых, грамотная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при обработке результатов. Эти две особенности отличают метод экспертных оценок от традиционной экспертизы. Методы опроса экспертов основываются на использовании принципа «хорошего измерителя». Данный принцип опирается на следующие гипотезы: – эксперт является хранилищем большого объема рационально обработанной информации (знания, опыт, интуиция), и поэтому он может рассматриваться как качественный источник информации; – групповое мнение экспертов близко к истинному решению проблемы. При выполнении этих гипотез для построения процедур опроса и алгоритмов обработки можно использовать результаты и методы теории измерений и математической статистики. Проблемы, в отношении которых нет уверенности в выполнении указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хорошие измерители». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых в первом случае, может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнения группы, может оказаться правильным. В связи с этим для проблем этого класса в основном должна применяться качественная обработка информации. В процессе принятия решений принимают участие ЛПР, эксперты (Э), консультанты (К). Увеличение достоверности прогноза достигается привлечением к работе нескольких специалистов, образующих экспертную группу. Обработка результатов групповой экспертизы позволяет получить более обоснованные и достоверные результаты прогнозирования. В процессе планирования, рассматриваемого с позиций принятия решений, роль экспертов сводится к описанию проблемной ситуации, ее уточнению с помощью возможных альтернативных ситуаций, определению множества целей планирования и множества вариантов плана. Предпочтения экспертов на множестве планов, целей и ситуаций могут выражать различные стороны оценки качества планов: степень достижения целей планирования, сроки выполнения, затраты финансовых, материальных и трудовых ресурсов. При определении целей эксперты могут давать оценку их относительной важности и устанавливать зависимость между ними. При использовании метода экспертных оценок в различных задачах возникают свои проблемы. Основными из них являются: организация экспертной процедуры, отбор экспертов, проведение опроса, обработка результатов опроса, поиск и исключение противоречий и ошибок. 2.2. Основные типы шкал и методы проведения экспертизы Экспертное оценивание представляет собой процесс измерения (оценивание), который можно определить как процедуру сравнения объектов (альтернатив) по выбираемым показателям. Процедура сравнения включает в себя определение отношений между объектами, способ их сравнения. Способ сравнения определяет, например, сравнение всех объектов последовательно с одним объектом или сравнение всех объектов друг с другом в произвольной последовательности. Для сравнения объектов между собой выбираются критерии сравнения. Критерии отражают различие свойств объектов и часто измеряются в разных единицах. Деление их на количественные и качественные происходит в соответствии с характером измерения. Если при измерении можно указать, какой из объектов предпочтительнее, а также определить, на сколько или во сколько раз один объект лучше другого, то целесообразно использовать количественные оценки критерия. Такие оценки выражаются числами и являются более полными и информативными, чем качественные, позволяющие лишь упорядочить объекты по предпочтению. На выбор критерия сравнения объектов существенно влияет тип шкал, в которых измеряют показатели объектов. Основные типы шкал, присущие количественным и качественным измерениям. Шкала отношений это наиболее информативная шкала. В этой шкале числа отражают отношения свойств альтернатив (объектов), т. е. во сколько раз одна альтернатива лучше другой. В ней можно проводить различие между альтернативами, упорядочивать их по предпочтению. Допустимым преобразованием шкалы отношений является преобразование подобия:  , где  – оценка в исходной шкале,  – масштабный коэффициент,  – преобразованное значение в новой шкале.Шкала интервалов применяется для отображения величины различия между свойствами альтернатив. Допустимым преобразованием для шкал таких типов является линейное преобразование:  ( – константа). Данная шкала отличается от шкалы отношений тем, что начало отсчета (нулевую точку) вводят условно. Примером критерия, задаваемого в шкале интервалов, служит температура. Ее можно измерить в шкалах Фаренгейта (оF), Цельсия (оC), Кельвина (оK), связь между которыми линейна. В шкале интервалов исследуемые альтернативы можно различать, сравнивать количественно и определять, на сколько условных единиц одна лучше другой.Шкала порядка применяется для измерения и упорядочения альтернатив по одному или по совокупности признаков. Примером шкалы порядка является шкала твердости минералов. Шкала порядка широко используется при экспертном оценивании для упорядочения альтернатив. Для этой шкалы допустимым является любое монотонное преобразование. Числа в шкале порядка отражают только порядок следования альтернатив и не дают возможности сказать, на сколько или во сколько раз одна альтернатива предпочтительнее другой, т. е. осуществляет только качественное сравнение альтернатив. Шкалы порядка используют обычно тогда, когда измерение качества альтернатив проводится не с помощью приборов, а экспертами. При этом объекты ранжируют, т. е. располагают в соответствии с возрастанием или убыванием интенсивности проявления оцениваемого свойства. Затем объектам приписывают баллы или ранги, например большей интенсивности большой балл или меньший ранг. Шкала наименований или номинальная шкала – это наименее информативная шкала, по которой альтернативы лишь относятся к определенным классам, классифицируются. Перейдем к рассмотрению методов экспертного оценивания. Обобщенный алгоритм экспертизы 1. К находит множество допустимых оценок  , в котором содержится искомая оценка.2. К определяет множество допустимых оценок  , из которого Э осуществляют выбор.3. Э дают оценку альтернативам, взаимодействуя с другими Э по определенному регламенту. 4. Вычисляется групповая оценка. 5. Возврат к одному из предыдущих пунктов с предъявлением части полученной информации. К наиболее распространенным методам измерений при экспертизе относятся ранжирование, непосредственная оценка, парное сравнение. Для описания перечисленных методов предположим, что имеется конечное число измеряемых альтернатив  , сформулированы показатели сравнения (критерии)  , по которым осуществляется сравнение альтернатив. Методы измерения различаются процедурой сравнения, которая включает построение отношений между альтернативами эмпирической системы, выбор функции, отражающей альтернативы эмпирической системы на числовую систему, и определением типа шкалы измерений.Ранжирование представляет собой процедуру упорядочения альтернатив, выполняемую экспертом в шкале порядка. На основе своих знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими показателями сравнения. Этот вид оценки позволяет выбрать из исследуемой совокупности факторов наиболее существенный. Сущность процедуры ранжирования заключается в следующем. При ранжировании эксперт должен расположить альтернативы в порядке, который представляется ему наиболее рациональным, и приписать каждой из них числа натурального ряда – ранги. При этом ранг  получает наиболее предпочтительная альтернатива, а ранг  – наименее предпочтительная. Следовательно, порядковая шкала, используемая для ранжирования, должна удовлетворять условию равенства числа рангов числу ранжируемых альтернатив .Пусть среди альтернатив нет одинаковых по сравниваемым показателям, т. е. нет эквивалентных альтернатив. В этом случае между альтернативами существует только отношение строгого порядка, обладающего свойствами несимметричности (если  , то  , где  ,  соответственно – знак предпочтительности (лучше) и непредпочтительности (не лучше)), транзитивности (если ,  , то  ) и связанности (для  выполняется либо , либо  , либо  ( – знак эквивалентности)). В этом случае в результате сравнения всех альтернатив эксперт составляет упорядоченную последовательность:  , где  – наиболее предпочтительная альтернатива,  – менее предпочтительна, чем , но предпочтительнее всех остальных, и т. д.Пусть теперь среди альтернатив будут эквивалентные. Это означает, что кроме отношения строгого порядка между некоторыми альтернативами возможно отношение эквивалентности, например:  .В таких случаях эквивалентным альтернативам присваивают так называемые связанные ранги. Значения связанных рангов определяются как среднее суммы мест, поделенных между собой альтернативами с одинаковыми рангами. Для приведенного выше примера имеет место следующая запись результатов ранжирования в виде рангов:  ,  ,  .Таким образом, сумма рангов, получаемая в результате ранжирования альтернатив, будет равна сумме чисел натурального ряда ( ).При групповой экспертной оценке каждый  -й эксперт присваивает каждой  -й альтернативе ранг  В результате проведения экспертного оценивания получается матрица рангов  ,  ,  , размерности  , где  – число экспертов, а – число альтернатив. Для каждой альтернативы подсчитывают сумму рангов:  . Затем, исходя из величины  , устанавливают результирующий ранг для каждой альтернативы. Наивысший (первый) ранг присваивают альтернативе, получившей наименьшую сумму рангов, и, наоборот, альтернативе, получившей наибольшую сумму рангов, присваивают самый низкий ранг. Остальные альтернативы упорядочивают в соответствии со значением суммы рангов относительно альтернативы, которой присваивается первый ранг.Ранги альтернатив определяют только порядок их расположения по показателям сравнения. Ранги как числа не дают возможности сделать вывод о том, на сколько или во сколько раз предпочтительнее одна альтернатива по сравнению с другими. Достоинством ранжирования как метода оценивания (измерения) является простота осуществления процедур. Недостаток этого метода заключается в том, что с увеличением числа альтернатив резко снижаются точность и надежность метода. Метод непосредственной оценки представляет собой процедуру приписывания альтернативам числовых значений в шкале интервалов. Диапазон изменения какой-либо переменной разбивается на несколько интервалов, каждому из которых присваивается определенная оценка (балл), например от 0 до 5. Задача эксперта заключается в помещении каждой из рассматриваемых альтернатив в определенный оценочный интервал либо в соответствии со степенью обладания тем или иным свойством, либо в соответствии с представлениями эксперта об их значимости. Метод парных сравнений. Трудности использования ранжирования, непосредственной оценки при выявлении предпочтений для большого числа альтернатив можно в определенной степени уменьшить, предложив экспертам произвести сравнение этих альтернатив попарно, с тем чтобы установить в каждой паре наиболее важную. При сравнении пары альтернатив возможны отношения либо строгого порядка, либо порядка и эквивалентности, что доводится до сведения экспертов. Парное сравнение альтернатив является измерением в шкале порядка. В результате сравнения пары альтернатив  ,  эксперт упорядочивает эту пару, высказывая, что либо , либо , либо . Выбор числового представления  естественно произвести так, что если , то  , если предпочтение в паре обратное, то  , а если объекты эквивалентны, то естественно полагать, что  .Основной элементарный акт – сравнение двух альтернатив одним экспертом – можно распространить на случай, когда несколько экспертов рассматривают более двух альтернатив. Рассмотренные методы экспертного измерения обладают различными качествами. Опыт их использования показывает, что в ряде случаев наиболее эффективным является комплексное применение этих методов для решения поставленной задачи. При этом следует учитывать, что наиболее простым методом, требующим минимальных затрат, является ранжирование. Метод парного сравнения без дополнительной обработки результатов измерений и ряда ограничений не дает полного упорядочения объектов. |