привет собака. Экспертные оценки при разработке решений
 Скачать 232.45 Kb.
|
|
110 Глава 7. Экспертные оценки при разработке решений 7.1. Метод экспертных оценок Возрастающая сложность управления организациями требует тща- тельного анализа целей и задач деятельности, путей и средств их достиже- ния, оценки влияния различных факторов на повышение эффективности и качества работы. Это приводит к необходимости широкого применения экспертных оценок в процессе формирования и выбора решений. Экспертиза как способ получения информации всегда использова- лась при выработке решений. Однако научные исследования по ее рацио- нальному проведению были начаты всего три десятилетия назад. Результа- ты этих исследований позволяют сделать вывод о том, что в настоящее время экспертные оценки являются в основном сформировавшимся науч- ным методом анализа сложных неформализуемых проблем. Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов. Обобщенное мнение группы экспертов принимается как решение проблемы. В процессе принятия решений эксперты выполняют информацион- ную и аналитическую работу по формированию и оценке решений. Все многообразие решаемых ими задач сводится к трем типам: формирование объектов, оценка характеристик, формирование и оценка характеристик объектов. Формирование объектов включает определение возможных событий и явлений, построение гипотез, формулировку целей, ограничений, вари- антов решений, определение признаков и показателей для описания свойств объектов и их взаимосвязей и т.п. В задаче оценки характеристик эксперты производят измерения достоверности событий и гипотез, важно- сти целей, значений признаков и показателей, предпочтений решений. В задаче формирования и оценки характеристик объектов осуществляется комплексное решение первых двух типов задач. Таким образом, эксперт выполняет роль генератора объектов (идей, событий, решений и т.п.) и из- мерителя их характеристик. При решении рассмотренных задач все множество проблем можно разделить на два класса: с достаточным и недостаточным информацион- ным потенциалом. Для проблем первого класса имеется необходимый объем знаний и опыта по их решению. Поэтому по отношению к этим про- блемам эксперты являются качественными источниками и достаточно точ- ными измерителями информации. Для таких проблем обобщенное мнение группы экспертов определяется осреднением их индивидуальных сужде- ний и является близким к истинному. 111 В отношении проблем второго класса эксперты уже не могут рас- сматриваться как достаточно точные измерители. Мнение одного эксперта может оказаться правильным, хотя оно сильно отличается от мнения всех остальных экспертов. Обработка результатов экспертизы при решении проблем второго класса не может основываться на методах осреднения. Метод экспертных оценок применяется для решения проблем про- гнозирования, планирования и разработки программ деятельности, норми- рования труда, выбора перспективной техники, оценки качества продук- ции и др. Для применения метода экспертных оценок в процессе принятия ре- шений необходимо рассмотреть вопросы подбора экспертов, проведения опроса и обработки его результатов. Эти вопросы излагаются в следую- щих параграфах. 7.2. Подбор экспертов В зависимости от масштаба решаемой проблемы организацию экс- пертизы осуществляет ЛПР или назначаемая им группа управления. Под- бор количественного и качественного состава экспертов производится на основе анализа широты проблемы, требуемой достоверности оценок, ха- рактеристик экспертов и затрат ресурсов. Широта решаемой проблемы определяет необходимость привлече- ния к экспертизе специалистов различного профиля. Следовательно, ми- нимальное число экспертов определяется количеством различных аспек- тов, направлений, которые необходимо учесть при решении проблемы. Достоверность оценок группы экспертов зависит от уровня знаний отдельных экспертов и количества членов. Если предположить, что экс- перты являются достаточно точными измерителями, то с увеличением чис- ла экспертов достоверность экспертизы всей группы возрастает. Затраты ресурсов на проведение экспертизы пропорциональны коли- честву экспертов. С увеличением числа экспертов увеличиваются времен- ные и финансовые затраты, связанные с формированием группы, проведе- нием опроса и обработкой его результатов. Таким образом, повышение достоверности экспертизы связано с увеличением затрат. Располагаемые финансовые ресурсы ограничивают максимальное число экспертов в груп- пе. Оценка числа экспертов снизу и сверху позволяет определить границы общего количества экспертов в группе. Характеристики группы экспертов определяются на основе индиви- дуальных характеристик экспертов: компетентности, креативности, от- ношения к экспертизе, конформизма, конструктивности мышления, кол- лективизма, самокритичности. В настоящее время перечисленные характеристики в основном оце- ниваются качественно. Для ряда характеристик имеются попытки ввести количественные оценки. 112 Компетентность – степень квалификации эксперта в определенной области знаний. Компетентность может быть определена на основе анали- за плодотворной деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, понимания проблем и перспектив развития. Для количественной оценки степени компетентности используется коэффициент компетентности, с учетом которого взвешивается мнение эксперта. Коэффициент компетентности определяется по априорным и апостериорным данным. При использовании априорных данных оценка коэффициента компетентности производится до проведения экспертизы на основе самооценки эксперта и взаимной оценки со стороны других экспер- тов. При использовании апостериорных данных оценка коэффициента компетентности производится на основе обработки результатов эксперти- зы. Существует ряд методик определения коэффициента компетентности по априорным данным. Наиболее простой является методика оценки отно- сительных коэффициентов компетентности по результатам высказывания специалистов о составе экспертной группы. Сущность этой методики за- ключается в следующем. Ряду специалистов предлагается высказать суж- дение о включении лиц в экспертную группу для решения определенной проблемы. Если в этот список попадают лица, не вошедшие в первона- чальный список, то им также предлагается назвать специалистов для уча- стия в экспертизе. Проведя несколько туров такого опроса, можно соста- вить достаточно полный список кандидатов в эксперты. По результатам проведенного опроса составляется матрица, в ячейках которой проставля- ются переменные x i,j , равные x i,j =1, если j-й эксперт назвал i-го эксперта x i,j =0, если j-й эксперт не назвал i-го эксперта. Причем каждый эксперт может включать или не включать себя в экспертную группу. По данным матрицы вычисляются коэффициенты компетентности как относительные веса экспертов по формуле ( ) m 1, i x x k m 1 i m 1 j ij m 1 j ij i = = ∑∑ ∑ = = = , где k i – коэффициент компетентности i-го эксперта, m - количество экспертов (размерность матрицы ║x i,j ║). Коэффициенты компетентности нормированы так, что их сумма равна единице: 1 k m 1 i i = ∑ = Содержательный смысл коэффициентов компетентности, вычислен- ных по данным таблицы ║x i,j ║, состоит в том, что подсчитывается сумма 113 единиц (число “голосов”), поданных за i-го эксперта, и делится на общую сумму всех единиц. Таким образом, коэффициент компетентности опреде- ляется как относительное число экспертов, высказавшихся за включение i- го эксперта в список экспертной группы. Креативность - это способность решать творческие задачи. В на- стоящее время кроме качественных суждений, основанных на изучении деятельности экспертов, нет каких-либо предложений по оценке этой ха- рактеристики. Конформизм - это подверженность влиянию авторитетов. Особенно сильно конформизм может проявиться при проведении экспертизы в виде открытых дискуссий. Мнение авторитетов подавляет мнение лиц, обла- дающих высокой степенью конформизма. Отношение к экспертизе является очень важной характеристикой качества эксперта при решении данной проблемы. Негативное или пассив- ное отношение специалиста к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами сво- их функций. Поэтому участие в экспертизе должно рассматриваться как плановая работа. Эксперт должен проявлять интерес к рассматриваемой проблеме. Конструктивность мышления - это прагматический аспект мыш- ления. Эксперт должен давать решения, обладающие свойством практич- ности. Учет реальных возможностей решения проблемы очень важен при проведении экспертного оценивания. Коллективизм - должен учитываться при проведении открытых дискуссий. Этика поведения человека в коллективе во многих случаях су- щественно влияет на создание положительного психологического климата и тем самым на успешность решения проблемы. Самокритичность эксперта проявляется при самооценке степени своей компетентности, а также при учете мнений других экспертов и при- нятии решения по рассматриваемой проблеме. Перечисленные характеристики эксперта достаточно полно описы- вают необходимые качества, которые влияют на результаты экспертизы. Однако их анализ требует очень кропотливой и трудоемкой работы по сбору информации и ее изучению. Кроме того, как правило, часть характе- ристик эксперта оценивается положительно, а часть - отрицательно. Воз- никает проблема согласования характеристик и выбора экспертов с учетом противоречивости их качеств. Причем, чем больше характеристик прини- мается во внимание, тем труднее принять решение о том, что важнее и что допустимо для эксперта. Для устранения указанной трудности необходимо сформулировать обобщенную характеристику эксперта, учитывающую его важнейшие качества, с одной стороны, и допускающую непосредственное ее измерение, с другой стороны. В качестве такой характеристики можно принять достоверность суждений эксперта, которая определяет его как “измерительный прибор”. Однако применение такой обобщенной характе- ристики требует информации о прошлом опыте участия эксперта в реше- 114 нии проблем. В ряде случаев такой информации может не быть. Достовер- ность оценок эксперта количественно оценивают по формуле ( ) m 1, i N N D i i = = , где N i - число случаев, когда i-й эксперт дал решение, приемлемость которого подтвердилась практикой, N - общее число случаев участия i-го эксперта в решении проблем. Вклад каждого эксперта в достоверность оценок всей группы опре- деляется по формуле ( ) m 1, i D m 1 D D m 1 i i i OГ i = = ∑ = , где m - число экспертов в группе. В знаменателе стоит средняя дос- товерность группы экспертов. 7.3. Опрос экспертов Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решае- мой проблеме. Проведение опроса является основным этапом совместной работы групп управления и экспертов. На этом этапе выполняются сле- дующие процедуры: организационно-методическое обеспечение опроса; постановка задачи и предъявление вопросов экспертам; информационное обеспечение работы экспертов. Вид опроса по существу определяет разновидность метода эксперт- ной оценки. Основными видами опроса являются: анкетирование, интер- вьюирование, метод Дельфы, мозговой штурм, дискуссия. Выбор того или иного вида опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью исходной информации, располагаемым временем и затратами на проведение опроса. Рассмотрим содержание и технологию проведения перечисленных выше видов опроса. Анкетирование. Анкетирование представляет собой опрос экспер- тов в письменной форме с помощью анкет. В анкете содержатся вопросы, которые можно классифицировать по содержанию и типу. По содержанию вопросы делятся на три группы: объективные данные об эксперте (возраст, образование, должность, специальность, стаж работы и т.п.); основные вопросы по сути анализируемой проблемы; 115 дополнительные вопросы, позволяющие выяснить источники ин- формации, аргументацию ответов, самооценку компетентности эксперта и т.п. По типу основные вопросы классифицируются на открытые, закры- тые и с веером ответов. Открытые вопросы предполагают ответ в произ- вольной форме. Закрытые вопросы - это такие вопросы, на которые ответ может быть дан в виде “да”, “нет”, “не знаю”. Вопросы с веером ответов предполагают выбор экспертами одного из совокупности предполагаемых ответов. Открытые вопросы целесообразно применять в случае большой не- определенности проблемы. Этот тип вопросов позволяет широко охватить рассматриваемую проблему, выявить спектр мнений экспертов. Недостат- ком открытых вопросов является возможное большое разнообразие и про- извольная форма ответов, что существенно затрудняет обработку анкет. Закрытые вопросы применяются в случае рассмотрения четко опре- деленных двух альтернативных вариантов, когда требуется по существу определить степень большинства мнений по этим альтернативам. Обра- ботка закрытых вопросов не вызывает каких-либо трудностей. Вопросы с веером ответов целесообразно использовать при наличии нескольких достаточно четко определенных альтернативных вариантов. Эти варианты формируют для ориентации экспертов по возможному кругу направлений в решении проблемы. Для получения более детальной ин- формации по каждому вопросу могут быть предложены порядковая и балльная шкалы. Эксперт по каждому ответу выбирает значение порядко- вой и балльной оценок. Например, значениями порядковой шкалы могут быть “очень хорошо”, “хорошо”, “удовлетворительно”, “неудовлетвори- тельно”, или “значительно”, “незначительно”, “не влияет” и т.п. Обработка анкет с вопросами этого типа по сложности занимает промежуточное ме- сто между открытыми и закрытыми вопросами. Если анкетирование проводится в несколько туров, то целесообразно при большой сложности и неопределенности проблемы вначале использо- вать открытые типы вопросов, а на последующих турах - с веером ответов и закрытые типы. Кроме анкеты экспертам представляется обращение - пояснительная записка, в которой разъясняются цели и задачи экспертизы, дается необхо- димая эксперту информация, приводятся инструкции по заполнению анкет и необходимые организационные сведения. Интервьюирование - это устный опрос, проводимый в форме бесе- ды-интервью. При подготовке беседы интервьюер разрабатывает вопросы эксперту. Характерной особенностью этих вопросов является возможность быстрого ответа на них экспертом, поскольку он практически не имеет времени на его обдумывание. Тематика интервью может сообщаться эксперту заранее, но конкрет- ные вопросы ставятся непосредственно в процессе беседы. Целесообразно 116 в связи с этим готовить последовательность вопросов, начиная от простого и постепенно их углубляя и усложняя, но вместе с тем и конкретизируя. Достоинством интервью является непрерывный живой контакт ин- тервьюера с экспертом, что позволяет быстро получить необходимую ин- формацию путем прямых и уточняющих вопросов в зависимости от отве- тов эксперта. Недостатками интервью являются возможность сильного влияния интервьюера на ответы эксперта, отсутствие времени для глубокого про- думывания ответов и большие затраты его на опрос всего состава экспер- тов. Интервьюер должен хорошо знать анализируемую проблему, уметь четко формулировать вопросы, создавать непринужденную обстановку и уметь слушать. Метод Дельфы представляет собой многотуровую процедуру анке- тирования с обработкой и сообщением результатов каждого тура экспер- там, работающим инкогнито по отношению друг к другу. Метод назван по имени греческого города, в котором в древности жил знаменитый оракул. Известные примеры применения метода Дельфы связаны с поста- новкой вопросов, требующих в качестве ответов числовой оценки пара- метров. В первом туре опроса методом Дельфы экспертам предлагаются во- просы, на которые они дают ответы без аргументирования. Полученные от экспертов данные обрабатываются с целью выделения среднего или ме- дианы и крайних значений оценок. Экспертам сообщаются результаты об- работки первого тура опроса с указанием расположения оценок каждого эксперта. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументировать свое мнение или изменить оценку. Во втором туре эксперты аргументируют или изменяют свою оценку с объяснением причин корректировки. Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Если после первого тура произ- водилась корректировка оценок, то результаты обработки второго тура со- держат новые средние и крайние значения оценок экспертов. В случае сильного отклонения индивидуальных оценок от средних эксперты долж- ны аргументировать или изменить свои суждения, пояснив причины кор- ректировки. Проведение последующих туров осуществляется по аналогичной процедуре. Обычно после третьего или четвертого тура оценки экспертов стабилизируются, что и служит критерием прекращения дальнейшего оп- роса. Итеративная процедура опроса с сообщением результатов обработки после каждого тура обеспечивает лучшее согласование мнений экспертов, поскольку эксперты, давшие сильно отклоняющиеся оценки, вынуждены критически осмыслить свои суждения и обстоятельно их аргументировать. Необходимость аргументации или корректировки своих оценок не означа- ет, что целью экспертизы является получение полной согласованности 117 мнений экспертов. Конечным результатом может оказаться выявление двух или более групп мнений, отражающих принадлежность экспертов к различным научным школам, ведомствам или категориям лиц. Получение такого результата является также полезным, поскольку позволяет выяснить наличие различных точек зрения и поставить задачу на проведение иссле- дований в данной области. При проведении опроса в методе Дельфы сохраняется анонимность ответов экспертов по отношению друг к другу. Это обеспечивает исключе- ние влияния конформизма, т.е. подавления мнений за счет “веса” научного авторитета или должностного положения одних экспертов по отношению к другим. Для повышения эффективности проведения экспертизы по методу Дельфы необходимо автоматизировать процесс фиксации, обработки и со- общения экспертам информации. Это достигается путем использования ЭВМ. Мозговой штурм представляет собой групповое обсуждение с це- лью получения новых идей, вариантов решения проблемы. Мозговой штурм часто называют также мозговой атакой, методом генерации идей. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непри- годными. Для поддержания активности и творческой фантазии экспертов категорически запрещается критика их высказываний. Основные правила организации и методика проведения мозгового штурма заключаются в следующем. Осуществляется подбор экспертов в группу до 20-25 человек, в которую включаются специалисты по решаемой проблеме и люди с широкой эрудицией и богатой фантазией, причем не- обязательно хорошо знающие рассматриваемую проблему. Желательно включение в группу лиц, занимающих одинаковое служебное и общест- венное положение, что обеспечивает большую независимость высказыва- ний и создание атмосферы равноправия. Для проведения сеанса назначается ведущий, основной задачей ко- торого является управление ходом обсуждения для решения поставленной проблемы. Ведущий в начале сеанса объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи. Сеанс продолжается примерно 40-45 минут без перерыва. Для вы- ступления предоставляется 2-3 минуты и они могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых, может быть, на первый взгляд фантастических идей или развивать ранее высказанные идеи, дополняя и углубляя их. Важным требованием к выступлениям является конструктивный характер идей и предложений. Они должны быть направлены на решение проблемы. Ведущий и все чле- ны группы должны своими действиями и высказываниями способствовать созданию всеобщей синхронно работающей коллективной мысли, возбуж- 118 дению мыслительных процессов, что существенно влияет на результатив- ность обсуждения. В процессе генерирования идей и их обсуждения прямая критика за- прещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний. Выступления экспертов фиксируются путем стенографирования или магнитофонной записи и после окончания сеанса подвергаются анализу, который заключается в группировке и классификации высказанных идей и решений по различным признакам, оценке степени полезности и возмож- ности реализации. Примерно через сутки - двое после проведения сеанса экспертов просят сообщить, не возникли ли еще какие-нибудь новые идеи и решения. Эксперименты показывают, что если в процессе сеанса была создана хорошая творческая атмосфера с активным участием в работе всех экспертов, то после окончания обсуждения в мозге человека продолжается процесс генерации и анализа своих и других предложений, который проте- кает не только осознанно, но и подсознательно. В результате сопоставле- ния высказываний, проведения аналогий и обобщения часто, примерно че- рез сутки, эксперты формулируют наиболее ценные предложения и идеи. Поэтому сбор информации по возможным новым идеям способствует по- вышению эффективности метода мозгового штурма. Существует ряд разновидностей мозгового штурма, в которых пред- лагается чередовать пятиминутные штурмы с обдумыванием его результа- тов, чередовать периоды генерации с дискуссиями и групповым принятием решений, применять последовательные этапы выдвижения предложений и их обсуждения, включать в группу экспертов “усилителей” и “подавите- лей” идей и т.п. Мозговой штурм применяется для решения разнообразных приклад- ных проблем. Дискуссия. Этот вид экспертизы широко применяется на практике для обсуждения проблем, путей их решения, анализа различных факторов и т.п. Для проведения дискуссии формируется группа экспертов не более 20 человек. Группа управления проводит предварительный анализ проблем дискуссии с целью четкой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии. Сама дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесто- ронний анализ всех факторов, положительных и отрицательных последст- вий, выявление позиций и интересов участников. В ходе дискуссии разрешается критика. Большую роль в дискуссии играет ведущий. От его умения создать творческую благожелательную атмосферу, четко выступить с постановкой проблемы, кратко и глубоко резюмировать выступления и, главное, умело направить ход дискуссии на решение проблемы существенно зависит эф- фективность результатов обсуждения. 119 Дискуссия может проводиться в течение нескольких часов, поэтому необходимо определить регламент работы: время на доклад ведущего и выступления, проведение перерывов. Следует иметь в виду, что во время перерывов дискуссия продолжается, т.е. имеют место кулуарные обсужде- ния. В связи с этим не следует делать перерывы слишком короткими, по- скольку локальные обсуждения дают положительный эффект. Результаты дискуссии фиксируются в виде стенограмм или магнит- ной записи. После окончания дискуссии проводится анализ этих записей для более четкого представления основных результатов, выявления разли- чий во мнениях. В дискуссиях также примерно через сутки после оконча- ния может собираться дополнительная информация от экспертов. Рассмотренные виды опроса дополняют друг друга и в определенной степени являются взаимозаменяемыми. Для генерации новых объектов (идей, событий, проблем, решений) целесообразно применять мозговой штурм, дискуссии, анкетирование и метод Дельфы (первые два тура). Всесторонний критический анализ имеющегося перечня объектов эффективно может быть проведен в форме дискуссии. Для количественной и качественной оценки свойств, параметров, времени и других характери- стик объектов применяются анкетирование и метод Дельфы. Интервьюи- рование целесообразно использовать для уточнения результатов, получен- ных другими видами экспертизы. 7.4. Обработка экспертных оценок После проведения опроса группы экспертов осуществляется обра- ботка результатов. Исходной информацией для нее являются числовые данные, выражающие предпочтения экспертов, и содержательное обосно- вание этих предпочтений. Целью обработки является получение обобщен- ных данных и новой информации, содержащейся в скрытой форме в экс- пертных оценках. На основе результатов обработки формируется решение проблемы. Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количе- ственных методов обработки результатов группового экспертного оцени- вания. Удельный вес этих методов существенно зависит от класса про- блем, решаемых экспертным оцениванием. Мы рассмотрим методы обра- ботки проблем первого класса, характеризующихся достаточным инфор- мационным потенциалом. Эти проблемы наиболее распространены в прак- тике принятия решений. В зависимости от целей экспертного оценивания при обработке ре- зультатов опроса решают следующие основные задачи: определение согласованности мнений экспертов; построение обобщенной оценки объектов; определение зависимости между суждениями экспертов; определение относительных весов объектов; 120 оценка надежности результатов экспертизы. Определение согласованности оценок экспертов необходимо для подтверждения правильности гипотезы о том, что эксперты являются дос- таточно точными измерителями, и выявления возможных группировок в экспертной группе. Оценка согласованности мнений экспертов произво- дится путем вычисления количественной меры, характеризующей степень близости индивидуальных мнений. Анализ значений меры согласованно- сти способствует выработке правильного суждения об общем уровне зна- ний по решаемой проблеме и выявлению группировок мнений экспертов, обусловленных различием взглядов, концепций, существованием научных школ, характером профессиональной деятельности и т.п. Задача построения обобщенной оценки объектов по индивидуаль- ным оценкам экспертов возникает при групповом экспертном оценивании. Если эксперты производили оценку объектов в количественной шкале, то задача построения групповой оценки заключается в определении среднего значения или медианы оценки. При измерении в порядковой шкале мето- дом ранжирования или парного сравнения целью обработки индивидуаль- ных оценок экспертов является построение обобщенного упорядочения объектов на основе осреднения оценок экспертов. Обработкой результатов экспертного оценивания можно определять зависимости между суждениями различных экспертов. Выявление этих за- висимостей позволяет устанавливать степень близости во мнениях экспер- тов. Важное значение имеет также определение зависимости между оцен- ками объектов, построенными по различным показателям сравнения. Это дает возможность определить связанные между собой показатели сравне- ния и осуществить их группировку по степени взаимосвязи. При решении многих задач недостаточно осуществить упорядочение объектов по одному или по группе показателей. Желательно также иметь количественные значения относительной важности объектов. Для решения этой задачи можно сразу применить метод непосредственной оценки (см. 3.2). Однако эту же задачу при определенных условиях можно решить пу- тем обработки результатов ранжировок или парных сравнений группы экспертов. Оценки объектов, получаемые в результате обработки, представляют собой случайные величины, поэтому одной из важных задач является оп- ределение их достоверности, т.е. надежности результатов экспертизы. Методы решения перечисленных задач рассматриваются в соответ- ствующей литературе [1,4,5 и др.]. Обработка результатов экспертизы вручную связана с большими трудовыми затратами (даже в случае решения простых задач упорядоче- ния), поэтому ее целесообразно проводить на базе вычислительной техни- ки. Применение ЭВМ выдвигает проблему разработки машинных про- грамм, реализующих алгоритмы обработки результатов экспертного оце- нивания. При организации обработки результатов опроса следует тщатель- 121 но проанализировать трудоемкости решения задач с учетом разработки математического обеспечения для ЭВМ. 7.5. Определение согласованности экспертов В качестве иллюстрации методов решения перечисленных выше за- дач рассмотрим задачу определения согласованности мнений экспертов [5]. При оценке объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количест- венной оценки степени согласия экспертов. Получение количественной меры согласованности позволяет более обоснованно интерпретировать причины расхождения мнений. Оценка согласованности суждений экспертов основывается на ис- пользовании понятия компактности, наглядное представление о котором дает геометрическая интерпретация результатов экспертизы. Оценка каж- дого эксперта представляется как точка в некотором пространстве, в кото- ром имеется понятие расстояния. Если точки, характеризующие оценки всех экспертов, расположены на небольшом расстоянии друг от друга, т.е. образуют компактную группу, то, очевидно, можно это интерпретировать как хорошую согласованность мнений экспертов. Если же точки в про- странстве разбросаны на значительные расстояния, то согласованность мнений экспертов невысокая. Возможно, что точки - оценки экспертов - расположены в пространстве так, что образуют две или несколько ком- пактных групп. Это означает, что в экспертной группе существуют две или несколько существенно отличающихся точек зрения на оценку объектов. Конкретизация изложенной идеи оценки согласованности мнений экспертов производится в зависимости от использования количественных или качественных шкал измерения и выбора меры степени согласованно- сти. При использовании количественных шкал измерения и оценке всего одного параметра объекта все мнения экспертов можно представить как точки на числовой оси. Эти точки можно рассматривать как реализации случайной величины и поэтому для оценки группировки и разброса точек использовать хорошо разработанные методы математической статистики. Центр группировки точек можно определить как математическое ожида- ние (среднее значение) или как медиану случайной величины, а разброс количественно оценивается дисперсией случайной величины. Мерой со- гласованности оценок экспертов, т.е. компактности расположения точек на числовой оси, может служить отношение среднеквадратического отклоне- ния к математическому ожиданию случайной величины. Если объект оценивается несколькими числовыми параметрами, то мнение каждого эксперта представляется как точка в пространстве пара- метров. Центр группировки точек опять определяется как математическое ожидание вектора параметров, а разброс точек - дисперсией вектора пара- 122 метров. Мерой согласованности суждений экспертов служит в этом случае сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат. Мерой согласованности может также служить количество точек, расположенных в радиусе средне- квадратического отклонения от математического ожидания, ко всему ко- личеству точек. Различные методы определения согласованности количе- ственных оценок на основе понятия компактности рассматриваются в тео- рии группировок и распознавания образов. При измерении объектов в порядковой шкале согласованность оце- нок экспертов в виде ранжировок или парных сравнений объектов также основывается на понятии компактности. При ранжировке объектов в качестве меры согласованности мнений группы экспертов используется дисперсионный коэффициент конкордации (коэффициент согласия). Рассмотрим матрицу результатов ранжировки m объектов группой из d экспертов ║r is ║ ( m i d s , 1 ; , 1 = = ), где r is - ранг, присваиваемый s-м экс- пертом i-му объекту. Составим суммы рангов по каждой строке. В резуль- тате получим вектор с компонентами ( ) m 1, i r r d 1 s is i = = ∑ = Будем рассматривать величины r i как реализации случайной величи- ны и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой: ( ) 2 1 i r r 1 1 D ∑ = − − = m i m , (7.1) где r - оценка математического ожидания, равная ∑ = = m 1 i i r m 1 r (7.2) Дисперсионный коэффициент конкордации определяется как отно- шение оценки дисперсии (7.1) к максимальному значению этой оценки: W = D/D max (7.3) Коэффициент конкордации изменяется от нуля до единицы, по- скольку 0 ≤ D ≤ D max Максимальное значение дисперсии равно 1) 12(m m) (m d D 3 2 max − − = (7.4) 123 Введем обозначение ∑ ∑ = = − = m 1 i d 1 s 2 is ) r r ( S (7.5) Используя (7.5), запишем оценку дисперсии (7.1) в виде S 1 m 1 D × − = (7.6) Подставляя (7.4), (7.6) в (7.3) и сокращая на множитель (m – 1), за- пишем окончательное выражение для коэффициента конкордации m) (m d S 12 W 3 2 − × × = (7.7) Данная формула определяет коэффициент конкордации для случая отсутствия связанных рангов. Если в ранжировках имеются связанные ранги, то максимальное зна- чение дисперсии в знаменателе формулы (7.3) становится меньше, чем при отсутствии связанных рангов. Доказано [5], что при наличии связанных рангов коэффициент конкордации вычисляется по формуле ∑ = × − − × × = d 1 s s 3 2 T d m) (m d S 12 W , (7.8) где: ∑ = − = s H 1 k k 3 k s ) h (h T (7.9) В формуле (7.9) T s – показатель связанных рангов в s-й ранжировке, H s – число групп равных рангов в s-й ранжировке, h k – число равных ран- гов в k-й группе связанных рангов при ранжировке s-м экспертом. Если совпадающих рангов нет, то H s = 0, h k = 0 и, следовательно, T s =0. В этом случае формула (7.8) совпадает с формулой (7.7). Коэффициент конкордации равен 1, если все ранжировки экспертов одинаковы, и равен нулю, если все ранжировки различны. Коэффициент конкордации, вычисляемый по формулам (7.7) и (7.8), является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распределение частот для различных зна- чений числа экспертов d и количества объектов m. Распределение частот для W при различных значениях m и d может быть определено по извест- 124 ным статистическим таблицам. При числе объектов m > 7 оценка значимо- сти коэффициента конкордации может быть произведена по критерию χ 2 Величина d*(m-1) W имеет χ 2 = распределение с ν = m-1 степенями свобо- ды. При наличии связанных рангов χ 2 = распределение с ν = m-1 степе- нями свободы имеет значение ∑ = − + × × × = d 1 s s 2 T 1 m 1 - 1) (m m d S 12 χ (7.10) Наряду с дисперсионным коэффициентом конкордации используется в качестве меры согласованности суждений экспертов энтропийный коэф- фициент конкордации. Пример 7.1. Результаты ранжирования шести объектов (О 1 , О 2 ,…,О 6 ) пятью экспертами (Э 1 ,Э 2 ,…,Э 5 ) представлены в табл. 7.1. Таблица 7.1 Э 1 Э 2 Э 3 Э 4 Э 5 О 1 1 2 1,5 1 2 О 2 2,5 2 1,5 2,5 1 О 3 2,5 2 3 2,5 3 О 4 4 5 4,5 4,5 4 О 5 5 4 4,5 4,5 5,5 О 6 6 6 6 5 5,5 Вычислим коэффициент конкордации и произведем оценку его зна- чимости. Среднее значение r по формуле (7.2) равно: ∑ ∑ ∑ ∑ = = = = = = × = 6 1 i 5 1 s is m 1 i d 1 s is 17,5 r 6 1 r m 1 r Величина S в соответствии с формулой (7.5) равна: ∑ ∑ = = = − = 6 1 i 5 1 s 2 is 361 17,5) r ( S Поскольку в ранжировках имеются связанные ранги, то вычисление коэффициента конкордации выполним по формуле (7.8). Предварительно вычислим величины T s используя формулу (7.9). В данном случае из таблицы 7.1 следует, что в ранжировке экспертом Э 1 имеется одна группа связанных рангов, поэтому H 1 = 1. В этой группе со- 125 держится два связанных ранга, равных 2,5, поэтому h 1 = 2. Отсюда T 1 = 2 3 – 2 = 6. Аналогичным образом вычисляем T 2 ÷ T 5 : T 2 = 3 3 – 3 = 24; T 4 = 2 3 – 2 + 2 3 – 2 = 12; T 3 = 2 3 – 2 + 2 3 – 2 = 12; T 5 = 2 3 – 2 = 6. Подставляя значения T s , S и m = 6, d = 5 в формулу (7.8) и произво- дя вычисления, получаем: 874 , 0 60 5 ) 6 6 ( 5 361 12 W 3 2 = × − − × × = Оценим значимость коэффициента конкордации. В данном случае число степеней свободы ν = 5. Табличное значение χ 2 для ν = 5 и 5% уров- ня значимости χ 2 табл. = 11,07. Подставляя значения величины в формулу (7.10), получаем 21,8 60 0,2 7 6 5 361 12 χ 2 = × − × × × = Поскольку 11,07 < 21,8, то гипотеза о согласии экспертов в ранжи- ровках принимается. Контрольные вопросы к главе 7 1. В чем заключается сущность метода экспертных оценок? 2. Какие типы задач решаются экспертами? 3. Какие классы проблем рассматриваются с использованием метода экспертных оценок? 4. Перечислите этапы реализации метода экспертных оценок. 5. Кто осуществляет организацию экспертизы? 6. На основе каких факторов осуществляется подбор состава экспер- тов? 7. Перечислите индивидуальные характеристики экспертов и охарак- теризуйте их. 8. Что принимается в качестве обобщенной характеристики эксперта и как она определяется? 9. Какие процедуры выполняются при проведении опроса экспертов? 10. Перечислите виды опроса экспертов и охарактеризуйте их. 11. Для решения каких типов задач используются соответствующие виды опроса экспертов? 12. Какие задачи решают при обработке результатов опроса экспер- тов? 13. Как осуществляется определение согласованности мнений экс- пертов? |