Цели, задачи и основания проведения экспертизы Специфичные задачи

• Название: Цели, задачи и основания проведения экспертизы Специфичные задачи
• Анкор: Uchebnik_po_ET_-_Nikolaeva.doc
• Дата: 04.04.2018
• Размер: 4.41 Mb.
• Имя файла: Uchebnik_po_ET_-_Nikolaeva.doc
• Тип: Документы; #17620
• страница: 9 из 23

Отбор и формирование группы экспертов начинается с опреде­ления области их компетенции, что позволяет надеяться на достаточ­ную степень надежности экспертов, включаемых в экспертную груп­пу. При формулировании целей и задач устанавливаются области знаний, которые обеспечивают решение проблемы. Исходя из этого, составляется список кандидатов в эксперты, включающий специали­стов, компетентных в данной области знаний и имеющих практиче­ский опыт работы в решении аналогичных проблем. Как отмечалось, эксперт должен отвечать определенным требованиям, а в отдельных случаях и быть аттестованным в определенной системе. Кроме того, могут учитываться служебное положение, стаж работы, профессия.

После составления списка кандидатов в эксперты проводится Оценка их качества или соответствия установленным требованиям. В литературе приводится несколько методов такой оценки, но, по на­шему мнению, наиболее полная оценка достигается с помощью сово­купности методов (рис. 15), предложенных Э.П. Райхманом и Г.Г. Азгальдовым [30]



Рис. 14. Классификация экспертных методов



Рис. 15. Методы оценки качества экспертов Методы оценки качества экспертов подразделяются на пять групп:

• 
  эвристические;
  
• 
  статистические;
  
• 
  тестовые;
  
• 
  документальные;
  
• 
  комбинированные.
  

Каждая из указанных групп делится на виды (частные оценки) методы их получения.

Эвристические оценки — оценки, назначаемые человеком и основанные на предположении правильности отражения качества экс­перта через оценку окружающих или самооценку.

Различают следующие виды эвристических оценок: самооценка оценка аргументированности и знакомства с объектом экспертизы, взаимооценка, оценка рабочей группой.

Самооценка — вид и метод эвристической оценки компетентно­сти самим экспертом. Установлено, что достоверность усредненной экспертной оценки тем выше, чем больше среднее значение само­оценки членов группы. В то же время следует иметь в виду, что само­оценка отличается значительной субъективностью, а это влечет опре­деленные ее недостатки. Самооценка зависит от психологических особенностей экспертов (наличия высокой или заниженной само­оценки, иногда и необоснованно), степени удовлетворенности собой, понимания оценочной шкалы. Этим объясняется несовпадение ре­зультатов самооценки и взаимооценки.

Для снижения субъективизма самооценку проводят дифференци­рованно, что повышает точность результатов. Для этого показатель самооценки определяется как функция двух коэффициентов: знаком­ства и аргументированности. Для экспертной оценки товаров само­оценку эксперта рекомендуется определять с учетом его информиро­ванности и знакомства с оцениваемой продукцией путем заполнения «Анкеты самооценки» (приложение 3). Эксперт отмечает регуляр­ность чтения перечисленных в анкете источников информации и сте­пень знакомства с оцениваемой продукцией.

Самооценка вычисляется по формуле [30]:



где К_сам. э — коэффициент самооценки /-го эксперта;

М_э — весомость показателей информированности и знакомства;

К_э— оценка, зависящая от степени информированности и степени знакомства.

Примеры расчета К_сам. _э приведены в приложении 4.

Оценка аргументированности и знакомства с объектом экс­пертизы — вид и метод эвристической оценки степени специализации эксперта и факторов, влияющих на его компетентность. Эвристическая оценка компетентности, основанная на учете степени специализации и знакомства, обладает высокой эффективностью и достоверностью при условии тщательной проработки методов количественной оценки каждо­го из этих факторов в виде оценочных анкет.

Взаимооценка — вид и метод эвристической оценки, определяе­мой как средняя из оценок, назначаемых другими экспертами. Пред­назначена для уменьшения субъективности оценки компетентности каждого эксперта. Установлено, что существует тесная взаимосвязь между компетентностью эксперта и его усредненной оценкой, полу­ченной от коллег.

Сущность этого вида оценки заключается в том, что каждый экс­перт дает оценку всем остальным экспертам, а затем рассчитывается усредненный результат.

В зависимости от числа экспертов в группе применяются две раз­ные процедуры:

• 
  при численности менее 15 экспертов в группе каждый эксперт оценивает всех остальных;
  
• 
  при численности 15 экспертов и более заполняется специальная анкета, в которой эксперты по квалификации разделены на три группы — выше средней, средней и ниже средней квалификации, а также по рангам внутри подгрупп (по 6—8 человек в каждой). Затем ранжируют экспертов каждой подгруппы. Ранг 1 — самый квалифицированный эксперт, 2 — следующий по квалификации и т. д. Каждому оцениваемому эксперту присваивается числовая оценка от 10 баллов (самый квалифицированный) до 0 (совершен­но неквалифицированный) с точностью до 0,5 балла. Недостатки взаимооценки:
  
• 
  эксперты могут недостаточно знать друг друга;
  
• 
  на результаты оценки могут влиять взаимные симпатии или ан­типатии;
  
• 
  эксперты, как правило, стремятся избегать сверхвысоких и сверх­низких оценок;
  
• 
  неоднозначность восприятия понятия «качество эксперта» 9»
  

Для уменьшения указанных недостатков рекомендуется:

• 
  применять взаимооценку только в тех группах, где большинство экспертов хорошо знают друг друга. Если некоторые из оцениваемых экспертов незнакомы, рекомендуется ставить прочерк в соответствующей графе;
  
• 
  проводить анонимное анкетирование;
  
• 
  разъяснять, что результаты анкеты будут использованы только для корректировки оценок товара;
  
• 
  знакомить экспертов со структурной схемой свойств и их частных оценок.
  

Оценка эксперта рабочей группой — вид и метод эвристической оценки, предназначенной для количественной характеристики заин­тересованности эксперта в экспертной оценке и его внимательности в ходе опроса. Оценка дается специалистами-аналитиками, проводя­щими опрос экспертов. При этом они оценивают отношение экспер­тов к проводимой экспертизе и их активность при обсуждении оце­нок. Оценки рабочей группой целесообразно выносить по 10-балль­ной шкале.

Статистические оценки — оценки, полученные в результате обработки суждений экспертов об объекте оценки.

Эти оценки применяются с целью уменьшения по мере возможно­сти погрешностей, возникающих при экспертных оценках. Их необ­ходимость обусловлена тем, что в отличие от измерений с помощью технических устройств, основанных на сравнении неизвестных вели­чин с известными, при экспертных методах зачастую отсутствует из­вестная величина (или образец, или эталон товара), значение которой принимается за действительное, т. е. максимально приближенное к истинному.

В то же время на точность экспертных оценок, как отмечалось, влияет множество объективных и субъективных факторов, вследствие чего возникают погрешности оценки, имеющие систематическую и случайную составляющие.

Систематическая погрешность — постоянно повторяемая часть погрешности. Основной причиной ее возникновения яв­ляется недостаточная или неправильная информированность экспер­тов. Снизить ее можно путем ознакомления эксперта с необходимо*¹ ^формацией перед началом экспертизы или путем проведения инст­руктажа, а также обсуждения, в ходе которого эксперт получает до­полнительную информацию от специалистов-аналитиков или других экспертов. Систематическую погрешность можно оценивать степенью отклонения от среднего мнения экспертной группы.

Случайная погрешность зависит от психолого- физиологических особенностей эксперта (собранности, уверенности в правоте, внимательности, других личных качеств) и снижается при многократных повторениях оценок. Установить ее величину можно по воспроизводимости результатов. Следует также учесть, что систе­матическая погрешность эксперта является случайной погрешностью групповой экспертной оценки, уменьшить которую можно путем ус­реднения оценок группы. В конечном счете, это позволяет повысить точность оценки качества.

Различают следующие виды статистических оценок: оценка по отклонению от среднего мнения экспертной группы; оценка объек­тивности эксперта.

Оценка по отклонению от среднего мнения экспертной груп­пы — оценка, основанная на предпосылке, что действительным зна­чением групповой экспертной оценки является средняя оценка экс­пертной группы. Поэтому чем меньше отклонение индивидуальной экспертной оценки от групповой, тем более высоким признается ка­чество эксперта, давшего эту оценку.

Индивидуальные экспертные оценки могут быть двух типов:

• 
  ранжирование экспертом оцениваемых величин (в порядке убы­вания или возрастания);
  
• 
  определение экспертом числовых значений оцениваемых величин (например, при определении коэффициентов весомости показате­лей качества каждому коэффициенту эксперты присваивают оп­ределенные числовые значения).
  

Оценка по отклонению от среднего мнения экспертной группы Может быть выражена через совокупность абсолютных отклонений (40, рассчитываемых как разница между средней групповой оценкой (*) и индивидуальной оценкой (х,):



Кроме того, может быть подсчитано среднеквадратичное откло­нение (S):






Чем больше Si, тем выше разброс индивидуальных оценок и, сле­довательно, меньше согласованность между экспертами в группе.

При этом методе может быть оценена степень надежности экспер­тов.

Под степенью надежности эксперта понимается отно­сительная частота случаев, когда эксперт приписал наибольшую ве­роятность гипотезам, которые в последствии подтвердились. Однако учитывая, что эксперт обычно работает в группе, вводят понятие об его относительной надежности (Н₀), которая рассчитывает­ся как отношение степени надежности данного эксперта (Н_и) к сред­ней степени надежности, вычисленной для некоторой группы экспер­тов (Н_с):




Оценка объективности эксперта — оценка соблюдения экспер­том принципа объективности, его способности к беспристрастной оценке конкретных образцов товаров. Эта очень важная характери­стика качества эксперта существенно влияет на точность результатов групповой экспертной оценки. Статистические методы непосредст­венной оценки объективности экспертов не разработаны, поэтому на практике довольствуются косвенной оценкой по отклонению от сред­него мнения экспертов.

Тестовые оценки — оценки с помощью тестирования психолого- физиологических особенностей экспертов.

Данные оценки предназначены для оценивания объективности, квалиметрической и профессиональной компетентности эксперта.

Достоинством этих оценок является возможность оценить личные качества эксперта, для чего другие методы и виды оценок неприемле­мы. Недостаток их заключается в том, что полученные при тестиро­вании результаты невозможно сравнить с данными, полученными ка­ким-либо объективным методом.

При проведении таких оценок к тестам предъявляются следующие требования [30]:

, испытуемый эксперт должен понимать постановку тестовой зада­чи и условия, которым должно отвечать ее решение;

• 
  вероятность случайного угадывания решения задачи должна быть близка к нулю;
  
• 
  тестовая задача должна иметь точное решение;
  
• 
  обоснование близости тестовой задачи и тех реальных задач, которые приходится решать эксперту при оценке качества про­дукции.
  

Разновидностями тестовых оценок являются оценки воспроизво­димости результатов, квалиметрической компетентности эксперта, объективности корректирования своих оценок.

Оценка воспроизводимости результата — оценка степени бли­зости индивидуальных оценок эксперта, проведенных через опреде­ленные промежутки времени. Обычно применяется в случаях, когда качество экспертов оценивается в несколько туров, при этом сравни­ваются оценки одного и того же эксперта в разных турах. Наиболее часто оценка воспроизводимости результатов применяется при органолептическом анализе пищевых продуктов.

Известен случай, когда при проведении международной дегустации вин во Франции была проведена оценка воспроизводимости результа­тов у дегустатора-женщины, одного из членов российской делегации, под предлогом утраты ранее полученных данных. Результаты трех­кратной оценки были поразительными: испытуемый эксперт на трех повторных дегустациях одних и тех же проб вин показал высокую вос­производимость результатов — с точностью до нескольких сотых бал­ла. Это объяснялось не только высокой компетентностью эксперта, но и такими индивидуальными свойствами, как отличная память на вкусы и запахи, высокие пороги ощущения показателей.

Необходимо учитывать следующее: промежуток между турами Должен быть невелик, чтобы исключить влияние возможной новой Информации, изменяющей суждения эксперта, но в то же время дос­таточен, чтобы он забыл данные оценки в предыдущем туре.

Оценка воспроизводимости результатов может быть обработана при помощи коэффициентов ранговой корреляции.

Оценка квалиметрической компетентности эксперта оценка теоретических знаний методов оценки качества и умения их применять. Оценка теоретической подготовки эксперта может про­водиться путем устного или письменного контроля знаний с ис­пользованием тестов в определенной области знаний. Несколько сложнее обстоит дело с проверкой умения, которое подразделяют на три типа:

• 
  умение использовать разные типы оценочных шкал;
  
• 
  умение определять субъективные вероятности;
  
• 
  умение различать достаточное число градаций оцениваемого свойства.
  
  1. 
     Умение использовать разные типы шкал (порядка, отношений, интервалов) очень важно, так как достаточно часто экспертные оцен­ки проводятся путем ранжирования показателей качества товаров (например, вкус очень сладкий, сладкий, слабовыраженный, неслад­кий). Эксперты, не умеющие оперировать некоторыми видами шкал, должны быть отклонены на этапе формирования рабочих групп. На­пример, в проведении органолептического анализа не могут участво­вать эксперты, не различающие основные вкусы и запахи Умение определять субъективные вероятности — способность эксперта оценивать вероятность наступления определенных событий. Эта способность у разных людей различна. Эксперты, у которых та­кая способность отсутствует, не должны привлекаться к экспертизам, связанным с прогнозированием. Субъективную вероятность иногда еще называют субъективной уверенностью, которая предполагает, что в этом заключается один из способов повышения точности эксперт­ных оценок.
     
  2. 
     Умение различать достаточное число градаций оцениваемого свойства — способность эксперта улавливать различия в интенсив­ности проявления каждого свойства. Эта способность в значитель­ной мере обусловлена чувствительностью эксперта к самым незна­чительным изменениям свойств и показателей объектов экспертизы- Например, при органолептическом анализе дегустаторов проверяют на умение выявлять разницу во вкусах, запахах, оттенках цвета й
     

д. Тренированный глаз эксперта может различать до 30 оттенков белого цвета. От способности эксперта различать градации оцени­ваемого свойства зависит также точность индивидуальных и груп­повой оценок, поэтому тестовые испытания по выявлению указан­ий способности должны помочь отобрать в экспертную группу специалистов высокого качества.

Оценка объективности корректирования своих суждений — способность экспертов оценивать испытуемый объект независимо от оценок других экспертов; необходима для выявления отсутствия у эксперта конформизма.

Конформизм (лат. conformis — подобный, сходный) — при­способленчество, пассивное принятие существующего порядка, мне­ния большинства, отсутствие собственной позиции, некритическое следование общим мнениям, тенденциям, авторитетам.

При экспертной оценке конформизм играет отрицательную роль, поэтому качество эксперта определяется также отсутствием у него этого свойства. Для проверки применяют метод подставной группы, в задачи которой входит вынесение заведомо ложных (неверных) суж­дений об испытуемом объекте. Например, члены подставной группы при опробовании дистиллированной воды всеми членами экспертной группы утверждают, что она обладает слегка горьким вкусом. После чего проверяется оценка испытуемых экспертов.

Степень приближения оценки испытуемого эксперта к оценке подставной группы характеризует меру его конформизма. При этом важным условием применяемого метода подставной группы является то, что испытуемый эксперт не должен подозревать о ее заведомо ложной оценке.

Оценки объективности эксперта (К_кон) могут быть рассчитаны по Формуле:

где С! — количество ошибок испытуемого при самостоятельной оценке объекта;

С₂ — количество ошибок испытуемого при оценивании того же объекта совместно с подставной группой Следует отметить, что другие методы оценки объективности пок_а еще не разработаны, а рассмотренный метод подставной группы _в связи с определенными этическими проблемами применяется нечасто К достоинствам указанного метода относится его обучающий харак­тер: испытуемому эксперту после доведения результатов оценки объ­ясняют, что была смоделирована ситуация, когда определенная часть экспертов в группе могла в силу даже объективных причин высказы­вать ошибочное мнение. В результате этого эксперт подготавливается психологически к такой ситуации.