Квалиметрия - лекции. Введение. Понятие качества

• Название: Введение. Понятие качества
• Анкор: Квалиметрия - лекции.docx
• Дата: 12.10.2017
• Размер: 0.6 Mb.
• Имя файла: Квалиметрия - лекции.docx
• Тип: Документы; #9358
• страница: 5 из 9

Отбор экспертов по результатам тестирования

Тестирование может осуществляться следующими способами:

1. 
   по результатам решения тестовых задач
   

Способ целесообразно применять, когда членам экспертной группы предстоит многократно решать однотипные задачи, требующие знания правил, инструкций, юридических положений и т.д.

2. 
   психометрическое тестирование
   

Применяется в тех случаях, когда для участия в экспертизе требуется некоторый минимум развития психофизиологических функций, например: оценка качества дисплеев ЭВМ.

3. 
   тестирование по результатам оценивания тестового объекта
   

Группа уже сложившихся экспертов оценивает некоторый объект, затем оценку того же объекта проводят кандидаты в эксперты. По числу совпавших оценок судят о пригодности кандидатов для предстоящей экспертизы.

4. 
   Отбор экспертов по результатам участия в деловых играх
   

Успешность деятельности игрока в деловой игре фиксируют в виде некоторой суммы выигрыша. По ней судят о его способности исполнять ту или иную должность. Этот показатель может служить и для оценки его способностей исполнять обязанности эксперта.

Достоинство: Деловые игры развивают и тренируют инициативу эксперта и необходимые профессиональные навыки.

Ограничения применения метода:

• 
  трудно придумать деловую игру, в которой достаточно полно проявились бы все необходимые способности кандидата в эксперты;
  
• 
  не всегда специалист, успешно выступивший в деловой игре, так же хорошо проявит себя в реальной обстановке.
  

5. 
   Использование рейтинга экспертов
   

В тех случаях, когда специалиста неоднократно привлекают для участия в экспертизе и есть возможность оценить степень соответствия его прошлых оценок истине, можно ввести величину, называемую рейтингом экспертов.

Изначально при включении в банк всем экспертам присваивают одинаковый рейтинг, например, 100 баллов. Если специалист участвовал в некоторой экспертизе, и его оценка впоследствии оказалась соответствующей истине, то рейтинг может быть повышен.

Например, за очень хорошую оценку рейтинг возрастает на 5 баллов, а в случае хорошей оценки – на 3 балла.

Ошибочная оценка снижает рейтинг эксперта на определенное число баллов. Изменения рейтинга могут быть введены за предоставляемую экспертом дополнительную информацию (+), за отказ от участия в экспертизе (-).

Спустя некоторое время эксперты приобретают различные значения рейтинга. Дальнейший их отбор может быть проведен с учетом этой величины. Оплата работы экспертов также может зависеть от рейтинга эксперта.

Можно предусмотреть критерии отказа от дальнейшего привлечения специалиста к работе в экспертной группе (например, если его рейтинг ниже 20 баллов).

2. Отбор экспертов по их самооценке

1. 
   Самооценка по направлению
   

Если экспертизу поступающих объектов проводят неоднократно и объекты можно разделить на направления таким образом, что экспертиза каждого направления требует привлечения особой группы специалистов, то применяют данный метод.

Организаторы подразделяют всю область возможной экспертизы на направления, и каждый кандидат в эксперты отмечает те из них, в работе по которым он хотел бы участвовать и наоборот. Эти сведения заносят в банк. При поступлении на экспертизу очередного объекта организаторы определяют направление, к которому принадлежит объект и отбирают соответствующих специалистов в экспертную группу.

Достоинства:

• 
  в экспертную группу попадают специалисты, чувствующие себя уверенно в отношении объекта экспертизы;
  
• 
  при условии систематической работы в экспертной группе растет квалификация специалиста как эксперта;
  
• 
  способ удобен для автоматизированного отбора экспертов в тех случаях, когда их число велико, и они разобщены территориально.
  

Недостатки:

• 
  организатор может неточно определить направления, к которым относятся представленные на экспертизу объекты; экспертная группа окажется неверно сформирована;
  
• 
  эксперты, отобранные в соответствии с оценками, полученными задолго до экспертизы, к моменту экспертизы могут изменить ориентацию своей работы и не обнаружить желания участвовать в экспертизе.
  

2. 
   Самооценка по объекту экспертизы
   

Кандидатам в эксперты объявляют задачу и знакомят их с объектом предстоящей экспертизы. После этого каждый из них принимает решение, участвовать в работе экспертной группы или нет.

Этот способ лишен недостатков предыдущего способа, но труднее в реализации, так как требуется проведение опроса всех кандидатов, включенных в банк в кратчайшее время. Количество отобранных экспертов может оказаться слишком большим или малым, что потребует дополнительных мер по корректированию состава экспертной комиссии.
3. Способы, основанные на минимизации расхода ресурсов

Всегда не хватает временных и финансовых ресурсов.

Например, для проведения экспертизы требуется отрывать экспертов от их основной деятельности и оплачивать их работу в экспертной группе или требуется вызывать экспертов из других городов (оплата командировочных). При этом организаторы выбирают прежде всего тех экспертов, которые на момент экспертизы не заняты срочной работой и тех, кто находится поближе.

Достоинство: минимизация ресурса.

Недостатки:

• 
  возможность появление школ;
  
• 
  из-за лимитирования кол-ва экспертов может не оказаться специалистов того или иного профиля и не может быть обеспечен всесторонний анализ объекта экспертизы;
  
• 
  результаты работы слишком маленькой экспертной группы может не вызвать доверия со стороны заказчика экспертизы.
  

4.2 Индивидуальный опрос экспертов

Основная организационная задача опроса экспертов – это создание условий для наиболее полного и свободного от искажений выявления информации, имеющейся у экспертов и создание условий для всестороннего анализа этой информации с разных точек зрения.

При индивидуальном опросе эксперт отвечает на поставленные перед ним вопросы, не взаимодействуя с другими экспертами.

Также существует групповой опрос, когда эксперт отвечает на вопрос в составе группы.

При проведении опроса обычно рекомендуют соблюдать принцип необратимости. Вопросы к эксперту должны быть сформулированы в нейтральной форме, т.е. они не должны подталкивать эксперта к тому или иному варианту ответа. Лицо, проводящее опрос, не должно выражать заинтересованности в том или ином варианте ответа.
4.2.1 Заочное анкетирование

Полная изоляция от других людей (организаторов).

Достоинства способа:

• 
  способ позволяет достичь наибольшей относительной изоляции экспертов;
  
• 
  способ позволяет получить наиболее продуманные ответы.
  

Недостатки способа:

• 
  значительные затраты времени;
  

• 
  имеет место неполный возврат анкет. Анкеты следует отсылать специалистам, с которыми предварительно проведена беседа и получено их принципиальное согласие на участие в экспертизе;
  

• 
  в связи с неполным возвратом анкет возможен эффект селекции: на анкеты будут отвечать преимущественно эксперты, придерживающиеся определенно ориентации по проблеме экспертизы;
  
• 
  невозможность своевременно уточнить постановку вопроса, непонятного эксперту.
  

СТРУКТУРА АНКЕТЫ

Анкета состоит из пояснительной записки и карты опроса.

В пояснительной записке указывается цель анкетирования, на конкретных примерах показывают, как заполнять карту опроса. Объем пояснительной записки должен быть минимизирован (1-1,5 страниц).

В карте опроса приводят определенным образом организованный набор вопросов, для каждого из которых предусмотрена своя форма ответа:

1. 
   все возможные варианты приведены в карте опроса, эксперты выбирают наиболее подходящий;
   
2. 
   ответ имеет количественную форму;
   
3. 
   эксперты отвечают в свободной форме.
   

При проведении анкетного опроса важным является порядок расположения вопросов. Вопросы рекомендуется располагать не в случайном порядке, а в зависимости от значений для проблемы экспертизы, по степени общности или так, чтобы обдумывая ответы на первые вопросы, эксперт подготавливался к ответу на последующие вопросы.

2. 
   Смешанное анкетирование
   

Способ применяют в тех случаях, когда предстоит разъяснить эксперту многие неясные или нечетко сформулированные вопросы анкеты. Эксперт заполняет анкету в присутствии организатора. Это упрощает подготовку пояснительной записки, позволяет значительно сократить время операции, исключить возможность неполного возврата анкет.

Недостатки:

• 
  в процессе разъяснения отдельных вопросов организатор невольно ориентирует экспертов на собственное понимание желаемого ответа;
  
• 
  в присутствии организатора каждый эксперт может предложить оценки, отличающиеся от тех, которые он предложил бы при обдумывании в одиночестве;
  
• 
  в условиях ограниченного времени обдумывание ответов бывает не столь тщательным, как при заочном анкетировании.
  

4.2.3 Мобильное анкетирование

Способ сочетает в себе смешанное и заочное анкетирование. Его удобно применять, когда число экспертов невелико (до 5 человек). С помощью этого метода удобно производить разработку нормативных документов, в том числе МОК.

Опрос экспертов проводят индивидуально с мобильно меняющимся от эксперта к эксперту составом вопросов. Организатор во время очной встречи разъясняет эксперту цель работы и результаты, достигнутые в процессе предшествующего опроса других экспертов. Затем он передает эксперту полученный к этому моменту материал (фрагменты разрабатываемого документа и вопросы, подготовленные для данного эксперта его предшественниками) для дальнейшей работы.

Опрашиваемый эксперт через определенный срок возвращает организатору разрабатываемый документ со своими уточнениями и вопросами, которые организатор должен передать следующему эксперту.

Лучше, чтобы каждый эксперт не знал, кому поставляются его материалы и от кого он получает вопросы.

Мобильное анкетирование позволяет значительно увеличить объем и качество информации, полученной от экспертов, стимулирует эксперта на проявление максимальной компетентности.

Достоинство: неясные и спорные вопросы эксперт может включить в анкету для последующего специалиста.

Ограничение способа: способ требует больших затрат времени со стороны организатора, ему приходится неоднократно беседовать с каждым экспертом, готовить каждый раз заново карту опроса. Иногда число туров такой экспертизы доходит до 10.

4.2.4 Интервью

Интервью наиболее удобно для организатора, так как не требует ни карты опроса, ни пояснительной записки. Нужен лишь небольшой план и список вопросов, которые организатор собирается задать эксперту. Необязательно в ходе интервью получить ответы на все подготовленные вопросы, следует способствовать максимальному развитию экспертом его мыслей при ответах на те вопросы, которые наиболее глубоко изучены и интересны для эксперта. Не рекомендуется стремиться получить ответы на те вопросы, в которых эксперт чувствует себя неуверенно или не хочет отвечать.

Этим способом можно решить некоторую квалиметрическую задачу в ситуации, когда по условиям работы каждого эксперта можно опросить только один раз в удобное для него время.

4.2.5 Косвенный опрос

Способ применяют в тех случаях, когда по этическим соображениям или по соображениям секретности истинная цель экспертизы не может быть сообщена эксперту.

Опрос выполняют любым из возможных способов. При этом основные вопросы помещают среди других вопросов, подобранных так, чтобы дезориентировать эксперта, создать у него ложное представление о цели опроса.

Недостатки:

• 
  Благодаря тому, что эксперт не знает истинной цели опроса, он формирует в своем сознании ложную цель и, исходя из нее, отвечает на вопросы. Получив ответы эксперта, заказчик экспертизы не может быть уверен в том, что эксперт дал бы такие же ответы, будь ему известна истинная цель опроса.
  
• 
  Значительное время уходит на подготовку опроса, подбор отвлекающих вопросов и смысловой анализ материала.
  

4.3 Операции с экспертной группой

4.3.1 Общий план групповой экспертизы

Групповая экспертиза заключается в последовательном проведении серии экспертных операций.

Экспертная операция – это организационно выделенный этап работы с группой экспертов, в ходе которого достигается законченное преобразование информации, относящейся к решаемой задаче, из одной формы в другую.

В квалиметрии различают следующие экспертные операции:

• 
  ориентировка;
  
• 
  генерация;
  
• 
  назначение оценок;
  
• 
  коммуникация (обмен информацией между экспертами).
  

Типичный план групповой экспертизы

<sub>Ориентировка

Генерация</sub>

Статистическая обработка

Назначение оценок

Статистическая обработка

Окончательные результаты

_{Коммуникация}

итерация

Пример: Оценивание эстетических свойств товаров в институте технической эстетики.

Экспертиза начинается с анализа представленных материалов, который выполняет ведущий эксперт. Он подбирает данные о мировом рынке оцениваемого товара, выбирает 2-3 эталона для сравнения, составляет предварительный перечень эстетических показателей качества, т.е. готовит ориентирующую информацию.

Исполнитель	Операция
1 Ведущий эксперт	Подготовка ориентирующей информации
2 Эксперты индивидуально	Дополнение и корректировка списка эстетических свойств и показателей
3 Рабочая группа	Обобщение предоставленных экспертами данных, подготовка материалов для обсуждения
4 Группа экспертов	Обсуждение результатов, определение согласованной части назначенных оценок
5 Рабочая группа	Обработка оценок, выявление рассогласованных оценок и спорных вопросов
6 Группа экспертов	Обсуждение спорных вопросов, повторное назначение оценок по остаточным показателям
7 Ведущий эксперт	Утверждение полученных результатов либо их корректировка и возвращение на обсуждение

После ориентировки эксперты индивидуально дополняют и корректируют материалы, представленные ведущим экспертом (операция генерации).

После статистической обработки и назначения оценок рабочая группа вновь выполняет статистическую обработку, выявляя рассогласованные оценки и формулирования нерешенных вопросов. После повторного заседания экспертной группы и достижения согласия ведущий эксперт утверждает результаты либо не согласуются с ними и назначает новое обсуждение.

Повторное осуществление операций обсуждения и назначения оценок называется итерацией.

Благодаря проводимым итерациям создается возможность объединить знания и способности многих специалистов и прийти к согласованному решению.

4.3.2 Ориентировка

Ориентировка состоит в снабжении экспертов информацией по анализируемой проблеме, полученной от заказчика экспертизы.

Как правило, ориентировку проводят один раз – в начале экспертизы.

Операция имеет следующие назначения:

1. 
   уточняется сформулированная заказчиком генеральная цель экспертизы;
   
2. 
   проверяется принципиальная правильность намеченного пути достижения цели;
   
3. 
   у экспертов создается определенная ориентация в отношении проблемы и принципам подхода к ее решению.
   

Формы ориентировки:

1. 
   Краткий доклад по проблеме, сделанный организатором или представителем заказчика
   

Основное достоинство: простота, поскольку не требуется подготовки информации в письменном виде, распространяемой среди экспертов.

Недостатки:

• 
  Эксперты могут прослушать, забыть основные положения доклада
  
• 
  Эксперты не могут в ходе доклада всесторонне осмыслить задачу и предложить продуманные формулировки цели и способы работы.
  

2. 
   Ознакомление всех экспертов с печатными материалами о проблеме экспертизы.
   

Недостатки:

• 
  Крайне трудно подобрать, обработать и представить в удобной форме весь необходимый объем информации, имеющий отношение к проблеме экспертизы. Весьма возможно, что именно важные для оценивания источники не войдут в состав ориентирующей информации, что решающим образом отразится на работе экспертов.
  
• 
  При обработке разнохарактерной информации велика возможность одностороннего субъективного подбора данных. Если представить информацию в необработанном виде, то эксперты могут ее вообще проигнорировать. Рекомендуется вручать экспертам не сами документы, а их аннотированный список, чтобы эксперт мог сам выбрать необходимую ему информацию.
  

3. 
   Выполнение экспертами определенных домашних заданий (составление докладных записок по проблеме экспертизы, заполнение определенных анкет в ходе которых эксперт вынужден обращаться к специальной литературе).
   

Недостаток: некоторые эксперты из-за нежелания заниматься самоподготовкой откажутся от участия в экспертизе.

4. 
   Проведение деловой игры
   

Можно обеспечить освоение всеми экспертами ориентирующей информацией в форме, не приводящей к значительной усталости экспертов. Такой формой является деловая игра. Подготовка деловой игры требует большой работы рабочей группы и занимает значительное время. Способ применяют при неоднократной экспертизе одного и того же назначения.