Методические указания Решение рекомендуется выполнять в следующей последовательности

• Название: Методические указания Решение рекомендуется выполнять в следующей последовательности
• Дата: 25.05.2022
• Размер: 116.39 Kb.
• Имя файла: source.docx
• Тип: Методические указания; #549382

Тема 3. Формирование экспертной группы и определение групповых оценок

Задание 9. Подбор экспертов и формирование экспертных групп

Цель задания: Оценить численность группы экспертов. Определить нижнюю и верхнюю численность экспертной группы.

Условия задания: Необходимо сформировать экспертную группу для выявления 10 наиболее важных составляющих бренда, которые определяют его эффективность. Экспертной группе для рассмотрения предложено 15 составляющих бренда. Общее число экспертов, которое может пригласить аналитик, составляет 120 человек (таблица 1).

Методические указания: Решение рекомендуется выполнять в следующей последовательности:

1. Определяется потенциально возможное число экспертов N_n, как верхняя граница численности групп:

,

2. Определяется минимально допустимая численность группы, которая должна зависеть от числа оцениваемых событий:

,

где m – число событий.
Таблица 1 – Потенциальное количество экспертов и их характеристика

Категории экспертов	Численность, чел.	В том числе
		с высшим образованием	имеющие стаж свыше 5 лет
Научные работники	15	15	12
Специалисты консалтинговыхагенств	15	15	11
Руководители предприятий	10	10	9
Руководители предприятий - конкурентов	10	10	8
Менеджеры	70	60	40

3. Среди потенциально возможных экспертов выделяется группа специалистов N_k требуемой квалификации для оцениваемого класса событий:

.

4. Из группы N_kисключаются те эксперты, чьи потенциально возможные цели могут противоречить целям получения объективных результатов:

.

5. Из группы N_ц – формируется группа так, чтобы в ней обеспечивалось равночисленное представительство разных направлений. Определяется максимально возможное число представителей каждого направления:

.

6. Определяется направление с наименьшим числом экспертов , которое входит в группу N_ц . Определяется общая численность группы:

.

7. Проверяется соотношение . Если оно не удовлетворяется, то необходимо выяснить возможность ослабления приведенных выше ограничений.

Решение:

1. Определяется верхняя граница группы: чел.

2. Определяется нижняя граница группы, исходя из числа рассматриваемых вариантов решений (15 составляющих бренда): чел.

3. Руководство предприятия считает обязательным для экспертов высшее образование и стаж работы в области брендинга не менее 5 лет, тогда численность группы специалистов требуемой квалификации составит: чел.

4. Руководство предприятия считает, что цели конкурентов могут протии-воречить целям получения объективных результатов: чел.

5. Среди экспертов присутствуют представители трех типов руководителей: новаторы, осторожные последователи и консерваторы, тогда: чел.

6. Фактическое число специалистов-новаторов в рассматриваемой группе 35 человек, последователей 8 человек, консерваторов 29 человек, тогда: чел.

7. Общая численность группы будет равна: чел.

Выводы и предложения: Полученная численность больше минимально допустимого значения (24>15), таким образом, общая рассчитанная численность группы удовлетворяет всем заданным условиям и может быть принята для дальнейших исследований.

Задание 10. Формирование правил определения суммарных оценок на основе оценок отдельных экспертов

Цель задания: Определить степень компетентности экспертов, учитывая их опыт и квалификацию.

Условия задания: Четырем экспертам предложено оценить определенное событие по 10-балльной шкале, а также заполнить анкету для оценки собственной компетентности.

Методические указания: Решение рекомендуется выполнять в следующей последовательности

1. 
   Определяется оценка компетентности экспертов с помощью специальной анкеты (таблица 2).
   
2. 
   Относительная самооценка эксперта определяется по 10-ти бальной шкале. Значения баллов:
   

Таблица 2 - Результаты экспертной оценки

Эксперт	Оценка события, балл	Анкета для оценки компетентности экспертов
		Объективная оценка – ho								Субъективная оценка – hc
		Занимаемая должность	Баллы	Уровень образова- ния	Баллы	Общий стаж работы	Баллы	Стаж работы по проблеме	Баллы	Степень участия в решении данной проблемы	Баллы
А	7	Руководитель организации	10	Доктор наук	6	>10	10	>10	10	Эксперт специали-зируется по данному вопросу	10
Б	5	Зам. руководителя	8	Кандидат наук	4	5-10	8	5-10	8	Эксперт участвует в практическом решении вопроса	8
В	6	Руководитель подразделения	6	Высшее	2	<5	6	<5	6	Вопрос входит в сферу, тесно свя-занную со специали-зацией эксперта	5
Г	8	Зам.руководи- теля подраз- деления	4	Среднее	0	<5	6	<5	6	Вопрос не входит в сферу узкойспециа-лизации эксперта	3

10 – эксперт специализируется по данному вопросу, имеет по нему законченные теоретические и практические разработки;

8 – в практическом решении этого вопроса эксперт участвует, но этот вопрос не входит в сферу его узкой специализации;

5- вопрос входит в сферу тесно связанного с его узкой специализацией

направления (смежная прикладная дисциплина, смежная область

практической деятельности);

3- вопрос не входит в сферу тесно связанного с его узкой специализацией

направления (смежная прикладная дисциплина, смежная область

практической деятельности);

3. 
   Определяется компетентность эксперта по данному вопросу по формуле:
   

4. 
   Определяется групповая экспертная оценка по формуле:
   

,

где a_ij – оценка событий, определенная каждым экспертом n_j (n_j N)

h_{j –} степень компетентности экспертов

i = 1, 2 …, m – число событий

j = 1, 2 …, p – число экспертов

При равной компетентности экспертов эта формула принимает вид средней оценки:

;

5. 
   Делаются выводы и предложения.
   

Решение:

1. Оценка строится на основе определенной шкалы, каждый балл которой определяется с помощью выбора соответствующих характеристик, оценивающих квалификацию эксперта: уровень квалификации эксперта в узкой области специализации, его практический опыт и широта кругозора. Эти показатели лучше оценивать по 10-балльной шкале. Полученные характеристики сводят в один показатель , который определяется как средняя арифметическая оценка балла.

2. - субъективный показатель, который получают следующим образом: для каждого вопроса или группы вопросов, по которым считается необходимым оценить компетентность эксперта, в таблице экспертных оценок предусматривается шкала «относительная самооценка эксперта». Эксперту предлагается поставить себе балл по 10-балльной оценке.

3. Определяется компетентность каждого эксперта:









4. Определяется групповая экспертная средняя оценка события:



Выводы и предложения: Для того, чтобы учитывать различия в компетентности экспертов, им могут быть приписаны различные «веса», которые учитываются при определении групповых оценок. Для целей данного исследования применяется объективная (должность, образование, стаж) и субъективная оценка компетентности. В результате выявлено, что 1 эксперт обладает наибольшей компетентностью по проблеме, а 4-й – наименьшей. Поэтому мнению 1 эксперта придается больший вес, чем оценкам остальных экспертов.


Задание 11. Анализ и обработка экспертных оценок

Цель задания: Определить коэффициент конкордации (меру согласованности) при ранжировании 10 событий тремя экспертами.

Условия задания: В результате экспертной оценки получены ранги 10 событий:

Таблица 3 - Результаты ранжирования событий

События, i	P	№1	№2	№3	№4	№5	№6	№7	№8	№9	№10
Ранги	Эксперт А	1	4	2	4	3	7	6	9	7	10
	Эксперт В	2	1	2	4	4	8	9	6	10	6
	Эксперт С	2	1	3	3	3	3	7	7	7	10

Методические указания: Решение рекомендуется выполнять в следующей последовательности

1. 
   Производится ранжирование событий экспертами (таблица 3).
   
2. 
   Для получения нормального ранжирования (среднего значения ранга) используется формула:
   

,

где м – число оцениваемых событий.

3. 
   Определяется суммарное среднеквадратичное отклонение S суммарных событий от среднего значения по формуле:
   

4. 
   Производится расчет совпадения рангов оценки событий для каждого эксперта по формуле:
   

,

где - число повторений каждого ранга в j-м ряду

- число повторяющихся рангов в j- ряду

5. 
   Рассчитывается коэффициент конкордации по формуле:
   

;

6. 
   Делаются выводы и предложения.
   

Решение:

1. При ранжировании события располагаются в порядке возрастания или убывания какого-либо признака Х, количественно не измеримого. Ранг a_i указывает то место, которое занимает i-тое событие среди других m событий, ранжированных в соответствии с признаком Х. Когда ранги повторяются, то для получения нормального ранжирования необходимо приписать событиям, имеющим одинаковые ранги, ранг, равный среднему значению мест, которые эти события поделили между собой.

2. По оценке эксперта А события № 2 и № 4 поделили между собой 4 и 5 место, поэтому им присваивается ранг ; события № 6 и № 9 поделили 7 и 8 места, тогда ранг будет

Таблица 4 - Расчет суммарного среднеквадратичного отклонения S

P	Нормальное ранжирование событий
Эксперт А	1	4,5	2	4,5	3	7,5	6	9	7,5	10
Эксперт В	2,5	1	2,5	4,5	4,5	8	9	6,5	10	6,5
Эксперт С	2	1	4,5	4,5	4,5	4,5	8	8	8	10
	5,5	6,5	9	13,5	12	20	23	23,5	25,5	26,5
	-11	-10	-7,5	-3	-4,5	3,5	6,5	7	9	10
	121	100	56,25	9	20,25	12,25	42,25	49	81	100

3. Для расчета показателя d необходимо определить среднее значение a



4. Получив значение d², определяют суммарное среднеквадратическое отклонение S:



5. Проводят расчет совпадения рангов по каждому эксперту:







6. Рассчитывают коэффициент конкордации:

.

Выводы и предложения:

Если W=0, то согласованности в оценках нет, поэтому для получения достоверных оценок следует уточнить исходные данные о событиях или изменить состав группы экспертов. Если W=1, согласованность мнений экспертов полная, при этом не всегда можно считать полученные оценки объективными, так как иногда оказывается, что все члены экспертной группы заранее договорились, защищая свои общие интересы. Если W=0,5, то действия экспертов более согласованы, чем не согласованы. Если W<0,5, то полученные оценки нельзя считать достоверными, следует повторить опрос заново. Расчетный коэффициент конкордации составил 0,828, следовательно, действия экспертов согласованы.