Известия высших учебных заведений. Поволжский регион 98
 Скачать 297.71 Kb.
|
|
Известия высших учебных заведений. Поволжский регион 98 УДК ОС. Кошевой, Е. С. Голосова, Ш. Г. Сеидов ОРГАНИЗАЦИЯ ЭКСПЕРТНОГО ОПРОСА С ПРИВЛЕЧЕНИЕМ СПЕЦИАЛИСТОВ ОРГАНОВ ГОСУДАРСТВЕННОГО И МУНИЦИПАЛЬНОГО УПРАВЛЕНИЯ Аннотация В статье представлена технология организации экспертного опроса. Раскрыты основные этапы проведения экспертизы и методы их реализации. Рассмотрен практический пример организации экспертного опроса с оценкой достоверности полученных результатов. Ключевые слова метод, опрос, самооценка, критерий, эксперт, экспертиза, экспертный опрос. Abstract. The article presents the technology of organization of expert survey. The authors reveal the main stages of examination and methods of their implementation, as well as consider a practical example of organization of the expert survey to esti- mate reliability of the results. Key words:method, survey, self-appraisal, criterion, the expert, examination, expert survey. Экспертный опрос – это разновидность опроса, входе которого респондентами являются эксперты – высококвалифицированные специалисты в определенной области деятельности [1]. Основное назначение метода экспертного опроса – выявление наиболее существенных, сложных аспектов исследуемой проблемы, повышение надежности, обоснование информации, выводов и практических рекомендаций благодаря использованию знаний и опыта экспертов. Экспертный опрос применяется при изучении всех сфер деятельности в диагностике, прогнозировании, программировании и нормировании, проектировании, оценке состояния социального объекта, принятии решений. Разновидности экспертного опроса также достаточно эффективно применяются на всех этапах прикладных социологических исследований в определении целей и задач, проблем, построении гипотез, сборе и анализе информации, выработке практических рекомендаций. По мнению В. А. Ядова, экспертный опрос – это опрос специалистов – особая разновидность метода социологического исследования, где многие требования, применимые в массовых опросах, неприемлемы [2]. Главное отличие экспертного опроса от других видов опроса состоит в формировании целевой установки и ее реализации. Так, в частности, экспертный опрос предназначен для описания некоторой реальности, находящейся вне эксперта (характеристики социальной среды, профессиональные качества сотрудников и т.п.). В обычном опросе в качестве объекта изучения выступают сами опрашиваемые. Если в первом случае опрашиваемый – это инструмент для оценки некоторого объекта, то во втором случае – это сам объект, характеристики которого мы измеряем [3]. Отсюда следует, что программа опроса экспертов менее детализированна, чем в массовых опросах, и носит преимущественно концептуальный характер. При составлении инструментария экспертного опроса, а именно – анкеты или бланка-интервью, некоторые № 1 (21), 2012 Общественные науки. Социология 99 технические и методические приемы, широко используемые в массовых опросах, теряют свое значение при опросе такой специфической аудитории, как эксперты. Этапы экспертного опроса представлены на рис. 1. Рис. 1. Этапы экспертного опроса Основное содержание первого этапа вытекает из определения цели и задач экспертного опроса. При проведении региональных исследований целями и задачами экспертного оценивания могут являться вопросы, связанные с оценкой системы здравоохранения региона, системы образования, деятельности органов государственной власти, ценностных ориентаций молодежи, состояния занятости и безработицы в регионе и т.п. После определения целей и задач экспертного опроса необходимо выделить набор качественных и количественных характеристик объекта исследования (второй этап. Так, например, при исследовании образовательной среды вуза такими характеристиками объекта исследования могут быть востребованность выпускника на региональном рынке труда, использование новых информационных технологий в процессе обучения, участие студентов в инновационных проектах, симпозиумах и конференциях и т.п. При организации третьего этапа экспертного исследования необходимо решить две частные задачи сформировать список общий экспертов и определить их необходимое (достаточное) количество. При формировании списка экспертов с привлечением специалистов органов государственного и муниципального управления следует учитывать должность, классный чин, опыт работы, ученое звание, участие в подготовке управленческих решений (постановлений, рекомендаций, нормативных документов, методики т.п.) по направлению предполагаемой экспертизы. Необходимое количество экспертов на основе статистического подхода можно найти по зависимости [4] 2 1 t N α = ε , (1) где t α – показатель достоверности для заданной доверительной вероятности полученного результата 1 ε – заданная до начала опроса предельно допусти- Формулировка цели экспертизы Экспертный опрос Формирование экспертной группы Проведение экспертизы Определение характеристик объекта экспертизы Определение способа экспертного оценивания Обработка и анализ результатов экспертизы Известия высших учебных заведений. Поволжский регион 100 мая ошибка, выраженная в долях среднеквадратического отклонения σ ; 1 ε ε = σ , (2) где ε – абсолютная погрешность. Принимая значение 1 ε равными равным 1,96, получим 2 1,96 8 экспертов. 0,5 N = ≈ Исходя из зависимости для определения необходимого количества экспертов, при проведении собственно-случайного бесповторного отбора необходимое количество экспертов можно определить по зависимости [5] 2 х q N α ⋅ ⋅ = Δ , (3) где p – доля единиц, обладающих обследуемым признаком q – доля единиц, не обладающих обследуемым признаком х – предельная ошибка выборочного наблюдения. В условиях отсутствия информации о величинах p и q принимаем их равными 0,5. Значение t α принимается равным 1,96 исходя из обеспечения доверительной вероятности, равной 0,95. Предельную ошибку выборочного наблюдения принимаем равной значению. Тогда в соответствии с зависимостью (3) необходимое количество экспертов составит 2 1,96 0,5 0,5 19 человек. 0,05 n ⋅ ⋅ = ≈ В работе В. М. Мишина представлена зависимость для определения минимального числа экспертов мин 0,5 0,5 N d = ⋅ + , (4) где d – возможная ошибка результатов экспертизы (0 < d < 1). Принимая предельную ошибку выборки равной 0,05, получим мин 0,5 0,5 32 человека. 0,05 N = ⋅ + = Зависимости (1), (3), (4) построены на предположении, что компетентность экспертов приблизительно одинакова. В случае если компетентность экспертов каким-либо образом определена, то рекомендуется включать в экспертную группу не более 10–15 наибо- № 1 (21), 2012 Общественные науки. Социология 101 лее компетентных специалистов [3]. Таким образом, оптимальным количеством экспертов следует считать диапазон опт 10 30 человек) Учитывая, что исходный список экспертов, сформированный при участии специалистов органов государственного и муниципального управления, будет гораздо больше, его необходимо привести в соответствие с соотношением. Для решения поставленной задачи существует достаточно разработанный и апробированный во многих исследованиях аппарат, детальный обзор которого представлен в работах [3, 6, 7]. Для отбора экспертов из представителей органов государственного и муниципального управления, на наш взгляд, наиболее предпочтительными являются априорные методы оценки эксперта. К этой группе относятся наиболее распространенные методы самооце- нивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы 1) самооценка по одной из балльных шкал (3-, 5-, 10- или балльной) самооценка с использованием вербально-числовых шкал, которые, наряду счисленными значениями градаций, содержат их качественное описание) самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниями опыту, используя для этого качественные градации заранее разработанной шкалы 4) самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качества, используя два основных частных критерия – критерий, характеризующий его знакомство с основными источниками информации в данной области (например, специальные отечественные и зарубежные периодические издания, патентная информация, внутрифирменная информация и т.п.); – критерий, характеризующий знакомство с объектом экспертизы например, знание отраслевой специфики, конкретной организации, знакомство с образцами продукции, видами услуги т.п.). В этом случае комплексная самооценка экспертарассчитывается по формуле из к 2 К К К + β⋅ = , (6) где К к комплексная самооценка эксперта К И – коэффициент информированности (в долях единицы К з – коэффициент знакомства с проблемой β – весовой коэффициент. К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки,использование которых предполагает, что эксперты оценивают друг друга. Наиболее распространенный из них – метод списка экспертов. Процедура его применения заключается в следующем. Каждый из экспертов составляет список специалистов, которых он считаеткомпетентными в данной области. Затем на основе этих списков рассчитывают коэффициент Известия высших учебных заведений. Поволжский регион 102 компетентности эксперта – отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков. С использованием данных методов формируется окончательный список экспертов в соответствии с отношением (5). Четвертый этап экспертного опроса непосредственно связан с технологией проведения экспертного опроса. В данном случае наиболее простым является метод априорного ранжирования, основанный на экспертной оценке факторов группой специалистов, компетентных в исследуемой области. Методика применения данного метода представлена в работе [8]. При реализации данного метода экспертами осуществляется индивидуальная оценка предложенных факторов с помощью рангов, в процессе которой факторы располагаются в порядке убывания степени их влияния на результирующий признак или объект исследования, являющийся целевой функцией. Ранг обозначается следующим образом а, где m – условный номер эксперта k – номер оцениваемого показателя. При этом показатель, имеющий наибольшее влияние на исследуемый процесс, оценивается первым рангом (цифрой 1). Показателю, имеющему меньшее значение, приписывается второй ранг (цифра 2) и т.д. Рассмотрим пример организации экспертного опроса в системе здравоохранения региона с целью определения показателей, оказывающих определяющее влияние на систему. Для упрощения вычислений допустим, что в экспертном опросе участвуют восемь экспертов, которые оценивают следующие показатели – обеспеченность больничного фонда современным медицинским оборудованием организация материального стимулирования медицинского персонала – комфортность получения медицинских услуг (для больных – наличие младшего медицинского персонала. Алгоритм реализации метода заключается в следующем 1. Индивидуальные оценки всех экспертов сводятся в таблицу априорного ранжирования (табл. 1). 2. Проверяется правильность заполнения таблицы. Максимальный ранг по конкретному показателю (а) не может быть больше числа сравниваемых факторов (k). Условие выполняется. Максимальное значение суммы рангов по любому фактору не может быть больше произведения максимально возможного ранга на число экспертов, те. ( ) ( ) max max k k m Δ ≤ Δ ⋅ , или в соответствии с табл. 1 имеем ( ) 3 max 30 32 (4 8). k Δ = Δ = = Условие выполняется. Минимально возможная сумма рангов по любому фактору не может быть меньше минимального ранга (равного 1), умноженного на число экспертов, те. ( ) ( ) min min k k m Δ Δ ⋅ , № 1 (21), 2012 Общественные науки. Социология 103 или в соответствии с табл. 1 имеем ( ) 1 min 11 8 8 1 k Δ = Δ = = Условие выполняется. Таблица 1 Результаты экспертного опроса Условные номера экспертов, Сумма рангов Отклонение суммы рангов Квадрат отклонения МестоВес показателя Ранги оценки km а k Δ k ′ Δ 2 ( ) k ′ Δ М q k Современное медицинское оборудование 2 2 2 1 1 1 1 1 11 –9 81 1 0,4 Стимулирование персонала 3 3 3 3 3 4 4 4 27 7 49 3 0,2 Комфортность медицинских услуг 4 3 3 4 4 4 4 4 30 10 100 4 0,1 Младший медицинский персонал 1 2 2 3 2 1 1 1 12 –8 64 2 0,3 Итого 10 10 10 10 10 10 10 10 80 294 1,0 3. Вычисляются сумма рангов 1 k k k = Δ и средняя сумма рангов Δ : 1 1 11 27 30 12 4 k k k k = + + + Δ = Δ = = 20. Проверяется правильность определения суммы рангов по формуле 1 k k k m k a = Δ = ⋅ ⋅ , где a – средний ранг оценки факторов каждым экспертом 1 1 1 2 3 4 2,5. 4 k k a k k = + + +Тогда имеем 1 8 4 2,5 80 k k k m k a = Δ = ⋅ ⋅ = ⋅ ⋅ = , что соответствует данным табл. 1, следовательно, условие выполняется. Известия высших учебных заведений. Поволжский регион 4. Определяется отклонение суммы рангов каждого фактора от средней суммы рангов k k ′ Δ = Δ − Δ . 5. С помощью коэффициента конкордации Кэнделла оценивается степень согласованности мнений экспертов. При этом коэффициент конкор- дации Кэнделла определяется по формуле [5] 2 3 12 ( ) S W k m m ⋅ = ⋅ − (7) Тогда в соответствии с табл. 1 имеем 12 294 0,437. 16 (512 Коэффициент конкордации Кэнделла изменяется в пределах от 0 допри этом чем ближе значение коэффициента к 1, тем теснее степень согласованности экспертов. В рассматриваемом случае степень согласованности близка к среднему значению. Далее необходимо проверить статистическую значимость полученного коэффициента конкордации Кэнделла с использованием 2 χ -критерия Пирсона. Расчетное значение р -критерия Пирсона определяется по формуле [5] р m m ⋅ χ = ⋅ − (8) Тогда в соответствии с табл. 1 имеем р 294 15,75. 4 8(8 1) ⋅ χ Критическое значение кр -критерия Пирсона определяем с использованием статистической функции ХИ2ОБР табличного процессора MS Excel. Для уровня значимости 0,05 α = и числа степеней свободы n = m – 1 кр Поскольку 2 р кр, то делается вывод статистической значимости согласованности мнений экспертов. В случае если статистическая значимость согласованности мнений не подтвердится 2 р кр, необходимы − передача проведения экспертизы другой группе специалистов − корректировка состава показателей − привлечение других экспертов в состав группы, которая проводила экспертизу Общественные науки. Социология 105 Однако при любом исходе проводить повторную экспертизу прежним составом экспертов не рекомендуется. Таким образом, по результатам выполненного исследования можно утверждать, что показатели, оказывающие определяющее влияние на систему здравоохранения, по степени влияния распределились следующим образом е место – обеспеченность больничного фонда современным медицинским оборудованием ( 11) k Δ = ; е место – наличие младшего медицинского персонала ( 12) k Δ = ; е место – организация материального стимулирования медицинского персонала ( 27) k Δ = ; е место – комфортность для больных получения медицинских услуг ( 30). k Δ При наличии значительного количества показателей для удобства анализа можно построить диаграмму распределения рангов (рис. 2), с помощью которой можно достаточно просто определить показатели, оказывающие определяющее влияние на исследуемую социальную систему. Рис. 2. Диаграмма распределения рангов Заштрихованная группа показателей оказывает определяющее влияние на рассматриваемую систему. Удельные веса показателей по степени их влияния на исследуемую систему определяются по формуле 2( 1) ( 1) k k M q k k − + = + (9) Тогда для первого показателя имеем 1 2(4 1 1) 0,4 4(4 1) k q − + = = + Известия высших учебных заведений. Поволжский регион 106 Поступая аналогичным образом, сводим полученные результаты в табл. 1. Таким образом, используя приведенные способы и методы, можно организовать эффективный и достоверный экспертный опрос по любому из направлений социально-экономической сферы. Список литературы 1. Социология : энциклопедия / сост. А. А. Грицанов и др. – Минск : Книжный Дом, 2003. – 1312 с. 2. Ядов, В. А Социологическое исследование методология, программа, методы / В. А. Ядов. – М. : Наука, 1987. 3. Крымский, С. Б Экспертные оценки в социологических исследованиях / С. Б. Крымский, Б. Б. Жилин, В. И. Паниотто и др. ; АН УССР, Ин-т философии. – Киев : Наукова думка, 1990. – 320 с. 4. Эйтингон, В. Н Методы организации экспертизы и обработки экспертных оценок в менеджменте : учеб.-метод. пособие / В. Н. Эйтингон, МА. Кравец, Н. П. Панкратова. – Воронеж : ВГУ, 2004. – 44 с. 5. Шмойлова, Р. А Теория статистики : учеб. / Р. А. Шмойлова, В. Г. Минаш- кин, НА. Садовникова, Е. Б. Шувалова. – М. : Финансы и статистика, 2008. – 656 с. 6. Масленников, В. Е Особенности отбора экспертов / В. Е. Масленников // Социология. – 2010. – № 2. – С. 82–93. 7. Ременников, В. Б Управленческие решения : учеб. пособие / В. Б. Ременни- ков. – М. : ЮНИТИ-ДАННА, 2005. – 144 с. 8. Кузнецов, Е. С Управление техническими системами : учеб. пособие / Е. С. Кузнецов. – М. : МАДИ (ГТУ), 2003. – 247 с. Кошевой Олег Сергеевич доктор технических наук, профессор, кафедра государственного управления и социологии региона, Пензенский государственный университет Koshevoy Oleg Sergeevich Doctor of engineering sciences, professor, sub-department of public administration and regional sociology, Penza State University E-mail: olaa@penzadom.ru Голосова Елена Сергеевна кандидат социологических наук, старший преподаватель, кафедра государственного управления и социологии региона, Пензенский государственный университет Golosova Elena Sergeevna Candidate of sociological sciences, senior lecturer, sub-department of public administration and regional sociology, Penza State University E-mail: helena_82@mail.ru Сеидов Шахрутдин Гаджиалиевич доктор политических наук, профессор, кафедра государственно-правовых дисциплин, Пензенский государственный университет Seidov Shahrutdin Gadgialievich Doctor of political sciences, professor, sub-department of state and legal disciplines, Penza State University E-mail: pgu_gpd@mail.ru № 1 (21), 2012 Общественные науки. Социология 107 УДК 303.62 Кошевой, ОС. Организация экспертного опроса с привлечением специалистов органов государственного и муниципального управления ОС. Кошевой, Е. С. Голосова, Ш. Г. Сеидов // Известия высших учебных заведений. Поволжский регион. Общественные науки. – 2012. – № 1 (21). – С. 98–107. |