Главная страница
Навигация по странице:

  • Теоретическая часть: 1 Априорная информация

  • Анкетный опрос

  • Лабораторная работа Вариант 2 Исходные данные

  • Эксперты

  • Факторы

    		•

    Лабораторная работа вариант 2 коэффициент конкордации. Использование коэффициента конкордации для обработки результатов анкетного опроса


    Скачать 65.39 Kb.
    НазваниеИспользование коэффициента конкордации для обработки результатов анкетного опроса
    Дата14.12.2021
    Размер65.39 Kb.
    Формат файлаdocx
    Имя файлаЛабораторная работа вариант 2 коэффициент конкордации.docx
    ТипДокументы
    #303556

    Тема: Использование коэффициента конкордации для обработки результатов анкетного опроса

    Цель: формирование практических навыков подготовки, сбора информации, имеющейся у респондентов (экспертов), последующей обработки и интерпретации данных с использованием современных информационных технологий.

    Задачи:

    1 Ознакомиться с различными видами сбора априорной информации.

    2 Ознакомиться с правилами составления анкет и проведения анкетного опроса.

    3 Произвести обработку результатов анкетного опроса и определить три наиболее значимых фактора.

    Теоретическая часть:

    1 Априорная информация — информация, известная об объекте до измерения («априори» - до опыта). При ее отсутствии измерение невозможно, при наличии в максимальном объеме — не нужно.

    Априорная информация определяет достижимую точность измерений и их эффективность. Она с трудом поддается формальному описанию. Источниками исходной информации могут быть проектная и нормативно-техническая документация, научно-техническая литература, мнения экспертов, сведения, полученные предшествующими исследованиями при работе над аналогичными объектами исследования. Априорная информация об объекте должна содержать структурное описание объекта и его компонентов, данные о характере преобразования входного сигнала в измерительном канале в виде математической модели, режим работы (статический, динамический и т. п.) и т. д.

    Если экспериментатор располагает априорными данными об исследуемом объекте, перед ним встает задача получения не всех, а лишь недостающих данных. В этом случае априорные данные (априорная модель) вместе с данными измерительного эксперимента дают апостериорную модель, которая используется в качестве априорной при дальнейшем исследовании объекта.

    К наиболее распространенным методам сбора первичной информации относятся наблюдение и автоматическая регистрация данных, имитация, диагностика, эксперимент (специфическое исследование), опрос (используется в 90% случаев), анализ.

    В проведении социологических исследований часто возникает необходимость использования методов количественного описания процессов, позволяющих регистрировать как количественные, так и качественные факторы, которые могут быть упорядочены или проранжированы по степени убывания (возрастания). При данном условии возможно проведение оценивания наличия тесноты взаимосвязи между признаками (мнениями экспертов), которые точно измерить нельзя, но можно расположить в порядке возрастания или убывания качества. Реальным содержанием измерений в ранговых шкалах является тот порядок, в котором выстраиваются признаки (объекты) по степени выраженности измеряемого признака.

    При проведении статистических исследований возникают ситуации, в которых объект может характеризоваться не двумя последовательностями, которые статистически обрабатываются с помощью коэффициента корреляции, а несколькими последовательностями рангов полученных с помощью экспертов, имеющих одинаковый уровень профессионализма в определенной области и исследователю необходимо установить статистическую связь между этими последовательностями. Такие задачи возникают, например, при анализе экспертных оценок: несколько экспертов ранжируют одних и тех же испытуемых по определенному качеству, а психологу для проведения углубленного анализа ситуации и принятия обоснованного решения требуется определить степень согласованности мнений группы экспертов.

    Согласованность ранжирования, осуществленного экспертами, необходимо определять для подтверждения правильности гипотезы о том, что эксперты производят относительно точные измерения, что позволяет формировать различные группировки в экспертных группах, обуславливаемые зачастую человеческими факторами, прежде всего такими, как различие взглядов, концепций, разными научными школами, характером профессиональной деятельности и т. д.

    2 Анкетный опрос — наиболее часто применяемый метод сбора первичной информации, поскольку он позволяет получить качественную и разнообразную информацию. При этом на уровень получаемой информации влияет, с одной стороны, возможность для респондента дать свой уникальный ответ, с другой — размещение в анкете различного вида подсказок.

    Как правило, анкетирование проводится в три этапа.

    1 Подготовительный этап включает в себя формирование программы опроса, составление плана, его проверку, тиражирование, написание и ознакомление интервьюеров с инструкцией проведения анкетирования, подбор интервьюеров.

    В данный этап входят следующие подэтапы:

    а) определение того, какая информация должна быть собрана исследователем;

    б) определение типа анкеты и метода проведения опроса (почта, электронная почта, телефон, личный контакт). На этом этапе также конкретизируется уровень стандартизации и уровень открытости анкеты;

    в) формирование конкретных вопросов анкеты. При этом необходимо четко понимать, какие ответы интервьюер предоставляет и насколько они отвечают целям исследования. Вопросы должны быть достаточно понятными и подробными, при этом иногда целесообразно разбить вопрос на две части;

    г) определение формы ответа на поставленные в анкете вопросы. Это может быть произвольная форма ответа, либо уже заранее заготовленные варианты;

    д) формирование последовательности вопросов в анкете. При этом наиболее часто используют воронкообразный подход, который предполагает формулирование вначале достаточно «широких» вопросов, которые постепенно сужаются, т.е. переход от общего к частному. Деликатные вопросы следует размещать в середине анкеты, пряча их за обычными вопросами;

    е) формирование физических характеристик анкеты, которые включают в себя размер анкеты и ее внешнюю привлекательность. Рекомендуется делать анкету короткой, поскольку тогда она будет более легкой для респондента и обеспечит более сильную его вовлеченность;

    ж) проверка предыдущих этапов;

    з) предварительное тестирование или «пилотаж» анкеты и ее корректировка в случае необходимости.

    2 Оперативный этап предусматривает непосредственно проведение анкетирования.

    3 Результативный этап включает в себя обработку ответов и анализ результатов.

    Для проведения анкетирования необходимо соблюдать ряд правил:

    • содержание анкеты должно отвечать цели и задачам исследования;

    • опрос должен длиться не более 30—40 мин;

    • вопросы в анкете должны быть понятными и четкими;

    • необходимо деление анкеты на тематические блоки;

    • респондент в процессе анкетирования не должен решать сложных задач;

    • первый вопрос в анкете должен быть нейтральным;

    • вопросы должны задаваться в логической последовательности;

    • сначала задаются простые вопросы, затем исследуют сложные;

    • трудные вопросы размещаются в середине анкеты;

    • эффективное оформление анкеты с позиции ее понимания;

    • анкета должна быть написана разговорным языком;

    • инструкции должны быть оформлены одинаково;

    • «подсказки» (готовые ответы или дополнительные вопросы) не должны давить на респондента.

    Анкета — эго упорядоченный (ранжированный) по содержанию список вопросов в виде опросного листа.

    Прежде чем формировать анкету для опроса, необходимо определить структуру самой анкеты, уровень формализации вопросов и уровень открытости, т.е. ясности для респондента цели, которую перед собой ставил составитель.

    3 Оценить связь (согласованность) между качественными признаками (мнениями экспертов) можно используя коэффициент конкордации Кендалла (от лат. concprdare – привести в соответствие, упорядочить), позволяющего оценить несколько объектов измерений.

    Коэффициент конкордации Кендалла (коэффициент множественной ранговой корреляции) позволяет определить согласованность мнений экспертов по нескольким факторам. При этом данный коэффициент не показывает предложения о распределении и может содержать огромное количество выборок.

    Переформирование одинаковых (связанных) рангов возникает необходимость произвести переформирование рангов (расчет среднего ранга).

    Оценку степени значимости параметров эксперты производят путем присвоения им рангового номера. Фактору, которому эксперт дает наивысшую оценку, присваивается ранг 1. Если эксперт признает несколько факторов равнозначными, то им присваивается одинаковый ранговый номер. На основе данных анкетного опроса составляется сводная матрица рангов. Степень связи между несколькими ранжировками оцениваются коэффициентом конкордации W (коэффициентом согласия) предложенный Кендалом.

    Величина W изменяется в диапазоне 0 W 1. W = 1 означает, что все эксперты дали одинаковые ранжировки; W = 0 означает отсутствие согласия в ранжировках, данных m экспертами.

    Д ля оценки значимости коэффициента конкордации используется – распределение с числом степеней свободы f = n – 1 и принятым уровнем значимости .

    Если это условие выполняется, то принимается гипотеза о наличии согласия между экспертами.
    Лабораторная работа

    Вариант 2

    Исходные данные:

    По полученным результатам анкетного опроса:

    * рассчитать коэффициент конкордации;

    * проверить гипотезу о согласии во мнении экспертов, при уровне значимости q = 0,01;

    * определить три фактора, оказывающие на исследуемый объект наибольшее влияние.

    Эксперты
    Факторы

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10

    1
    2
    1
    5
    8
    6
    4
    9
    9
    4
    3

    2
    2
    2
    3
    6
    4
    4
    5
    5
    3
    1

    3
    1
    2
    4
    4
    6
    5
    6
    7
    3
    1

    4
    1
    1
    5
    5
    4
    6
    7
    7
    3
    1

    5
    1
    2
    2
    3
    4
    6
    5
    7
    4
    3

    6
    2
    1
    2
    6
    4
    4
    8
    7
    5
    3

    7
    1
    1
    2
    3
    3
    4
    6
    5
    4
    1

    8
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10

    9
    2
    2
    1
    5
    4
    4
    7
    6
    5
    3

    10
    1
    1
    3
    3
    3
    4
    4
    5
    4
    2

    Решение:

    Так как в матрице имеются связанные ранги (одинаковый ранговый номер) в оценках 1-го эксперта, произведем их переформирование. Переформирование рангов производиться без изменения мнения эксперта, то есть между ранговыми номерами должны сохраниться соответствующие соотношения (больше, меньше или равно). Также не рекомендуется ставить ранг выше 1 и ниже значения равного количеству параметров (в данном случае n = 10).

    1 Составляем матрицу переформированных рангов

    Эксперты
    Факторы

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10

    1
    2
    1
    5
    8
    6
    4
    9
    9
    4
    3

    2
    1
    6
    8
    7
    4,5
    9,5
    9,5
    4,5
    3

    2
    2
    2
    3
    6
    4
    4
    5
    5
    3
    1

    2,5
    2,5
    4,5
    10
    6,5
    6,5
    8,5
    8,5
    4,5
    1

    3
    1
    2
    4
    4
    6
    5
    6
    7
    3
    1

    1,5
    3
    5,5
    5,5
    8,5
    7
    8,5
    10
    4
    1,5

    4
    1
    1
    5
    5
    4
    6
    7
    7
    3
    1

    2
    2
    6,5
    6,5
    5
    8
    9,5
    9,5
    4
    2

    5
    1
    2
    2
    3
    4
    6
    5
    7
    4
    3

    1
    2,5
    2,5
    4,5
    6,5
    9
    8
    10
    6,5
    4,5

    6
    2
    1
    2
    6
    4
    4
    8
    7
    5
    3

    2,5
    1
    2,5
    8
    5,5
    5,5
    10
    9
    7
    4

    7
    1
    1
    2
    3
    3
    4
    6
    5
    4
    1

    2
    2
    4
    5,5
    5,5
    7,5
    10
    9
    7,5
    2

    8
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10

    9
    2
    2
    1
    5
    4
    4
    7
    6
    5
    3

    2,5
    2,5
    1
    7,5
    5,5
    5,5
    10
    9
    7,5
    4

    10
    1
    1
    3
    3
    3
    4
    4
    5
    4
    2

    1,5
    1,5
    5
    5
    5
    8
    8
    10
    8
    3



    Матрица рангов

    Факторы→
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    Сумма рангов
    d
    d2

    Эксперты↓

    x1
    2
    2.5
    1.5
    2
    1
    2.5
    2
    1
    2.5
    1.5
    18.5
    -36.5
    1332.25

    x2
    1
    2.5
    3
    2
    2.5
    1
    2
    2
    2.5
    1.5
    20
    -35
    1225

    x3
    6
    4.5
    5.5
    6.5
    2.5
    2.5
    4
    3
    1
    5
    40.5
    -14.5
    210.25

    x4
    8
    10
    5.5
    6.5
    4.5
    8
    5.5
    4
    7.5
    5
    64.5
    9.5
    90.25

    x5
    7
    6.5
    8.5
    5
    6.5
    5.5
    5.5
    5
    5.5
    5
    60
    5
    25

    x6
    4.5
    6.5
    7
    8
    9
    5.5
    7.5
    6
    5.5
    8
    67.5
    12.5
    156.25

    x7
    9.5
    8.5
    8.5
    9.5
    8
    10
    10
    7
    10
    8
    89
    34
    1156

    x8
    9.5
    8.5
    10
    9.5
    10
    9
    9
    8
    9
    10
    92.5
    37.5
    1406.25

    x9
    4.5
    4.5
    4
    4
    6.5
    7
    7.5
    9
    7.5
    8
    62.5
    7.5
    56.25

    x10
    3
    1
    1.5
    2
    4.5
    4
    2
    10
    4
    3
    35
    -20
    400



    55
    55
    55
    55
    55
    55
    55
    55
    55
    55
    550



    6057.5

    где

    .

    Проверка правильности составления матрицы на основе исчисления контрольной суммы:

    .

    Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.

    2 Определяем коэффициент конкордации.

    Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):

    ,

    где S=6057,5; n=10; m=10.

    ,

    Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).

    ;

    ;

    ;

    ;

    ;

    ;

    ;

    ;

    .

    .

    .

    W=0,75 говорит о наличии высокой степени согласованности мнений экспертов.

    3 Оценка значимости коэффициента по критерию

    Для этой цели исчислим критерий согласования Пирсона:

    ,

    .

    Вычисленный χ2 сравним с табличным значением для числа степеней свободы k=n-1 = 10-1 = 9 и при заданном уровне значимости α = 0,01

    Так как χ2 расчетный 67.64 ≥ табличного (16.91898), то W=0,75 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.

    4 Анализ значимости исследуемых факторов.

    В данном примере факторы по значимости распределились следующим образом.

    Расположение факторов по значимости

    Факторы
    Сумма рангов

    x1
    18.5

    x2
    20

    x10
    35

    x3
    40.5

    x5
    60

    x9
    62.5

    x4
    64.5

    x6
    67.5

    x7
    89

    x8
    92.5

    Следовательно, наибольшее влияние на исследуемый процесс оказывают фактор x1, x2, x10, перечисленные в порядке уменьшения степени влияния.

    написать администратору сайта