Главная страница
Навигация по странице:

  • 1. Рассогласованность между экспертами, проверяющими одни и те же работы.

  • 2. Анализ проведённого оценивания работ, направленных на третью проверку.

  • 3. Анализ результатов рассмотрения апелляций.

    		•

    3.2.-Анализ-согласованности-ра___. 3 Анализ согласованности работы по оценке экзаменационных работ


    Скачать 19.77 Kb.
    Название3 Анализ согласованности работы по оценке экзаменационных работ
    Дата27.03.2022
    Размер19.77 Kb.
    Формат файлаdocx
    Имя файла3.2.-Анализ-согласованности-ра___.docx
    ТипУчебник
    #419820

    3.2. Анализ согласованности работы по оценке экзаменационных работ

    Анализ работы экспертов по проверке и оценке ответов экзаменуемых выявил ряд проблем.

    Многие из них связаны со спецификой социально-гуманитарного знания (невозможность во многих случаях однозначных оценок, суждений; наличие широкого спектра допустимых вариантов ответа); а также являются следствием определенного расхождения в освещении учебного материала в действующих учебниках

    Отдельные проблемы могут быть сняты в ходе предварительных (до начала проверки работ выпускников) консультаций экспертов между собой, а также с председателем группы экспертов и достигнутых в результате договоренностей по общим подходам к проверке и оценке работ выпускников.
    Остановимся на некоторых из них, касающихся непосредственно качества проверки развёрнутых ответов.

    1. Рассогласованность между экспертами, проверяющими одни и те же работы.

    Практика показывает, что результаты оценивания экспертов могут существенно различаться даже при небольшой разнице между суммами первичных баллов, рассогласование может фигурировать по большей части позиций (критериев) оценивания. В этом случае совпадение или небольшая разница между итоговыми суммарными баллами, выставленными экспертами, является не более чем случайностью.

    Пример рассогласования между экспертами представлен в таблице 1.

    Таблица 1

    №позиции

    оценивания
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    Сумма баллов

    Эксперт 1
    1
    0
    1
    0
    0
    1
    1
    1
    0
    0
    0
    1
    6

    Эксперт 2
    2
    2
    3
    1
    1
    3
    1
    2
    1
    2
    1
    0
    17

    В данном случае разница в оценивании работы двумя экспертами очевидна.

    Но, исходя из суммарных баллов, не кажется очевидным рассогласование в ситуации, представленной в Таблице 2.

    Таблица 2

    №позиции

    оценивания
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    Сумма баллов

    Эксперт 1
    0
    1
    0
    0
    3
    3
    2
    0
    0
    0
    1
    1
    11

    Эксперт 2
    2
    0
    1
    1
    1
    1
    1
    1
    2
    1
    0
    0
    11

    Однако при рассмотрении покритериальных оценок всё становится более понятным — ни по одной позиции оценивания эксперты не сошлись во мнении, а одинаковые суммы баллов уже не кажутся следствием качественной работы экспертов.

    2. Анализ проведённого оценивания работ, направленных на третью проверку.

    После выявления существенной разницы в оценивании первых двух проверок.

    №позиции

    оценивания
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    Сумма баллов

    Эксперт 1
    0
    1
    0
    0
    3
    3
    2
    0
    0
    0
    1
    1
    11

    Эксперт 2
    2
    0
    1
    1
    1
    1
    1
    1
    2
    1
    0
    0
    11

    Эксперт 3
    0
    1
    0
    0
    3
    2
    2
    0
    0
    0
    1
    2
    11











































    Рассмотрение результатов работы экспертов на третьих проверках даёт возможность как оценить работу каждого конкретного эксперта, так и сделать определённые выводы о позициях оценивания, вызвавшие наибольшие затруднения у экспертов при выставлении баллов, а также вызвавшие наибольшие затруднения у участников ОГЭ при выполнении заданий.

    3. Анализ результатов рассмотрения апелляций.

    До настоящего момента имели место случаи, когда после того как работа участника ОГЭ была проверена три раза — результаты первых двух проверок существенно различались, и работа была направлена на третью проверку, по результатам рассмотрения апелляции о несогласии с выставленными баллами, работа получала четвёртый набор оценок. При выявлении массовости таких случаев невольно возникает ряд вопросов в отношении экспертов, которые проверяли работу ранее: «А была ли, собственно, проверка этих работ или работал генератор случайных чисел?», «Почему изменён балл на апелляции, ведь работа проверена уже трижды?». Ответы на такие вопросы могут описывать и вполне объективные ситуации, но факты возникновения таких вопросов и разбирательств стимулируют сделать работу предметных комиссий более слаженной и согласованной, исключить применение субъективизма.

    написать администратору сайта