Модель комплексного анализа. Отчет об апробации модели комплексного анализа результатов оценочных процедур в целях совершенствования управления качеством образования
 Скачать 6.51 Mb.
|
|
991 I. РАЗРАБОТКА МОДЕЛИ КОМПЛЕКСНОГО АНАЛИЗА РЕЗУЛЬТАТОВ ОЦЕНОЧНЫХ ПРОЦЕДУР В ЦЕЛЯХ СОВЕРШЕНСТВОВАНИЯ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ Модель комплексного анализа результатов оценочных процедур в целях совершенствования управления качеством образования разработана в соответствии со следующими принципами: возможность использования данных о результатах различных массовых оценочных процедур, проводимых в Российской Федерации, в том числе ЕГЭ, ОГЭ, олимпиад 1 и 2 уровня; масштабируемость (возможность включения в анализ результатов новых оценочных процедур); направленность на практическое применение всеми категориями участников образовательного процесса; возможность реализации как на федеральном, так и на региональном уровнях. Модель включает: описание требований к оценочным процедурам, результаты которых могут использоваться для анализа; описание состава и структуры данных, используемых для анализа; описание алгоритмов обработки данных; описание показателей, на основе которых осуществляется анализ; описание типовых аналитических выводов. Модель комплексного анализа результатов оценочных процедур в целях совершенствования управления качеством образования согласована с Государственным заказчиком, до начала работ по апробации модели комплексного анализа результатов оценочных процедур в целях совершенствования управления качеством образования. Модель комплексного анализа результатов оценочных процедур в целях совершенствования управления качеством образования представлена в приложении Я. 992 II. АПРОБАЦИЯ МОДЕЛИ КОМПЛЕКСНОГО АНАЛИЗА РЕЗУЛЬТАТОВ ОЦЕНОЧНЫХ ПРОЦЕДУР В ЦЕЛЯХ СОВЕРШЕНСТВОВАНИЯ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ I.28.1 Отчет об апробации модели комплексного анализа результатов оценочных процедур в целях совершенствования управления качеством образования I.28.1.1 Описание алгоритмов обработки данных I.28.1.1.1 Алгоритм обработки данных при формировании базы результатов Алгоритм обработки данных оценочной процедуры при формировании базы результатов выполнения заданий диагностической работы всеми участниками должен быть построен таким образом, чтобы обеспечить максимальную объективность результатов. Формирование базы результатов происходит в несколько шагов. Шаг 1. Сбор данных и формирование первичной базы результатов. Это этап сбора данных в соответствии с технологиями проведения оценочной процедуры. Первичная база результатов должна содержать сведения о результатах выполнения всеми участниками диагностической работы, а также все необходимые контекстные данные. Для формирования базы первичных результатов могут использоваться технологии бланкового или компьютерного тестирования, анкетирование участников и ОО и т.д. Шаг 1. Верификация (то есть проверка) данных в первичной базе результатов. На этом этапе данные выверяются на предмет возможного наличия ошибок и искажений. Основными источниками таких ошибок и искажений могут быть: − нполное указание ключей к заданиям, проверяемым по ключам (для исправления неточностей ключи корректируются и база результатов формируется заново); − технологические проблемы обработки данных, например, проблемы со сканированием и распознаванием машиночитаемых форм, приведшие к явному снижению результатов по каким-то группам участников или ОО (для устранения проблемы проводится повторная обработка данных); − явно завышенные вследствие несоблюдения организационных регламентов результаты (в таком случае принимается решение в зависимости от целей и в соответствии с порядком проведения, сохранять или удалять искаженные результаты из базы). Шаг 3. Корректировка базы результатов, формирование итоговой базы результатов. После всех исправлений и повторной обработки заново формируется база результатов. 993 Шаг 4. Расчет показателей на основе итоговой базы результатов. I.28.1.1.2 Алгоритм обработки данных для проведения выборочных исследований Для массовых оценочных процедур вероятно возникновение необъективных данных в итоговой базе результатов. Для проведения научного анализа результатов, по результатам которого делаются выводы об объективных характеристиках заданий и вариантов КИМ, которые, в свою очередь, могут быть использованы для проведения анализа результатов различных групп участников, целесообразно выделить из общей выборки наиболее характерную ее часть, объединяющую наиболее объективные данные. При этом данные, которые по каким-либо признакам можно интерпретировать как недостоверные, не рассматриваются. При получении основного потока выборки выделяются следующие этапы: 1) Выделение ОО и пунктов проведения оценочной процедуры с нехарактерными показателями и возможными нарушениями регламента проведения процедуры 2) Выделение регионов с нехарактерными базовыми показателями (средний первичный балл, медиана первичного балла, процент «двоечников», процент участников с высокими баллами, стандартное отклонение балла) 3) Выделение регионов с нехарактерным распределением первичных баллов Оставшаяся часть данных используется для формирования показателей, по которым осуществляется анализ данных. Основания, по которым из общей выборки удаляются нехарактерные группы, должны быть предметом концептуального описания оценочной процедуры. I.28.1.2 Описание показателей, на основе которых осуществляется анализ Для анализа используются показатели, вычисляемые на основе данных по результатам оценочных процедур. Используются следующие показатели. − интегральные характеристики некоторой совокупности участников оценочной процедуры: o распределение первичных баллов, представленное в виде столбчатой диаграммы, форма которой может быть объектом анализа и сравнения; o распределение участников по оценкам, полученным при переводе первичных баллов в пятибалльную (или иную) шкалу; 994 o результаты выполнения работы заданной процентилью участников (например, минимальный балл за диагностическую работу, полученный 10% лучших участников); o процент участников, набравших баллы в заданном диапазоне баллов (как правило, либо в диапазоне от 0 до некоторой минимальной границе, что характеризует долю неуспешных участников оценочной процедуры в группе, либо в диапазоне от некоторой минимальной границы и выше, что характеризует долю участников в группе, достигших базового уровня подготовки, либо в диапазоне от некоторой достаточно высокой границы до максимального балла, что характеризует долю участников с высоким уровнем подготовки); o стандартные статистические показатели – медиана выборки, средний балл, дисперсия баллов; o средний процент выполнения (решаемость) заданий данной совокупностью участников (для заданий, максимальный балл за которые составляет 2 или более, рассматриваются проценты выполнения на каждый из промежуточных баллов); o проценты выполнения заданий, направленных на проверку схожих знаний или умений (например, навыки счета); − приведенные выше показатели могут быть вычислены как для генеральной совокупности участников, так и для группы участников, составленной по определенному признаку: o участники из одной ОО; o участники, выполнявшие работу в одном помещении (пункте проведения экзамена – ППЭ); o участники из одного муниципалитета o участники из одного субъекта Российской Федерации; o участники, выполнявшие один вариант диагностической работы; o участники, отнесенные к одной из групп в соответствии с уровнем выполнения диагностической работы (слабые/сильные); − характеристики заданий и вариантов диагностической работы: o процент выполнения (трудность задания); o корреляции процента выполнения с другими заданиями (точечно- бисериальный коэффициент корреляции); 995 o дифференцирующая способность; o надежность вариантов и т.д.; I.28.2 Описание типовых аналитических выводов I.28.2.1 Типовые аналитические выводы о качестве данных I.28.2.1.1 Анализ результатов одной оценочной процедуры Сопоставление распределений первичных баллов за работу в целом всей выборки и отдельных групп Русский язык 1 • В большинстве регионов распределение первичных баллов очень похоже на общефедеральное, что является свидетельством единообразия и объективности прошедшей оценочной процедуры. • Существенных нарушений в 2015 г. по русскому языку не зафиксировано, в том числе в Республике Крым и г. Севастополь. • В отдельных регионах распределение первичных баллов отличается от общефедерального (кривая смещена влево), но это связано с более слабым уровнем подготовки выпускников (Республика Дагестан, Республика Ингушетия, Кабардино-Балкарская Республика, Карачаево-Черкесская Республика, Республика Тыва, Чеченская Республика, Еврейская АО, Чукотский АО). • В отдельных регионах распределение первичных баллов немного лучше общефедерального (кривая смещена вправо), что связано с более высоким уровнем качества подготовки выпускников (например, в Орловской области, Тверской области, г. Москва, г. Санкт-Петербург) • Для выборочной дополнительной проверки на наличие отдельных нарушений на основании графиков распределений первичных баллов можно порекомендовать, например, Удмуртскую Республику, Краснодарский край, Кировскую область, Оренбургскую область. 1 Динамика общефедерального распределения баллов по годам не приведена, т.к. изменилось количество заданий (первичных баллов). 996 Рисунок 1 Рисунок 2 997 Рисунок 3 Рисунок 4 998 Рисунок 5 Рисунок 6 999 Рисунок 7 Рисунок 8 1000 Рисунок 9 Рисунок 10 1001 Рисунок 11 Рисунок 12 1002 Рисунок 13 Рисунок 14 1003 Рисунок 15 Рисунок 16 1004 Рисунок 17 Рисунок 18 1005 Рисунок 19 Рисунок 20 1006 Рисунок 21 Рисунок 22 1007 Рисунок 23 Рисунок 24 1008 Рисунок 25 Рисунок 26 1009 Рисунок 27 Рисунок 28 1010 Рисунок 29 Рисунок 30 1011 Рисунок 31 Рисунок 32 1012 Рисунок 33 Рисунок 34 1013 Рисунок 35 Рисунок 36 1014 Рисунок 37 Рисунок 38 1015 Рисунок 39 Рисунок 40 1016 Рисунок 41 Рисунок 42 1017 Рисунок 43 Рисунок 44 1018 Рисунок 45 Рисунок 46 1019 Рисунок 47 Рисунок 48 1020 Рисунок 49 Рисунок 50 1021 Рисунок 51 Рисунок 52 1022 Рисунок 53 Рисунок 54 1023 Рисунок 55 Рисунок 56 1024 Рисунок 57 Рисунок 58 1025 Рисунок 59 Рисунок 60 1026 Рисунок 61 Рисунок 62 1027 Рисунок 63 Рисунок 64 1028 Рисунок 65 Рисунок 66 1029 Рисунок 67 Рисунок 68 1030 Рисунок 69 Рисунок 70 1031 Рисунок 71 Рисунок 72 1032 Рисунок 73 Рисунок 74 1033 Рисунок 75 Рисунок 76 1034 Рисунок 77 Рисунок 78 1035 Рисунок 79 Рисунок 80 1036 Рисунок 81 Рисунок 82 1037 Рисунок 83 Рисунок 84 1038 Рисунок 85 Математика Общефедеральное распределение по математике в 2015 г. является достаточно «честным»: - нет смещенности кривой вправо, как в 2012 г. - нет смещенности и пика из-за списывания из сети Интернет, как в 2013 г. - распределение похоже на 2014, небольшое смещение кривой вправо может быть как свидетельством повышающегося качества образования по математике, так и чуть меньше сложностью КИМ в 2015 г. Рисунок 86 1039 • В большинстве регионов распределение первичных баллов схоже с общефедеральным, что является свидетельством единообразия и объективности прошедшей оценочной процедуры. • Существенных фальсификаций в 2015 г. по математике не зафиксировано. • В отдельных регионах распределение первичных баллов отличается от общефедерального (кривая смещена влево), но это связано с более слабым уровнем подготовки выпускников (Республика Дагестан, Республика Ингушетия, Республика Тыва, Чеченская Республика, Сахалинская область, Забайкальский край). • В части регионах распределение первичных баллов немного лучше общефедерального (кривая смещена вправо), что связано с более высоким уровнем качества подготовки выпускников (например, в г. Москва, г. Санкт- Петербург). • Для выборочной дополнительной проверки на наличие отдельных нарушений на основании графиков распределений первичных баллов можно порекомендовать, например, Республику Калмыкию (кривая неправдоподобно смещена вправо, есть пик на 6 баллах (граница оценок «2» и «3»), что обычно является свидетельством искусственного занижения числа «двоечников», Республику Тыву (подозрение на попытку уведения обучающихся от «двоек» – пик на 3 баллах), Республику Удмуртия (смещение кривой вправо). Рисунок 87 1040 Рисунок 88 Рисунок 89 1041 Рисунок 90 Рисунок 91 1042 Рисунок 92 Рисунок 93 1043 Рисунок 94 Рисунок 95 1044 Рисунок 96 Рисунок 97 1045 Рисунок 98 Рисунок 99 1046 Рисунок 100 Рисунок 101 1047 Рисунок 102 Рисунок 103 1048 Рисунок 104 Рисунок 105 1049 Рисунок 106 Рисунок 107 1050 Рисунок 108 Рисунок 109 1051 Рисунок 110 Рисунок 111 1052 Рисунок 112 Рисунок 113 1053 Рисунок 114 Рисунок 115 1054 Рисунок 116 Рисунок 117 1055 Рисунок 118 Рисунок 119 1056 Рисунок 120 Рисунок 121 1057 Рисунок 122 Рисунок 123 1058 Рисунок 124 Рисунок 125 1059 Рисунок 126 Рисунок 127 1060 Рисунок 128 Рисунок 129 1061 Рисунок 130 Рисунок 131 1062 Рисунок 132 Рисунок 133 1063 Рисунок 134 Рисунок 135 1064 Рисунок 136 Рисунок 137 1065 Рисунок 138 Рисунок 139 1066 Рисунок 140 Рисунок 141 1067 Рисунок 142 Рисунок 143 1068 Рисунок 144 Рисунок 145 1069 Рисунок 146 Рисунок 147 1070 Рисунок 148 Рисунок 149 1071 Рисунок 150 Рисунок 151 1072 Рисунок 152 Рисунок 153 1073 Рисунок 154 Рисунок 155 1074 Рисунок 156 Рисунок 157 1075 Рисунок 158 Рисунок 159 1076 Рисунок 160 Рисунок 161 1077 Рисунок 162 Рисунок 163 1078 Рисунок 164 Рисунок 165 1079 Рисунок 166 Рисунок 167 1080 Рисунок 168 Рисунок 169 1081 Рисунок 170 Рисунок 171 Сопоставление распределений первичных баллов за отдельные части работы Далее приведен анализ объективности результатов проведения оценочной процедуры по статистическим характеристикам массива результатов с использованием агрегированного сопоставления индивидуальных результатов обучающихся по частям B (или А+В) и C ЕГЭ. На Рисунке 172 представлено распределение количества учащихся с определенным сочетанием баллов в предмете математика в Ингушетии (по горизонтальной оси – баллы за часть В, по вертикальной – баллы за часть С). Площадь окружностей отражает количество 1082 обучающихся с таким сочетанием баллов за части B и С ЕГЭ. Серым цветом обозначены окружности, соответствующие общефедеральным количествам обучающихся с такой структурой баллов, зеленым цветом обозначены окружности региональные, в которых количество обучающихся расходится с общефедеральным не более чем на 20%, синим – окружности региональные, в которых количество обучающихся меньше общефедерального более чем на 20%, красным – больше более чем на 20%. Можно заметить, что в регионе есть обучающиеся, у которых по части B – 0 баллов и при этом в части С – 5 баллов (у нескольких обучающихся – 9 баллов). Такое сочетание баллов невозможно получить честным образом, то есть объективность и качество данных не абсолютны. Однако, в целом, по сравнению с 2014 годом честность прохождения оценочной процедуру в Ингушетии значительно повысилась, указанные нарушения носят характер исключений. Отсутствие обучающихся, набравших максимальный балл, может быть как следствием слабости подготовки обучающихся, так и искусственного занижения баллов, чтобы на уровне федерального центра возникло меньше вопрос к качеству организации и проведения оценочной процедуры. Ингушетия Рисунок 172 На Рисунке 173 представлено распределение количества учащихся с определенным сочетанием баллов в предмете математика в Чеченской Республике. Результаты 1083 обучающихся в регионе достаточно слабые, однако, честность, объективность и высокое качество собранных данных не вызывает сомнений. Чеченская Республика Рисунок 173 На рисунке 174 для сравнения представлено распределение количества учащихся с определенным сочетанием баллов в предмете математика в Москве. Учитывая качество предоставляемого образования в Москве, качество данных также не вызывает сомнений, нарушений существенных не видно. г. Москва 1084 Рисунок 174 На Рисунках 172–174 представлено распределение баллов А+В против С по биологии в Ингушетии, Дагестане, Санкт-Петербурге и Москве. Ранее указанные республики были приведены в пример различных стратегий фальсификаций данных, в 2015 г. в Республике Дагестан существенно повысилась достоверность данных. В Республике Ингушетия сохраняются прежние нарушения (за счет проверки части С) в несколько меньшем объеме. Дагестан 1085 Рисунок 175 Ингушетия Рисунок 176 Для сравнения приведем графики для Москвы и Санкт-Петербурга. В них больше обучающихся с высокими результатами в силу качества обучения. Результаты Санкт- Петербург, в целом, немного слабее Москвы, что довольно правдоподобно. Санкт-Петербург 1086 Рисунок 177 Результаты Москвы отражают сосредоточение в столице медицинских вузов, которые стимулируют обучающихся учить биологию, практически для любого другого региона такие результаты выглядели бы завышенными Москва Рисунок 178 Остальные графики см. Приложение. 1087 Сопоставление процентов выполнения заданий одной оценочной процедуры по разным группам участников Для анализа объективности результатов проведения оценочной процедуры по статистическим характеристикам массива результатов также используется сравнение решаемости тех или иных задач на уровне региона или ОО и на федеральном уровне. Ниже приведен анализ процентов выполнения задания с учетом структуры баллов на основе задачи С5 ЕГЭ по математике. На рисунке ниже отражено распределение баллов за выполнение задания во всех регионах (за задание можно было получить 0, 1, 2, 3 балла). Легко заметить, что нет существенных различий, за исключением линии лососевого цвета (чуть выше основной массы линий), эта кривая отражает решаемость в Москве, где в силу объективных обстоятельств качества образования результаты несколько выше, чем в остальной России. В целом, на уровне проверяющих экспертных комиссий существенных нарушений в 2015 г. не зафиксировано. Рисунок 179 1088 Сравнение процентов выполнения заданий разной сложности Одним из показателей наличия проблем с качеством данных является невысокий показатель корреляции % выполнения заданий в ОО и % выполнения заданий общей выборкой. На рисунках приведен пример плохо коррелируемых величин % выполнения заданий общей выборкой и ОО. На рисунках 180, 181 приведены % выполнения заданий учениками ГКОУ "СОШ №3 г.Назрань" Республики Ингушетия (161 уч) и БОУ города Омска "Средняя общеобразовательная школа № 107" (86уч) Омской обл. (работа по русскому языку ВПР). Учениками достаточно хорошо выполнены трудные задания (например, задание 8 в ОО Омской области), при этом легкие задания (например, задание 11 или 14К2 имеют % выполнения значительно ниже среднего). Следует отметить, что значение корреляции, при котором ОО попадает в рейтинге в группу «сомнительных» по объективности, зависит от размера ОО. На рисунках представлены ОО с достаточным количеством учеников (более 80 уч). Рисунок 180 1089 Рисунок 181 Аналогичные примеры можно привести для ВПР по математике (графики 182, 183). На рисунках представлены % выполнения заданий ОО из Омской области (БОУ г. Омска "Гимназия № 43", 77уч.) и ОО Республики Дагестана (МКОУ СОШ № 15, 89уч). Рисунок 182 1090 Рисунок 183 Кроме того, одним из признаков снижения объективности может быть выравнивание процентов выполнения по школе по сравнению с общей выборкой, поскольку это может говорить о том, что участникам равномерно помогали выполнять все задания. В связи с этим еще одним из показателей объективности является показатель дисперсии % выполнения заданий в ОО (по сравнению с дисперсией других ОО и дисперсией % выполнения заданий общей выборкой). На рисунках приведены примеры % выполнения заданий с малой дисперсией, что говорит о том, что были созданы нетипичные условия написания работы, при котором все задания вне зависимости от их сложности выполнялись учениками одинаково. На рисунках 184, 185 приведен пример значений % выполнения по математике ВПР для общей выборки и ОО Республики Северная Осетия и Алания (МБОУ "СОШ №1 с. Камбилеевское", 102 уч) и ОО Рязанской области (МБОУ "Школа № 59", 94 уч). 1091 Рисунок 184 Рисунок 185 На рисунках 186, 187 приведен пример значений % выполнения по русскому языку ВПР для общей выборки и ОО Красноярского края (МАОУ Гимназия № 2, 92уч) и Челябинской обл.( МОУ СОШ № 60, 103 уч.). 1092 Рисунок 186 Рисунок 187 Необходимо отметить, что пороговое значение данного показателя (как и предыдущего показателя корреляции % выполнения) для возможности сделать вывод о проблеме с качеством данных зависит от количества учеников в ОО. При этом указанные 1093 типовые выводы, как и многие перечисленные выше, не являются абсолютными и требуют комплексного анализа в сочетании с прочими методами. Сопоставление результатов различных процедур Пример. Сопоставление результатов олимпиады из списка РСОШ и результатов ЕГЭ Примером анализа результатов оценочных процедур на предмет объективности может быть следующая таблица, в которой в качестве показателя, характеризующего объективность результатов олимпиад из списка РСОШ, приводится процент участников этих олимпиад, подтвердивших свои результаты на ЕГЭ по соответствующему предмету. Ниже приведены данные по олимпиадам РСОШ, проводившимся в 2015 году. Таблица 1 Наименование олимпиады Профиль олимпиады Всего Количество подтвердив- ших результат |