Модель комплексного анализа. Отчет об апробации модели комплексного анализа результатов оценочных процедур в целях совершенствования управления качеством образования
 Скачать 6.51 Mb.
|
|
Класс Объем ВРП Средний балл НИКО Медиана НИКО 5 Высокий 9,09 9 Средний 8,56 9 Низкий 8,35 8 6 Высокий 8,34 8 Средний 7,77 8 Низкий 7,41 8 7 Высокий 9,18 9 Средний 8,10 8 Низкий 7,77 7 1126 Рисунок 200 Рисунок 201 1127 Рисунок 202 Пример. Сравнение результатов регионов в разных оценочных процедурах Следующий пример аналитического вывода сделан на основе данных Национальных исследований качества образования в начальной школе (апрель 2015 года). По группам регионов с разным уровнем результатов ЕГЭ по русскому языку участники распределены следующим образом: 42% участников НИКО проживают в регионах с высоким уровнем; 48% – в регионах со средним уровнем; 10% – в регионах с низким уровнем. Связь результатов НИКО в начальной школе по русскому языку с уровнем результатов ЕГЭ по русскому языку в регионе достаточно четко выражена: в регионах с более высоким уровнем результатов ЕГЭ по русскому языку результаты НИКО по русскому языку выше. 1128 Рисунок 203 Пример. Сравнение групп участников с разными «школьными» отметками Следующий пример аналитического вывода сделан на основе данных Национальных исследований качества образования в начальной школе (апрель 2015 года). Распределение баллов НИКО в зависимости от школьной отметки Рисунок 204 1129 Рисунок 205 Рисунок 206 По всем исследованным учебным предметам обучающиеся с разными школьными отметками по соответствующему предмету дифференцированы по результатам НИКО (графики 198–200). По каждому из учебных предметов среди обучающихся, имеющих отметки «3» и «4», присутствует очень небольшая доля набравших высший балл НИКО; а среди отличников – наименьшая доля набравших невысокие баллы. 1130 Пример. Сравнение результатов участников с различной мотивацией к обучению Следующий пример аналитического вывода сделан на основе данных Национальных исследований качества образования в начальной школе (апрель 2015 года). В анкетах 37,7% участников НИКО отметили, что им нравится решать задачи по математике. Связь между результатами НИКО и ответом на этот вопрос выявлена только для выполнявших диагностическую работу по математике (график 201). Рисунок 207 Участники из регионов с низким уровнем результатов ЕГЭ несколько чаще отмечали, что им нравится решать задачи по математике (график 202). 1131 Рисунок 208 Участники исследования, которым нравится решать задачи по математике, имеют более высокие результаты, но в регионах с низкими результатами ЕГЭ по математике эта разница наименьшая (график 203). Рисунок 209 На основании полученных результатов можно говорить как об интересе к решению задач вообще, так и о большом интересе к решению задач у тех, у кого получается их решать, кто показывает более высокие результаты по математике. 1132 Пример. Сравнение результатов участников в зависимости от целей использования компьютера Следующий пример аналитического вывода сделан на основе данных Национальных исследований качества образования в начальной школе (апрель 2015 года). В результате анкетирования были выделены три группы участников НИКО: − использующие компьютер в образовательных целях (для поиска информации и/или как помощника в хобби) (65,6% участников НИКО); − не использующие компьютер (21,9% участников НИКО); − использующие компьютер только для игр и/или общения (12,6% участников НИКО). На рисунках 204–206 показаны распределения отметок НИКО внутри групп обучающихся по целям использования компьютера. Рисунок 210 1133 Рисунок 211 Рисунок 212 Более высокие результаты по всем предметам НИКО показали участники, использующие компьютер в образовательных целях: среди них ниже процент «двоек» и выше процент «пятерок» и «четверок» НИКО. Результаты участников, не использующих 1134 компьютер, выше, чем результаты участников, использующих компьютер преимущественно для игр и/или общения. I.28.2.4 Типовые аналитические выводы о ранжировании (рейтинговании) Пример. Рейтинг регионов по уровню математического образования Качественные целевые показатели Рейтинг составляется, исходя из трех основных показателей: 1. Массовость базовой математической подготовки 2. Качество подготовки контингента абитуриентов для обучения в вузах региона по специальностям, связанным с математикой 3. Наличие выпускников с высоким уровнем подготовки по математике (элиты) Количественные целевые показатели Для количественной оценки соответствия региона перечисленным качественным показателям используются, соответственно, следующие параметры: 1. Массовость базовой математической подготовки a. «36 + ». Данный показатель характеризует обученность сдающих ЕГЭ. Он вычисляется как процент набравших 36 баллов и выше от участников ЕГЭ предыдущего года. 36 - потому что это чуть больше минимального балла, и будут невелики искажения за счет тех, кому, возможно, помогали преодолеть минимальный балл. То есть это процент минимально выученных «твердых троишников». b. « Процент выпускников слабых школ (65б<10%)». Показатель характеризует качество математической подготовки в школах. Вычисляется как процент выпусков региона, обучавшихся в школах, в которых низкий процент хорошо подготовленных по математике выпускников (менее 10% получивших на ЕГЭ по математике 65 баллов и выше) 2. Качество подготовки контингента абитуриентов для обучения в вузах региона по специальностям, связанным с математикой a. « Балл середин. очного бюджетника по КЦП». Характеризует качество абитуриентов вузов, поступающих на специальности, на которые нужна математика ЕГЭ. Вычисляется как минимальный балл в "группе абитуриентов" в регионе. "Группа абитуриентов" - это группа получивших лучшие результаты 1135 по ЕГЭ, численность которой равна половине численности бюджетных мест на специальности с математикой (либо с поправочным коэффициентом, если бюджетных мест слишком много, как в крупных вузовских центрах, или слишком мало). Если балл достигает 70 и выше, то в таблицу ставится 70, чтобы избежать искусственного завышения позиции регионов с маленьким КЦП. b. « Процент выпускников сильных школ (65б>30%)». Показатель характеризует качество математической подготовки в школах. Вычисляется как процент выпусков региона, обучавшихся в школах, в которых высокий процент хорошо подготовленных по математике выпускников (более 30% получивших на ЕГЭ по математике 65 баллов и выше) 3. Наличие выпускников с высоким уровнем подготовки по математике (элиты) a. «80 +». Показатель, характеризующий качество элитной математической подготовки. Вычисляется как процент набравших 80 и более баллов на ЕГЭ по математике от общего количества участников. b. « Процент олимпиадников от сдававших ЕГЭ». Процент количества победителей и призеров олимпиад высокого уровня от количества участников ЕГЭ. Независимый показатель наличия школьников с высоким уровнем математической подготовки. Особенности количественных показателей − Одна из основных особенностей – показатели вычисляются на основе процентов от количества участников ЕГЭ. Регионы, в которых хорошо развита сеть организаций СПО и школьников массово продолжают обучение в коллледжах и техникумах, имеют преимущество в данном рейтинге. Соответственно, регионы таким рейтингом стимулируются к уменьшению контингента выпускников ОО и переводу их в СПО. − Другая особенность – вычисление итогового рейтинга как суммы нормализованных количественных показателей. Поскольку все три показателя разнородны, к ним применено нормализующее преобразование (итоговый рейтинговый балл i-го региона в каждом столбце вычисляется по формуле: max 10 i i r x x = − − , где max x - максимальное значение соответствующего показателя в данном столбце, i x - значение показателя для этого региона). Такое преобразование делает более явными отличия в группе лидеров и, наоборот, 1136 сближает отстающих. Это преобразование используется в мировой практике рейтингования. Комментарии В качестве основы для данного рейтинга используются только результаты ЕГЭ. Рейтинг может быть модернизирован с учетом результатов других массовых процедур при условии высокой объективности таких результатов. В целом количественные показатели выбраны таким образом, чтобы попытка улучшить их стимулировала регион к принятию позитивных системных решений, а не к припискам и искажениям. Так, в качестве показателя массовости базовой подготовки по математике взят балл (36 и выше), не совпадающий с минимальной границей. В дальнейшем количественным показателем массовой обученности может служить процент набравших тот или иной первичный балл на базовом ЕГЭ по математике. Причем балл можно менять год от года. По тем же соображениям стимулирования позитивных перемен выбран и показатель среднего «абитуриентского» уровня подготовки. Он заставляет регион заботиться о наличии сопоставимого с КЦП контингента выпускников, имеющих высокий балл и готовых к продолжению обучения на технических специальностях. Рейтинг объективности субъектов Российской Федерации (по результатам ВПР) Формирование вспомогательных рейтингов Каждый вспомогательный рейтинг строится с учетом результатов по русскому языку и по математике. Каждому субъекту Российской Федерации присваивается в этом рейтинге одно из чисел: 0 (высокий уровень), 1 (средний уровень) и 2 (низкий уровень). 1. Сопоставление результатов ВПР-ЕГЭ. Положение в рейтинге определяется тем, насколько относительные размеры «слабой» (преодолевших границу двойки) и «сильной» (набравших достаточно высокие баллы) групп участников ВПР в регионе соответствует относительным размерам «слабой» и «сильной» групп в ЕГЭ по этому же предмету. Соответствие оценивается с точки зрения отклонения от аналогичного соответствия по России в целом. Таблица 8 Код региона Регион Рейтинг соответствия ВПР - ЕГЭ 22 Алтайский край 1 1137 28 Амурская обл. 1 29 Архангельская обл. 0 30 Астраханская обл. 0 31 Белгородская обл. 1 32 Брянская обл. 0 33 Владимирская обл. 0 34 Волгоградская обл. 1 35 Вологодская обл. 0 36 Воронежская обл. 0 77 г. Москва 0 78 г. Санкт-Петербург 0 92 г. Севастополь 1 79 Еврейская авт. обл. 1 75 Забайкальский край 1 37 Ивановская обл. 1 38 Иркутская обл. 0 7 Кабардино-Балкарская Республика 1 39 Калининградская обл. 1 40 Калужская обл. 1 41 Камчатский край 1 9 Карачаево-Черкесская Республика 1 43 Кировская обл. 0 44 Костромская обл. 1 23 Краснодарский край 0 24 Красноярский край 1 45 Курганская обл. 1 46 Курская обл. 1 47 Ленинградская обл. 0 48 Липецкая обл. 1 49 Магаданская обл. 50 Московская обл. 1 1138 51 Мурманская обл. 1 83 Ненецкий авт. округ 0 52 Нижегородская обл. 1 53 Новгородская обл. 1 54 Новосибирская обл. 1 55 Омская обл. 1 90 ОО, находящиеся за пределами РФ 1 56 Оренбургская обл. 1 57 Орловская обл. 1 58 Пензенская обл. 1 59 Пермский край 0 25 Приморский край 1 60 Псковская обл. 1 1 Республика Адыгея 1 4 Республика Алтай 1 2 Республика Башкортостан 1 3 Республика Бурятия 0 5 Республика Дагестан 2 6 Республика Ингушетия 2 8 Республика Калмыкия 1 10 Республика Карелия 0 11 Республика Коми 82 Республика Крым 1 12 Республика Марий Эл 0 13 Республика Мордовия 1 14 Республика Саха (Якутия) 1 15 Республика Северная Осетия-Алан 1 16 Республика Татарстан 0 17 Республика Тыва 2 19 Республика Хакасия 1 61 Ростовская обл. 1 1139 62 Рязанская обл. 1 63 Самарская обл. 64 Саратовская обл. 0 65 Сахалинская обл. 1 66 Свердловская обл. 1 67 Смоленская обл. 1 26 Ставропольский край 1 68 Тамбовская обл. 0 69 Тверская обл. 0 71 Тульская обл. 1 72 Тюменская обл. 1 18 Удмуртская Республика 1 73 Ульяновская обл. 1 27 Хабаровский край 1 86 Ханты-Мансийский авт. округ - Югр 1 74 Челябинская обл. 1 20 Чеченская Республика 2 21 Чувашская Республика 0 87 Чукотский авт. округ 0 89 Ямало-Ненецкий авт. округ 1 76 Ярославская обл. 0 Комментарий. Показатели, использованные для построения данного рейтинга, не являются бесспорным доказательством необъективности результатов в отдельно взятом регионе. Действительно, наличие расхождений между результатами ВПР и ЕГЭ в отдельно взятом регионе может говорить как о необъективности результатов ВПР, так и о наличии успехов в реализации ФГОС на ступени начального общего образования либо о наличии серьезных проблем на ступени основного общего образования, влекущих более резкое чем в остальных регионах падение уровня подготовки обучающихся от 4 к 11 классу. Однако в типичном случае, то есть для большинства регионов наличие несоответствия означает именно наличие искажений в результатах ВПР. 1140 2. Доля участников ВПР в регионе из школ с «сомнительными» результатами. Результаты по школе считаются сомнительными, если: a. Проценты выполнения заданий ВПР по школе недостаточно отличаются друг от друга. Суть подхода заключается в том, что в работе представлены задания различного уровня сложности, проценты выполнения которых должны существенно различаться между собой. Если такие различия по школе существенно меньше, чем по России в целом, то это вероятно происходило вследствие того, что участникам помогали выполнять задания. Таблица 9 Код региона Регион РУ дисперсия Ма дисперсия 22 Алтайский край 1 1 28 Амурская обл. 1 1 29 Архангельская обл. 1 0 30 Астраханская обл. 1 2 31 Белгородская обл. 1 0 32 Брянская обл. 1 1 33 Владимирская обл. 0 0 34 Волгоградская обл. 1 1 35 Вологодская обл. 1 0 36 Воронежская обл. 1 1 77 г. Москва 1 1 78 г. Санкт-Петербург 1 1 92 г. Севастополь 1 2 79 Еврейская авт. обл. 1 0 75 Забайкальский край 1 1 37 Ивановская обл. 1 1 38 Иркутская обл. 1 0 7 Кабардино- Балкарская Республика 1 2 39 Калининградская обл. 1 0 1141 40 Калужская обл. 1 1 41 Камчатский край 1 1 9 Карачаево- Черкесская Республика 1 0 43 Кировская обл. 1 0 44 Костромская обл. 1 1 23 Краснодарский край 1 1 24 Красноярский край 1 2 45 Курганская обл. 1 0 46 Курская обл. 0 1 47 Ленинградская обл. 1 1 48 Липецкая обл. 1 1 49 Магаданская обл. 0 50 Московская обл. 2 1 51 Мурманская обл. 1 1 83 Ненецкий авт. округ 0 0 52 Нижегородская обл. 1 1 53 Новгородская обл. 2 0 54 Новосибирская обл. 1 1 55 Омская обл. 1 1 90 ОО, находящиеся за пределами РФ 0 0 56 Оренбургская обл. 2 1 57 Орловская обл. 1 1 58 Пензенская обл. 1 1 59 Пермский край 1 0 25 Приморский край 1 1 60 Псковская обл. 1 1 1 Республика Адыгея 1 2 4 Республика Алтай 1 1 2 Республика Башкортостан 1 1 1142 3 Республика Бурятия 0 0 5 Республика Дагестан 1 2 6 Республика Ингушетия 1 1 8 Республика Калмыкия 2 2 10 Республика Карелия 1 1 11 Республика Коми 1 82 Республика Крым 1 2 12 Республика Марий Эл 1 1 13 Республика Мордовия 1 1 14 Республика Саха (Якутия) 0 1 15 Республика Северная Осетия-Алан 1 2 16 Республика Татарстан 1 2 17 Республика Тыва 1 2 19 Республика Хакасия 1 2 61 Ростовская обл. 1 1 62 Рязанская обл. 2 2 63 Самарская обл. 1 64 Саратовская обл. 1 1 65 Сахалинская обл. 1 1 66 Свердловская обл. 1 1 67 Смоленская обл. 2 1 26 Ставропольский край 1 0 68 Тамбовская обл. 1 0 69 Тверская обл. 1 1 71 Тульская обл. 1 2 1143 72 Тюменская обл. 2 0 18 Удмуртская Республика 1 2 73 Ульяновская обл. 1 2 27 Хабаровский край 1 1 86 Ханты-Мансийский авт. округ - Югр 2 1 74 Челябинская обл. 1 1 20 Чеченская Республика 1 1 21 Чувашская Республика 1 1 87 Чукотский авт. округ 0 0 89 Ямало-Ненецкий авт. округ 1 1 76 Ярославская обл. 1 0 Комментарий. Указанный эффект применительно к отдельно взятым школам может быть обусловлен также высоким уровнем подготовки обучающихся в этих школах, однако наличие высокой доли обучающихся в таких школах в регионе свидетельствует о наличии проблем с объективностью данных, причем чем выше этот показатель, тем выше степень достоверности такого вывода. b. Проценты выполнения сложных заданий по школе выше, чем в среднем по выборке, а проценты выполнения простых – ниже. Это, скорее всего. свидетельствует о помощи участникам ВПР при выполнении сложных заданий. Таблица 10 |