Оценка качества образования в условиях дистанционного
 Скачать 2.63 Mb.
|
|
59 Опыт проживания пандемии системами школьного образования стран постсоветского пространства Система прокторинга, введенная на ЕНТ в 2020 году, очевидно, является решением, кото- рое получит систематическую основу. Если в первый раз такая система была использована в асинхронном варианте при проведении тестирования в бумажной форме, то в будущем, после перехода на безбумажную форму, наверняка будет предложен синхронный вариант системы при идентификации участника и контроле за его действиями на экзамене. При этом, как показал опыт работы в условиях пандемии, требуется разработка нормативной базы при- менения таких систем. 60 Оценка качества образования в условиях дистанционного обучения Казахстан: Опыт крупномасштабного дистанционного оценивания навыков чтения Мадина Абаева Инна Антипкина Марина Асылбекова Контекст исследования Исследования навыков чтения у казахстанских детей и соответствующие методологиче- ские работы стали актуальны после участия Казахстана в исследовании PIRLS 62 в 2016 году. По результатам PIRLS-2016 четвероклассники Казахстана заняли 27 место в рейтинге 50 стран, девочки показывали более высокие результаты, чем мальчики (как и в 48 из 50 стран-участниц), дети лучше работали с информационными, чем с литературными текста- ми 63 . Навыки читательской грамотности 15-летних школьников Казахстана оценивались в исследовании Programme for International Student Assessment (PISA) 2018 года, в котором учащиеся Казахстана набрали в среднем 387 баллов по читательской грамотности, что яв- ляется ниже среднего балла 487 по странам ОЭСР 64 . Международные исследования на- выков читательской грамотности PIRLS и PISA подняли в Казахстане интерес к вопросам развития навыков чтения у детей. Например, 2019 год был объявлен в Казахстане годом чтения. Настоящее исследование явилось результатом рефлексии по поводу данных, по- лученных в ходе международных исследований. Кроме того, в литературе нет описаний лонгитюдных исследований навыков чтения казахстанских школьников. Задачей нашего исследования было оценивание развития навыков детей в школах Казахста- на с русским языком обучения в течение первого года учебы. В оценивании осенью 2020 года приняли участие 822 ребенка из 11 школ Алматы. По резуль- татам анализа все учителя участвующих школ получили детализированные отчеты о про- грессе учеников их классов. В дальнейшем на основании этих данных будет проводиться методическая работа с учителями ― участниками проекта. 62 Mullis I.V., Martin M.O. & Sainsbury,M. PIRLS 2016 reading framework. PIRLS, 2016. P. 11-29. 63 Результаты Казахстана в PIRLS-2016, 2018 год: Национальный отчет / Е.Б. Нурланов, А.Д. Байгулова, Б.А. Картпаев, М. Амангазы, Е. Сабырулы, Г.А. Ногайбаева. Астана: АО «Информационно-аналитический центр», 2018. 64 Avvisati F., Echazarra A., Givord P., Schwabe M. (2019). PISA 2018. 61 Опыт проживания пандемии системами школьного образования стран постсоветского пространства Инструмент Для реализации поставленной задачи был использован инструмент «Старт» 65 ― русскоязыч- ная локализация инструмента iPIPS 66 . «Старт» представляет собой компьютеризированный инструмент оценки навыков чтения с полуадаптивным алгоритмом предъявления заданий и широко используется в российской системе образования для исследований динамики раз- вития школьников 67 . Оценивание проводится два раза: в начале и в конце первого учебного года. Процедура Процедура тестирования сконструирована в виде исследования-игры, чтобы обеспечить максимально мягкие и комфортные для учащихся условия оценивания. В течение 10-20 минут (в зависимости от уровня ребенка) специально обученный интервьюер сопровождает про- цесс компьютерного адаптивного тестирования каждого первоклассника: ребенок следует указаниям компьютерной программы (говорящей голосом профессионального диктора) и выполняет ряд заданий, а интервьюер фиксирует ответы ребенка. Благодаря разнообразию заданий, представленных в тесте, ребенок не успевает заскучать или устать. Тестирование старта обучения (осень 2019 года) детей из школ с русским языком обучения Алматы проводилось согласно методологии инструмента «Старт» ― в ходе сессий со специ- ально обученными интервьюерами. Дети выполняли задания на чтение возрастающей труд- ности: распознавание букв, чтение отдельных слов, чтение предложений, смысловое чтение. Оценивание прекращалось, как только дети начинали совершать критическое число ошибок. Однако весной 2020 года второй цикл оценивания не состоялся в связи с эпидемиологиче- ской ситуацией по COVID-19 и был перенесен на начало второго класса ― осень 2020 года. 2020/21 учебный год также начался во всех школах Казахстана дистанционно. Поэтому вто- рой этап тестирования было решено провести, несмотря на дистанционный формат. Для начальной школы по заявлению родителей работали так называемые дежурные классы в количестве не более 15 учеников. Именно в таких классах, по согласованию с родителями и учителями, тестирование небольшого количества детей было проведено в офлайн-формате. В школах с дежурными классами были подготовлены компьютерные кабинеты с ответствен- ными координаторами, которые отметили уровень цифровой грамотности учеников вторых классов. Чтобы сократить количество контактов, дети выполняли задания самостоятельно. За период карантина в 4 четверти 2019/20 учебного года школьники освоили пользование компьютером в учебных целях. Поэтому трудностей с организацией и проведением тестиро- вания большинства детей в данной форме проведения не наблюдалось. 65 Иванова А.Е., Карданова Е.Ю. Бирюкова К.С. Создание русскоязычной версии международного инструмента оценивания ранних навыков чтения // Вопросы образования. 2019. № 4. 66 Tymms P., Merrell C., Hawker D. & Nicholson F. Performance indicators in primary schools: A comparison of performance on entry to school and the progress made in the first year in England and four other jurisdictions. Department for Education. 2014. P. 1-71. 67 Карданова Е.Ю., Иванова А.Е., Сергоманов П.А., Канонир Т.Н., Антипкина И.В., Кайкы Д.Н . Обобщенные типы раз- вития первоклассников на входе в школу. По материалам исследования iPIPS // Вопросы образования. 2018. № 1. 62 Оценка качества образования в условиях дистанционного обучения Большинству учащихся была предложена вторая форма организации тестирования ― он- лайн При подготовке к оцениванию все интервьюеры, проводящие оценивание учеников, прошли специальное обучение и получили инструкции ― в бумажном виде и видеоформате. Оцени- вание проводилось в ходе видеоконференций на платформе Zoom. По договоренности с классным руководителем и родителями в определенное время ученик заходил по ссылке и читал предлагаемый материал. Интервьюер внимательно слушал и фиксировал ответы уча- щегося. В связи с предельной загрузкой учителей при дистанционной форме в помощь им были привлечены обученные волонтеры. В группу помощников вошли: 1) интервьюеры-студенты. С заинтересованными студентами был проведен инструктаж по доброжелательному, тактичному общению с детьми. В основном проведению исследо- вания помогали студенты выпускных курсов, которые в настоящее время находятся на педагогической практике и имеют опыт общения с детьми; 2) интервьюеры-одиннадцатиклассники школ. С ними также был проведен инструктаж. Данный вид тестирования был полезен самим старшеклассникам как опыт общения с младшими учащимися; 3) интервьюеры-учителя. Эту группу составили учителя, которые были заинтересованы в результатах своего труда. Еще в период первой волны оценивания была создана система взаимодействия со школами. В каждой школе был выбран координатор, который был обучен помочь участникам проекта и учителям. В случае возникновения более сложных вопросов школьные координаторы об- ращались к национальным координаторам из КазНПУ им. Абая. Увеличенное количество интервьюеров потребовало дополнительных усилий по их обуче- нию работе с детьми и программной средой. Кроме того, пришлось предусмотреть обучение поведению с родственниками детей, которые не должны были подсказывать при выполне- нии заданий. Рядом с тестируемым учеником обязательно находился кто-то из родственников, который по- могал ребенку зайти в видеоконференцию Zoom. Интервьюеры через видеосвязь следили, чтобы родственники не вмешивались в тестирование, не подсказывали ребенку. Подобный онлайновый крупномасштабный сбор данных уникален для проекта, поскольку идея инструмента «Старт» заключается в том, чтобы оценивать детей максимально мягко, без стресса для них, и в то же время не допустить искажений. Психометрический анализ данных После сбора данных был проведен психометрический анализ качества инструмента оцени- вания с целью удостовериться в характеристиках данных, полученных таким нестандартным путем. Второе оценивание (2020 год) является вторым циклом лонгитюдного сбора данных, а кон- трольно-измерительные материалы первого и второго этапов не полностью идентичны ― в 2019 году предъявлялась серия заданий от распознавания букв до текста смыслового чте- 63 Опыт проживания пандемии системами школьного образования стран постсоветского пространства ния, в то время как в 2020 году дети получили два текста смыслового чтения, с которыми могли работать самостоятельно; один из текстов был тем же, что и в начале первого класса. Поэтому важной измерительной задачей было произвести выравнивание результатов двух волн с целью получения баллов двух циклов оценивания на единой шкале. Чтобы иметь воз- можность напрямую сравнивать баллы детей, полученные осенью 2019 и 2020 годов, исполь- зовался метод выравнивания с помощью общих заданий 68 . Дизайн выравнивания методом общих заданий предполагает, что в каждой волне оценивания присутствуют одни и те же задания. В нашем случае это был текст «По дороге в школу», который дети читали дважды: в начале первого класса, а затем в начале второго. При шкалировании результатов второ- го цикла параметры заданий этого текста были зафиксированы по результатам оценивания 2019 года, и именно эти фиксированные параметры использовались при обработке резуль- татов второго цикла оценивания. Это позволило получить оценки параметров учащихся на единой шкале по результатам двух циклов оценивания. Психометрический анализ инструмента проводился с помощью дихотомической модели Раша в программе Winsteps 69 . Надежность инструмента альфа Кронбаха составила 0,97 ― тест очень надежный и может быть использован для оценивания школьников. В таблице 2.2 представлены характеристики заданий. Буква А (по первой букве английского слова anchor ― якорь) возле задания означает, что параметр задания фиксирован по пара- метру первого цикла оценивания (осень 2019 года) с целью создания единой шкалы для двух волн оценивания. Задания имеют хорошие и отличные статистики согласия с моделью и мо- гут быть использованы для оценивания детей. 68 Kolen M.J. & Brennan R.L . Test equating, scaling, and linking: Methods and practices. Springer Science & Business Media. 2014. 69 Linacre J.M. Winsteps® (Version 3.93. 0) [Computer Software]. Beaverton, Oregon: Winsteps. com. Retrieved January 1, 2017. Задание Трудность (логиты) Невзвешенная среднеква- дратичная статистика согласия (Infit MNSQ) Взвешенная среднеква- дратичная статистика согласия (Outfit MNSQ) Дискриминативность 1_1 1,57A 0,84 0,81 0,34 1_2 1,41A 0,75 0,7 0,38 1_3 1,35A 0,81 0,77 0,4 1_4 1,40A 0,67 0,69 0,36 1_5 2,16A 0,83 0,79 0,43 1_6 2,00A 1,1 1,22 0,39 1_7 ,74A 1,29 1,44 0,32 1_8 3,24 1,2 1,32 0,37 1_9 2,01A 0,84 0,89 0,4 1_10 2,43A 0,69 0,57 0,41 1_11 3,36A 1,16 1,27 0,55 1_12 1,60A 0,9 0,77 0,45 1_13 3,32A 1,32 1,44 0,44 1_14 2,15A 0,62 0,44 0,36 2_2 3,29 1,13 1,3 0,22 Таблица 2.1. Условия и особенности реализации моделей организации экзаменов в странах мира 64 Оценка качества образования в условиях дистанционного обучения По результатам первого цикла оценивания баллы детей были преобразованы на шкале со средним 50 и статистическим отклонением 10. Баллы второго цикла с учетом прогресса были положены на эту же шкалу, однако средний балл детей во втором цикле стал 59,4, то есть средний прогресс всех детей выборки составил 9,4 балла, со статистическим отклонением 7,1 (дети стали немного более гомогенны). На рис. 2.1 представлено распределение баллов учащихся. Корреляция баллов учащихся в на- чале школьного обучения (2019 год) и в начале второго класса (2020 год) составляет 0,58 (р<0,01). Рассмотрим подробнее изменение результатов за год обучения. По результатам оценивания смыс- лового чтения первой волны (2019 год) ученики были разделены на три группы навыков: ● 0 группа ― ученики, которые толь- ко начали учиться читать и могут распознавать отдельные буквы или слова, но еще не овладели смысловым чтением. Таких детей было 22% от первоначальной вы- борки 2019 года; Задание Трудность (логиты) Невзвешенная среднеква- дратичная статистика согласия (Infit MNSQ) Взвешенная среднеква- дратичная статистика согласия (Outfit MNSQ) Дискриминативность 2_3 2,49 1,03 0,97 0,25 2_4 2,76 1 0,99 0,29 2_5 3,66 0,87 0,83 0,48 2_6 2,05 1 0,92 0,23 2_7 2,74 0,86 0,68 0,41 2_8 1,89 0,95 0,73 0,27 2_9 2,94 0,98 0,99 0,32 2_10 3,39 1 1,02 0,35 2_11 1,95 0,95 0,78 0,27 2_12 3,77 1 1,01 0,39 2_13 2,81 0,89 0,75 0,39 2_14 3,54 1,02 0,98 0,36 2_15 3,18 0,86 0,78 0,44 2_16 2,23 0,96 0,88 0,28 2_17 3,88 1 1 0,4 Рис. 2.1. Распределение баллов учащихся во второй волне оценивания, 2020 г. 65 Опыт проживания пандемии системами школьного образования стран постсоветского пространства ● 1 группа ― ученики, которые могут читать механически, но при необходимости читать и одновременно понимать текст совершают большое количество ошибок (более четырех неправильных ответов из 14 ловушек). Таких детей было 46% от первоначальной выбор- ки; ● 2 группа ― ученики, которые смогли прочесть весь текст, допуская минимальное коли- чество ошибок. Эти дети достаточно хорошо читали уже на старте школьного обучения (менее четырех неправильных ответов из 14 ловушек). Таких детей было 32% от перво- начальной выборки. На рисунках 2.2 и 2.3 представлены, соответственно, результаты второй волны оценивания по трем группам детей и их прогресс за год обучения. Результаты дисперсионного анализа показывают, что различия во всех группах в навыках чтения и в прогрессе статистически значимы (p < 0,001). Таким образом, через год школьного обучения различия в навыках чте- ния, фиксировавшиеся после прихода детей в школу, сохраняются. Те, кто изначально читал лучше всех, по-прежнему показывают самые высокие результаты. Однако необходимо об- ратить внимание на то, что самые слабые на старте обучения школьники за год сделали наи- больший прогресс. Эти результаты можно интерпретировать следующим образом: в первый год школьного обучения самые слабо подготовленные в плане чтения учащиеся совершают самый большой прогресс, однако их отставание сохраняется по сравнению с теми, кто изна- чально читал лучше. Необходимо учитывать и большую дисперсию результатов учащихся нулевой группы: она свидетельствует о том, что группа неоднородна. Некоторые дети совер- шают очень большой прогресс, в то время как навыки других улучшаются незначительно. Аналогичным образом были проанализированы различия в достижениях по чтению в зави- симости от стартового уровня словарного запаса. Блок «Словарный запас» предъявлялся детям в 2019 году после их прихода в первый класс и содержал 16 заданий, нацеленных на оценку пассивного словарного запаса ребенка. Детей просили показать соответствующую названному слову картинку. По результатам теста словарного запаса дети были разделены на группы. Рис. 2.2. Результаты второй волны оценивания по трем стартовым группам навыков чтения Рис. 2.3. прогресс в чтении за год по трем стартовым группам навыков чтения 66 Оценка качества образования в условиях дистанционного обучения ● 0 группа ― ребенок не смог опознать ни одного слова. Таких детей было всего 2% от первоначальной выборки; ● 1 группа ― ребенок знает и может опознать такие относительно простые слова как, на- пример, «копыто» или «стадо». Таких детей было 31% от первоначальной выборки; ● 2 группа ― ребенок может узнать такое слово как, например, «комета» или «спутник». Таких детей было 22% от первоначальной выборки; ● 3 группа ― ребенок знает и может опознать такие слова как, например, «рептилия» или «спираль». Таких детей было 20% от первоначальной выборки; ● 4 группа ― ребенок может узнать такое слово как, например, «силуэт» или «аэрозоль». Таких детей было 25% от первоначальной выборки. На рисунках 2.4 и 2.5 представлены баллы, соответственно, по чтению по группам уровня словарного запаса на старте школы. Результаты дисперсионного анализа показывают, что различия во всех группах в навыках чтения и в прогрессе статистически значимы (p < 0,001). Наиболее нагляден рис. 2.5, отражающий прогресс: чем ниже был изначальный словарный запас ребенка, тем больший прогресс он делал. Это также служит аргументом в пользу того, что в первый учебный год школа многое делает для подтягивания детей, которые пришли наименее подготовленными. Важным исследовательским вопросом, наметившимся в первой волне исследования, стало оценивание различий в прогрессе в навыках чтения у детей в зависимости от пола. Резуль- таты PIRLS-2016 по Казахстану показали, что в конце четвертого класса девочки в Казахстане читают лучше мальчиков. Этот разрыв касается и информационных, и художественных те- стов. Такая же ситуация наблюдалась в 48 из 50 участвовавших в исследовании PIRLS стран. Однако на старте школьного обучения (в 2019 году) мы не увидели гендерных различий в навыках чтения детей. Не обнаружено их и через год обучения в школе по результатам оце- нивания 2020 года. Значимость различий проверялась непараметрическим критерием Ман- на-Уитни и выявлена не была (p>0,05). Рис. 2.4. Различия в чтении в начале второго класса в зависимости от стартового уровня словарного запаса детей Рис. 2.5. Различия в прогрессе по чтению в зависимости от стартового уровня словарного запаса детей 67 Опыт проживания пандемии системами школьного образования стран постсоветского пространства В таблице 2.3 приведены описательные статистики по чтению для девочек и мальчиков. В таблице 2.4 представлен график результатов оценивания в разных школах. Как и в нача- ле года, школы значительно различаются по среднему уровню навыков чтения учащихся. Названия школ в таблице закодированы с целью защиты информации. Однако при оцени- вании прогресса можно увидеть, что наибольший средний прогресс наблюдается у школ с изначально более низкими результатами учащихся. Дисперсия результатов прогресса так- же больше в школах, в которые на старте школьного обучения пришло больше нечитаю- щих детей. Такие результаты позволяют предположить, что фактор школы, в том числе и предшкольной селекции, следует учитывать в исследованиях развития детей. Дискуссия Опыт дистанционного оценивания показывает, что в условиях карантина оценивание детей требует существенных дополнительных ресурсов: вовлечения и обучения новых интервьюе- ров; необходимости изменить протокол обучения (предусмотреть взаимодействие интервью- еров с родственниками детей, научить их, как вежливо просить родителей не подсказывать); необходимости изменить инструмент оценивания, оставив только блоки, с которыми дети мо- Девочки Мальчики Количество учащихся 416 496 Балл по чтению через год обучения в школе (стан- дартное отклонение) 59,43 (7,3) 59,34 (6,9) Прогресс по чтению за год (стандартное отклоне- ние) 9,6 (8,1) 8,9 (8,1) Таблица 2.3. Результаты второй волны для девочек и мальчиков Идентификатор школы Средний балл 2020 2019 Прогресс 7101 60,97 49,36 11,83 7102 58,29 50,47 8,92 7103 57,73 49,94 7,73 7104 60,13 49,15 10,19 7105 59,35 50,77 7,93 7106 64,13 53,43 8,70 7107 58,99 46,10 12,59 7108 59,16 52,15 6,60 7109 57,60 49,23 8,25 7110 61,96 53,88 8,25 7111 57,21 44,62 12,43 Таблица 2.4. Результаты детей по двум волнам оценивания в разных школах 68 Оценка качества образования в условиях дистанционного обучения гут работать автономно (в дежурных классах, чтобы соблюдать дистанцию и обойтись без ин- тервьюера). Психометрический анализ продемонстрировал, что инструмент имеет хорошие характеристики, а результаты оценивания согласуются с ожиданиями, известными нам по опыту предыдущих исследований (на выборках российских первоклассников). В частности: ● различия в навыках чтения детей сохраняются через год обучения в школе, несмотря на то что, слабочитающие на старте школы дети показывают наибольший прогресс в достижениях; ● различия в чтении учащихся разных школ сохраняются и через год обучения в школе, иными словами, в разные школы изначально приходят дети, неодинаковые по уровню чтения, и эти различия сохраняются через год обучения. Однако мы не можем быть уверены, что изменения процедуры оценивания не сказались на сопоставимости результатов по сравнению с первым циклом оценивания. Это накладывает ограничения на использование данных до проведения исследований, доказывающих сопо- ставимость результатов. Как и в первом цикле оценивания в Казахстане (в начале первого класса, осенью 2019 года), девочки и мальчики из выборки не показали различий в уровне навыков чтения. Этот ре- зультат очень важен, поскольку по данным международного сравнительного исследования PIRLS в Казахстане такие различия существуют между девочками и мальчиками в конце 4-го класса, причем в школах и с русским, и с казахским языками обучения. Отсутствие различий по полу в нашем исследовании может быть обусловлено либо спецификой выборки, которая не является репрезентативной, либо тем, что эти различия появляются позже. Этот вопрос необходимо исследовать, поскольку гендерные различия в достижениях являются важной проблемой неравенства образовательных возможностей во всем мире. Дальнейшая работа в рамках проекта будет вестись с целью адаптации инструмента оцени- вания навыков первоклассников СТАРТ на казахский язык. Наличие сопоставимых инстру- ментов оценивания первоклассников на русском и казахском языках откроет возможности проведения сравнительных исследований развития детей в школах и с русским, и с казах- ским языками обучения, также межстрановых исследований развития первоклассников в разных странах. 69 Опыт проживания пандемии системами школьного образования стран постсоветского пространства Кыргызстан: Новые стандарты для новой реальности Бактыгуль Шамшидинова С каждым днем становится все яснее, что важнейшим событием нашей эпохи станет раскол на период до вспышки COVID-19 и «новую нормальность», которая наступит по окончании эпидемии. В этой небывалой новой реальности мы станем свидетелями кардинального ре- структурирования экономического и социального уклада. В середине марта 2020 года Всемирная организация здравоохранения объявила распро- странение коронавирусной инфекции пандемией, в связи с чем было рекомендовано за- крыть школы и перейти на дистанционные формы обучения. С этого момента мы стали свиде- телями массового перехода мирового образования, в том числе и отечественного, в онлайн. Миллионы студентов и школьников по всему миру в одночасье переместились из аудиторий за экраны компьютеров и планшетов, телевизоров и смартфонов, а тысячи учителей и препо- давателей были вынуждены перевести учебные занятия, лекции и семинары в онлайн-фор- мат. И казалось, барьер для входа в онлайн, о котором говорили на протяжении последних лет, должен сейчас исчезнуть. Все ждали этой переломной точки, которая наконец случилась благодаря пандемии. Как говорится, «не было бы счастья, да несчастье помогло». На основании решения Совета безопасности Кыргызской Республики от 14 марта 2020 года по предупреждению и недопущению распространения коронавирусной инфекции 70 , в соот- ветствии со ст. 14 Закона Кыргызской Республики «Об образовании», в целях усвоения об- учающимися учебного материала в рамках Государственного образовательного стандарта школьного общего образования Кыргызской Республики, утвержденного постановлением Правительства Кыргызской Республики от 21 июля 2014 г. № 403, были утверждены Антикри- зисный и Постантикризисные планы Министерства образования и науки Кыргызской Респу- блики в период борьбы с распространением коронавирусной инфекции COVID-19. С 8 апреля 2020 года образовательные учреждения республики перешли на дистанционное обучение. Министерство образования и науки Кыргызской Республики (МОиН КР) за время весенних каникул провело ряд подготовительных работ для перехода учебных заведений на дистанционное обучение, а именно: ● разработало план действий для переключения всех учеников на дистанционное обуче- ние; ● разработало модули и план телеуроков для учеников с 1-го по 11-й классы по всей ре- спублике; ● реализовало съемочные мероприятия по телеурокам для всех имеющихся учебных предметов для учеников с 1-го по 11-й классы по всей республике; 70 «Министерство образования и науки КР готовится к дистанционному обучению в четвертой четверти», МОиН КР: [сайт]. 23.03 2020. |