Оценка качества образования в условиях дистанционного
 Скачать 2.63 Mb.
|
|
97 Опыт проживания пандемии системами школьного образования стран постсоветского пространства предметам с 1-го по 11-й классы. Частично учебные материалы анимированы. Кроме того, на сайте имеются книги для внеклассного чтения и другая литература для общего разви- тия. Ведется работа по созданию анимационных электронных учебников, что сделает чтение учебных пособий более привлекательным. Министерство образования и науки РТ, как уже отмечалось, в сотрудничестве с партнер- скими организациями в апреле 2020 года разработало Национальный план мероприятий по созданию телевизионных уроков. Всего для 1–11-х классов было запланировано производство 2045 телевизионных уроков. На сегодняшний день уже отснято 120 уроков для выпускников 9, 11-х классов. Эти уроки в пери- од COVID-19 были показаны по национальному телевидению. Упомянутый материал стал хорошим подспорьем для выпускников, готовящихся к сдаче всту- пительных экзаменов в средние и высшие образовательные учреждения Республики Таджи- кистан через национальный центр тестирования. Кроме того, Государственное учреждение «Республиканский центр по информационным технологиям и коммуникации» при Министерстве образования и науки РТ открыл канал на Youtube.com, где размещаются видео-уроки для общего доступа. На сегодня канал более доступен благодаря гибкой финансовой политике интернет-провайдеров страны, направлен- ной на расширение доступа к образовательному контенту (бесплатный локальный трафик и свободный доступ к социальным сетям, в том числе и к каналам Youtube.com) Также Министерство образования и науки РТ в сотрудничестве с заинтересованными про- фильными организациями создали мультипликационный общеобразовательный фильм «Сан- ду қчаи зулбиё» (Сундук знаний). Фильм состоит из 50 частей и включает в себя познава- тельный контент по различным жизненным ситуациям, где герои фильма с опорой на знания поясняют, почему происходят те или иные природные процессы. Кроме того, партнерские организации совместно с ответственными структурами Министер- ства образования и науки Республики Таджикистан работают над созданием программы «Мактаб мобиле» для мобильных гаджетов, через которые учителя и учащиеся получат он- лайн доступ к образовательным ресурсам. В настоящее время Министерство образования и науки РТ продолжает свою работу над соз- данием видео-уроков совместно с партнерскими организациями и планирует завершить этот процесс до конца июня 2021 года. Также идет работа по разработке общенациональной дорожной карты развития цифрового обучения, что предполагает наращивание потенциала преподавательского состава образо- вательных учреждений страны в области использования информационно-коммуникационных технологий. Наряду с имеющимися достижениями существует ряд задач, которые требуют своего реше- ния, и над которыми работает Министерство образования и науки РТ. 98 Оценка качества образования в условиях дистанционного обучения Централизованные вступительные экзамены Ежегодно одним из важных мероприятий в Республике Таджикистан в сфере оценивания знаний выпускников общеобразовательных учреждений является проведение Централи- зованных вступительных экзаменов в образовательные учреждения среднего и высшего профессионального образования. Централизованные вступительные экзамены — это систе- ма централизованного проведения вступительных экзаменов и распределения абитуриен- тов в образовательные учреждения среднего и высшего профессионального образования страны с применением современных форм и методов оценки знаний и передовой техники и технологий, согласно стандартизированным процедурам проведения экзаменов, обработки, анализа и представления результатов. В условиях пандемии многих выпускников школ интересовало то, как будут проходить всту- пительные экзамены в образовательные учреждения среднего и высшего профессиональ- ного образования. С учетом сложившейся на тот момент ситуации это важное мероприятие было решено прове- сти в традиционном очном формате, в установленные сроки и с обязательным соблюдением правил санитарных и эпидемиологических норм. В связи с этим, для проведения Централизованных вступительных экзаменов на должном уровне в условиях пандемии, с целью предотвращения распространения коронавируса На- циональным центром тестирования при Президенте Республики Таджикистан был предпри- нят ряд дополнительных мер 107 Так, каждый экзаменационный центр был обеспечен необходимыми средствами согласно санитарно-эпидемиологическими требованиями и дополнительным техническим работником для проведения дезинфекционных мероприятий. Санитарная обработка и дезинфекция всех помещений ежеденевно проводились в каждом экзаменционном центре в обязательном по- рядке. Все сотрудники каждого центра обеспечивались медицинскими масками и резиновыми пер- чатками. В каждом экзаменационном центре функционировал медицинский пункт. Перед входом в центр у сотрудников и абитуриентов измерялась температура с помощью дистанци- онного термометра, проводилась обработка рук антисептическими материалами. В итоге регистрацию на участие в централизованных вступительных экзаменах в образо- вательные учреждения среднего и высшего профессионального образования Республики Таджикистан прошли более 113 278 абитуриентов. По итогам конкурса распределения, проводимым Национальным центром тестирования при Президенте Республики Таджикистан, 75 482 абитуриента поступили в образовательные уч- реждения среднего и высшего профессионального образования страны. 107 Постановление Правительства Республики Таджикистан от 1 марта 2020 года, №81 «Порядок проведения цен- трализованных вступительных экзаменов в образовательные учреждения среднего и высшего профессиональ- ного образования Республики Таджикистан». 99 Опыт проживания пандемии системами школьного образования стран постсоветского пространства Экзамены с высокими ставками: международные уроки пандемии Елена Карданова Инна Антипкина Алина Иванова Алена Куликова Введение Экзамены с высокими ставками (выпускные, вступительные, переводные между уровнями образования) имеют разные форматы и особенности проведения в разных системах обра- зования, но все они отличаются массовостью, фиксированностью дат, необходимостью стан- дартизации условий проведения. Эти особенности ограничивали возможности приспособить экзамены с высокими ставками к ситуации «социального дистанцирования» (карантина), вве- денной для замедления распространения COVID-19 в 2020 году. Однако страны были вынуж- дены отвечать на вызов и продумывать формат проведения экзаменов с высокими ставками в сложившейся ситуации. Важно отметить, что в каждой стране решение принималось очень взвешенно, с учетом сло- жившейся практики экзаменов с высокими ставками, а также возможных рисков, чтобы мак- симально обеспечить справедливость оценивания. При этом большое внимание уделялось оперативному информированию учащихся, их семей и школ о ведущихся работах и принима- емых решениях относительно сроков и форм экзаменов. Анализ международного опыта показал, что весной 2020 года в отношении экзаменов с вы- сокими ставками в разных системах образования были предложены следующие стратегии: ● Перенос экзаменов на более поздний срок ● Полная отмена экзаменов ● Замена экзаменов альтернативными моделями оценивания ● Онлайнизация экзаменов и проведение их в дистанционном режиме В статье приведен краткий анализ каждой из выбранных странами стратегий. Особое внима- ние уделено стратегии онлайнизации экзаменов как одной из наиболее привлекательных в сложившейся ситуации, однако, одновременно и наиболее дорогостоящей и влекущей наи- большее число рисков. 100 Оценка качества образования в условиях дистанционного обучения Также в статье проанализирован зарубежный опыт онлайнизации и цифровизации экзаме- нов. Важно подчеркнуть, что проанализированы были практики нормальной реализации пе- рехода на новый формат (вне давления форс-мажорных обстоятельств). Это именно прак- тики, которые появились в ходе нормальной «эволюции» форматов оценивания в рамках отдельных организаций или даже целых систем образования. Также в статье рассмотрены возможные ответы на наиболее часто возникающие вопросы относительно преимуществ и недостатков цифровизации экзаменов. Анализ решений, принятых в зарубежных странах, по изменению форматов экзаменов с высокими ставками в 2020 году в связи с пандемией Большинство государств использовали стратегию выжидания развития ситуации с COVID-19, перенеся сроки проведения экзаменов. Сдвиг экзаменов представлялся необходимым ре- шением в условиях отсутствия ясных прогнозов по развитию борьбы с COVID-19. Некото- рые страны пошли по пути полной отмены экзаменов (чаще это касалось выпускных экза- менов). Однако большинство стран проводили очные экзамены в более поздние сроки, при этом были ужесточены требования к условиям их проведения (например, ограничение числа сдающих в аудитории, соблюдение дистанции между ними, использование средств индивидуальной защиты). В некоторых странах (Великобритания, Нидерланды) было принято решение заменить экза- мены оценкой, полученной на основании рейтинга учителей, накопленных работ и других факторов. Интересен опыт Великобритании, где была разработана и заранее опубликована методология расчета вероятностной оценки, которую учащиеся могли бы получить на экза- менах. Оценку предлагалось рассчитывать на основе комбинации «свидетельств» достиже- ний, таких как: ● прогнозируемые оценки от преподавателей, которые, по мнению учителей, их ученики скорее всего получили бы, если бы преподавание, обучение и экзамены прошли в со- ответствии с расписанием; ● результаты пробных экзаменов; ● накопленная оценка за уроки и домашние задания учащихся; ● любая неэкзаменационная оценка или курсовая работа; ● общий прогресс в течение курса; ● рейтинг учащегося в школе или колледже по успеваемости. Предложенные школами оценки передавались в экзаменационный департамент Ofqual, в котором собранные свидетельства обрабатывались, стандартизировались и финализирова- лись с учетом дополнительных факторов — таких как рейтинг школы среди других школ, средние результаты учащихся этой школы в прошлые годы, распределение полученных оце- нок на национальном уровне. 101 Опыт проживания пандемии системами школьного образования стран постсоветского пространства Таким образом, методология расчета оценки предполагала двухуровневую процедуру с це- лью контролирования возможных искажений школ по строгости/мягкости проставляемых оценок. При этом предусматривалась возможность апелляций, а также предполагалось, что, когда будет возобновлена возможность сдавать экзамен, недовольные полученными ре- зультатами смогут его пересдать. Важно отметить, что решение об «альтернативном оценивании» было принято в странах с очень развитой системой тестирования и богатым опытом накопления данных. Британский экзаменационный гигант Cambridge Assessment и голландский институт измерений CITO яв- ляются двумя крупнейшими провайдерами тестов в Европе. Более того, Нидерланды и, чуть в меньшей мере, Великобритания — это страны, в которых исторически сложились очень интенсивные модели оценивания учащихся. Одна из самых развитых систем национального тестирования создана в Голландии на базе института CITO. Диагностическое тестирование школьников проходит там несколько раз в год, в школах сложилась культура мониторинга прогресса каждого ребенка (сравнения его достижений за разные годы или в начале и конце учебного года), а также сопоставления достижений учеников разных лет набора (разных когорт). Поскольку результаты тестирова- ния собираются со всей страны, CITO располагает обширной базой данных, которая может быть использована для верификации и коррекции учительских оценок, выставленных вме- сто традиционных экзаменов. Такая обширная накопленная доказательная база позволяет аналитикам из CITO и Cambridge Assessment использовать сложные статистические модели, в которых учитываются не только учительские рейтинги/оценки учащихся, но и накопленные данные о прошлых результатах детей, рейтингах школ, распределении результатов в нацио- нальном масштабе и другие разнообразные статистические данные. Во многих странах обсуждалась возможность онлайнизации экзаменов и проведения их в дистанционном режиме. Этот вариант представлялся наиболее соответствующим ситуации и задачам оценивания, но и наименее реалистичным, поскольку для проведения экзаменов дис- танционно требовалось в короткий промежуток времени решить задачи обеспечения защиты тестовых материалов от копирования и контроля за сдачей экзамена. Ни одна из стран мира в итоге не выбрала стратегию экстренного перевода экзаменов в онлайн-форму, хотя этот вари- ант активно обсуждался. Однако в мире есть примеры экзаменов с высокими ставками, проходящих в режиме он- лайн. Например, в компании Educational Testing Service (ETS), одной из крупнейших компаний в области образовательного тестирования в мире, еще до пандемии имелись специальные версии популярных тестов «из дома» для людей, которые в силу объективных причин не мо- гут приехать в тестовый центр. Эти «at-home editions» были предложены в 2020 году всем студентам, которые хотели сдавать популярные экзамены. Например, экзамены TOEFL iBT® Special Home Edition и GRE General Test at Home с апреля 2020 года стали доступны для всех желающих во многих странах, где были пункты сдачи этих экзаменов. Чтобы сдать тест, нужно иметь дома компьютер, соответствующий определенным требованиям, на который должны быть установлены специальный браузер и программа прокторинга. Таким же путем пошли и некоторые другие компании (например, Pearson VUE, Microsoft), которые в рабочем режиме разработали процедуры принятия сертификационных экзаменов с использованием домаш- него стационарного компьютера и процедур прокторинга. 102 Оценка качества образования в условиях дистанционного обучения Опыт онлайнизации экзаменов в зарубежных образовательных системах Изучая практики успешной реализации дистанционного оценивания, которые появились в ходе нормальной «эволюции» форматов оценивания, а не под давлением форс-мажорных обстоятельств, можно выделить две модели онлайнизации оценивания, реализованные в разных странах. Модель 1: «От компьютеризации оценивания к онлайнизации оценивания» Эта поэтапная модель предполагает, что существующие экзамены переводятся сначала в компьютерные форматы, а затем уже в дистанционные онлайн-форматы с прокторингом. Компьютеризированные форматы оценивания могут реализовываться как в учебных учреж- дениях (в школах или вузах), так и в специально оборудованных центрах. Одним из затруд- нений при проведении компьютеризированных экзаменов в стационарных центрах является отсутствие достаточного количества оборудованных мест для проведения массовых экзаме- нов. Среди используемых решений этой проблемы следует назвать технологию проведения экзамена с использованием собственного устройства кандидата (Bring-Your-Own-Device), ко- торое тот приносит на экзамен. В одном из исследований на студентах вуза было показано, что такое решение положительно воспринимается студентами, которым комфортно работать с хорошо знакомыми устройствами 108 . Недостатком модели использования собственного устройства кандидата на экзамене является необходимость учитывать разнообразие про- граммного обеспечения, вопросы подключения к сети и проблему стандартизации 109 . Чаще всего для защиты информации и стандартизации рабочей среды используется блокирующий браузер, который временно превращает компьютеры учащихся в автономные рабочие стан- ции, ограничивая их доступ к веб-сайтам, приложениям или системным функциям. Модель онлайнизации оценивания через компьютеризацию выбрала Финляндия для реали- зации экзамена на аттестат зрелости (Finnish Matriculation examination, FME), после успешной сдачи которого кандидат получает право продолжить учебу в высших учебных заведениях. Ноутбук экзаменуемого может принадлежать школе или быть собственностью учащегося, а файлы с материалами тестирования находятся на USB-носителе, который привозится в шко- лу незадолго до тестирования. Финская система образования отличается высоким уровнем школьной автономии, реализованным выравниванием образовательных возможностей и стабильно высокими результатами в международных сравнительных исследованиях. Экза- мен FME проходит дважды в год, весной и осенью, каждый год его сдают около 35 000 кан- дидатов (из них примерно 30 000 в весеннюю волну). Первые опыты по цифровизации FME прошли осенью 2016 года (на примере тестов по географии, философии и немецкому языку). Последним из предметов была компьютеризирована математика весной 2019 года. Начиная с 2019 года, традиционные бланковые тесты FME больше не проводятся. Среди достоинств нового формата отмечается разнообразие заданий — доступны задания с иллюстрациями, видео- и аудиосопровождением, а также задания, имитирующие реальную практическую де- ятельность (например, расчеты в Excel). Для облегчения привыкания к цифровому формату учащимся дается доступ к тренировочной платформе Abitti, которая разрабатывалась одно- 108 Moccozet L., Benkacem O., Berisha E., Trindade R.T. & Bürgi P.Y. A versatile and flexible e-assessment framework towards more authentic summative examinations in higher-education // International Journal of Continuing Engineering Education and Life Long Learning. 2019. No. 29(3). P. 211-229. 109 Küppers B. & Schroeder U. Bring Your Own Device for e-Assessment-a Review. In International Conference on Education and New Learning Technologies, EDULEARN proceedings. 2016. P. 8770-8776. 103 Опыт проживания пандемии системами школьного образования стран постсоветского пространства временно с новым форматом тестирования и имитировала инструменты FME. Учителя могут использовать экзамены тренировочного сервиса Abitti в качестве итоговых для того, чтобы дать учащимся возможность потренироваться в решении заданий в экзаменационной среде, схожей с интерфейсом экзамена с высокими ставками. Модель 2: «От оценивания с низкими ставками к оцениванию с высокими ставками» Некоторые программы оценивания начали разворачиваться с создания компьютеризиро- ванных и онлайнизированных мониторингов с низкими ставками для учащихся разных клас- сов (пример такой страны — Новая Зеландия). Введение мониторингов с низкими ставками позволяет учителям, учащимся и их семьям привыкнуть к формату проведения и наработать необходимую компьютерную грамотность. Тестирование с низкими ставками подразумевает меньшее давление, в результате меньше учащихся демонстрируют нечестное поведение и экзаменационную тревожность 110 В Новой Зеландии для популяризации компьютеризированного оценивания и ознакомления всех задействованных сторон с новым форматом была запущена система онлайн-оценива- ния e-asTTlesystem. Эта система была разработана по заказу Министерства образования Но- вой Зеландии как система диагностики и формирующего тестирования для использования в школах, без обращения к сторонним агентствам по тестированию. Система не предназна- чена для проведения международных или национальных мониторингов, а также не призва- на оценивать школы и учителей в рамках отчетности. Система Новой Зеландии полностью профинансирована правительством и предоставляется школам бесплатно, соотнесена с го- сударственным образовательными стандартами и охватывает классы с 4 по 12. Она разраба- тывалась и вводилась постепенно с 2000 по 2007 год. По данным за 2019 год, ее использует половина школ Новой Зеландии. Дизайн конкретного теста (длительность, фиксированный или адаптивный формат) и время проведения определяют сами школы. Школам предоставляется индивидуальная обратная связь, агрегированная на уровне класса или школы, оценивается прогресс детей. Для того, чтобы учителя больше доверяли инструментам измерения, им предоставляются материалы со списком имен специалистов, которые участвовали в разработке, экспертизе и установле- нии пороговых баллов 111 . Опыт Новой Зеландии показывает пример максимально мягкого и постепенного «приучения» всех субъектов образования к новым форматам оценивания. Описанные модели внедрения новых форматов оценивания позволяют организациям и системам сделать плавным переход к онлайнизации, дают возможность наглядно показать всем участникам системы образования преимущества онлайнизации экзаменов и тем самым обеспечивают доверие и поддержку общественности. 110 Holmes N. Student perceptions of their learning and engagement in response to the use of a ontinuous e-assessment in an undergraduate module. Assessment and Evaluation in Higher Education. 2015. Vol. 40, No. 1, P. 1-14. 111 Brown G.T. Technologies and infrastructure: costs and obstacles in developing large-scale computer-based testing // Education Inquiry. 2019. No. 10(1), P. 4-20. 104 Оценка качества образования в условиях дистанционного обучения Онлайнизация экзаменов: уникальные преимущества и риски Переход в компьютерный и особенно в онлайн-формат обеспечивает ряд преимуществ по сравнению с традиционными бланковыми тестами, что, в конечном итоге, позволяет улуч- шить весь процесс оценивания, начиная от разработки и представления измерительных ма- териалов и заканчивая проверкой работ, выставлением оценок 112 Во-первых, среди важнейших преимуществ стоит отметить масштабируемость: созданные ин- струменты оценивания могут быть реализованы для неограниченно большого количества респондентов. Первоначально компьютеризация тестирования является дорогостоящей инвестицией, поскольку требуется не только решить все технологические проблемы, на- пример, обеспечить компьютеризацию и интернетизацию учебных заведений, разработать платформу для проведения тестирования, но и обучить специалистов современной методо- логии разработки заданий и анализа тестовых результатов. Однако компьютеризация позво- ляет существенно снизить затраты на логистику (печать и доставку КИМ и бланков в пункты проведения экзамена, вторичное оцифровывание заполненных бланков и пр.), а также на оценивание (за счет облегчения условий труда экспертов и/или внедрения алгоритмов авто- матизированного оценивания заданий) и предоставление обратной связи. Скорость предо- ставления обратной связи также увеличивается. Во-вторых, компьютерный формат дает возможность расширить линейку используемых ти- пов заданий: первые опыты оцифровки тестов показали, что простой перевод бланковых заданий в компьютерную форму быстро перестал удовлетворять пользователей, поскольку при нем недоиспользовались уникальные возможности цифровой среды. Только компьюте- ризация тестов позволяет создавать новые, более точные и интересные для учащихся фор- маты (например, интерактивные задания, симуляции), в ряде случаев позволяющие точно моделировать реальные условия оцениваемой деятельности. В-третьих, нельзя не отметить повышение социальной справедливости и доступности экза- менов: онлайнизация оценивания позволяет учащимся из удаленных регионов участвовать в оценивании вне зависимости от их географического местоположения. С другой стороны, наличие специальных версий тестов (аккомодации и модификации) позволяют создать рав- ные условия для всех оцениваемых, в частности, для учащихся с ОВЗ. Наконец, важным преимуществом компьютеризированных тестов является легко реализу- емая возможность агрегации данных для более мощной учебной аналитики: многие обра- зовательные системы (например, как в рассмотренном примере Новой Зеландии) начинают онлайнизацию с создания компьютеризированных мониторингов для всех уровней образо- вания. Использование современных психометрических методов позволяет им решать такие вопросы как выравнивание и связывание тестовых версий и создание общих шкал, с которы- ми можно очень точно фиксировать прогресс как отдельных учащихся, так и целых когорт. В результате в распоряжении стейкхолдеров на всех уровнях образования оказываются мате- риалы, позволяющие содержательно интерпретировать тенденции и прогнозировать разви- тие системы образования. 112 Guàrdia L., Crisp G., Alsina I. Trends and challenges of e-assessment to enhance student learning in higher education. In: Cano E., Ion G. (Eds.). Innovative practices for higher education assessment and measurement, IGI Global, USA. 2017. P. 36-56 105 Опыт проживания пандемии системами школьного образования стран постсоветского пространства Однако, несмотря на очевидные преимущества онлайнизации оценивания, эти современные формы распространяются медленно из-за существующих представлений об их уязвимости к академическим нарушениям. Мы подробнее рассмотрим академические нарушения двух типов: 1) нарушение информационной защиты тестов и разглашение (утечка) тестовых материалов; 2) риски академического мошенничества (подсказки, списывание) во время процедуры оценивания. Для преодоления угроз академических нарушений используются различные мягкие и жест- кие методы преодоления угроз академических нарушений. К мягким методам относятся методы, связанные с дизайном тестирования. Так, в соответствии с теорией когнитивной разгрузки 113 исследователи рекомендуют разработчикам обеспечить «дружелюбность» интерфейсов и процессов оценивания, чтобы они не мотивировали непра- вильное поведение 114 . В настоящее время разработаны и апробированы принципы оценива- ния в мультимедийной среде 115 , позволяющие снизить когнитивную нагрузку на участников компьютеризированного тестирования и, таким образом, мягко предотвращать академиче- ски нечестное поведение. Еще одним мягким средством борьбы с подсказками и списыванием является использование специальных приемов администрирования теста, таких как рандомизация заданий 116 или син- хронность сдачи онлайн-теста 117 . Адаптивные алгоритмы и применение моделей современной теории тестирования позволяют создавать множественные равноценные по трудности вари- анты экзаменов. Например, при наличии достаточно большого банка заданий с известными психометрическими характеристиками возможно создание уникальных тестов для каждого тестируемого 118 . Специалисты выработали и многие другие средства контроля за администри- рованием процедур онлайн-экзаменов, помогающие предотвратить нечестное поведение, от предоставления только одного задания для решения за раз (без возможности пойти вперед, не решив, и вернуться назад) до введения очень ограниченного периода времени на реше- ние определенного блока задач 119 Однако для всесторонней защиты информации в системе онлайн-тестирования с высокими ставками должны быть предусмотрены и более жесткие меры. В частности, система должна постоянно самостоятельно тестироваться на предмет возможных угроз. Одним из популярных способов защиты тестовых материалов от копирования является технология безопасных бра- узеров — специальных приложений, из которых невозможно ни скопировать текст задания, ни сделать снимок экрана 120 . Кроме того, сами приложения безопасных браузеров предотвра- 113 Simon H.A. Models of bounded rationality: Empirically grounded economic reason, MIT press, Cambridge, MA. 1982. 114 Munoz A. & Mackay J. An Online Testing Design Choice Typology towards Cheating Threat Minimisation // Journal of University Teaching and Learning Practice. 2019. Vol. 16(3). P. 5. 115 Например, Kirschner P.A., Park B., Malone,S. & Jarodzka H. Toward a cognitive theory of multimedia assessment (CTMMA). Learning, design, and technology: an international compendium of theory, research, practice, and policy. Springer, Cham, 2016. P. 1-23. 116 Arnold I.J. Cheating at online formative tests: Does it pay off? The Internet and Higher Education, 2016. Vol. 29. P. 98-106; Munoz A. & Mackay J. An Online Testing Design Choice Typology towards Cheating Threat Minimisation. Journal of University Teaching and Learning Practice, 2019. Vol. 16(3). P. 5. 117 Chao K.J., Hung I.C. & Chen N.S. On the design of online synchronous assessments in a synchronous cyber classroom // Journal of Computer Assisted Learning. 2012. Vol. 28. No. 4. P. 379-395. 118 Munoz A. & Mackay J. An Online Testing Design Choice Typology towards Cheating Threat Minimisation // Journal of University Teaching and Learning Practice. 2019. 16(3). P 5. 119 Cluskey Jr., G.R., Ehlen C.R. & Raiborn M.H. Thwarting online exam cheating without proctor supervision. Journal of Academic and Business Ethics. 2011. Vol. 4(1). 120 Poutre B., Hedlund D.,& Nau W. Combining Testing Software, Online Proctoring and Lockdown Browsers to Assure a Secure Assessment Environment for Students in Hybrid or Online Programs (poster 13). 2015. 106 Оценка качества образования в условиях дистанционного обучения щают доступ к любым веб-сайтам, кроме экзаменационных, и собирают информацию обо всех действиях респондента на онлайн-платформе в целях анализа как процесса ответов, так и по- пыток выявления академического мошенничества с помощью косвенных признаков. Наиболее полную защиту от академической нечестности со стороны студентов сегодня обе- спечивает процедура прокторинга, в ходе которой специальными мерами обеспечивается наблюдение за сдающим экзамен человеком. В данный момент многие известные экзамены с высокими ставками используют прокторинг. Это связано с тем, что ни один другой способ защиты от академического мошенничества не является настолько же надежным и гибким. Современный прокторинг задействует комбинации из машинных алгоритмов (искусственный интеллект) и работы наблюдателей-прокторов (синхронно или асинхронно). При проведении экзаменов онлайн с прокторингом на экзаменуемых накладываются жест- кие ограничения, схожие с теми, которые накладываются в ситуации реального тестирования. Экзаменуемые могут испытывать дискомфорт из-за необходимости разрешить видеосъемку у себя дома, а провайдерам приходится решать этические и правовые вопросы, связанные с хранением личной информации 121 . И конечно, прокторинг требует определенных временны ́х и финансовых затрат, иногда весьма значительных 122 Таким образом, в мировой практике апробированы решения по обеспечению безопасности и защищенности материалов во время компьютеризированной/ онлайнизированной проце- дуры оценивания, в первую очередь, это различные процедуры прокторинга с задейство- ванием людей и алгоритмов машинного обучения. Высокая цена прокторинга (на данном этапе реализации процедур) компенсируется для соискателей экономией на транспортных расходах до места оценивания, а для принимающих экзамены сторон — экономией на найме администраторов тестирования. Как осуществить переход экзаменов с высокими ставками в онлайн формат? Переход экзаменов с высокими ставками в онлайн-формат должен быть постепенным, с уче- том сложившейся практики экзаменов с высокими ставками, а также возможных рисков, чтобы максимально обеспечить справедливость оценивания. В этом разделе мы рассмотрим те зада- чи, которые должны быть решены в любой стране в случае принятия решения о переводе эк- заменов с высокими ставками в онлайн-формат с возможностью дистанционного проведения. Многолетнее пилотирование и опыт проведения экзаменов офлайн позволили странам вы- работать процедуру, которая обеспечивает как объективность результатов тестирования, так и безопасность тестовых материалов. Для достижения того же результата в онлайн-сре- де необходимо проведение таких же испытаний с тщательным анализом результатов и раз- личных условий, в которых они были достигнуты. Поэтому разработка новой процедуры эк- замена с высокими ставками потребует нескольких лет испытаний. Внедрение процедуры в сжатые сроки неизбежно будет сопровождаться большим числом ошибок как случайного, так и систематического характера. 121 Berman S., Brandes G., Carpenter M.M. & Strauss A.L. Secure Online High Stakes Testing: A Serious Alternative as Legal Education Moves Online. 2020. Available at SSRN 3567894. 122 Hylton K., Levy Y. & Dringus L.P. Utilizing webcam-based proctoring to deter misconduct in online exams. Computers and Education. 2016. V. 92. P. 53-63. 107 Опыт проживания пандемии системами школьного образования стран постсоветского пространства Онлайн-экзамены могут проводиться двумя основными способами. Первый способ — это те- стирование дома с использованием домашнего стационарного компьютера (или ноутбука), подключенного к сети Интернет с пропускной способностью канала не менее 2 Мб/c и си- стемой прокторинга. Второй способ — это тестирование в школьных компьютерных классах, требования к пропускной способности интернет-канала в этом случае должны быть увеличе- ны до 10 Мб/с. Согласно результатам мониторингового исследования оценки информацион- но-коммуникационной компетентности выпускников основной школы (учеников 9-х классов), проводимого Институтом образования НИУ ВШЭ в 2019-2020 гг. 123 , у 5 -11% учащихся дома нет компьютера или ноутбука; от 11- 49% школ не имеют достаточного количества компьютерной техники; в более чем половине школ более половины регионов скорость интернета менее 2 Мб/с. Таким образом, одной из первоочередных задач станет «выравнивание» населения по доступу к техническим средствам и интернету. Далее, для проведения экзаменов с высокими ставками в онлайн-формате необходима ор- ганизация работ по созданию высокотехнологичной цифровой платформы для проведения тестирования. Такая платформа должна предусматривать: 1) систему защиты тестовых мате- риалов от копирования и академического мошенничества, 2) протоколы защиты и хранения персональной информации, 3) систему прокторинга; 4) она также должна быть оптимизиро- вана под все технические средства, на которых будет допускаться прохождение экзамена. Дополнительно желательно, чтобы платформа включала те преимущества современного компьютерного тестирования, которые позволяют сделать процедуру более надежной и ва- лидной, например: 1) автоматическую проверку заданий закрытого типа и заданий с кратким ответом; 2) оптимизацию (в перспективе автоматизацию) экспертной проверки заданий с раз- вернутым открытым ответом; 3) возможность использования заданий инновационных фор- матов (например, симуляций), интерактивность, адаптивность; 4) возможность использования дополнительной информации (например, времени ответа) для увеличения точности измере- ний. В конечном счете использование такой платформы позволит сократить время выдачи результатов тестирования до нескольких минут, сделать результаты более надежными и ва- лидными. Для разработки такой платформы, однако, потребуются время и ресурсы. Одной из важнейших задач станет повышение компьютерной грамотности населения. Для повышения валидности результатов необходимо, чтобы все участники (и учащиеся, и учите- ля) обладали как минимум базовым уровнем компьютерной грамотности. Необходимы будут специальные меры как по повышению общей компьютерной грамотности участников, так и по проведению специальных тренингов для обучения их работе с онлайн-платформой, на которой будет проводиться экзамен. Большое внимание должно будет уделено подготовке персонала, проводящего экзамены. Конечно, обучение персонала необходимо при любом формате экзамена, однако в случае офлайн-тестирования действия персоналу интуитивно понятны, и в случае возникновения событий, не урегулированных инструкциями, можно ожидать, что их последствия будут пре- одолены корректно. В случае дистанционного наблюдения за процессом тестирования все прокторы должны понимать, как реагировать даже в самых неожиданных ситуациях, включая медицинские, технические и социальные. Важной задачей является разработка правовой базы для применения онлайн-экзаменов с высокими ставками. В частности, должно быть разработано юридическое регулирование использования данных прокторинга, определен правовой статус результатов тестирования при различных нарушениях процедуры тестирования, разработаны регламенты действий 123 Исследование проводилось на репрезентативных выборках в 11 регионах Российской Федерации. 108 Оценка качества образования в условиях дистанционного обучения администраторов тестирования в случае возникновения технических сбоев (например, по причине неустойчивости интернет-соединения). Все эти и многие другие вопросы потребуют выработки правовой позиции органов управления. И наконец, особое внимание должно быть уделено проблеме сопоставимости результатов онлайн- и офлайн-версий экзаменов. На каждом шаге цифровизации экзамена — этапе ком- пьютеризации и этапе онлайнизации — встает вопрос: как эта версия экзамена соотносится с его бланковой формой. Она труднее или легче, чем бланковые формы, которые выполняли прошлые поколения учащихся (и которые, возможно, все еще используются параллельно цифровой версии)? Измеряется ли в компьютерной версии тот же конструкт, что и раньше, или есть факторы, которые влияют на дисперсию ответов? Меняется ли скорость выполне- ния заданий и, соответственно, нужно ли менять время выполнения теста? Ответы на эти вопросы дают психометрические исследования. Только по результатам специальных иссле- дований можно принять решение, эквивалентны ли результаты бланкового и компьютерного форматов экзамена, и если нет, то в случае параллельного использования обоих форматов придется в сертификате с результатами указывать формат экзамена и применять различные пороговые баллы для разных форматов. Заключение Ситуация 2020 года поставила многие страны перед необходимостью принятия решений по изменению форматов экзаменов с высокими ставками. Анализ решений, принятых в разных странах по изменению форматов экзаменов с высокими ставками в 2020 году, показал, что большинство стран выбрали либо стратегию переноса экзаменов на более поздний срок и усиления мер безопасности на экзаменах, либо стратегию полной или частичной отмены эк- заменов. Некоторые страны предложили модели замены экзаменов альтернативными моде- лями оценивания. Наиболее привлекательной в сложившейся ситуации выглядела стратегия перевода экзаменов в онлайн-формат и их проведения в дистанционном режиме, однако эта стратегия выглядела и наиболее дорогостоящей, и влекущей наибольшее число рисков. Ни одна из стран мира не выбрала стратегию экстренного перевода экзаменов в онлайн-форму, хотя этот вариант активно обсуждался. Однако в среднесрочной перспективе перевод экзаменов с высокими ставками в он- лайн-формат выглядит наиболее предпочтительным. Этот формат имеет множество досто- инств, полное использование которых позволит беспрецедентно повысить качество ре- зультатов и скорость их выдачи. Тем не менее, для полного использования возможностей, которые предоставляет компьютерное тестирование для экзаменов, необходима долгая процедура экспериментов и испытаний, чтобы убедиться, что вносимые изменения не имеют негативных последствий. В первую очередь, необходима организация работ по созданию высокотехнологичных и за- щищенных цифровых платформ для проведения компьютеризированных экзаменов с высо- кими ставками, а также исследование и внедрение в экзаменационную практику расширен- ных возможностей, которые предоставляют современные компьютеризированные форматы экзаменов: интерактивность, адаптивность, внедрение сложных моделей обработки данных, автоматизированное оценивание, создание аккомодаций (справедливых версий для учащих- ся с ОВЗ) и т. д. Но очевидно, что за этим форматом экзаменов будущее. 109 Опыт проживания пандемии системами школьного образования стран постсоветского пространства Раздел 3 ДИСТАНЦИОННЫЙ ОПЫТ РОССИЙСКИХ РЕГИОНОВ: КРИЗИС МЕНЯЕТ ВСЕ 110 Оценка качества образования в условиях дистанционного обучения 111 Опыт проживания пандемии системами школьного образования стран постсоветского пространства Школы против пандемии: эффекты школьного образования Татьяна Мерцалова Сергей Заир-Бек Константин Анчиков Наталья Сенина Образование как фактор социально-экономического развития Система образования является государственным институтом, и ее характеристики, динамика их изменений зависят от состояния государства и общества в целом. Понимание процессов, происходящих внутри образовательных систем, тесно связано с пониманием характера вза- имосвязей между системой образования и общественными процессами, социальными, эко- номическими, политическими, культурными, технологическими контекстами. При этом важно учитывать двусторонний характер этих связей. Соответствие, а в идеале — опережение об- разованием уровня развития внешней для него среды, особенно в части социальных и тех- нологических процессов, является важным фактором повышения качества человеческого капитала и, в конечном счете, экономического развития страны. Отставание уровня развития системы образования как института, отсутствие адекватной реакции на государственный и социальный заказ становятся факторами снижения общей конкурентоспособности экономи- ки государств и замедления социального развития 124 Вместе с тем, образование является фактором развития государственных и общественных институтов, изменения условий их функционирования. Важность учета образовательных показателей и их динамики в системном анализе и прогнозировании развития экономики и общества является доказательством той роли, которую образование сегодня играет в функ- ционировании национальных экономик и общемировом развитии. Практически все совре- менные крупные международные мониторинги экономического развития и конкурентоспо- собности стран в обязательном порядке включают показатели образования, а то и целые их блоки 125 Как показывает анализ эффективности функционирования образовательных систем в мире, немаловажную роль в этом играет высокий уровень автономии школ во взаимосвязи с уча- стием в их управлении локальных сообществ. Высокий уровень автономии школ обуслов- ливает высокое качество образования. И в этом заключается кумулятивный эффект, кото- 124 См., например: Кузьминов Я.И., Фрумин И.Д. и др. Российское образование: достижения, вызовы, перспективы. М.: Издательский дом ВШЭ, 2019. |