Ковалева_Оценка_функциональной_грамотности_26_02_2019. Оценка функциональной грамотности учащихся основной школы. Разработка измерительных
 Скачать 4.22 Mb.
|
|
4. Требования к заданиям для оценки функциональной грамотности. Модель разработки задания для оценки учебных достижений Основные этапы конструирования диагностического задания (Источник: System for State Science Assessment, Board on Testing and Assessment, 2005, р.90) Интерпретация результатов (статистическая модель) Наблюдение (выполнение задания) II. Конструирование заданий Познание (обучение) I. Определение конструкта III. Описание ответов разного уровня IV. Шкалирование результатов Компоненты учебного или проверочного задания характеристика задания мотивационная часть Содержание: •условие (информационная часть) •вопрос (командная часть) •инструкция по выпол-нению (ответная часть) образец/описание ответа критерии оценки методический комментарий (организационная часть) время выполнения задания Тенденции изменения заданий • Изменение целевых установок • Увеличение характеристик заданий • Увеличение доли контекстных заданий • Увеличение доли структурированных заданий • Перевод заданий на электронные носители • Введение интерактивных заданий 62 Основные характеристики заданий TIMSS • Проверяемый элемент содержания • Планируемый уровень познавательной деятельности • Тип задания (с закрытым или открытым ответом) Примеры заданий 64 Основные характеристики заданий PISA-2018 • Типы знаний (содержательное, процессуальное, методологическое) • Компетенции (научное объяснение явлений, …) • Контекcт/ситуация (здоровье; природные ресурсы; окружающая среда; опасности и риски; новые знания в области науки и технологии) /личная, местная/ национальная, глобальная • Когнитивный уровень (низкий, средний, высокий) • Тип задания (стандартное или интерактивное) • Форма задания (с закрытым или открытым ответом) Особенности заданий исследования PISA • Задача, поставленная вне предметной области и решаемая с помощью предметных знаний, например, по математике • В каждом из заданий описываются жизненная ситуация, как правило, близкая понятная учащемуся • Контекст заданий близок к проблемным ситуациям, возникающим в повседневной жизни • Ситуация требует осознанного выбора модели поведения • Вопросы изложены простым, ясным языком и, как правило, немногословны • Требуют перевода с обыденного языка на язык предметной области (математики, физики и др.) • Используются иллюстрации: рисунки, таблицы. Совместное решение проблем: матрица компетенций Модель интерактивного задания (PISA-2015) с применением компьютера: интерактивный контрагент (симуляция работы в группе) Дерево полилога 68 Инструменты общения (чат, e-mail…) контрагенты тестируемый Инструменты для выполнения задания Информационные объекты и поля Поле для чата Поле для выполнения задания к 67 Все реплики пронумерованы Ссылки на примеры заданий • Исследование PISA – http://www.oecd.org/pisa/test/ Измерительные материалы для компьютерного тестирования по финансовой грамотности размещены на сайте ИСРО РАО по адресу: www.finance.instrao.ru Ю.А Тюменева (http://www.rtc-edu.ru/trainings/vebinar/434) Какой эффект оказывает типичность задачи на процесс ее решения? Проблема В ходе школьного обучения текстовые задачи становятся высоко типизированными. Исследования показывают, что требование типичной задачи предвосхищается в момент чтения первого предложения. Можно ли в этой ситуации ожидать, что текстовые задачи сохраняют свою пригодность как инструмент обучения и оценки умения моделировать? Исследовательские вопросы Как различается процесс решения задач на моделирование при решении типичной и аналогичной, но нетипичной, задачи? Какие этапы процесса моделирования являются самыми трудными и каковы эти трудности? Каков эффект помощи для прохождения последующих этапов? Результаты Типичность задачи стала определяющим фактором для: • Выбора способа решения • Эффективности способа решения • Прохождения этапов моделирования Обобщение результатов Эксперимента 2: Задания PISA – нетипичны, т.е. их сложно категоризовать и получить доступ к заученному алгоритму. И это одна из причин их трудности. Если «типичность» задачи становится основной причиной ухода от размышления, анализа, то задача, которая стала типичной, уже не выполняет свою развивающую функцию. Сейчас появился новый тип задач, т.н. «реальная математика», и он также представлен «типами». Следовательно… Какие задачи нужно предлагать нашим учащимся, чтобы развить их умственные способности и научить применять полученные знания в реальных условиях? В.А. Болотов: «Здесь не может быть какого-то простого и однозначного ответа. На протяжении веков человечество создавало систему обучения, настроенную, прежде всего, на решение именно типичных заданий, учила действовать по шаблону, поскольку шаблон предполагает некий стандарт, принятый всеми. Другое дело, что только на одних типичных заданиях далеко не уедешь, следовательно, нужны задания творческие, нестандартные, нетипичные, оригинальные. Но и пытаться выстроить обучение только на таких задачах также было бы большой ошибкой, ибо прежде, чем научить творчеству, нужно развить репродуктивное мышление. А значит, всё дело в умелом сочетании того и другого. Каждый учитель вправе создавать свои собственные оригинальные задания на основе типичных. Например, можно ввести в задачу избыточные данные, чтобы дети поломали голову, что им нужно, а что нет. Главное – понимать, что и зачем мы делаем.» Параметры для анализа заданий на соответствие компетентностному подходу Наличие ситуационной значимости контекста Необходимость перевода условий задачи, сформулированных с помощью обыденной семантики на язык предметной области (например, математическое моделирование) Новизна формулировки задачи, неопределенность 5. Этапы разработки измерительных материалов. Процедура разработки стандартизированных измерительных материалов Разработка авторских заданий теста Содержательная и тестологическая экспертиза заданий теста Доработка заданий теста по результатам экспертизы Апробация тестов Психометрическая экспертиза (моделирование и математическая обработка) Доработка заданий теста по результатам апробации и экспертизы Стандартизация тестов Утверждение итоговых тестов 79 Последовательность этапов разработки КИМ 1. Планирование теста. Подготовка спецификации теста 2. Создание тестовых заданий 3. Экспертиза и корректировка тестовых заданий 4. Подготовка вариантов тестов для экспериментальной проверки заданий 5. Проведен ие экспериментальной проверки заданий 6. Тестологический анализ, отбраковка и корректировка заданий 7. Формирование тестов 8. Экспертиза и корректировка тестов 9. Экспериментальная проверка тестов 10. Тестологический анализ, корректировка и выравнивание тестов 11. Корректура, форматирование и подготовка оригинал -макетов тестов Схема разработки заданий в исследовании PISA 80 Апробация заданий и измерительных материалов • Первичная апробация заданий (когнитивная лаборатория) • Экспериментальная проверка заданий • Экспериментальная проверка измерительных материалов Проведение когнитивной лаборатории Вариант 1. Основан на аудиозаписи – Изучается выполнение задания отдельными учащимися – Во время работы над заданием включена аудиозапись – Ученик вслух проговаривает весь ход решения – Иллюстрации описываются учащимся своими словами – Весь ход размышления/расчетов описывается вслух Проведение когнитивной лаборатории Вариант 2. Основан на дискуссии учащихся и проводящего тестирование – Группе учащихся (например из 5 человек) предъявляется задание – Каждый молча обдумывает задание – Проводящий тестирование приглашает учащихся по очереди высказаться о том, кажется ли задание сложным, как по их мнению, нужно на него отвечать – Проводящий тестирование предъявляет учащимся «правильный ответ» и предлагает высказаться о том, как можно изменить задание, чтобы получить желаемый ответ Экспериментальная проверка заданий (1 этап) • Задания предъявляются группе учащихся (1-2 класса, 20-30 учащихся) • Группа учащихся для апробации сравнима с целевой группой учащихся • Условия проведения апробации должны быть максимально приближены к условиям реального тестирования: – сравнимое количество времени, отводимое на задание и всю работу – сравнимая подготовка учащихся – сравнимая значимость работы (если возможно) • Учащиеся не знают о происхождении заданий и цели апробации • Фиксируется время выполнения отдельных заданий, частей и всей работы в целом Обработка результатов апробации заданий • Задания оцениваются в соответствии со схемой оценивания, подготовленной разработчиками • Эксперты записывают комментарии к заданиям и системе оценивания • Доработка заданий по результатам апробации Экспериментальная проверка заданий (2 этап), стандартизация измерительных материалов • Задания предъявляются группе учащихся (от 100 до 300 учащихся) • Группа учащихся для апробации сравнима с целевой группой учащихся • Условия проведения апробации должны быть максимально приближены к условиям реального тестирования: – сравнимое количество времени, отводимое на задание и всю работу – сравнимая подготовка учащихся – сравнимая значимость работы (если возможно) • Учащиеся не знают о происхождении заданий и цели апробации • Фиксируется время выполнения отдельных заданий, частей и всей работы в целом Обработка результатов апробации измерительных материалов • Задания оцениваются в соответствии со схемой оценивания, подготовленной разработчиками • Определяется уровень трудности каждого задания и теста • После апробации задания нельзя править без потери информации об уровне их трудности • Выравниваются варианты • Определяется проходной балл (ограничительный или компенсаторный подход) • Устанавливаются уровни (при необходимости) • Дорабатывается вся сопроводительная документация 6. Обеспечение валидности и надежности оценки. Механизмы обеспечения качества разработки измерительных материалов 1. Размещение в открытом доступе концептуальных и методологических подходов к измерению, основных документов, определяющих содержание оценки и форму представления результатов. 2. Документальное подтверждение следования принятых в профессиональном сообществе процедур разработки измерительных материалов. 3. Публикация статистических характеристик измерительных материалов, подтверждающих качество измерительных материалов и проведенных оценочных процедур. 89 Статистические требования к разработке заданий для оценки образовательных достижений Требования к качеству и формату заданий 1. Задания должны быть направлены на проверку значимых элементов содержания. 2. Текст задания должен исключать всякую двусмысленность и неясность формулировок. 3. Текст задания формулируется предельно кратко, т.е. освобождается от всякого постороннего для данной проблемы материала. 4. В задании не используются слова, вызывающие различное понимание у испытуемых, а также слова, являющие подсказкой, например, «иногда», «часто», «всегда», «все», «никогда». 5. В заданиях, носящих составной характер (например, в группе заданий, относящихся к одному тексту), необходимо обеспечить, чтобы правильность выполнения одного задания, не зависела от правильности выполнения другого задания данной группы. 6. В тексте задания исключается двойное отрицание. 7. Используемая в заданиях терминология не должна выходить за рамки учебной литературы, используемой в школе. 8. Если в задании базового уровня изложена ситуация или обстоятельства, то они должны быть знакомы учащимся. Возможности анализа теста в рамках классической теории тестирования • Описательная статистика (среднее, стандартное отклонение, дисперсия и т.д.) • Показатель надежности теста; • Средний показатель ошибки измерения; • Показатель трудности заданий; • Дифференцирующая способность заданий; • Точечно-бисериальная корреляция; • Анализ работы дистракторов. Оптимизация работы заданий с помощью карты переменных в современной теории тестирования: соотношение уровня трудности заданий и уровня подготовки испытуемых на одной шкале Испытуемые - MAP - Задания + | . | | | 3 . + | . | . | . | . | не хватает заданий # | для сильных 2 .# + испытуемых .# T| .# | .## |T .### | R01Q1_9 .##### | R01Q1_8 .####### | 1 .#### S+ R01Q4_5 .######## | R01Q1_3 .######### |S R01Q2_6 R01Q4_4 R01Q4_7 R01Q4_8 .######### | R01Q1_5 R01Q2_12 R01Q3_4 .######## | R01Q3_5 R01Q4_1 .############ | R01Q1_1 R01Q1_7 .############ | R01Q2_7 0 .########## M+M R01Q1_2 R01Q1_4 R01Q4_6 .######### | R01Q2_1 R01Q4_3 ############# | R01Q2_3 R01Q2_5 .########### | R01Q2_4 R01Q3_2 R01Q3_3 .####### | .######### |S .######## | R01Q2_9 R01Q2_10 R01Q4_2 -1 .####### S+ R01Q2_8 ###### | R01Q2_11 R01Q2_2 .### | R01Q1_6 R01Q3_1 .#### | .### |T .## | ## | не хватает заданий -2 .# T+ для слабых .# | испытуемых . | . | . | . | . | -3 . + . | | . | . | . + Каждый знак "#" равен 8 испытуемым Общие рекомендации по поддержке мониторинга формирования функциональной грамотности • Подготовить рекомендации учителям математики, естественнонаучных и социально-гуманитарных дисциплин об основных подходах к оценке функциональной грамотности (читательской, математической и естественнонаучной и др.) • Разместить в открытом доступе примеры открытых заданий и ссылки на сайты организаций, на которых размещены информационные ресурсы исследования PISA (например, сайт Центра оценки качества образования ИСРО РАО или Московского центра качества образования) • Разработать сборники заданий для оценки функциональной грамотности • Обратить внимание учителей на нецелесообразность тренировки учащихся на выполнение отдельных типов заданий (проблема типичных заданий). Особенности комплекта для оценки читательской грамотности «Просвещение» 95 Каждый вариант комплексной работы включает блоки, относящиеся к четырём содержательным областям (русскому языку, математике, естествознанию, истории и обществознанию). Каждый блок включает в себя текст (тексты) с заданиями, направленным на оценку сформированности читательских умений. В работе оценивается сформированность трёх групп умений: Первая группа умений включает в себя работу с текстом: общее понимание текста и ориентацию в нём: определение основной идеи текста, поиск и выявление в тексте информации, представленной в различном виде, а также формулирование прямых выводов и заключений на основе фактов, имеющихся в тексте. Вторая группа умений включает в себя также работу с текстом: более глубокое понимание текста и выявление детальной информации: анализ, интерпретация и обобщение информации, представленной в тексте, формулирование на её основе сложных выводов и оценочных суждений. Третья группа умений включает в себя использование информации из текста для различных целей: для решения различного круга задач без привлечения или с привлечением дополнительных знаний. Для дополнительной информации Международный координационный центр исследования TIMSS –PIRLS – http://timss2015.org/ ; http://pirls2016.org/ тел.: +1-617-552-1600 – Ina V.S. Mullis, Michael O. Martin – международные координаторы (электронная почта – timss@bc.edu ; pirls@bc.edu ) Организация Экономического Сотрудничества и Развития (ОЭСР) (Organization for Economic Cooperation and Development, OECD) – www.oecd.org/edu/pisa Центр оценки качества образования ИСРО РАО – http://centeroko.ru тел.: +7-495-621-76-36 – Ковалева Галина Сергеевна – национальный координатор России (электронная почта – centeroko@mail.ru ) Спасибо за внимание! Ковалева Галина Сергеевна, руководитель Центра оценки качества образования Института стратегии развития образования РАО Тел./факс: (495)-621-76-36 e-mail: centeroko@mail.ru сайты: www.centeroko.ru 97 |