система-оценивания-уровня-сформированности-ФГ — копия. Система оценивания уровня сформированности функциональной грамотности Юрова Светлана Ивановна, старший методист, лаборатория Образовательный техногенез

• Название: Система оценивания уровня сформированности функциональной грамотности Юрова Светлана Ивановна, старший методист, лаборатория Образовательный техногенез
• Дата: 10.06.2022
• Размер: 7.65 Mb.
• Имя файла: система-оценивания-уровня-сформированности-ФГ — копия.pptx
• Тип: Документы; #584648

Система оценивания уровня сформированности функциональной грамотности

Юрова Светлана Ивановна,

старший методист,

лаборатория «Образовательный техногенез»,

[e-mail]

[e-mail]

Международные сопоставительные

исследования (МСИ)

Результаты международной программы PISA-2018

Средний результат российских обучающихся 15-летнего возраста за период с 2000 по 2018 годы:

– повысился на 17 баллов по читательской грамотности и на 20 баллов по математической грамотности;

– практически не изменился по естественнонаучной грамотности.

Выборка российских обучающихся 15-летнего возраста в 2018 году включала 7608 обучающихся из 265 образовательных организаций 43 регионов России.

В выборку вошли 15-летние учащиеся основной и средней школы (9% – 7-8 классы, 81% – 9 класс, 7% – 10-11 классы), а также учащиеся образовательных организаций среднего профессионального образования (3%).

Структура измерительных материалов в исследовании PISA

Результаты международной программы PISA-2018

Средний результат российских 15-летних учащихся по читательской грамотности в 2018 году составил 479 баллов.

Самые высокие результаты продемонстрировали учащиеся из четырех провинций Китая (555 баллов) и Сингапура (549 баллов).

Уровни читательской грамотности

В исследовании PISA установлено 6 уровней читательской грамотности, среди которых 2-й уровень является пороговым, базовым.

• В 2018 году число 15- летних российских учащихся, продемонстрировавших уровень читательской грамотности не ниже базового, составляет 78%
• Самые высокие уровни читательской грамотности (5 и 6 уровни по шкале PISA) показали 6% российских учащихся
• Готовы к самостоятельному обучению с помощью текстов, т.е. достигли 4 уровня читательской грамотности и выше 22% российских учащихся
• Не готовы ориентироваться с помощью текстов даже в знакомых житейских ситуациях 22% учащихся России

Распределение заданий по читательским умениям и

количеству источников информации (в %)

Результаты выполнения заданий в зависимости от ситуации чтения

Область положительных тенденций, хотя и слабо выраженных, – чтение для образовательных и личных целей.

Тексты для деловых и общественных целей читают несколько хуже.

Нужна другая информационная среда в школе, другая структура учебных материалов и новые формы работы с ними.

• В 2018 году средний результат российских учащихся 15-летнего возраста по математической грамотности составил 488 баллов.
• Самые высокие результаты продемонстрировали учащиеся из четырех провинций Китая (591 балл) и Сингапура (569 баллов).
• Результаты российских учащихся статистически значимо не отличаются от результатов учащихся 8 стран
• За период с 2003 года наблюдается повышение результатов российских учащихся по математической грамотности на 20 баллов.

Результаты международной программы PISA-2018

Уровни математической грамотности

• 78% российских 15-летних учащихся продемонстрировали готовность адекватно применять математические знания и умения, они достигли порогового (2-го) уровня или превысили его.
• 8,1% российских учащихся обладают высоким уровнем математической грамотности (5-6-й уровень).

Тенденции в изменении состояния математической грамотности 15-летних учащихся за 2003 – 2018 годы:

– значительное уменьшение процента учащихся, показавших низкий и ниже низкого уровни (2003 – 30%, 2018 – 28%),

– значительное увеличение процента учащихся, достигших 2-го (порогового) уровня или выше (2003 – 70%, 2018 – 78%),

– очень небольшое увеличение процента российских учащихся, продемонстрировавших 5-6-й – два самых высоких уровня (2003 – 5%, 2018 – 8,1%).

Результаты по видам деятельности

Российские учащиеся явно успешнее могут «применять» нужную математику для решения сформулированной математической проблемы, а также «интерпретировать» полученное математическое решение

Менее успешно они справляются с «формулированием» проблемы на математическом языке.

• Средний балл российских учащихся 15-летнего возраста по естественнонаучной грамотности в 2018 году составил 478 баллов
• Самые высокие результаты продемонстрировали учащиеся Китая (4 провинции) – 590 баллов. Также в пятерку стран с самыми высокими результатами вошли Сингапур, Макао (Китай), Эстония, Япония.
• Результаты российских учащихся статистически значимо не отличаются от результатов учащихся 7 стран

Результаты международной программы PISA-2018

По сравнению с предыдущим циклом исследования 2015 года средний балл российских учащихся незначительно снизился (на 9 баллов), но при этом позиция Российской Федерации в рейтинге стран практически не изменилась.

Уровни естественнонаучной грамотности

• В 2018 году 79% российских учащихся 15-летнего возраста достигли и превысили пороговый уровень естественнонаучной грамотности (2-й уровень).
• По сравнению с 2015 годом увеличилось число учащихся, не достигших порогового значения естественнонаучной грамотности, – с 18% до 21%.
• Число российских учащихся, достигших наивысших уровней естественнонаучной грамотности (5-6 уровни), составило в 2018 году 3,1%.

Динамика результатов российских учащихся по компетенциям и областям содержания

Результаты PISA-2018 показывают, что пока не наблюдается положительных сдвигов в формировании естественнонаучной грамотности в российской школе.

Это свидетельствует о том, что характер изучения естественнонаучных предметов мало ориентирован на применение знаний и умений учащихся для решения конкретных задач, взятых из реального жизненного контекста.

Международные сопоставительные

исследования (МСИ)

Международные сравнительные исследования (TIMSS, PIRLS) в области образования подтверждают, что российские учащиеся сильны в области предметных знаний (академические знания), но у них возникают трудности в применении предметных знаний в ситуациях, приближенных к жизненным реальностям (PISA).

Чем функциональная грамотность отличается от академической?

АКАДЕМИЧЕСКАЯ ГРАМОТНОСТЬ	ФУНКЦИОНАЛЬНАЯ ГРАМОТНОСТЬ
моделирует ту или иную область научного познания	моделирует реальную жизненную ситуацию
предполагает развитие при- чинно-следственного, линейного мышления	ориентирует на нелинейное (вероятностное) мышление.
конструируется на базе классической системы формирования понятий на основе преимущественного использования индуктивного метода	конструируется на базе концептов на основе преимущественного использования дедуктивного метода
ученики осваивают систему понятий конкретной науки и их теоретические обобщения	ученики осваивают систему концептов, включающих предметные знания учеников, становятся опорой, средством решения задач в реальных жизненных ситуациях

Проблемы формирования функциональной грамотности: что показали результаты мониторинга

• Подтверждена актуальность проблемы ФОРМАЛИЗМА ЗНАНИЙ – старой проблемы российской и советской школы.

Знания у учащихся есть, однако грамотно пользоваться ими они не умеют. Учимся для школы, не для жизни!

• Подтверждён эффект, выявленный ранее в ходе вторичного анализа результатов PISA группой под руководством К.Н.Поливановой и названный СИТУАЦИОННОСТЬЮ ЗНАНИЙ.

Ситуационность знаний: если знания не осознаны и не присвоены учащимися, они проявляются только в тех ситуациях, в которых формировались.

• май 2019 – 5 и 7 классы, участвовало около 50 тыс. школьников
• май 2020 – 8 и 9 классы, участвовало около 150 тыс. школьников
• ноябрь 2020 – 6 и 8 классы, участвовало около 2 тыс. школьников
• 2020 -2021 – региональные мониторинги, 4, 6 и 8 классы, участвовало более 70 тыс. школьников

https://instrao.ru/ - «Институт стратегии развития образования Российской академии образования»

Действия, которые надо совершить для успешного выполнения заданий исследования PISA

Область компетентности	Уровень компетентности
	Высокий (выше 550 баллов)	Средний (550–450 баллов)	Низкий (ниже 450 баллов)
Работа с текстом: поиск информации	Работать с текстом, содержащим недостаточно надежную или противоречивую информацию	Соединить несколько единиц информации, со-держащейся в тексте с малознакомым содержанием	Найти информацию, прямо сформулированную в тексте со знакомым содержанием
Работа с текстом: интерпретация	Продемонстрировать полное и детальное понимание неоднозначного и противоречивого текста	Истолковать значение всего текста и его частей	Понять главную идею текста и его частей
Работа с текстом: оценка и размышление	Оценивать противоречивую информацию и формулировать гипотезы на основе длинных и сложных текстов	Оценивать информацию в тексте, содержание которого не ограничивается житейским опытом	Использовать личный опыт и дополнительные знания для объяснения текста со знакомым содержанием

Область компетентности	Уровень компетентности
	Высокий (выше 550 баллов)	Средний (550–450 баллов)	Низкий (ниже 450 баллов)
Математика	Выделить в жизненной ситуации проблему, решаемую средствами математики, построить модель решения	Установить связи и интегрировать материал из разных областей математики	Воспроизвести факты и методы, выполнить вычисления
Естественнонаучное знание	Создавать объяснительные и прогнозирующие модели, оценивать альтернативные точки зрения	Использовать естественно-научное знание для объяснения и Прогнозирования природных явлений	Привести пример, подтвердить уже сформулированный вывод

Действия, которые надо совершить для успешного выполнения заданий исследования PISA

Низкий уровень компетентности:

• привести пример,
• выполнить вычисление (в типовой
• задаче),
• найти информацию, прямо сформулированную в тексте со знакомым содержанием.

Высокий уровень компетентности:

• неопределенность,
• неоднозначность,
• противоречивость,
• недостаточная надежность информации,
• наличие альтернативных точек зрения

Задание на формирование и оценку функциональной грамотности может быть направлено на отработку только одной компетенции или на отработку элементов сразу нескольких компетенций.

Поскольку задачи внутри комплексного задания предполагают работу с информацией, то их можно классифицировать по форме работы с информацией

• Задача-интерпретация
• Задача-сравнение
• Задача-аналогия
• Задача-модель
• Задача-поиск
• Задача-структурирование
• Задача-возможность
• Задача на избыточность
• Задача на недостаточность

Письменная форма контроля

Это комплексное задание:

• задачи с готовыми ответами, из которых нужно выбрать верный,
• задачи, на которые учащийся должен дать свой краткий или полный обоснованный ответ.

Как правило, задания состоят из нескольких задач различной сложности, которые относятся к одной и той же жизненной ситуации.

Несмотря на доступность части заданий, используемых в исследованиях PISA, их формат остается для большинства педагогов новым и вызывает затруднения при их конструировании, так как меняется смысловой акцент при постановке вопросов.

Основной метод оценки функциональной грамотности

Выводы

• развитию функциональной грамотности в большей степени соответствует интегративное содержание
• учебные задания, направленные на развитие функциональной грамотности, как правило, носят межпредметный характер
• принципиальная взаимосвязь этих двух видов грамотности, а также характер преемственности между ними
• академическая грамотность - фундамент для развития функциональной грамотности

Классификация результатов обучения Б. Блума

Индикаторы функциональной грамотности школьников

и их эмпирические показатели

Индикаторы функциональной грамотности школьников

и их эмпирические показатели

Каковы критерии оценки задач, направленных на формирование и оценку функциональной грамотности?

Оценка выполненной задачи. Проверяемый компонент компетенции задает способы и критерии оценивания результата. Эталонный ответ должен в полной мере учитывать задаваемый контекст ситуации.

Для задач с одиночным или множественным выбором ответ принимается полностью при соответствии с эталонным вариантом.

Задача (разработчики О. А. Абдулаева, А. В. Ляпцев, 2019).

Миша решил в микроволновке разогреть себе борщ на обед. Какую посуду он может для этого использовать?

1. Открытый пластмассовый контейнер.

2. Фарфоровую тарелку с позолотой.

3. Эмалированную миску.

Оценка выполнения задачи:

Верный ответ — 1 балл.

1. Открытый пластмассовый контейнер.

Ответ не принимается:

Несколько вариантов ответа.

Другой вариант.

Ответ отсутствует.

Поскольку в задачах моделируется жизненная ситуация, то в ряде случаев невозможно стандартизировать все ответы. Для задач с коротким ответом возможны допущения.

Оценка выполнения задачи:

Ответ принимается полностью — 2 балла.

В ответе явное указание на то, что белок может служить источником энергии, которая при избытке в организме запасается в виде подкожного жира.

Ответ принимается частично — 1 балл.

Избыток белка ведет к образованию подкожного жира.

Ответ не принимается.

Белок при избытке откладывается в виде подкожного жира.

При оценке задач по формированию и оцениванию функциональной грамотности в рамках исследования PISA используются критерии:

• «ответ принимается полностью»,
• «ответ принимается частично»,
• «ответ не принимается»

При оценке тестовых заданий с множественным выбором и с кратким ответом применяются критерии:

• «верный ответ»,
• «частично верный ответ»
• «неверный ответ»

Критерии исследования PISA были выбраны по двум причинам:

• на некоторые вопросы не имеется «верного» ответа
• Категория «ответ принимается полностью» не обязательно включает только полный верный или идеальный ответ

Для анализа и конструирования заданий на формирование и оценку функциональной грамотности целесообразно использовать паспорт

• развиваемые компетенции;
• тип знаний;
• концепты;
• контексты;
• когнитивный уровень;
• дидактические единицы;
• формат вопроса

Пример. Ученые, приглашенные обеспокоенными местными жителями, сравнили число случаев онкологических заболеваний органов дыхания у людей, живущих вблизи завода в Австрии, Германии, Великобритании, Италии, Дании, Бельгии, Франции, Финляндии.

Формулировка задачи. Назовите одно из возможных различий между указанными странами, которое привело бы вас к мысли о том, что проведенное сравнение не является убедительным доказательством.

Контексты

При составлении заданий важную роль играет их контекст. В каждом из заданий описывается жизненная ситуация, как правило близкая и понятная учащемуся, которая может быть соотнесена с категориями «здоровье», «технологии», «опасности и риски» и др.

Ситуация, отражающая личностный, местный или глобальный контекст, требует от обучающегося осознанного выбора модели поведения и соотнесения собственных

ценностных установок с общечеловеческими ценностями.

Когнитивный уровень

Задачи низкого когнитивного уровня ориентируют обучающихся опираться на знания повседневного содержания и базовые процедурные знания для распознавания научного объяснения, интерпретации данных;

Средний когнитивный уровень потребует от обучающихся использовать более сложные или более абстрактные идеи или понятия для объяснения комплексных явлений, событий и процессов на основе существующих причинно-следственных связей;

Высокий когнитивный уровень предполагает демонстрацию обучающимися способности применять более сложные знания, связанные с научным познанием, того чтобы дать оценку различным способам проведения экспериментов и обосновать свой выбор, а также способность использовать теоретические знания для интерпретации информации или формулирования прогнозов;

Памятка для анализа педагогической ценности задачи по оценке и развитию функциональной грамотности

1. Какую учебную цель преследует данная задача?

2. Какие элементы функциональной грамотности имеются в виду?

3. Необходима ли именно эта задача?

4. Почему выбран такой стимул к задаче?

5. Почему взяты такие, а не другие исходные данные?

6. Отвечают ли исходные данные реальной обстановке, в которой могла бы возникнуть аналогичная задача?

7. Интересна ли задача для учащихся, увлекательна, естественная ли постановка вопроса, вызывает ли она у учащихся интерес к ответу или способу решения, чем именно?

8. Сможет ли учащийся самостоятельно решить данную задачу? Что он для этого должен знать, уметь, помнить, представлять? Если учащийся не сможет этого сделать, о чем будет свидетельствовать этот факт?

9. Чем и в какой мере ему может и должен помочь учитель?

10. Как эта задача связана с предшествующей и последующей учебной деятельностью учащегося?

11. Как эта задача связана с предшествующей и последующей жизнью учащегося?