Отечественная из bbарbbубbbежbbнаbbя педагогика 2 (70) т 2020
 Скачать 4.65 Mb.
|
|
Keywords: functional literacy, feedback, reporting of results, formative assessment, PISA, TIMSS, PIRLS, proficiency levels, achievement levels, competency profiles. References • Analiticheskie materialy. Po rezul'tatam provedeniya Nacional'nogo issledovaniya kachest- va matematicheskogo obrazovaniya v 5–7 klassah. Chast' 1. Moskovskij centr nepreryvnogo matematicheskogo obrazovaniya. 2015, 62 s. [In Rus]. • Analiticheskie materialy. Po rezul'tatam provedeniya Nacional'nogo issledovaniya kachest- va matematicheskogo obrazovaniya v 5–7 klassah. Chast' 2. Moskovskij centr nepreryvnogo matematicheskogo obrazovaniya. 2015, 62 s. [In Опыт предоставления обратной связи в процессе оценки ... 23 • Basyuk V. S., Kovaleva G. S. Innovacionnyj proekt Ministerstva prosveshcheniya «Monitoring formirovaniya funkcional'noj gramotnosti»: osnovnye napravleniya i pervye rezul'taty // Otechestvennaya i zarubezhnaya pedagogika. 2019. T. 1, № 4 (61). S. 13–33. [In Rus]. • Clark I. Formative assessment: Assessment is for self-regulated learning // Educational Psychology Review. 2012. Vol. 24, No. 2. P. 205–249. • De La Torre J. The generalized DINA model framework // Psychometrika. 2011. Vol. 76, No. 2. P. 179–199. • Dweck C. S. Self-theories: Their role in motivation, personality, and development. Psychology press, 2000. 212 p. • Fischbach A., Keller U., Preckel F., et al. PISA proficiency scores predict educational outcomes // Learning and Individual Differences. 2013. Vol. 24. P. 63–72. • Garcia T. The role of motivational strategies in self-regulated learning // Understanding self-regulated learning. San Francisco: Jossey-Bass, 1995. 128 p. • Kroker L., Algina Dzh. Vvedenie v klassicheskuyu i sovremennuyu teoriyu testov: uchebnik / pod ob- shch. red. V. I. Zvonnikova i M. B. Chelyshkovoj. M.: Logos, 2012. 668 s. [In Rus]. • Li H., Hunter C. V., Lei P. W. The selection of cognitive diagnostic models for a reading comprehension test // Language Testing. 2016. Vol. 33, No. 3. P. 391–409. • Mullis I. V., Martin M. O., Foy P., et al. TIMSS2015 international results in mathematics. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, 2016. 380 p. • Nicol D. J., Macfarlane‐Dick D. Formative assessment and self‐regulated learning: A model and seven principles of good feedback practice // Studies in higher education. 2006. Vol. 31, No. 2. P. 199–218. • OECD. PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy. OECD Publishing, 2013. 261 p. • OECD. PISA 2018 Results. What Students Know and Can Do [Elektronnyj resurs]. URL: https://www. oecd-ilibrary.org/education/pisa-2018-results-volume-i_5f07c754-en; jsessionid=3LGLQheRO7y7A Q8Wp4q7YiDa.ip-10–240–5–93 (data obrashcheniya: 16.06.2020). • OECD. PISA Data Analysis Manual SPSS, Second Edition. Organisation for Economic Co-operation and Development, 2009. 475 p. • Olsen R. V., Nilsen T. Standard setting in PISA and TIMSS and how these procedures can be used na- tionally // Standard setting in education. Springer, Cham, 2017. P. 69–84. • Ravand H., Robitzsch A. Cognitive diagnostic modeling using R // Practical Assessment, Research, and Evaluation. 2015. Vol. 20, No. 1. P. 1–11. • Rushton A. Formative assessment: a key to deep learning? // Medical teacher. 2005. Vol. 27, No. 6. P. 509–513. • Schulz A., Leuders T., Rangel U. The use of a diagnostic competence model about children\'s operation sense for criterion-referenced individual feedback in a large-scale formative assessment // Journal of Psychoeducational Assessment. 2020. Vol. 38, No. 4. P. 426–444. • Torrance H., Pryor J. Investigating formative assessment: Teaching, learning and assessment in the classroom. McGraw-Hill Education (UK), 1998. 184 p. • Tunstall P., Gsipps C. Teacher feedback to young children in formative assessment: A typology // British educational research journal. 1996. Vol. 22, No. 4. P. 389–404. • Watermann R., Klieme E. Reporting results of large-scale assessment in psychologically and education- ally meaningful terms: Construct validation and proficiency scaling in TIMSS // European Journal of Psychological Assessment. 2002. Vol. 18, No. 3. P. 190–203. К. П. Вергелес, ГС. Ковалева, НИ. Колачев, О. И. Садовщикова 24 УДК Кандидат педагогических наук, старший научный сотрудник лаборатории социально-гума- нитарного общего образования ФГБНУ Институт стратегии развития образования Российской академии образования, г. Москва Е-mail: elena.rut@mail.ru Elena L. Rutkovskaya PhD (Education), Senior Researcher of the Laboratory of Social and Humanitarian General Education, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Кандидат педагогических наук, доцент кафедры методики преподавания истории, обществознания и права ГАОУ ВО Московский городской педагогический университет, г. Москва Е-mail: а mail.ru Anastasia V. Polovnikova PhD (Education), Associate Professor of the Chair of History, Social Science and Law Teaching Methods, the Moscow City Pedagogical University, Moscow, ЕЛ. Рутковская А. В. Половникова ОЦЕНКА И ФОРМИРОВАНИЕ ФИНАНСОВОЙ ГРАМОТНОСТИ МОДЕЛИ ЗАДАНИЙ И ИХ РАЗВИТИЕ 1 В статьефокусируется внимание на эволюции заданий исследования PISA в области финансовой грамотности, предъявлявшихся летним учащимся входе трех состоявшихся этапов исследования. Проводится наглядное сопоставление состава заданий 2012, 2015 и 2018 годов. На основе количественного анализа состава измерительных материалов делается вывод о существенном сокращении числа аспектных заданий и увеличении удельного веса заданий комплексных. На конкретных примерах показана эволюция в подходах к разработке заданий, оценивающих и развивающих финансовую грамотность, в отечественной практике, аналогичной практике разработчиков измерительных материалов исследования PISA, проводимой с участием авторов. Подчеркивается значимость аспектных заданий на начальном этапе работ по созданию учеб- но-методических, в том числе оценочных, материалов по финансовой грамотности. Акцентируются особенности комплексных заданий и их более широкие возможности в оценке и развитии финансовой грамотности учащихся, учитывающиеся при создании банка заданий для проведения мониторингов формирования функциональной грамотности в Институте стратегии развития образования РАО. Отдельное внимание уделяется вопросу уров- невой представленности заданий по финансовой грамотности в разрабатываемых комплексах. Подробно рассматриваются составляющие, Как цитировать статью Рутковская ЕЛ, Полов- никова А. В. Оценка и формирование финансовой грамотности модели заданий и их развитие // Отечественная и зарубежная педагогика. 2020. Т. 2, № 2 (70). С. РАЗРАБОТКА НАЦИОНАЛЬНОГО ИНСТРУМЕНТАРИЯ ПО ФОРМИРОВАНИЮ ФУНКЦИОНАЛЬНОЙ ГРАМОТНОСТИ 25 ЕЛ. Рутковская, А. В. Половникова входящие в комплекс заданий по финансовой грамотности, использованный в апробационном исследовании 2020 года. Предъявляются эмпирические данные выполнения заданий разного уровня сложности девятиклассниками (возраст участников исследования PISA), относящимися к пяти группам с различным уровнем финансовой грамотности. Ключевые слова функциональная грамотность, финансовая грамотность, комплексные задания, уровень финансовой грамотности, международная программа по оценке образовательных достижений учащихся Введение Одно из основных направлений развития современной педагогический теории и практики связано с активным поиском дальнейших путей совершенствования образовательного процесса в логике от логоцентричной парадигмы образования — к персоноцентричной, от репродуктивной, конвейерной педагогики — к конструктивной, от знаний — к смыслам [7]. Именно в этой логике видится решение задач формирования функциональной грамотности учащихся, в том числе финансовой грамотности. Под функциональной грамотностью международное сообщество понимает способность применять приобретаемые в течение жизни знания, умения, навыки для решения максимально широкого диапазона жизненных задач в различных сферах человеческой деятельности [3]. Обозначенный вектор развития образования в сторону формирования функциональной, в том числе финансовой, грамотности, требует особых моделей заданий как инструмента оценки и формирования образовательных результатов. Международная программа по оценке образовательных достижений учащихся PISA в 2012 году впервые предъявила комплекс заданий, нацеленный на оценку финансовой грамотности учащихся разных стран, задав тем самым общую рамку характеристик данной группы заданий и показав возможности измерения знания и понимания финансовых терминов и финансовых рисков, а также навыков, мотивации и уверенности в применении такого знания и понимания в целях принятия эффективных решений в целом ряде финансовых контекстов с целью улучшения финансового благополучия личности и общества, для обеспечения возможности участия в экономической жизни [15]. Подробное описание характеристик заданий по финансовой грамотности и общих Оценка и формирование финансовой грамотности ... подходов к их разработке на основе методологии исследования PISA представлено в отечественных публикациях [2; 4; 5; Цель статьи. К настоящему времени открыты для анализа результаты трех этапов исследования PISA в области финансовой грамотности (2012, 2015 и 2018 гг.) и ряд заданий этого исследования [10; 11; 12; 13; 14; 15]. Особо привлекательны для исследователей различных вопросов, связанных с образовательными результатами, материалы последнего из состоявшихся этапов программы PISA — исследования 2018 года. При этом внимание исследователей вопросов содержания и оценки финансовой грамотности сосредоточено в основном непосредственно на результатах, зафиксированных на последнем этапе международного исследования. В тоже время материалы, наработанные за время проведения программы PISA в течение всех состоявшихся ее этапов, дают возможность проследить развитие самого инструментария, с помощью которого собирались зафиксированные результаты, и выявить определенные тенденции в складывании современного его видения. Целью данной статьи является представление обнаруженных проявлений эволюции моделей заданий как инструмента оценки и формирования финансовой грамотности. Методология и методы исследования С го до 2012 года международной программой оценки образовательных достижений учащихся PISA изучались читательская, естественнонаучная и математическая грамотность. Базируясь на подходах к разработке заданий для этих направлений исследования PISA, а также на складывающемся в международной практике представлении о финансовой грамотности, к исследованию 2012 года был разработан и апробирован первый вариант заданий по финансовой грамотности. Измерительные материалы включили в область оценки финансовые знания, когнитивные и практические умения в работе с финансовыми материалами и способы действий в ситуациях повседневной жизни в современном обществе, связанных с финансами. Предложенное новое направление было поддержано рядом стран, ив странах в 2012 году было проведено первое исследование финансовой грамотности [8; 10; 11; 12; Анализ комплекса заданий по финансовой грамотности 2012 года позволил выявить их особенности, представленные ниже. Исследование 2012 года (первое исследование финансовой грамотности) включало 40 заданий, сформулированных на основе 29 жизненных 27 ЕЛ. Рутковская, А. В. Половникова ситуаций. Сама ситуация и задание (задания) к ней имели собственное название (заголовок. Из таких первичных именных элементов был сформирован международный тест по финансовой грамотности. Он включил 18 ситуаций с одним заданием и 11 ситуаций с двумя заданиями. Через три года (в 2015 году) на очередном этапе программы PISA было проведено второе исследование финансовой грамотности [13], в котором участвовало 15 стран. Исследование 2015 года включило 43 задания, сформулированных на основе 32 жизненных ситуаций. При этом в международный тест 2015 года вошли все ситуации с заданиями предыдущего этапа, кроме одной, и четыре новых ситуации. Ситуации и задания, использованные в 2015 году, были аналогичны или подобны представленным на первом этапе исследования и сточки зрения содержания, и по структуре предъявляемых на тестировании элементов. Примечательно, что все новые ситуации, включенные в исследование 2015 года, как и большинство заданий теста 2012 года, сопровождались одним единственным заданием. В результате во всей совокупности элементов теста 2015 года две трети представляли собой описание ситуации и одно единственное задание к этому описанию (21 ситуация из 32). Одна треть включала не одно, а два задания к описанию ситуации (11 ситуаций). Можно констатировать, что каждый из первичных элементов, использованных входе первых двух этапов исследования финансовой грамотности, содержательно отражает какой-то определенный отдельный аспект жизненной практики в области финансовых отношений, поскольку представляет собой в подавляющем большинстве случаев отдельные задания. И каждое такое единичное задание позволяет сосредоточить внимание лишь на одной определенной познавательной операции в заявленном той или иной ситуацией контексте, активизировать у учащегося только один из когнитивных процессов. В этой связи задания, которые использовались в исследованиях 2012 и 2015 годов, можно назвать аспектными заданиями, иприменительно к ним можно говорить об оценке отдельных аспектов сформированности финансовой грамотности учащегося. Такой аспектный подход к разработке заданий по финансовой грамотности дал возможность экстенсивного развития инструментария, развития вширь, обеспечив количественное разнообразие ситуаций и значительный охват жизненных практик, что доминировало над качеством выявления и глубиной проработки поднимаемых ситуациями проблем и над возможностью активизировать различные познавательные процессы обучающегося при их решении. Тем не менее на начальном этапе разворачивания работ по формированию финансовой грамотности аспектный подход был, безусловно, продуктивным. Он позволил педагогам, разрабатывавшим учебно-мето- дические, в том числе оценочные, материалы по финансовой грамотности, адаптировать сюжеты международного исследования к отечественным реалиям, создать значительный банк ситуаций из отечественных практик финансовых отношений, осваиваемых учащимися. Так, разработка учебно-методических материалов по финансовой грамотности в Институте стратегии развития образования РАО началась с создания обучающей программы, представляющей собой тесты для оценки уровня финансовой грамотности выпускников начальной и основной школы (учащихся го иго классов) [1]. Все тестовые материалы этой программы выстроены в логике аспектных заданий. В своей совокупности они характеризуются разнообразием затронутых контекстов, содержательных линий, форматов заданий, но каждый отдельный сюжет, каждая конкретная ситуация стала основой одного задания (в исключительных случаях — двух, позволяющего оценить определенный аспект в образовательных результатах, относящихся к финансовой грамотности (см. Рис. Первое задание обращено к планированию личных финансов ивы- ходит на применение знаний и понимания в области финансовой грамотности. Предложена конкретная проблемная ситуация и несколько вариантов решения проблемы, сопровождающиеся требованием выбрать из них финансово грамотные. Предложенный сюжет мог иметь и предысторию, и последующее развитие, как это и бывает в жизни. Итакой развернутый сюжет мог стать основой не одного, а серии заданий, различных по требуемым познавательным действиям. К примеру, можно было сопоставить возможные грамотные решения, определить преимущества каждого из них, найти аргументы к определенному выбору героини ситуации, рассмотреть финансовые последствия осуществленного ею выбора и др. Но логика разработки аспектного задания связана с акцентированием одного из элементов, которые становятся предметом рассмотрения с помощью заданий. Второе задание связано с личными накоплениями и предлагает оце- Оценка и формирование финансовой грамотности ... Рис. 1. Примеры заданий из обучающей программы для оценки уровня финансовой грамотности выпускников начальной и основной школы Рис. 1. Примеры заданий из обучающей программы для оценки уровня финансовой грамотности выпускников начальной и основной школы ЕЛ. Рутковская, А. В. Половникова нить преимущества (достоинства) предложенных вариантов вкладов. Однако его содержание сфокусировано лишь на одном небольшом аспекте планирования финансов, осуществляемого героем ситуации. В данном случае это определение достоинств каждого из вкладов. При этом достоинства вкладов рассматриваются абстрактно, безотносительно к личным интересам конкретного человека, анализирующего их. Комплексного, разностороннего охвата рассматриваемой проблемы, возможностей и последствий ее решения нет. Собственно финансовое решение — решение о том, какой вклад из предложенных выбрать Олегу, — остается за пределами внимания. Но для того, чтобы оно было принято и обосновано, в описание ситуации следовало бы внести несколько слово личных финансовых целях Олега, его дальнейших планах. Сюжет мог бы получить развитие — герой мог бы оформить один из вкладов, посчитать полученную выгоду и т. дно ситуация аспектного задания статична, выхвачена из развития некой истории с финансовым контекстом. В тоже время тот самый элемент, ставший предметом внимания каждого задания, был определен, сформулирован и заложен в программу [1], и программа на уровне обратной связи стала оперативно выдавать учащемуся, завершившему выполнение той или иной части работы, информацию, акцентирующую освоенные и неосвоенные лично им элементы (аспекты) финансовой грамотности (см. Рис. К 2018 году инструментарий исследования международного исследования в области финансовой грамотности изменился. И эти изменения носили качественный характер. Из исследования PISA 2018 года были исключены 14 заданий по 12 ситуациям из тех, которые предъявлялись ранее, в том числе по 10 ситуациям с единственным заданием к ним. Место исключенных заняли всего 4 новых жизненных ситуации. При этом общее число новых заданий было равно числу заданий исключенных. В 2018 году к каждой новой ситуации разработчики инструментария исследования PISA предложили не одно, а 3–4 задания, связанных единой сюжетной линией и общей рамкой оценки. Такая модель заданий может быть обозначена как задание комплексное. Задания, представленные в такой модели, позволяют закладывать в объект диагностики спектр когнитивных процессов, предъявлять задания разного уровня сложности, использовать разные форматы представления информации. |