Отечественная из bbарbbубbbежbbнаbbя педагогика 2 (70) т 2020
 Скачать 4.65 Mb.
|
|
Результаты Реализация критериально-уровнего подхода к обратной связи в инструментарии для формирования и оценки функциональной грамотности (начальный этап. На данный момент в инструментарии по формированию и оценке функциональной грамотности реализована обратная связь в виде уровней освоения знаний и умений (по примеру международных исследований). С учетом опыта проведения региональных мониторингов достижения образовательных стандартов была предложена пятиуровневая система представления результатов выполнения диагностических работ по функциональной грамотности. Данная система апробировалась при обработке и анализе результатов региональных диагностических работ, проводимых в Московской области. Всего диагностические работы выполняли 60 205 учащихся из 3 083 девятых классов 1 276 образовательных организаций и 72 543 учащихся из 3 137 восьмых классов 1 269 образовательных организаций Московской области. Уровни формировались по отдельным направлениям функциональной грамотности, как в исследовании PISA. По каждому из шести направлений математической, читательской, естественнонаучной и финансовой грамотности, а также глобальным компетенциям и креативному мышлению на первом этапе было выделено 5 уровней (недостаточный, низкий, средний, повышенный и высокий). В зависимости от характера распределения баллов по отдельным направлениям использовались два подхода преобразование первичных баллов в оценки и экспертный анализ полученных распределений. Z-оценки получаются путем вычитания среднего балла по выборке из индивидуальных баллов учащихся, а затем эта разность делится на стандартное (среднеквадратическое) отклонение. шкала является стандартной с нулевым средним значением и единичным стандартным отклонением μ = 0, σ = 1. Размах оценок, как правило, равен 6 стандартным отклонениям от –3 до +3. На втором этапе на основе распределения оценок были выбраны следующие интервалы для уровней К. П. Вергелес, ГС. Ковалева, НИ. Колачев, О. И. Садовщикова недостаточный ≤ –1 –1 < низкий ≤ 0 0 < средний ≤ +1 +1 < повышенный ≤ +высокий > +Важно отметить, что такой подход уместен при условии нормального или близкого к нормальному распределению баллов по результатам выполнения диагностической работы. Данный подход использовался при шкалировании результатов по читательской грамотности, естественнонаучной грамотности, креативному мышлению и финансовой грамотности. Шкалирование производилось по каждому варианту отдельно, поскольку варианты могли отличаться по количеству заданий и максимально возможному баллу. В итоге каждому учащемуся был приписан уровень освоения в соответствии с изложенным выше алгоритмом. В Таблице 1 представлено распределение учащихся по выделенным уровням. Видно, что на недостаточном уровне находится примерно 16–18% учащихся, принявших участие в региональных диагностических работах на низком уровне — от 29% дона среднем — от 32% дона повышенном уровне — от 13% дона высоком уровне — от 1% до 4%. Такое распределение в целом повторило распределение российских учащихся в исследовании PISA Таблица Распределение учащихся, участвовавших в региональных диагностических работах, по уровням сформированности функциональной грамотности Область оценки класс класс Недоста - точный Низкий Средний Повы - шенный Высокий Недоста - точный Низкий Средний Повы - шенный Высокий Читательская грамотность 32% 34% 14% 2% 17% 32% 34% Опыт предоставления обратной связи в процессе оценки ... 17 Естествено- научная грамотность 36% 32% 13% 3% 16% 39% 28% 13% 4% Креативное мышление 35% 29% 16% 2% 19% 33% 30% Финансовая грамотность 32% 35% 15% 2% 18% 29% 36% Распределения результатов по математической грамотности оказались значимо отличными от нормального распределения. В частности, чаще всего распределение баллов оказывалось скошенным влево, то есть в сторону более низких значений. Для того чтобы установить уровни в этой дисциплине, эксперты, основываясь на распределениях баллов по варианту, принимали решение о том, сколько баллов соответствует каждому уровню (отдельно для каждого варианта). В случае недостатка информации для установления порогов были использованы баллы этих же учащихся по естествознанию или финансовой грамотности (в зависимости от той дисциплины, которая шла в том же наборе тестов для тех же учащихся. Эти две дисциплины были выбраны как наиболее близкие по используемым для решения когнитивным навыкам. Экспертами было замечено, что при решении заданий по математике у учащихся возникали проблемы с технической возможностью записи формул или обоснования решения это могло быть связано стем, что эти учащиеся выполняли задания в электронном формате. В связи с этим было сделано допущение о том, что их способности совершать простые арифметические операции можно вычислить исходя из того, как они отвечали на другие дисциплины. В частности, в естественнонаучной и финансовой грамотности часто ненужно было записывать формулу, но для ответа было необходимо произвести соответствующие вычисления. Следовательно, если проблема К. П. Вергелес, ГС. Ковалева, НИ. Колачев, О. И. Садовщикова учащегося заключалась в написании формулы (что могло быть связано с чисто технической стороной вопроса, то его более высокий балл подругой дисциплине мог свидетельствовать о более высоком уровне по математической грамотности. Высокая корреляция между результатами российских учащихся по математической и финансовой грамотности была выявлена в результатах исследования PISA-2018 Разумеется, подобное преобразование баллов в уровни при недостатке информации (минимальных баллов) имеет под собой не столько статистические обоснования, сколько логические допущения при необходимости обратной связи для учителя и учащегося. Распределение результатов учащихся по глобальным компетенциям также не является нормальным. В связи с этим в этой области оценки невозможно использовать метод установления уровней с использованием оценок. Установление уровней может быть проведено с учетом экспертного анализа полученных распределений. Для описания полученных уровней в терминах освоения компетен- ций были рассчитаны проценты выполнения каждого задания пятью группами учащихся, получившими результаты в пределах данного уровня. Таким образом устанавливалось соответствие между уровнями учащихся и заданиями и формировалось описание каждого уровняв соответствии с методологией исследований TIMSS и Приведем основные правила выявления соответствия заданий определенному уровню функциональной грамотности. Если результат выполнения задания с выбором ответа группой учащихся того или иного уровня выше или равен 65%, то это означает, что такое задание характеризует знания и компетенции этого уровня учащихся при условии, что группа учащихся более низкого уровня выполняет данное задание с результатом или ниже [11; 22]. Для заданий с открытым ответом эта планка составляет 50% Там же. Например, есть некоторое задание N с выбором ответа, результаты его выполнения разными группами учащихся по уровням следующие недостаточный уровень — 15%, низкий — 45%, средний — 70%, повышенный — 81% и высокий — 82%. Следовательно, это задание соответствует среднему уровню функциональной грамотности учащихся, так как именно эта группа детей начинает выполнять это задание выше, чем 65%. Описанная процедура проводится со всеми заданиями, составляющими диагностические работы, что позволяет сопоставить уровень учащихся и выполнение этими учащимися заданий Опыт предоставления обратной связи в процессе оценки ... и описать уровни максимально приближенно к наблюдаемому поведению учащихся. В проекте сопоставление заданий и уровней учащихся позволило описать каждый из уровней в терминах компетенций. В статьях, представленных в данном выпуске журнала, приводятся описания результатов выделения уровней по отдельным направлениям функциональной грамотности с примерами заданий и интерпретацией их выполнения (например, статья Рутковской ЕЛ. и Половниковой А. В. Оценка и формирование финансовой грамотности модели заданий и их развитие»). Стоит отметить, что особого внимания в интерпретации результатов требуют направления «креативное мышление и глобальные компетенции, наименее привязанные к конкретному учебному предмету. Так, например, компонент глобальные проблемы представлен во ФГОС основного общего образования, примерных учебных программах по географии, обществознанию, биологии, истории. В связи с указанными особенностями заданий они разрабатываются с опорой на пройденный изученный материал в смежных предметных областях с учетом возрастных особенностей учащихся. Используются релевантные возрасту ситуации и лексический материал. Эта особенность данных направлений делает задания более сложными для анализа с тестологической точки зрения. Для анализа результатов в рамках этих направлений в большей мере необходима работа экспертов. На примере анализа результатов учащихся по креативному мышлению покажем значимость полученных результатов по предоставлению обратной связи для совершенствования функциональной грамотности. Экспертный анализ выполнения отдельных заданий группами учащихся разного уровня функциональной грамотности направления «креативное мышление позволил сделать ряд выводов, например, относительно сильных и слабых сторон функциональной грамотности учащихся Повышенный уровень демонстрирует шестая часть участников — 16% восьмиклассников и 15% девятиклассников. Эти ученики успешно выполняют бόльшую часть работы — до 75%. Они выполняют задания на письменное и визуальное самовыражение, на разрешение социальных проблем, демонстрируя уверенное владение всеми оцениваемыми компетентностями практически в любых кон- текстах. Наибольшую трудность в естественнонаучной области для них представляют задания на классификацию объектов и задания, при К. П. Вергелес, ГС. Ковалева, НИ. Колачев, О. И. Садовщикова ответе на которые требуется уверенное владение изученным материалом. Проблемы в визуальном самовыражении связаны с созданием инфогра- фик» (см. статью ОБ. Логиновой и др. Проект Статья Мониторинг функциональной грамотности. Креативное мышление первые результаты в данном журнале). Заключение Подводя итоги первого этапа работы, необходимо отметить, что описанные в статье результаты демонстрируют элементы создания содержательной обратной связи. Использованный в национальном инструментарии функциональной грамотности подход к предоставлению обратной связи более понятен как для экспертов, таки для получателей обратной связи позволяет давать унифицированную обратную связь всем участникам тестирования. Однако при таком методе предъявления обратной связи описание уровней довольно общее и не учитывает особенности освоения компетенций отдельными учащимися. Предположим, два ученика набрали по 15 баллов по читательской грамотности, что соответствует среднему уровню освоения компетен- ций. При этом один ученик решил верно больше заданий на нахождение информации, а второй ученик на интерпретацию и оценку информации. Очевидно, что профили их результатов различаются, хотя в рамках уровневого подхода они будут находиться на одном уровне с единым описанием компетенций. Формирование профилей компетенций представляется важным перспективным направлением. Также важно учитывать, что выделенные уровни компетенций могут интерпретироваться только на групповом уровне — уровне школы, муниципалитета или региона. Связано это стем, что на данном этапе разработанный инструмент не подходит для индивидуальной оценки. Несмотря на проделанную большую работу по разработке методологии и инструментария для формирования и оценки функциональной грамотности, остается несколько проблем, которые необходимо решить в дальнейшем. Во-первых, входе анализа заданий и выстраивания уровней выяснилось, что в целом разработанные задания довольно трудны для учащихся 8 и 9 класса, следовательно, обнаружился недостаток заданий, которые бы были по силами соответствовали недостаточному и низкому уровням. Опыт предоставления обратной связи в процессе оценки ... В дальнейшем, входе доработки инструмента, предполагается расширить банк заданий за счет разработки более легких заданий. Во-вторых, в связи с возможным отслеживанием прогресса вобла- сти формирования функциональной грамотности возникает вопрос соответствия уровней освоения знаний и навыков в разных классах. К примеру, как соотносится между собой низкий уровень в 5 классе ив классе Какова роль возрастных особенностей при освоении тех или иных навыков Эта проблема требует дальнейшего обсуждения и дополнительных исследований. Статья выполнена в рамках государственных заданий ФГБНУ Институт стратегии развития образования Российской академии образования № 073–00007–20–01 на 2020 год Создание методологии исследования, анализа и прогноза результатов международных и национальных исследований качества образования. Научное обоснование и проведение работ по оценке качества общего образования на основе методологии и инструментария международных исследований качества подготовки обучающихся и Методическое сопровождение разработки электронной платформы для проекта Мониторинг формирования и оценки функциональной грамотности“». Литература 1. Басюк В. С, Ковалева ГС Инновационный проект Министерства просвещения Мониторинг формирования функциональной грамотности основные направления и первые результаты // Отечественная и зарубежная педагогика. 2019. Т. 1, № 4 (61). С. 13–33. 2. Крокер Л, Алгина Дж. Введение в классическую и современную теорию тестов учебник / под общ. ред. В. И. Звонникова и М. Б. Челышковой. М Логос, 2012. 668 с. Аналитические материалы. По результатам проведения Национального исследования качества математического образования в 5–7 классах. Часть 1. Московский центр непрерывного математического образования. 2015. 62 с. Аналитические материалы. По результатам проведения Национального исследования качества математического образования в 5–7 классах. Часть 2. Московский центр непрерывного математического образования. 2015. 62 с. Clark I. Formative assessment: Assessment is for self-regulated learning // Educational psychol- ogy review. 2012. Vol. 24, No. 2. P. 205–249. 6. De La Torre J. The generalized DINA model framework // Psychometrika. 2011. Vol. 76, No. 2. P. 179–199. 7. Dweck C. S. Self-theories: Their role in motivation, personality, and development. Psychology press, 2000. 212 p. 8. Fischbach A., Keller U., Preckel F., et al. PISA proficiency scores predict educational outcomes // Learning and individual differences. 2013. Vol. 24. P. 63–72. 9. Garcia T. The role of motivational strategies in self-regulated learning // Understanding self- regulated learning. San Francisco: Jossey-Bass, 1995. 128 p. 10. Li H., Hunter C. V., Lei P. W. The selection of cognitive diagnostic models for a reading compre- К. П. Вергелес, ГС. Ковалева, НИ. Колачев, О. И. Садовщикова 22 hension test // Language testing. 2016. Vol. 33, No. 3. P. 391–409. 11. Mullis I. V., Martin M. O., Foy P., et al. TIMSS2015 international results in mathematics. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, 2016. 380 p. 12. Nicol D. J., Macfarlane‐Dick D. Formative assessment and self‐regulated learning: A model and seven principles of good feedback practice // Studies in higher education. 2006. Vol. 31, No. 2. P. 199–218. 13. OECD. PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy. OECD Publishing, 2013. 261 p. 14. OECD. PISA 2018 Results. What Students Know and Can Do Электронный ресурс. URL: https://www.oecd-ilibrary.org/education/pisa-2018-results-volume-i_5f07c754-en; jsessionid=3LGLQhe RO7y7AQ8Wp4q7YiDa.ip-10–240–5–93 (дата обращения 16.06.2020). 15. OECD. PISA Data Analysis Manual SPSS, Second Edition. Organisation for Economic Co- operation and Development, 2009. 475 p. 16. Olsen R. V., Nilsen T. Standard setting in PISA and TIMSS and how these procedures can be used nationally // Standard setting in education. Springer, Cham, 2017. P. 69–84. 17. Ravand H., Robitzsch A. Cognitive diagnostic modeling using R // Practical Assessment, Research, and Evaluation. 2015. Vol. 20, No. 1. P. 1–11. 18. Rushton A. Formative assessment: a key to deep learning? // Medical teacher. 2005. Vol. 27, No. 6. P. 509–513. 19. Schulz A., Leuders T., Rangel U. The use of a diagnostic competence model about children's op- eration sense for criterion-referenced individual feedback in a large-scale formative assessment // Journal of Psychoeducational Assessment. 2020. Vol. 38, No. 4. P. 426–444. 20. Torrance H., Pryor J. Investigating formative assessment: Teaching, learning and assessment in the classroom. McGraw-Hill Education (UK), 1998. 184 p. 21. Tunstall P., Gsipps C. Teacher feedback to young children in formative assessment: A typology // British educational research journal. 1996. Vol. 22, No. 4. P. 389–404. 22. Watermann R., Klieme E. Reporting results of large-scale assessment in psychologically and educationally meaningful terms: Construct validation and proficiency scaling in TIMSS // European Journal of Psychological Assessment. 2002. Vol. 18, No. 3. P. 190–203. SHARING EXPERIENCE IN PROVIDING FEEDBACK IN THE PROCESS OF ASSESSING AND DEVELOPING FUNCTIONAL LITERACY The article focuses on an analysis of existing approaches to providing feedback based on a criterion-referenced approach for evaluating and reporting results with the aim to identify features that can be used in the national functional literacy instrument. Critical concepts in the field of formative assessment are analyzed, the experience of international compara- tive studies (PISA, TIMSS, PIRLS), and the way of providing feedback based on competency profiles are described. For comparison, the approach to providing feedback, which was used in the project “Monitoring the formation of functional literacy” in the first stage of the instru- ment's development and testing, is given. In conclusion, the directions for further work on the development of the instrument are featured. |