Отечественная из bbарbbубbbежbbнаbbя педагогика 2 (70) т 2020
 Скачать 4.65 Mb.
|
|
Keywords: functional literacy, creative thinking, content model of creative thinking, competency model of creative thinking, PISA, assessment of the quality of education, educa- tional outcomes, learning situation and learning task. References • Avdeenko N. A., Demidova M. Yu., Kovaleva G. S. i dr. Osnovnye podhody k ocenke kreativno- go myshleniya v ramkah proekta «Monitoring formirovaniya funkcional'noj gramotnosti» // Otechestvennaya i zarubezhnaya pedagogika. 2019. № 4. S. 124–145. [In Rus]. • Bond Tr. G., Fox C. M. Applying the Rasch Model: Fundamental Measurement in the Human Sciences. New Jersey: Lawrence Erlbaum Associates, Inc., Publishers, 2008. P. 29–60. • Cook L. L., Eignor D. R. IRT equating methods // Educational measurement: Issues and practice. 1991. Vol. 10 (3). P. 37–45. • Embretson S. A general latent trait model for response processes // Psychometrika. 1984. Vol. 49 (2). P. 175–186. • Embretson S. E., Reise S. P. Item Response Theory for Psychologists. New Jersey: Lawrence Erlbaum Associates, Publishers, 2000. P. 95–125. • Hambleton R. K. Fundamentals of Item Response Theory (Measurement Methods for the Social Science). Sage Publications, Inc., 1991. P. 32–57. • Kovaleva G. S., Loginova O. B., Avdeenko N. A. i dr. Kreativnoe myshlenie. Sbornik etalonnyh zadanij. Vypusk 1: uchebnoe posobie dlya obshcheobrazovatel'nyh organizacij / pod obshch. red. G. S. Kovalevoj, O. B. Loginovoj. M.; SPb.: Prosveshchenie, 2020. 126 s. [In Rus]. • Petersen N. S., Cook L. L., Stocking M. L. IRT versus conventional equating methods: A comparative ОБ. Логинова, НА. Авдеенко, С. Г. Яковлева, О. И. Садовщикова 154 study of scale stability // Journal of Educational Statistics. 1983. Vol. 8 (2). P. 137–156. • PISA 2021 Creative Thinking Framework (Third Draft). OECD, 2019. 56 p. [Elektronnyj istochnik]. URL: https://www.oecd.org/pisa/publications/PISA-2021-creative-thinking-framework.pdf (data ob- rashcheniya: 07.09.2020). • Plucker J. A., Makel M. C. Assessment of creativity // The Cambridge handbook of creativity / J. C. Kaufman, R. J. Sternberg (Eds.). New York: Cambridge University Press, 2010. P. 48–73. • Ravand H., Robitzsch A. Cognitive diagnostic modeling using R // Practical Assessment, Research, and Evaluation. 2015. Vol. 20, No. 1. P. 1–11. • Rijmen F., Tuerlinckx F., De Boeck P., et al. A nonlinear mixed model framework for item response theory // Psychological methods. 2003. No. 8 (2). P. 185. • Sternberg R. J., Lubart T. I. The concept of creativity: Prospects and paradigms // Handbook of creativ- ity / R. J. Sternberg (Ed.). Cambridge: Cambridge University Press, 1999. P. 3–15). Проект«Мониторинг формирования функциональной грамотности ... 155 УДК Старший научный сотрудник лаборатории филологического общего образования ФГБНУ Институт стратегии развития образования Российской академии образования, г. Москва ulianik@mail.ru Yulia N. Gosteva Senior Researcher in the Philological General Education Laboratory, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Ведущий научный сотрудник лаборатории начального общего образования ФГБНУ Институт стратегии развития образования Российской академии образования, г. Москва bernin@mail.ru Marina I. Kuznetsova Leading Researcher in the Primary General Education Laboratory, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, ЮН. Гостева М. И. Кузнецова ПРОБЛЕМЫ ОЦЕНКИ И ФОРМИРОВАНИЯ ФУНКЦИОНАЛЬНОЙ ЧИТАТЕЛЬСКОЙ ГРАМОТНОСТИ УЧЕНИКОВ ОСНОВНОЙ ШКОЛЫ Статья посвящена описанию подходов к оце- ниванию читательской грамотности как компонента функциональной грамотности в контексте международного исследования PISA и сложившейся практики разработки измерительных материалов в рамках проведения мони- торингов читательской грамотности в России. Авторы характеризуют изменения, появившиеся при разработке инструментария для оценки читательских умений школьников. В статье анализируются результаты проведенной водном из российских регионов диагностики читательской грамотности как одного из компонентов функциональной грамотности учащихся хи х классов, приводятся примеры заданий, особое внимание уделено анализу результатов по четырем группам читательских умений. На основе полученных результатов авторы делают предварительные выводы о возможных изменениях в образовательном процессе, которые будут способствовать повышению уровня читательской грамотности учащихся основной школы, при этом подчеркивают необходимость широкого обсуждения выявленных проблем в науч- но-педагогическом сообществе. Ключевые слова:читательская грамотность, функциональная грамотность, образовательный процесс, практика оценки, ученики основной школы. Как цитировать статью Гостева ЮН, Кузне- цова МИ, Рябинина Л. А, Сидорова ГА, Чабан ТЮ. Проблемы оценки и формирования функциональной читательской грамотности учеников основной школы // Отечественная и зарубежная педагогика. 2020. Т. 2, № 2 (70). С. ИСПОЛЬЗОВАНИЕ НАЦИОНАЛЬНОГО ИНСТРУМЕНТАРИЯ ПО ФОРМИРОВАНИЮ ФУНКЦИОНАЛЬНОЙ ГРАМОТНОСТИ В ШКОЛЬНОЙ ПРАКТИКЕ Проблемы оценки и формирования функциональной читательской грамотности ... Заместитель директора по аналитической и методической работе КГКСУ Центр оценки качества образования, г. Красноярск ryabinina@coko24.ru Lyubov A. Ryabinina Deputy Director for Analytical and Methodological Work, Education Quality Assessment Centre, Krasnoyarsk, Старший научный сотрудник Центра оценки качества образования ФГБНУ Институт стратегии развития образования Российской академии образования, г. Москва centeroko@mail.ru Galina. A. Sidorova Senior Researcher at the Education Quality Assessment Centre, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Л. А. Рябинина Г. А. Сидорова Введение Вопросы формирования и оценки функциональной грамотности учащихся продолжают оставаться в центре внимания научно-педагоги- ческой общественности. При важности каждого компонента функциональной грамотности уже признано, что читательская грамотность имеет особую значимость. Сегодня всем очевидно, что уровень владения читательской грамотностью во многом определяет успешность современного человека в социуме, степень самореализации. При этом в общественном сознании продолжает сохраняться тревожность по поводу того, что современные школьники недостаточно читают как научные, научно-популярные, таки художественные, публицистические тексты, важные для приобщения к знаниям, духовно-нравственными ценностям, языку и культуре, не владеют навыками смыслового анализа текстов, не используют текстовый потенциал для решения практических задач. Международное исследование PISA обозначило ряд проблем, связанных сформированием функциональной читательской грамотности, в том числе зафиксирован недостаточный уровень в области понимания текстов и применения информации текста для решения практических задач. Результаты проведенной водном из российских регионов диагностической работы, оценивающей читательскую грамотность, подтвердили, что у учащихся основной школы в овладении навыками чтения текстов разных типов, структуры и назначения существуют серьезные проблемы. Полученные при проведении диагностической работы результаты позволили не только уточнить перечень дефицитных умений в области читательской грамотности, но и создать стандартизированные материалы, применимые как в процедурах диагностики читательских умений, 157 ЮН. Гостева, МИ. Кузнецова, Л. А. Рябинина, ГА. Сидорова, ТЮ. Чабан Начальник отдела мониторинга качества образования КГКСУ Центр оценки качества образования, г. Красноярск tachaban@gmail.com Tatyana. Yu. Chaban Head of the Education Quality Monitoring Department, Education Quality Assessment Centre, Krasnoyarsk, ТЮ. Чабан так ив образовательном процессе, ориентированном на формирование читательской грамотности. Постановка проблемы На фоне продолжающегося несколько лет диалога о том, что изменилось в читательской грамотности современного школьника и как в связи с этим должен перестраиваться образовательный процесс [5; 6; 7; 8; 9; 15; 16; 18], опубликованные в декабре 2019 года результаты международного сравнительного исследования PISA-2018 заставили еще большее количество специалистов задуматься о содержании и структуре читательской грамотности, в том числе при использовании электронного формата чтения. В исследовании PISA-2018 пятнадцатилетние учащиеся все задания выполняли на компьютере, при этом читательская грамотность была в этом цикле приоритетной областью исследования. Уже первые публикации [11; 17; 20; 21; 22; 23; 24] обозначили широкий круг проблем, связанных с навыками чтения электронных текстов, поиском необходимой информации в тексте, интерпретацией, оценкой и уровнем применимости полученной информации для решения практических задач, что актуализировало необходимость проведения дальнейших исследований в области диагностики, формирования и оценки читательской грамотности. В данной статье представлены результаты проведенной весной 2020 года региональной диагностики читательской грамотности учащихся восьмых и девятых классов одного из регионов России. Читательская грамотность была одним из объектов оценивания наряду с другими компонентами функциональной грамотности. Методология и методы исследования Инструментарий оценивания читательской грамотности в данной диагностике разработан в рамках Концепции оценки образовательных достижений учащихся PISA-2018 [19], теоретических исследований ГА. Цукерман, отраженных в документе Оценка читательской грамотности. Материалы к обсуждению [14] и подходов к оцениванию функциональной читательской грамотности, предлагаемых разработчиками измерительных материалов [2; 3; 12; При сохранении разработанных ранее концептуальных подходов к оцениванию читательской грамотности в содержании и процедуре диагностики весной 2020 года была ярко выраженная специфика, связанная не только с анализом реально полученных результатов выполненных читательских задач, но и с аналитической работой по уточнению понятийного аппарата, дидактических аспектов. Был уточнен перечень читательских умений, входящих в выделенные ранее четыре группы читательских умений. Необходимость корректировки этого перечня была вызвана несколькими причинами. Назовем некоторые из этих причин появление новых типов текстов и заданий, выполнение которых требует новых умений целесообразность большей детализации и дробности ранее зафиксированных умений, что важно для проведения анализа результатов и выработки методических рекомендаций для педагогов переосмысление некоторых понятий и формулировок, описывающих структуру читательских умений. Перечень уточненных умений представлен в Комментарии 1 к данной статье. Диагностическая работа проводилась одновременно в параллелях учащихся хи х классов. В основу блоков заданий для обеих параллелей положены тексты, моделирующие основные ситуации чтения подростка и включающие разные типы текстов. Соблюдение общих теоретических подходов при создании инструментария позволяет проводить сравнение результатов восьмиклассников и девятиклассников, а использование в разных возрастных группах нескольких общих блоков заданий делает результаты сравнения более убедительными. Структура инструментария для оценки читательской грамотности с учетом ситуации чтения представлена в Таблице Проблемы оценки и формирования функциональной читательской грамотности ... Таблица Структура инструментария для оценки читательской грамотности с учетом ситуации чтения Контекст (ситуация чтения) Доля заданий в 8 классе Доля заданий в 9 классе Чтение для личных целей (художественные тексты, личная переписка, посты в социальных сетях, блоги, статистические данные и т. п.) 23% 23% Чтение для образования (научно-по- пулярные и информационные статьи, инфографика, сообщения в чатах и форумах, комментарии экспертов, данные опросов и т. п.) 21% 23% Чтение для общественных целей (статьи, информация разного рода особы- тиях общественного значения) 39% 30% Чтение для деловых целей (официальные письма, объявления, фрагменты статьи) 12% 11% Множественный контекст (подборка текстов, созданных для разных целей) 5% 13% Результаты исследования В работе приняли участие 57 933 ученика го класса и 50 915 учеников го класса. Работу учащиеся выполняли в онлайн-режиме, задания с развернутым ответом проверялись экспертами, задания с выбором ответа и с кратким ответом проверялись автоматически. Коротко охарактеризуем общие результаты. Средний процент выполнения работы в зависимости от варианта среди восьмиклассников — от 34,33% до 54,24%, среди девятиклассников — от 26,32% до 43,18%. Поскольку при проведении диагностики использовались как художественные, таки иные тексты, приведем средний процент выполнения заданий с учетом того, с каким текстом работали учащиеся (Таблица Таблица Результаты выполнения заданий в зависимости от текста Тип текста Средний процент выполнения класс класс Художественный 44,65% 30,74% Нехудожественный 43,65% 38,22% ЮН. Гостева, МИ. Кузнецова, Л. А. Рябинина, ГА. Сидорова, ТЮ. Чабан Одна из гипотез при объяснении причин невысоких результатов российских пятнадцатилетних учащихся в исследовании PISA заключается в том, что педагоги-предметники основной школы не воспринимают читательскую грамотность как метапредметный результат обучения и не объединяют свои усилия в работе по достижению этого результата. Мы не опровергаем эту гипотезу, но полученные данные позволяют говорить о том, что проблема намного глубже. К сожалению, результаты работы с художественным текстом у восьмиклассников не лучше, ау девятиклассников даже хуже, это дает основание предположить, что существуют и другие причины низких результатов. Важной составляющей читательской грамотности является цель чтения, более широкий жизненный контекст, в который встраивается чтение. В Таблице 3 приведены данные о среднем проценте выполнения заданий в зависимости от контекста. Таблица Результаты выполнения заданий в зависимости от контекста (цели чтения) Контекст (цели чтения) Средний процент выполнения класс класс Личный 44,23% 36,23% Общественный 45,38% 45,62% Образовательный 46,52% 36,60% Деловой 33,25% 39,59% Множественный 39,94% 23,15% Данные указывают на то, что практически отсутствует зависимость результатов от контекста, тем не менее можно зафиксировать некоторые тенденции, например восьмиклассникам сложнее читать тексты, связанные с деловым контекстом девятиклассники более успешны при чтении текстов, связанных с общественным контекстом. Наиболее продуктивным для дальнейшего использования полученных данных в целях улучшения качества работы над читательской грамотностью представляется анализ результатов по читательским умениям (Таблица Проблемы оценки и формирования функциональной читательской грамотности ... Таблица Результаты освоения читательских умений по группам Группы читательских умений Средний процент освоения класс класс Находить и извлекать информацию 51,47% 45,56% Интегрировать и интерпретировать информацию содержание и форму текста 39,41% 35,35% Использовать информацию из текста 32,10% 32,43% Как видим, результаты невысоки, тем не менее имеет смысл выделить умения и типы заданий, с которыми восьми- и девятиклассники справляются неплохо (среднее выполнение ≥ 40%), и области проблем при выполнении заданий, где средний процент выполнения менее 20%. Перейдем к анализу читательских умений по выделенным группам. Группа умений Находить и извлекать информацию» Как и другие группы умений, эта группа оценивалась с помощью заданий как к художественным, таки к информационным текстам. Восьмиклассники и девятиклассники одинаково успешно — процент выполнения не ниже 70% — справились с заданиями к обоим видам текста, если нужно было найти в тексте одну смысловую единицу и при этом в тексте не было никакой конкурирующей информации, то есть при выполнении задания перед учениками не стояла задача отличить запрашиваемую информацию от информации, обладающей некоторым сходством. Как только поиск предполагал различение нужной и ненужной, но похожей информации, наблюдалось снижение результатов. Эта тенденция наблюдается применительно к обоим видам текстов. Так, например, водном из заданий к тексту Антибиотики читателям нужно было ответить на вопрос Сколько процентов опрошенных людей из всех 12 стран, судя поданным опроса, не знают, какие болезни нельзя вылечить антибиотиками. При этом в тексте были данные о результатах опроса в 12 странах и данные об опросе только в России. Около 27% девятиклассников и 30% восьмиклассников вместо необходимых данных привели данные российского опроса. При выполнении другого задания к тексту Антибиотики нужно было написать, какие инфекции, кроме бактериальных, можно лечить антибиотиками. Чтобы дать правильный ответ, нужно было обратиться ЮН. Гостева, МИ. Кузнецова, Л. А. Рябинина, ГА. Сидорова, ТЮ. Чабан к такому фрагменту текста Создав эти лекарства, человечество получило мощное оружие в борьбе с заболеваниями, вызванными бактериями и грибковыми инфекциями. Из предложения понятно, что антибиотики работают против бактериальных и грибковых инфекций, в вопросе есть указание на бактериальные, значит, нужно написать о грибковых. Такой ответ дали 52,5% восьмиклассников и 56% девятиклассников. Остальным читателям дать правильный ответ помешала имеющаяся в тексте информация либо о конкретных болезнях, вызываемых бактериями, либо информация о том, какие болезни не лечатся антибиотиками. Похожие результаты получены на материале фрагмента художественного текста, который был предложен водном из вариантов восьмиклассникам. В задании нужно было указать книгу, с которой у автора связано воспоминание о начале первого учебного года. При этом в разных частях текста упоминаются несколько книг, связанных с разными периодами жизни автора текста. Выполнить задание помогает такой фрагмент текста Дождаться не могла, когда же кончатся уроки. И летела со всех ног домой — там меня ждал Таинственный остров Жюля Верна Так навсегда и связалась у меня первая школьная осень с захватывающим чтением толстого синего тома из тогдашней Библиотеки приключений. Правильно выполнили задание 51,6% учащихся. Остальные читатели либо не нашли место в тексте, где содержится необходимая для ответа на вопрос информация, и выписали название одной из упоминающихся в тексте книг (Записки Пиквикского клуба, Приключения Тома Сойера», Детство, Отрочество, Юность, Преступление и наказание, либо не смогли осуществить синонимическую замену фразе начало первого учебного года — первая школьная осень». В анализируемую группу входит также такое умение, как вычленить несколько единиц информации. Результаты показывают, что даже в ситуации, когда эти смысловые единицы расположены водном тексте и достаточно близко друг от друга, читатели не всегда дают полный ответ. Приведем пример задания к художественному тексту Автор считает, что отрочество — это важный этап жизни, и приводит несколько доказательств. Опираясь на текст, запишите четыре доказательства. Ответ, в котором было приведено все четыре доказательства, оценивался 2 баллами, если были приведены только два или три доказательства — 1 баллом. Результаты выполнения задания следующие 38% восьмиклассников получили 2 балла, 31% учащихся получили 1 балл, при этом Проблемы оценки и формирования функциональной читательской грамотности ... большинство таких учащихся верно приводили три доказательства и не смогли найти четвертое. Скорее всего, трудность при выполнении задания обусловлена тем, что три доказательства приводятся автором водном абзаце, а четвертое доказательство — в следующем абзаце, и у читателей просто не хватило терпения и сосредоточенности найти четвертое доказательство. Значительную сложность для читателей представляют задания, требующие поиска нескольких единиц информации при работе с инфографикой. Приведем такой пример Устойчивые к антибиотикам бактерии могут попасть в организм человека через окружающую среду (воду, почву, воздух. Какими еще путями устойчивые к антибиотикам бактерии появляются в организме человека, если он сам не принимал антибиотики Запишите ДВА других примера на основе информации, приведенной в листке Рис. 1 Часть текста Антибиотики. Листок 4 За ответ ставился 1 балл, если было приведено два примера. Справиться с заданием смогли 32% учащихся х классов и 46% учащихся х классов. Сложность заключалась в необходимости разобраться с информацией, переданной средствами инфографики, и локализовать два нужных фрагмента Кроме того, важно было при опоре на один из фрагментов текста не Рис. 1 Часть текста Антибиотики. Листок 4 |