реферат. лит 5. Исследование осуществлено в 2010 г в рамках программы фундаментальных исследований ГувшЭ и проекта Центра международного сотрудничества по развитию образования
 Скачать 1.22 Mb.
|
|
Характеристики методик Читательские умения Извлекать информацию из текста и делать простые умозаключения Интегриро- вать и интерпретировать сообщения текста Размыш- лять о сообщениях текста и оценивать их распределение вопросов в PIRLS, % 50 30 распределение вопросов в PISA, % 25 50 Количество вопросов методики «Тяни-толкай» К четырем текстам (29 %) 24 (47 %) 12 (24 К двум текстам PISA 6 К двум текстам PIRLS 9 16 Исходные вопросы 12 добавленные вопросы 5 12 Максимальное число баллов за ответы на вопросы методики «Тяни-толкай» К четырем текстам (22 %) 37 (51 %) 20 (27 К двум текстам PISA 6 10 К двум текстам PIRLS 10 27 Исходные вопросы 18 добавленные вопросы 5 19 Материалы к методике «тяни‑толкай» прошли проверку входе пилотного эксперимента, по результатам которого были внесены необходимые уточнения и правки. для дальнейшей апробации выбранные тексты и вопросы к ним были распределены по четырем тетрадям таким образом, чтобы в каждую тетрадь вошло по два текста для сбора контекстной информации, для выявления читательских привычек, предпочтений читателей разных возрастов, для обнаружения факторов, которые влияют на уровень читательской грамотности школьников, были составлены анкеты для учащихся и учителей. Здесь мы не будем их характеризовать, так как данные анкетирования не содержатся в данной статье. для того чтобы с помощью методики «тяни‑толкай» получить достоверные сведения о динамике читательской грамотности учеников основной школы, было очень важно определить те параметры, которым должна соответствовать выборка учащихся х, хи х классов. в нашем эксперименте были учтены следующие требования к выборке соответствие стратификации выборки стратификации российской школы, принимая во внимание такие характеристики школ, как тип учебного заведения (основная общеобразовательная школа, средняя общеобразовательная школа, вид школы (общеобразовательная школа, лицей, интернат, гимназия, школа с углубленным изучением отдельных предметов, место ее расположения (тип населенного пункта обязательное выполнение заданий каждой из четырех тетрадей не менее чем 250 учащимися в каждой из трех параллелей (250 х 4 х 3 = основываясь на данных многочисленных исследований, которые свидетельствуют о том, что одним из самых значимых параметров, определяющих характер выборки, является тип населенного пункта, именно его мы сделали ведущим при формировании выборки. в настоящее время в россии 29 % всех учащихся основной школы учатся в сельской местности, а 71 % — в городе 65 % школ расположено в сельской местности, 35 % — в городе. в выбранном для проведения исследования регионе — в тамбовской области — 49 % учащихся учатся в селе, 51 % — в городе, при этом сельских школа городских — 31 взяв за основу соотношение учащихся сельских и городских школ и учитывая, что в каждой из трех параллелей должно участвовать не менее 1000 человек (250 человек на каждую тетрадь, в апробацию в каждой параллели необходимо было включить примерно 290 человек из сельских школ и 710 — из городских. в результате удалось выбрать 30 школ — 15 сельских и 15 городских. Среди них было 23 средние общеобразовательные школы, три основные общеобразовательные школы, один лицей, одна гимназия и две школы с углубленным изучением отдельных предметов. в каждой из выбранных школ работу выполняли учащиеся трех параллелей х, хи х классов. в исследовании приняли участие 3110 учащихся, из них 907 учащихся х классов, 1069 учащихся х классов, 1134 учащихся х классов. в целом в выборке каждой параллели было сохранено соотношение учащихся городских и сельских школ, свойственное российской демографии. Характеристика выборки Г. А. Цукерман, ГС. Ковалева, МИ. Кузнецова Победа в PIRLS и поражение в PISA: судьба читательской грамотности летних школьников Теоретические и прикладные исследования тамбовская область выбрана для нашего исследования еще и потому, что ее результаты по различным измерениям, например еГЭ, ГИА и другим мониторинговым исследованиям, близки к средним общероссийским. При разработке рекомендаций по проведению исследования в школах важно было определить количество времени на выполнение работы. безусловно, фактор времени не является определяющим при оценке читательской грамотности, поэтому было решено зарезервировать два урока, чтобы гарантировать самым медлительным учащимся возможность справиться с работой. При этом в инструкции для учащихся сообщалось Главная цель этого исследования — узнать, как вы умеете читать тексты разных видов, насколько хорошо вы умеете выполнять задания, показывающие ваше понимание прочитанного, можете ли вы высказывать свое мнение о прочитанном. При выполнении данной работы важна не скорость, а качество. времени на выполнения будет достаточно самым медлительным ученикам. А учителей, проводящих работу, предупреждали, что не стоит настаивать на том, чтобы все учащиеся оставались в классе полные два урока, они могут покинуть класс, как только справятся со всей работой. Исследование было проведено в мае 2010 г. организационную часть обеспечивало тамбовское областное государственное учреждение Центр экспертизы образовательной деятельности, имеющее огромный опыт проведения работ, связанных с оценкой качества образования, ответственное за проведение еГЭ и ГИА, федеральных и региональных мониторингов. Использовалась организационная модель, обеспечивающая максимальную объективность. работа осуществлялась в соответствии с разработанным руководством по проведению. в момент проведения исследования в каждом классе находились два педагога, не преподающие в данном классе. Проводившие работу педагоги фиксировали 1) время, за которое выполнили работу учащиеся, сдавшие тетради первыми 2) время, за которое выполнили работу учащиеся, сдавшие тетради последними 3) время, понадобившееся на выполнение работы основному составу класса. Заметим, что среднее время, которое потребовалось учащимся на выполнение работы, практически не зависело от их возраста. все работы учащихся были переданы в Центр экспертизы. для проверки ответов на открытые вопросы была создана группа экспертов. в ее состав вошли учителя русского языка или тературы, имеющие опыт работы экспертами при проверке результатов еГЭ. Перед началом нашего эксперимента сданной группой экспертов было проведено занятие, на котором они познакомились со спецификой исследования, с разработанными рекомендациями по оцениванию заданий. входе оценивания открытых заданий совместно с разработчиками рекомендаций принимались решения по сложным случаям если ученик давал 2.3. Экспериментальная процедура неожиданный ответ, непредусмотренный в руководстве, или если ответ был пограничными эксперту трудно было принять решение о том, какой именно балл поставить за этот ответ. в целом эксперты отметили хорошее качество рекомендаций по оцени‑ ванию», благодаря которым количество спорных случаев было минимальным. для ввода данных была разработана специальная программа. Статистическая обработка данных проводилась в Центре оценки качества образования урАо с помощью программы ConQuest. надежность теста (по коэффициенту альфа Кронбаха) для го класса равна 0,80, для го класса — 0,82, для го класса — 0,83. Средняя дифференцирующая способность вопросов диагностической методики «тяни‑толкай» для отдельных текстов находится в пределах от 0,37 до 0,49 (см. табл. 2, 3). для ряда вопросов значение дифференцирующей способности не достигает порогового уровня 0,3. Среди добавленных вопросов таковых вдвое меньше, чем среди якорных, основных вопросов (6 % против 13 %). усовершенствование добавленных вопросов с низкой дифференцирующей способностью — еще одно направление доработки методики «тяни‑толкай». Здравый смысли вера в то, что читательская грамотность развивается прежде всего педагогическими средствами, подсказывают ожидаемый результат измерения читательской грамотности учеников х, хи х классов е классы должны занимать промежуточное положение между ми ими. основание для такого ожидания — содержание обучения в мим классах отечественной школы. Именно в эти два года в учебный обиход школьников входит систематическая и регулярная работа по учебникам, обучение с помощью информационных текстов становится ежедневным событием школьной жизни. ученики регулярно получают домашние задания прочти параграф учебника, ответь на вопросы к текстам. выполнение таких заданий контролируется учителями из урока в урок. основное назначение текстов учебников — напомнить ученикам содержание предыдущего урока и дать дополнительную информацию по теме урока, а иногда и дополнительные линии размышления о содержании урока. основное назначение вопросов к текстам учебника — помочь ученикам проверить, поняли ли они содержание урока, в значительной части повторенное в тексте учебника. диагностическая методика «тяни‑толкай» направлена на измерение понимания текстов, лишь отчасти напоминающих тексты из школьных учебников. Поэтому результаты этих измерений не могут быть интерпретированы как прямой результат школьного обучения работе с учебниками. тем не менее в практике учеников х классов нет другого целенаправленного (нестихийного) источника развития грамотности чтения информационных текстов, кроме школьных курсов, опирающихся на работу с учебниками. 3. Результаты измерения читательской грамотности с помощью методики «Тя- ни-толкай» ГА. Цукерман, ГС. Ковалева, МИ. Кузнецова Победа в PIRLS и поражение в PISA: судьба читательской грамотности летних школьников Теоретические и прикладные исследования если в школе обучение работе с информационными текстами имеет не узкопредметный, а достаточно универсальный характер, те. формирует общие способы читательской деятельности, то разумно ожидать, что шестиклассники понимают тексты лучше, чем четвероклассники, и занимают промежуточное положение между учениками хи х классов. общий результат измерения читательской грамотности летних школьников с помощью методики «тяни‑толкай» представлен в табл. 2. указан средний балл (в процентах от максимально возможного балла, полученный учениками за ответы на 51 вопрос к четырем текстам методики. данные, представленные в табл. 2, показывают, что наши ожидания не оправдались по критерию понимание информационных текстов е классы не занимают промежуточного положения между ми ими классами. шестиклассники не обнаружили никаких преимуществ перед четвероклассниками нив понимании детских текстов PIRLS, нив понимании взрослых текстов PISA. е классы значимо отличаются и от хи от х, причем в понимании детских текстов PIRLS различия меньше, чем в понимании взрослых текстов Таблица 2 Общая успешность ответов на вопросы к текстам методики «Тяни-толкай» Четыре текста Два текста Два текста Два текста Два текста В поисках еды Вдоль реки Граф- фити Грипп Число вопросов 51 31 20 16 15 10 10 4‑й класс 54 61 48 54 66 48 49 6‑й класс 55 63 49 56 68 50 47 9‑й класс 66 70 62 64 75 64 61 разница между мим классом 2 0,1 2,2 1,5 разница между мим классом 10,7* 6,9* 13,9* 7,7* 6,7* 14,5* 13,4* разница между мим классом 11,6* 8,9* 14* 9,9* 8,2* 16,4* 11,5* Средняя дифференцирующая способность вопросов 4‑й класс 0,42 0,40 0,42 0,41 0,43 0,37 й класс 0,44 0,42 0,41 0,46 0,44 0,40 й класс 0,42 0,46 0,39 0,44 0,49 0,43 * По критерию различия значимы с вероятностью не менее 99 %. Таблица 3 Успешность ответов на исходные вопросы тестов PIRLS и PISA и на добавленные вопросы методики «Тяни-толкай» Исходные вопросы Добавленные вопросы Четыре текста Два текста Два текста Четыре текста Два текста Два текста Число вопросов 31 22 9 20 9 11 4‑й класс 54 71 34 55 43 62 6‑й класс 55 72 36 55 47 60 9‑й класс 65 79 50 67 54 74 разница между мим классом 1,1 1,4 0,7 разница между мим классом 10,4* 6,6* 14,4* 11,2* 7,4* 13,6* разница между мим классом 11,4* 7,7* 15,7* 12* 11,2* 12,4* Средняя дифференцирующая способность вопросов 4‑й класс 0,40 0,39 0,42 0,45 0,40 й класс 0,42 0,42 0,44 0,47 0,42 й класс 0,40 0,49 0,45 0,47 0,44 * По критерию c 2 различия значимы с вероятностью не менее 99 ГА. Цукерман, ГС. Ковалева, МИ. Кузнецова Победа в PIRLS и поражение в PISA: судьба читательской грамотности летних школьников однако этот суммарный, наиболее общий результат диагностики требует более детального, аналитического рассмотрения. Цель дальнейшего анализа — поиск тенденций, указывающих на появление ожидаемого нового качества читательской грамотности у шестиклассников. Первой линией анализа общего суммарного результата диагностики стало расчленение всего массива диагностических вопросов на две группы исходные вопросы тестов PIRLS и PISA и вопросы, добавленных нами при разработке методики «тяни‑толкай». результаты такого анализа представлены в табл. 3. указан средний балл (в процентах от максимально возможного балла, полученный учениками за ответы на каждую группу вопросов. расчленив вопросы методики «тяни‑толкай» на четыре подгруппы, мы не смогли обнаружить ту подгруппу вопросов, в которой шестиклассники имеют преимущество перед четвероклассниками. однако проделанный анализ позволил оценить наш измерительный инструмент. данные, представленные в табл. 3, показывают, что методика «тяни‑толкай» соответствует исходному замыслу и представляет собой измеритель читательской грамотности, позволяющий перекинуть мостик между детскими вопросами PIRLS и взрослыми вопросами PISA. Мы видим, что Теоретические и прикладные исследования добавленные вопросы к текстам PIRLS существенно труднее исходных вопросов, добавленные вопросы к текстам PISA существенно легче исходных вопросов. При этом в целом исходные и добавленные вопросы сбалансированы по трудности. второй линией анализа общего результата диагностики стало расчленение всего массива диагностических вопросов по другому основанию — по типу читательских умений, к которым адресованы диагностические вопросы. результаты такого анализа представлены на рис. Рис. 1. Успешность ответов на вопросы методики «Тяни- толкай», измеряющие разные читательские умения данные, представленные на рис. 1, особенно убедительно демонстрируют отсутствие различий между четвероклассниками и шестиклассниками в способности понимать информационные тексты. результаты девятиклассников значимо превосходят результаты хи х классов. рисунок 2 позволяет всмотреться в этот результат при большем увеличении. При этом обнаруживается любопытная диспропорция в сформированности отдельных читательских умений у девятиклассников. умение извлекать информацию из текста в меньшей степени дифференцирует выпускников начальной и основной школы, чем два других читательских умения. напомним, что три читательских умения разительно различаются по своей психологической природе и соответственно по способам их развития средствами образования. Умение извлекать информацию из текста наиболее тесно связано с работой воображения и читательской установкой на мысленное воссоздание реалий, описанных в тексте. Умение интегрировать и интерпретировать сообщения текста опирается в первую очередь на мыслительные способности читателя. При связывании сообщений текста в целостную картину и при прояснении их значений значительная нагрузка ложится на рефлексивные способности читателя. работа рефлексии — сигнализировать о неясности или недоопределенно‑ сти того или иного сообщения текста. Умение размышлять о сообщениях текста связано в первую очередь с такими личностными особенностями читателя, как критичность и независимость, с привычкой любое суждение погружать в контекст собственного опыта, знаний и ценностей и оценивать авторское мнение со своей точки зрения. Измеряя читательские умения учеников х, хи х классов, мы обнаружили, что умения, опирающиеся на развитый интеллект, формируются с годами более успешно, чем базисные, исходные читательские умения, помогающие читателю восстановить картину жизни, описанную в тексте. Иными словами, девятиклассники по сравнению с четвероклассниками преуспевают в умственной переработке сообщений текста. что касается умения извлекать эти сообщения из текста, то здесь темп ожидаемого роста замедляется. Судя по нашим экспериментальным данным, отставание впер вичном читательском умении извлекать информацию из текста Рис. 2. Разница в успешности ответов на вопросы методики «Тяни-толкай», измеряющие разные читательские умения ГА. Цукерман, ГС. Ковалева, МИ. Кузнецова Победа в PIRLS и поражение в PISA: судьба читательской грамотности летних школьников Теоретические и прикладные исследования начинается в м классе. Судя поданным МИ. Кузнецовой, это отставание начинается еще раньше — в начальной школе [Кузнецова, было бы удивительно, если бы летние люди не обнаруживали интеллектуальных преимуществ перед людьми летними. Эти преимущества наблюдаются даже там, где между 10 и 15 годами человек не посещает школу [Cole, Cole, 1993]. Иными словами, неизвестно, можем ли мы приписать рост читательских умений, наблюдаемый в нашем эксперименте, фактору школьного обучения вообще и обучения чтению в частности. расслоим данные, представленные на рис. 2, на две группы вопросы к текстами вопросы к текстам PISA. напомним, что тексты PIRLS подбирались с учетом жизненного опыта летних школьников, тогда как тексты PISA отражают ситуации из юношеской и взрослой жизни. И те и другие тексты не являются узковоз‑ растными, они не требуют специальных академических знаний, отличаются лексической простотой ив тоже время общечеловеческой доступностью, что позволяет читателям любого возраста воспринимать сообщения этих текстов в меру собственной читательской и житейской искушенности. на рис. 3 представлены данные, повторяющие те, что уже обсуждались измеренные методикой «тяни‑толкай» показатели читательской грамотности учеников хи х классов неразличимы, Рис. 3. Разница в успешности ответов на вопросы методики |