Диагностика учебной успешности в начальной школе. П. Г. Нежнова, И. Д. Фрумина, Б. И. Хасана, Б. Д. Эльконина. М. Открытытй институт Развивающее
 Скачать 1.6 Mb.
|
|
Вопрос №5.3. Обучение (дрессировка) пчел состояло из трех этапов. На каждом этапе обучения пчелы должны были усвоить, понять что-то новое. Напиши, чему биологи хотели научить пчел на втором и третьем этапе дрессировки. ЧТО ДЕЛАЛИ БИОЛОГИ, ЧТОБЫ НАУЧИТЬ ПЧЕЛ? БИОЛОГИ ХОТЕЛИ, ЧТОБЫ ПЧЕЛА ДОГАДАЛАСЬ (ПОНЯЛА, УСВОИЛА): (1) Поставили на стол коробку, пропитанную запахом роз. Положили в нее корм. Корм можно найти не только в цветке, но и в коробке. Снаружи корма не видно. За ним надо залезть внутрь коробки. (2) Поставили коробку с кормом и с запахом роз, а рядом такие же коробки без корма и без запаха. (3) Коробку с кормом все время переставляли. Характеристика вопроса. Ответ на этот открытый вопрос вообще отсутствует в тексте. Логику каждого действия «дрессировщиков» пчел надо реконструировать, исходя из общего замысла эксперимента и описания каждого этапа дрессировки. Поставим на открытом воздухе столик и поместим на него картонную коробку, пропитанную каким-нибудь ароматом, например, запахом розы. При помощи густого сахарного сиропа, приучим нескольких пчел летать в эту коробку. Поставим рядом пустые коробки без чашки с сиропом и без запаха роз. По внешнему виду коробки с кормом и без корма должны быть одинаковы. Будем часто менять расположение коробки с кормом на столике. Образец такой реконструкции задан в тексте вопроса (см. первую строку таблицы). ОТВЕТ НА ВОПРОС №5.3. ПРИНИМАЕТСЯ (ребенок получает 1 балл), если в нем выражена задача третьей стадии дрессировки пчел: сделать ориентировку на место расположения коробки незначимой, нейтральной при поиске коробки с кормом и запахом. Примеры детских ответов: - Чтобы пчела все время с помощью носа (запаха) искала пищу. - Чтобы узнать, как ориентируется пчела - по запаху или по месту расположения. - Коробка с кормом может менять свое положение и перемещаться с места на место. - Коробку нужно переставлять, ведь пчелы могут запомнить расположение коробки, а корм нужно искать снова и снова. (В природе пчела находит корм не в одном и том же месте, она каждый раз заново ищет место кормления.) - Пчела не спутала коробки, запоминая их месторасположение, а летела на запах. ОТВЕТ НЕ ПРИНИМАЕТСЯ (ребенок получает 0 баллов), если задача третьей стадии дрессировки пчел не выражена. Примеры детских ответов: - Чтоб пчелы в любом месте должны находить свой дом. - Чтобы пчелы летели на запах, а не на форму. - Надо искать нектар и пыльцу. - Где расположена нужная коробка. - Чтобы сделать пчелам дополнительное испытание. Статистика. Указано число детей (% выборки 370 учеников), получивших ту или иную оценку за ответ. 1 балл - 20 0 баллов – 64 Отказ от ответа - 16 Комментарий. Додумывать за автора то, что он не написал, но подразумевал, всегда трудно. А неопытные читатели не догадываются, что это надо делать в принципе. И, разумеется, не знают, как это делать. Многих приводит в замешательство и форма таблицы, в которой представлен этот вопрос. Педагогические задачи в данном случае очевидны. Выявленные в предварительной диагностике особенности понимания текстов неопытными читателями позволяют начать построение шкалы трудности для второго уровня компетентности читателя информационного текста. Второй уровень компетентности предполагает следующие читательские действия, направленные на реконструкцию логической схемы рассуждения автора текста о той картине жизни, которую он описал: 79 минимальный уровень трудности: воспроизведение авторской мысли, эксплицитно изложенной в тексте и соответствующей канону жанра экспериментального описания; средний уровень трудности: реконструкция мысли автора по ее отдельным элементам, сформулированным в тексте; высокий уровень трудности: реконструкция мысли автора, не сформулированной в тексте, но подразумеваемой. Третий уровень: творческое или продуктивное понимание информационного текста Третий уровень понимания информационных текстов предполагает способность читателя использовать авторскую фактологию и логику для построения новых картин жизни. В нашем тесте было всего три таких вопроса, поэтому говорить об общих принципах их построения преждевременно. Проанализируем работу третьего уровня понимания информационных текстов на примере. Вопрос №10. Известно, что пчелы, подлетая к цветущему лугу, ориентируются и на цвет, и на запах цветков. Биологи предположили, что пчелы учитывают также и форму цветка. Какой опыт надо поставить, чтобы проверить это предположение? Характеристика вопроса. В тексте «Обоняние у пчел» и в тексте вопроса №8 (см. Приложение 1) описаны два эксперимента из одной и той же серии. Цель этой серии – выяснить, на что ориентируется пчела в поисках источников пищи. Строение всех экспериментов этой серии едино: гипотеза об одном элементе ориентировки пчелы проверяется с помощью двухфазных экспериментов. Сначала, на фазе дрессировки пчелу приучают реагировать на связь «корм – определенный запах» (если проверяется гипотеза о том, что пчелы в поиске пищи ориентируются на запах) или «корм – определенный цвет» (если проверяется гипотеза о том, что цвет служит для пчел ориентиром). Потом – в основном (критическом) опыте корм убирают, оставляют лишь ключевой ориентир (тот определенный запах или цвет, на который пчелу «дрессировали»), добавляют отвлекающие ориентиры (другие запахи или цвета) и наблюдают за поведением пчелы. Отвечая на вопрос №10, ученик должен придумать эксперимент, который в тексте не был даже упомянут. Однако если читатель выделил общую логику двух описанных экспериментов, то он сможет продолжить экспериментальную серию и придумать третий эксперимент почти так, как его задумал автор: «Опыты с дрессировкой показали, что пчелы легко обучаются с большой уверенностью различать две формы цветков, изображенные на рис.» (Далее приводится рисунок кормушек в форме цветков с четырьмя и шестнадцатью лепестками.) 36 В этом ответе профессионала присутствуют две идеи (1) нужна обучающая серия (дрессировка) и (2) переменным фактором является здесь форма кормушки. Обе эти идеи должны присутствовать и в ответе на вопрос №10. Однако, трудно ожидать от школьников, вообще не имеющих собственного экспериментального опыта, методологической искушенности. Поэтому мы полагаем, что вопросы подобной трудности следует оценивать не глобально (по принципу ДА-НЕТ - «1 вопрос – 1 балл»), а более дифференцировано, учитывая и частично удачные ответы. При этом ответы, содержащие обе мысли, оцениваются в 2 балла, содержащие одну из мыслей – в 1 балл. ОТВЕТ ПРИНИМАЕТСЯ ПОЛНОСТЬЮ (ребенок получает 2 балла) если в ответе отражены все три условия эксперимента: 1) идея дрессировки (установление связи «корм – кормушка определенной формы», 2) форма «кормушки» является переменным фактором, 3) другие приметы кормушки (цвет, запах) не варьируются. 37 Примеры детских ответов: - Сначала пчёл кормили в круглой коробке с запахом жасмина. Потом поставить на стол квадратную коробку с запахом жасмина и проверить полетят туда пчёлы или нет. - Нужно поставить коробку одной формы с одним запахом и кормом. Когда пчёлы к ней привыкнут нужно поставить коробку другой форму с таким же запахом. - Кормить их из синей квадратной коробки, а потом поставить рядом синюю коробку округлой формы. - Надо взять две разных по форме, но одинаковых по цвету коробки. В одну коробку положить корм. 36 Фриш К. Из жизни пчел. - М.: Мир, 1980, стр. 98. 37 Заметим, что ребенок имеет право на неполное и неточное понимания экспериментального дизайна. 80 ОТВЕТ ПРИНИМАЕТСЯ ЧАСТИЧНО (ребенок получает 1 балл ), если упомянуто хотя бы одно из условий эксперимента. Примеры детских ответов: - Нужно положить с разных сторон разные по форме, но одноцветные. И посмотреть, куда полетят пчелы. - Можно поставить коробки разной формы, но одного цвета. - Надо поставить кормушки разной формы, а запах и цвет оставить тот же. ОТВЕТ НЕ ПРИНИМАЕТСЯ (ставится 0 баллов) А) если планируется совсем другой эксперимент. Примеры детских ответов: - Надо поставить одну синюю коробку и кормить пчел, а потом поставить еще одну синюю коробку, но поменьше. - Надо поставить две синих коробки с запахом и без запаха, а потом поменять их местами. - Надо вырвать с корнем цветок аккуратно положить в банку и поливать (чтобы он не завял). И они сами подлетят к нему. Б) если дается ответ на другой вопрос. Примеры детских ответов: - Они не учитывают форму, они чуют запах. Они могут отличать эти цветы не по форме, а по запаху. - Надо проверить их зрительную память. - Надо заманить пчёл на луг и тогда проверить это предложение. Статистика. Указано число детей (% выборки 370 учеников), получивших ту или иную оценку за ответ. 2 балла - 3 1 балл - 16 0 баллов – 61 Отказ от ответа - 19 Комментарий. Десятилетним школьникам, неискушенным в экспериментальном методе, должно быть трудно понять и продолжить мысль профессиональных экспериментаторов. Поражает скорее то, что 19% детей смогли это сделать хотя бы отчасти. Этот и другие вопросы третьего уровня – это вопросы «на вырост». Они лежат за пределами сегодняшних возможностей школьников, заканчивающих начальную школу. Станут ли учителя физики, химии, биологии, географии, истории – все те, кто погружает школьников в информационное чтение - делать этих детей компетентными читателями? На этот вопрос ответит диагностика 15-16летних школьников, заканчивающих основную школу. Таблица 10. Распределение задач по разделам предметного содержания и уровням опосредствования Текст: Общий массив Задания 1 уровня Задания 2 уровня Задания 3 уровня Закрытые вопросы Открытые вопросы Закрытые вопросы Открытые вопросы Закрытые вопросы Открытые вопросы Закрытые вопросы Открытые вопросы Обоняние у пчел 6 7 4 1 2 3 0 3 Как пчелы разговаривают друг с другом? 5 8 2 3 3 2 0 3 ВСЕГО 11 15 6 4 5 5 0 6 Результаты апробации теста грамотности чтения информационных текстов В диагностике участвовали 752 ученика, заканчивающие четвертый класс, из 19 школ России. На рис. 3 представлены самые общие результаты диагностики понимания информационных текстов неопытными читателями. Приведенные данные свидетельствуют о применимости трехуровневой модели диагностики учебных 81 достижений к материалу информационных текстов. Напомним, что низкий уровень учебных достижений обусловлен тем, что обучение четвероклассников пониманию информационных текстов, в сущности, еще не начиналось. Здесь и далее приводятся данные стартовой диагностики. 0% 10% 20% 30% 40% 1 уровень: воспроизводящее понимание 2 уровень: понятийное понимание 3 уровень: творческое понимание ч и с л о б а л л о в , в % Рис. 3. Три уровня понимания информационных текстов (усредненные данные по двум вариантам тестовых тетрадей) О качестве диагностических инструментов можно судить по данным, приведенным на рис. 4. Здесь представлены результаты ответов четвероклассников на вопросы двух вариантов тестовых тетрадей. На вопросы к тексту «Обоняние у пчел» отвечали 370 учеников, на вопросы к тексту «Как пчелы разговаривают друг с другом?» отвечали 382 ученика. Апробация показала высокую степень сопоставимости результатов двух вариантов теста. 0% 10% 20% 30% 40% 1 уровень: воспроизводящее понимание 2 уровень: понятийное понимание 3 уровень: творческое понимание ч и с л о б а л л о в , в % Обоняние у пчел Как пчелы разговаривают друг с другом? Рис. 4. Три уровня понимания двух информационных текстов 82 5. Результаты апробации тестового комплекта Апробация тестового комплекта проводилась в мае 2008 г. В ней участвовали 1900 учащихся России (22 региона) и Казахстана. Общая выборка охватывала 85 выпускных классов начальной школы в 38 образовательных учреждениях. Для основной статистической обработки из всего массива были отобраны результаты тестирования одиннадцати общеобразовательных школ городов Волжский (школы №8 и №32), Горно- Алтайск (школы №7 и №9), Красноярск (школа №1), Москва (школы НПШ и «Бакалавр»), Невинномысск (школа №10), Самара (школа №114), Сахалин (школа №1) и Улан-Удэ (школа №9). В эту выборку были включены только те учащиеся, которые выполнили все пять тестов, входящих в наш диагностический пакет. Общий объем выборки составил 291 учащегося. Статистическая обработка результатов проводилась с помощью компьютерной программы Microsoft Excel. Первичная обработка результатов тестирования состояла в следующем. Для каждого ученика по каждому предметному тесту подсчитывался его индивидуальный профиль, отражавший процент правильно выполненных заданий по каждому из трех уровней. Затем подсчитывались усредненные профили по каждому классу, школе, а также по выборке в целом (табл. 12). Таблицы, содержащие указанные данные, в дальнейшем выступали объектом анализа и дополнительной математической обработки. Так, прежде всего было проведено сопоставление средних значений показателей, полученных на основе всей выборки по 1-му и 2-му вариантам каждого субтеста (см. табл.11). Таблица 11. Корреляция между средними значениями по 1-му и 2-му вариантам тестов Уровень Итоговый показатель I II III Математика 0,79 0,84 0,64 0,89 Естествознание 0,60 0,82 0,66 0,86 Язык 0,63 0,58 0,82 0,73 Чтение художественного текста 0,60 0,80 0,58 0,77 Чтение информационного текста 0,60 0,80 0,58 0,77 Как видно из таблицы, по большинству показателей итоговый показатель превосходит значение 0,75 (а в двух случаях превосходит 0,85). Это свидетельствует о том, что для каждого класса характерен свой, весьма устойчивый средний результат выполнения заданий. Достаточно высоки также и показатели по отдельным уровням (то есть характеристики «профиля» класса). Эти данные подтверждают надежность разработанных материалов в качестве инструментария для оценки средних характеристик класса. Вопрос же о степени надежности результатов, демонстрируемых каждым отдельным учеником, будет решаться на основе дополнительного исследования. Далее, поскольку диагностический инструмент строился в контексте реализации определенных теоретических положений, следовало проверить его конструктную (концептуальную) валидность, т.е. соответствие результатов тестирования ожиданиям, логически вытекающим из принятой концепции. На данном этапе проверялись две связанные гипотезы. Согласно первой из них задачи трех уровней, построенные на одном материале, должны были образовать соответствующую иерархию по степени решаемости. Согласно второй гипотезе, эта закономерность должна была проявиться более четко на материале тех предметов, в рамках которых содержание опыта ребенка наиболее жестко детерминировано учебной программой. 83 Для проверки первого предположения мы обратились к таблице 12, где для каждого уровня приведены точечная оценка вероятности выполнения теста на этом уровне (в процентах) и 95% -ный доверительный интервал для этой вероятности 38 Таблица 12. Решаемость задач разного уровня (%) Предметность тестирования Уровень I II III % Доверит. интервал % Доверит. интервал % Доверит. интервал Математика 70,8 (68,5; 73,1) 49,6 (47,0; 52,2) 25,4 (22,9; 27,9) Естествознание 44,7 (42,8; 46,6) 26,3 (24,6; 28,0) 19,7 (18,2; 21,2) Русский язык 68,6 (67,1; 70,1) 47,4 (45,7; 49,1) 21,1 (19,7; 22,5) Чтение художественного текста 73,5 (71,4; 75,6) 44,5 (42,8; 46,2) 24,7 (19,7; 29,7) Чтение информационного текста 35,9 (33,4; 38,4) 27,0 (24,7; 29,3) 14,4 (12,1; 16,7) Данные приведенной таблицы могут быть наглядно представлены с помощью линейной диаграммы (рис. 5) 0 10 20 30 40 50 60 70 80 1 уровень 2 уровень 3 уровень у с п е ш н о с ть : % о т м а кс и м а л ь н о го ч и с л а б а л л о в Математика Лингвистика Художественный текст Естествознание Информационный текст Рис. 5. Усредненные профили успешности по разным предметам 38 Расчет доверительных границ проводился по методике, изложенной в книге Е.С. Вентцель. Теория вероятностей. М.: Высшая школа. 1999. 84 Как видно из диаграммы в каждом тесте успешность решения заданий существенно и равномерно падает от первого уровня к третьему, что служит первым подтверждением валидности нашего инструмента. Для получения более точной картины мы проанализировали профили успешности отдельных учащихся и выделили три их типа (рис. 6). 0 10 20 30 40 50 60 70 80 90 100 1 2 3 |