Отечественная из bbарbbубbbежbbнаbbя педагогика 2 (70) т 2020
 Скачать 4.65 Mb.
|
|
Методология исследования. Проведенное исследование не ставило своей задачей выявление одаренных детей или определение индивидуального уровня креативности у каждого участника. Его целью служило выявление и описание границ, в рамках которых учащиеся демонстрируют способность мыслить креативно. Масштаб выборки, краткая характеристика которой приведена во введении к данной статье, позволяет ставить и решать подобную задачу. При проведении исследования использовались следующие методы изучение и анализ различных подходов к оцениванию сформиро- ванности креативного мышления, при этом особое внимание уделя- ОБ. Логинова, НА. Авдеенко, С. Г. Яковлева, О. И. Садовщикова лось концептуальной рамке в исследовании PISA-2021 [9]; – тестологический анализ результатов выполнения заданий в рамках современной теории тестирования, направленный на оценку уровня сформированности группы когнитивных умений креативного мышления [11]; – сравнительный анализ результатов учащихся х, х, хи х классов качественный анализ содержания ответов учащихся. Тестологический анализ результатов выполнения заданий в рамках современной теории тестирования включал анализ статистик согласия InFit и OutFit; анализ карты переменных анализ степени близости теоретической и эмпирической кривых дихотомических заданий анализ качества функционирования категорий заданий, оцениваемых политомически; исследование надежности теста исследование размерности теста [3; 6; Поскольку учащиеся выполняли различные варианты теста, было необходимо применение методик выравнивания, которые способны обеспечить сопоставимость результатов тестирования. Для хи х классов использовалась модель Latent Linear Test Model (LLTM) современной теории тестирования [8]. Модель LLTM предложена для моделирования когнитивных процессов, стоящих за выполнением задания. Модель LLTM основана на логит-преобразовании и линейной комбинации свойств задания [5]. Основная идея модели LLTM заключается в том, что вклад каждого задания объясняется свойствами задания (X) и их фиксированными эффектами (β). Модель подразумевает, что эффекты задания полностью объясняются свойствами задания При обработке данных пом им классам для размещения на одной шкале результатов, полученных при выполнении различных вариантов работы, выравнивание проводилось за счет использования общих заданий в различных вариантах теста [4]. Примерно 20% заданий в каждом варианте были общими с другими вариантами, а 80% — индивидуальными для этого варианта. В этом случае, с помощью применения математико-ста- тистического аппарата современной теории тестирования, параметры общих заданий послужили якорными параметрами, которые обеспечили сопоставимость данных между шкалами каждого отдельного варианта. Вышеперечисленные процедуры подготовки и анализа диагностических материалов позволили получить достаточно надежные данные о сформированности у учащихся креативного мышления. Проект«Мониторинг формирования функциональной грамотности ... Результаты исследования Анализ полученных данных по всем работам велся на основе следующих показателей средний процент выполнения заданий средний процент учащихся, давших полностью принимаемый ответ, частично принимаемый ответили НЕпринимаемый ответ. Для го иго классов использовался, кроме того, показатель уровня сформированности креативного мышления Успешность выполнения заданий. Средний процент выполнения всех заданий работы в целом и размах значений в зависимости от выполняемых ситуаций для каждого класса приведен в Таблице Таблица 2. Средний процент выполнения работы Средний процент класс класс класс класс По работе в целом 37% 43% 39% 38% Размах значений по разным ситуациям 14% — 65% 16% — 69% 17% — 55% 20% — Как видно из приводимых данных, средний процент выполнения заданий диагностической работы нив одной из параллелей не превышает 50%. При этом наиболее трудными для учащихся оказываются задания на визуальное самовыражение и естественнонаучную грамотность. Так, только 14% пятиклассников полностью или относительно успешно справились с заданием пояснить с помощью рисунка смысл математического выражения a + b = c. Только 16% семиклассников полностью или относительно успешно справились с заданием визуализировать табличные данные в ситуации Проездной. Восьмиклассники затруднились с выполнением заданий в ситуации Зоопарк, где требовалось продемонстрировать умение проводить сортировку и классификацию объектов, а для девятиклассников самым трудным заданием стало пояснить с помощью рисунка смысл фразеологизма газетная утка». Наиболее успешными стали задания на письменное самовыражение в м классе) и решение социальных проблем (в мм им классах). Результаты сформированности креативного мышления по основным содержательными компетентностным областям представлены в Таблицах 3 и 4 и на соответствующих им Рисунках 1 и 2. ОБ. Логинова, НА. Авдеенко, С. Г. Яковлева, О. И. Садовщикова Таблица 3. Средний процент выполнения заданий по разным содержательным областям Содержательная область класс класс 8 класс 9 класс Визуальное самовыражение 21% 22% 35% 25% Письменное самовыражение 54% 54% 47% 43% Разрешение естественнонаучных проблем 35% 43% 27% 31% Разрешение социальных проблем 41% 57% 47% 51% Таблица 4. Средний процент выполнения заданий по разным компетентностным областям Компетентностная область класс 7 класс 8 класс 9 класс Выдвижение разнообразных идей 36% 47% 47% 38% Выдвижение креативной идеи 51% 47% 50% 38% Доработка идеи 34% 36% 34% 33% Оценка и отбор идей 38% 43% 31% 45% Из них оценка и отбор одной наиболее удачной идеи 51% 50% 45% 54% оценка и отбор наиболее и наименее удачной идеи 29% 35% 31% 44% оценка и отбор идеи поза- данному критерию 31% 20% 14% 29% Рис. 1 Рис. 2 Как видно из приводимых данных, средний процент выполнения заданийдостигает 50% и незначительно превышает эту величину только в двух областях в области письменное самовыражение в хи х классах ив области решение социальных проблем в хи х классах. Наиболее успешно учащиеся выполняют задания на создание текстов и на Визуальное самовыражение Письменное самовыражение Решение е/н проблем Решение социальных проблем Средний процент выполнения заданий по разным содержательным областям класс класс класс класс 36% 51% 34% 38% 47% 47% 36% 43% 47% 50% 34% 31% 38% 38% 33% 45% 0% 10% 20% 30% 40% 50% 60% Выдвижение разнообразных идей Выдвижение креативных идей Доработка идей Оценка и отбор идей Средний процент выполнения заданий по разным компетентностным областям класс класс класс класс Рис. 1 Проект«Мониторинг формирования функциональной грамотности ... Рис. 1 Рис. 2 Как видно из приводимых данных, средний процент выполнения заданийдостигает 50% и незначительно превышает эту величину только в двух областях в области письменное самовыражение в хи х классах ив области решение социальных проблем в хи х классах. Наиболее успешно учащиеся выполняют задания на создание текстов и на Визуальное самовыражение Письменное самовыражение Решение е/н проблем Решение социальных проблем Средний процент выполнения заданий по разным содержательным областям класс класс класс класс 36% 51% 34% 38% 47% 47% 36% 43% 47% 50% 34% 31% 38% 38% 33% 45% 0% 10% 20% 30% 40% 50% 60% Выдвижение разнообразных идей Выдвижение креативных идей Доработка идей Оценка и отбор идей Средний процент выполнения заданий по разным компетентностным областям класс класс класс класс Рис. Как видно из приводимых данных, средний процент выполнения заданий достигает 50% и незначительно превышает эту величину только в двух областях в области письменное самовыражение в хи х классах ив области решение социальных проблем в хи х классах. Наиболее успешно учащиеся выполняют задания на создание текстов и на разрешение социальных и межличностных проблем. Наибольшую трудность представляют задания на разрешение естественнонаучных проблема также задания, требующие создания рисунков. Отметим, что старшие школьники выполняли задания, предполагающие опору на более сложный учебный материал (который тем не менее не выходит за рамки школьной программы и достаточно подробно освещается в мотивационной части задания. Например, качественный анализ ответов учащихся обнаруживает многочисленные пробелы в естественнонаучных знаниях учащихся. Так, восьмиклассники, выполняющие комплексное задание Вращение Земли, не замечая очевидных подсказок, содержащихся в текстах заданий, затруднялись привести примеры движения тел по инерции. Средний процент освоения компетентностей также практически не превышает 50% нив одной из групп умений. Более успешно учащиеся способны выдвинуть одну идею, а также выбрать одну наиболее удачную идею из ряда предложенных. Менее освоены ими следующие когнитивные процессы (названы в порядке ОБ. Логинова, НА. Авдеенко, С. Г. Яковлева, О. И. Садовщикова убывания трудности критериальная оценка, доработка идей, а также выдвижение нескольких разных идей. Качественный анализ ответов учащихся позволяет увидеть, что около пятой части младших школьников могут только с несущественными изменениями повторить пример, поясняющий требования к оформлению ответа, и неспособны выйти за его рамки. Почти половина учащихся не могут выдвинуть вторую идею, отличающуюся от первой по смыслу или способу исполнения. Около половины учащихся искренне недоумевают, зачем вообще нужно выдвигать еще одну идею или что-то дорабатывать. Мне эта идея итак нравится, — такой комментарий можно встретить в работах учащихся. Учащиеся го класса испытывают бόльшие трудности при выдвижении идей, чем более младшие школьники. Возможно, это связано с возросшей сложностью заданий. Примечательно, что в средний процент выполнения заданий на доработку идей остается неизменным при переходе от младшего школьного возраста к старшему, что свидетельствует о том, что такого рода задания в школе практически не используются. К девятому классу совершенствуется навык оценки идей по всем его составляющим (отбор, ранжирование, критериальная оценка, что, возможно, связано с практикой подготовки к государственной итоговой аттестации в формате ОГЭ. Качество ответов учащихся. При анализе приводимых ниже данных о распределении учащихся по качеству данных ими ответов, следует учитывать, что ответ НЕ принимается (0 баллов, как правило, в следующих случаях: а) ответ отсутствует или продемонстрирован отказ от выполнения задания; б) ответ не является самостоятельным (налицо плагиат или в ответе повторен пример, приводимый в задании); в) ответ не отвечает требованиям задания. Частично принимаемый ответ (1 балл — это такой ответ, который только частично отвечает требованиям задания. Например, выдвинута только одна идея, а не несколько, как это требует задание. Или выдвинутая идея не является оригинальной для данной выборки, поскольку именно эту идею выдвигает большинство учащихся. Проект«Мониторинг формирования функциональной грамотности ... Важно понимать также, что полностью принимаемый ответ (2 балла — это не вовсе не полностью правильный или тем более идеальный ответ. Как уже отмечалось, в заданиях на оценку креативного мышления нет единственно правильного ответа. То, что данный ответ принимается полностью, означает всего лишь, что данный ответ и с позиции его содержания, и с позиции его представления и оформления отвечает требованиям задания и критериям разнообразия или оригинальности. Художественное мастерство, эффективность или оптимальность решения не являются предметом оценки в этих заданиях. Отметим, что все особенности экспертной оценки тщательно оговариваются в рекомендациях. Распределение учащихся по качеству данных ими ответов в целом по всей работе показано в Таблице Таблица 5. Средний процент учащихся, давших непринятый, частично и полностью принятые ответы Качество ответа класс класс класс класс Ответ НЕ принят 50% 42% 45% 40% Ответ принят частично 33% 34% 26% 30% Ответ принят полностью 17% 24% 29% 30% Приведенные данные показывают, что от половины учащихся в м классе до 40% учащихся в м классе либо не дают ответа, либо дают ответ, не отвечающий требованиям задания. Ответ, отвечающий требованиям задания, дают менее пятой части пятиклассников, примерно четверть семиклассников и около трети учащихся старших классов основной школы. Отрадно наблюдать, что способность понять и реализовать требования задания хоть и медленно, но нарастает от го к 9-му классу. Вместе стем абсолютные значения этих показателей заставляют предположить, что подобная динамика, скорее всего, является результатом естественного взросления детей, а не результатом целенаправленного педагогического воздействия. Опыт системы развивающего обучения в нашей стране и опыт других стран показывает, что можно добиваться более высоких показателей за счет реализации практик развивающего обучения. Распределение учащихся по качеству ответов в разных содержательных и компетентностных областях представлены в Таблицах 6, 7 и на ОБ. Логинова, НА. Авдеенко, С. Г. Яковлева, О. И. Садовщикова соответствующих им Рисунках 3 и Таблица 6. Средний процент учащихся, давших непринятый, частично и полностью принятые ответы по содержательным областям Содержа- тельная область Качество ответа класс 7 класс 8 класс 9 класс Визуальное само вы р а - жение Ответ НЕ принят 71% 64% 56% 58% Ответ принят частично 24% 30% 20% 23% Ответ принят полностью 5% 6% 24% 19% Разрешение естественнонаучных проблем Ответ НЕ принят 54% 48% 62% 48% Ответ принят частично 32% 35% 22% 33% Ответ принят полностью 14% 17% 16% 19% Разрешение социальных проблем Ответ НЕ принят 41% 28% 30% 28% Ответ принят частично 35% 32% 32% 34% Ответ принят полностью 24% 40% 38% 38% Письменное само вы р а - жение Ответ НЕ принят 30% 26% 34% 34% Ответ принят частично 41% 40% 28% 29% Ответ принят полностью 29% 34% 38% 37% Таблица 7. Средний процент учащихся, давших непринятый, частично и полностью принятые ответы по компетентностным областям К ом пе тент- ностная область Качество ответа класс 7 класс 8 класс 9 класс Выдвижение разнообразных идей Ответ НЕ принят 54% 39% 38% 39% Ответ принят частично 27% 30% 35% 32% Ответ принят полностью 19% 31% 27% 29% Выдвижение кр е ат ив ной идеи Ответ НЕ принят 23% 31% 33% 36% Ответ принят частично 51% 43% 35% 39% Ответ принят полностью 26% 26% 32% 25% Д о работка идеи Ответ НЕ принят 51% 47% 40% 44% Ответ принят частично 33% 40% 38% 36% Ответ принят полностью 16% 13% 22% 20% Оценка и отбор идей Ответ НЕ принят 50% 44% 59% 41% Ответ принят частично 35% 32% 7% 36% Ответ принят полностью 15% 24% 34% 20% Проект«Мониторинг формирования функциональной грамотности ... Рис. 3 Таблица 7 . Средний процент учащихся, давших непринятый, частично и полностью принятые ответы по компетентностным областям Компетентностна я область Качество ответа 5 класс 7 класс 8 класс 9 класс Выдвижение разнообразных идей Ответ НЕ принят 54% 39% 38% 39% Ответ принят частично 27% 30% 35% 32% Ответ принят полностью 19% 31% 27% 29% Выдвижение Ответ НЕ принят 23% 31% 33% 36% 58% 56% 65% 71% 48% 62% 48% 54% 28% 30% 28% 41% 34% 34% 26% 30% 23% 20% 30% 24% 33% 22% 35% 32% 34% 32% 32% 35% 29% 28% 40% 41% 19% 24% 6% 5% 19% 16% 17% 14% 38% 38% 40% 24% 37% 38% 34% 29% 9 класс класс класс класс класс класс класс класс класс класс класс класс класс класс класс класс Ви зу аль но е самовыражение Решение естественнонаучных проблем Решение социальных проблем Пи сь м ен ное самовыражение учащихся по качеству ответа. Содержательные области Ответ НЕ принят Ответ принят частично Ответ принят полностью Рис. 4 Приводимые данные показывают, что с заданиями на письменное самовыражение и на разрешение социальных проблем полностью НЕ справляется около трети учащихся, ас заданиями на визуальное самовыражение и на разрешение естественнонаучных проблем — около половины учащихся. В заданиях из естественнонаучной области учащиеся затрудняются в постановке исследовательских вопросов, в проектировании и описании эксперимента. Большие трудности вызвали задания, в которых надо было предложить разные основания для классификации объектов — пищевых продуктов, животных, веществ и материалов. В последнем случае затруднения 41% 59% 44% 50% 44% 40% 47% 51% 36% 33% 31% 23% 39% 38% 39% 55% 36% 7% 32% 35% 36% 38% 41% 33% 39% 35% 43% 51% 32% 35% 30% 27% 20% 34% 24% 15% 20% 22% 13% 16% 25% 32% 26% 26% 29% 27% 31% 19% 9 класс класс класс класс класс класс класс класс класс класс класс класс класс класс класс класс Оц ен ка и отбор идей Дор абот ка идеи Выдвижение кр еа ти вн ой и деи Выдв иж ен ие разнообразных идей |