Исследования по сравнительному образованию. Исследование по сравнительному образованию Подходы и методы
 Скачать 4.44 Mb.
|
|
Таблица 14.3. Баллы, полученные первыми четырьмя учащимися в классе Ученик Баллы по чтению Баллы по математике А (max = 20) В (max = 20) С (max = 20) А (max = 15) В (max = 15) С (max = 15) 1 17 15 10 12 13 12 2 10 9 9 7 8 9 3 6 5 7 12 14 13 4 7 8 9 10 12 11 Уровни успеваемости в школе вопрос директора школы мог бы выглядеть примерно так: По каким темам в каких предметных областях и в каких классах • моей школы успеваемость высокая или низкая по сравнению с такими же школами в нашей стране или со всеми школами на- шей страны? Для решения данного вопроса директору необходима одна или несколько точек сравнения. Такой точкой сравнения будет «относительный» уровень успеваемости, который сравнивает успеваемость в школе с похожими школами или даже со всеми школами целевой группы в стране. Таблица 14.4 иллюстрирует эту точку при помощи данных, полученных в Гонконге, и показывает среднее значение и стан- дартное отклонение баллов раша (Rasch scores) в исследовании TIMSS 1999 (со средним значением 150 и стандартным откло- нением 10) в 8-м классе определенной школы по математике и естественным наукам. Эти результаты позволяют директору школы сравнить успеваемость школы с аналогичными школами и всеми другими школами в целевой группе населения. в этом случае баллы, полученные этой школой по математи- ке и естественным наукам, лучше, чем средний балл всех школ в Гонконге, так что директора должно радовать, что успеваемость учеников его школы по этим двум предметам высока. а по срав- нению с похожими школами, учащиеся в этой школе все равно Ис следование по сравните льному образованию: под ходы и методы 424 выступили лучше всех в математике, но в области естественных наук их успеваемость была не так высока. Директор, у которого нет больших амбиций, был бы доволен тем, что ученики в его школе показывают высокие результаты, особенно в математике. но более амбициозный директор, кото- рый хотел бы, чтобы его школа была лидером, будет пытаться выяснить причину относительно плохой успеваемости в есте- ственных науках и найти пути ее повышения. может быть, при- чиной служит излишняя консервативность методов преподава- ния учителей естественных наук, или причина в том, что в этой школе не хватает в хороших лабораторий? Директору придется проводить отдельные исследования. Это потребует от него пере- смотра программы преподавания естественных наук в школе и оснащения лабораторий, и, возможно, ему придется посетить похожие школы, чтобы увидеть, как они работают в этой обла- сти и что стоило бы у них перенять. После рассмотрения гендерных различий можно увидеть, что в этой школе различия по математике и естественным на- укам сопоставимы с похожими школами. однако по сравнению со всеми школами в Гонконге в этой школе гендерные разли- чия глубже. можно ли смириться с этим различием, зависит от взглядов, принятых в школе, и взглядов самого директора. Таблица 14.4. Результаты для относительного сравнения школы с аналогичными и всеми остальными школами в Гонконге Школы Математика Естественные науки Среднее значение Стандартное отклонение Среднее значение Стандартное отклонение Исследуемая школа Мальчики 160,3 8,1 158,6 7,2 Девочки 162,5 8,3 154,6 8,3 Всего 161,4 8,2 156,7 7,9 Аналогичные школы Мальчики 159,1 7,9 159,0 8,6 Девочки 157,4 8,5 154,8 7,8 Всего 158,4 8,2 157,4 8,5 Все школы Мальчики 150,5 10,4 151,4 10,7 Девочки 150,4 9,5 149,3 9,0 Всего 150,5 9,9 150,4 10,0 425 14. Сравнение образовате льных достиж ений следует также отметить, что, по сравнению с другими шко- лами, данная школа отличается тем, что успеваемость девочек по математике выше, чем у мальчиков. Тот факт, что ученики в этой школе добиваются таких высоких результатов по матема- тике, означает, что в школе используются очень хорошие про- граммы по математике, но по какой-то причине мальчики учат- ся не так хорошо, как девочки. Поскольку TIMSS — это международное исследование, руко- водители органов образования часто очень хотят выяснить, как их школы выглядят по сравнению со всеми другими школами или по крайней мере со школами в соседних странах. Поскольку международные баллы были рассчитаны с использованием прав- доподобных значений (при среднем значении 500 и стандартном отклонении 100), а для сравнения школ в Гонконге была исполь- зована модель раша, нельзя просто добавить строки с результата- ми в общую таблицу. Тем не менее директор школы все же может получить представление о «международной позиции» конкрет- ной школы, соединив информацию в табл. 14.4 с информацией в табл. 14.5 (цит. по: [Martin et al., 2000; Mullis et al., 2000]). Таблица 14.5. Достижения гонконгских студентов в исследовании TIMSS 1999 по сравнению с международными средними показателями Математика Естественные науки Среднее значение Стандартная погрешность Среднее значение Стандартная погрешность Средние баллы по Гонконгу Мальчики 581 5,9 537 5,1 Девочки 583 4,7 522 4,4 Всего 582 4,3 530 3,7 Международные средние баллы Мальчики 489 0,9 495 0,9 Девочки 485 0,8 480 0,9 Всего 487 0,7 488 0,7 Уровни региональной успеваемости вполне вероятно, что власти захотят узнать, есть ли какие-либо различия между регионами с различными свойствами. Типич- ный вопрос такой: отличаются ли регионы с различными свойствами по уровню • успеваемости в учебе? Ис следование по сравните льному образованию: под ходы и методы 426 Таблица 14.6 — это пример различий в баллах в исследова- нии PISA 2006 в Корее на региональном уровне. в Корее самые обычные средние школы (за исключением нескольких школ, специализирующихся в области естественных наук, английско- го языка и т.д.) находятся либо в «стандартных», либо в «нестан- дартных» регионах. в стандартных регионах большинство уча- щихся относится к одной из близлежащих школ, в то время как в нестандартных регионах школы могут выбрать учащихся для поступления. Успеваемость учеников школ в стандартных реги- онах более равномерна. Большинство крупных городов, включая сеул и Пусан, — это стандартные регионы, в то время как многие малые города и сельские районы — это нестандартные регионы. Когда-то существовал огромный разрыв между общей успевае- мостью учащихся в регионах этих двух видов, однако Корея с конца 1970-х годов находится в процессе перехода от системы нестандартного региона к системе стандартного региона, и раз- рыв в успеваемости между регионами сократился. результаты исследования PISA 2006 по чтению, математи- ке и естественным наукам в этих двух видах регионов в малых и средних городах показаны в табл. 14.6. Количество обычных средних школ (специальные средние школы были исключены из этого анализа) в стандартных регионах составляет 25 (845 уча- щихся) и в нестандартных регионах — 20 (652 учащихся). не было большой разницы между баллами по чтению учащихся в стандартных и нестандартных регионах по всем процентилям. в математике на 75-й и 90-й процентилях ученики из нестан- дартных регионов набрали больше баллов, чем их ровесники из стандартных регионов, однако ситуация поменялась в нижних процентилях. в области естественных наук ученики из нестан- дартных регионов превосходят учащихся из стандартных регио- нов во всех процентилях. в табл. 14.6 стандартные погрешности выборки были зареги- стрированы вместе с оценками средних значений. Эти стандарт- ные погрешности важны при обобщении результатов, получен- ных из выборки, относительно целевой группы. например, для оценки достоверности 90-й процентили в области естественных наук со средним значением 663,0 для нестандартных регионов для проверки необходимо умножить стандартную погрешность на 1,96. Если стандартная погрешность составляет 11,3, то при умножении на 1,96 она будет равна 22,1. Таким образом, иссле- дователи могут быть уверены, что 19 раз из 20 реальная средняя величина находится между 663,0 ± 1,96 (11,3) или 663,0 ± 22,1 или между 640,9 и 685,1. Это, в свою очередь, позволяет иссле- 427 14. Сравнение образовате льных достиж ений Таблица 14.6. Р езу ль таты ис сле дования PISA 2006 по чт ению , мат ематик е и е ст ес твенным наукам (с тандар тные и не стандар тные регионы, К орея) Процентили Сре дне е значение (в баллах), с тандар тная погрешнос ть Чт ение Мат ематика Ес те ственные науки Стандар тный регион Не стандар тный регион Стандар тный регион Не стандар тный регион Стандар тный регион Не стандар тный регион 10 Сре дне е значение 476,2 485,0 470,5 468,6 441,9 445,9 Стандар тная погрешнос ть 8,2 13,3 8,8 13,3 9,0 12,2 25 Сре дне е значение 527 ,1 531,7 521,4 515,4 492,2 497 ,0 Стандар тная погрешнос ть 6,8 11,0 6,6 12,2 5,9 11,5 50 Сре дне е значение 579,7 581,4 576,8 575,8 546,4 552,0 Стандар тная погрешнос ть 7,0 9,8 5,7 14,1 5,3 12,5 75 Сре дне е значение 627 ,4 627 ,6 628,3 633,2 597 ,8 609,6 Стандар тная погрешнос ть 8,4 7,9 4,1 10,9 4,4 9,3 90 Сре дне е значение 667 ,6 666,8 668,6 679,0 637 ,1 663,0 Стандар тная погрешнос ть 8,1 7,4 5,9 10,5 6,2 11,3 Исто чник: [Kim et al. , 2010, p . 85]. Ис следование по сравните льному образованию: под ходы и методы 428 дователям сравнивать баллы, чтобы увидеть, отличаются ли они более, чем на ошибку выборки. можно было бы спросить, набрали ли учащиеся уровня 90-й процентили в нестандартных регионах больше баллов в области естественных наук, чем ученики из стандартных ре- гионов? среднее значение для стандартного региона находится между 637,1 ± 1,96 (6,2) или между 624,9 и 659,3. Как уже отмеча- лось, 90-я процентиль естественных наук означает среднее меж- ду 640,9 и 685,1 для нестандартных регионов. нижний предел реального значения 90-й процентили в естественных науках для нестандартных регионов был в пределах значений для стандарт- ных регионов, и, следовательно, исследователи не могут сказать, что разница между ними больше, чем ошибка выборки. Таким образом, не было никакого существенного различия между зна- чением 90-й процентили в области естественных наук между регионами двух типов. Важная информация на национальном уровне Типичные вопросы, поставленные на национальном уровне: Какой процент учащихся в нашей школьной системе достигает • какого уровня? Какой процент учащихся достигает определенных пороговых • уровней, вроде «способен жить в обществе» или «способен без труда учиться на более высоком уровне»? Как достижения учащихся в нашей стране сравнить с достиже- • ниями их сверстников в других странах? Уровни развития навыков на примере вьетнама представле- ны в табл. 14.7. Уровни сложности варьируются от очень простых до достаточно сложных для учеников 5-го класса. в чтении мож- но заметить, что 19% учащихся не поднялись выше 2-го уровня, а часто говорят, что качество чтения, необходимое для полноцен- ной жизни в обществе, начинается на 3-м уровне. Уровни были определены экспертами в области чтения и математики в на- чальной школе при министерстве образования. они исследова- ли уровни сложности элементов теста по рашу, и это позволило им изучить тестовые задания на определенном уровне сложно- сти и определить то, что эти задания измеряли. Преимуществом этих видов анализа является то, что специалисты по разработке учебного планирования могут легко определить виды учебных навыков, которые были или не были освоены учащимися в це- лом по стране. расчеты также могут быть сделаны для регионов и провинций. 429 14. Сравнение образовате льных достиж ений Таблица 14.7. Процентное соотношение учащихся 5-х классов вьетнамских школ, достигших различных уровней навыков по чтению и математике Уровни навыков чтения % Стандартная погрешность Уровень 1 Сопоставляет текст на уровне слова или предложения при помощи картинок. Ограничен набором лексики, связанной с картинками 4,6 0,17 Уровень 2 Находит текст, представленный короткими повторяющимися фразами, и может работать с текстом без помощи картинок. Тип текста ограничивается короткими предложениями и фразами с синтаксическими структурами 14,4 0,28 Уровень 3 Читает и понимает длинные отрывки текстов. Может просматривать текст вперед и назад в поисках информации. Понимает перефразирования. Увеличение словарного запаса позволяет понимать предложения с некоторыми сложными структурами 23,1 0,34 Уровень 4 Соединяет информацию из разных частей текста. Отбирает и связывает куски текста для извлечения смысла и формирования мнения 20,2 0,27 Уровень 5 Соединяет собственные выводы и определяет авторское намерение на основании информации, изложенной по-разному, в разных типах текста и в документах, где смысл выражен в неявном виде 24,5 0,39 Уровень 6 Соединяет текст с внешними знаниями, чтобы найти различные смыслы, в том числе и скрытые. Определяет цели автора, его отношения, ценности, убеждения, мотивы, невысказанные предположения и аргументы 13,1 0,41 Уровни математических навыков Уровень 1 Читает, пишет и сравнивает натуральные числа, дроби и десятичные дроби; использует одиночные операции, такие как сложение, вычитание, умножение и деление с простыми целыми числами; работает с простыми мерами, такими как время, распознает простые трехмерные фигуры 0,2 0,02 Уровень 2 Преобразует дроби со знаменателем 10 в десятичные дроби; проводит вычисления с целыми числами, используя одну операцию (сложение, вычитание, умножение или деление) в простых задачах, распознает плоские и трехмерные фигуры 3,5 0,13 Уровень 3 Определяет разряды; понимает эквивалентные дроби; производит действия сложения и вычитания с простыми дробями; осуществляет 11,5 0,27 Ис следование по сравните льному образованию: под ходы и методы 430 Уровни математических навыков % Стандартная погрешность несколько математических операций в правильном порядке; работает со знакомыми размерными величинами во время решения задач Уровень 4 Читает, пишет и сравнивает большие числа; решает задачи, связанные с календарями и деньгами, площадью и объемом; использует схемы и таблицы для совершения подсчетов; решает неравенства; преобразует трехмерные фигуры; обладает знаниями об углах в простых фигурах; понимает простые преобразования с плоскими и трехмерными фигурами 28,2 0,37 Уровень 5 Производит расчеты, используя несколько разнообразных операций; понимает правила и закономерности в числовых последовательностях; вычисляет периметр и площадь неправильной фигуры; производит измерение неправильных фигур; после обдумывания узнает измененные фигуры; решает задачи с использованием нескольких операций (определение процентных соотношений и средних показателей) 29,7 0,41 Уровень 6 Решает задачи, включающие временные данные, длину, площадь и объем; разрабатывает формулы; узнает встроенные фигуры и прямые углы в неправильных фигурах, понимает данные из графиков и таблиц 27,0 0,6 второй вид информации, к которой обращаются в нацио- нальных исследованиях, это так называемые пороговые данные. здесь мы опять приведем пример из вьетнама. в ходе исследо- вания в 5-х классах были представлены два пороговых уровня. Первый был основан на способности ученика использовать ряд навыков в чтении и математике, необходимый для функцио- нирования во вьетнамском обществе. Те, кто оказывался ниже этого уровня, были названы «предфункциональными». второй уровень был основан на оценке способности ученика справлять- ся с чтением и математическими задачами в следующем классе, 6-м, который является первым годом среднего образования. Два предложенных уровня помогли выявить три группы учащихся. Те, кто оказался ниже первого уровня, нуждались в значитель- ной помощи, чтобы они могли полноценно функционировать во вьетнамском обществе. Те, кто оказался выше этого уровня, но ниже второго, нуждались в помощи, чтобы научиться справ- ляться с чтением и задачами по математике в средней школе. Ученики, занявшие позицию выше второго уровня, скорее всего, 431 14. Сравнение образовате льных достиж ений должны быть в состоянии самостоятельно справиться с чтением и математическими задачами уровня средней школы. Каждое тестовое задание было рассмотрено с двух позиций. Первая позиция — это вероятность того, что человек, который может адекватно функционировать во вьетнамском обществе, может правильно справиться с каждым заданием. вторая по- зиция — это вероятность того, что ученик, у которого хватает навыков, чтобы справиться с заданиями для 6-го класса, может дать правильный ответ на все вопросы. в каждом случае веро- ятности были суммированы с использованием метода ангоффа для установления точек среза (cut-off points). Детальное описа- ние того, как были концептуально определены и рассчитаны по- роговые уровни, было дано в исследовании 5-х классов во вьет- наме [World Bank, 2004]. Предложены были следующие уровни. Уровень 1. Группа школьников была определена как «пред- функциональная», так как они еще не достигли уровня навы- ков в чтении или математике, необходимого для повседневной жизни во вьетнамском обществе. определение «предфункцио- нальный» не означает, что ученики неграмотны или не умеют считать. Есть базовые навыки, которые эти ученики могут про- демонстрировать, но эксперты еще не считают уровень их навы- ков достаточным, чтобы стать эффективными членами вьетнам- ского общества. во вторую группу учеников вошли те, кто смог продемонстрировать наличие навыков, необходимых, чтобы жить во вьетнаме. Было обнаружено, что они уже выше нижнего уровня, но еще не достигли второго уровня. Эти ученики были определены как «функциональные» с точки зрения их способно- сти участвовать в жизни вьетнамского общества. однако было решено, что этой группе потребуется некоторая помощь, чтобы в 6-м классе они могли бы справиться с заданиями по чтению и математике. Уровень 2. Ученики, результаты которых оказались выше вто- рого уровня, смогли продемонстрировать виды навыков, необ- ходимые для самостоятельного обучения в следующем классе, и им не требуется дополнительная помощь. в таблицах использу- ется определение «независимый». Таблица 14.8 представляет результаты исследования 5-х классов во вьетнаме в целом. ожидания в области чтения, как показывают тесты, были выше, чем ожидания по математике. Только 51% учащихся 5-х классов по результатам тестирования показал способность к самостоятельному обучению в 6-м клас- се, с учетом их способности читать в 5-м классе. Данная инфор- мация была важна для министерства образования, так как по- казывала, как система образования готовит учащихся для пере- Ис следование по сравните льному образованию: под ходы и методы 432 хода в 6-й класс и для жизни в обществе в целом. Это не удивило руководителей органов образования во вьетнаме, которые уже работали какое-то время над пересмотром учебной программы с целью повышения качества чтения в 5-х классах. |