Исследования по сравнительному образованию. Исследование по сравнительному образованию Подходы и методы
 Скачать 4.44 Mb.
|
|
Рис. 14.1. Компоненты математического домена исследования PISA Источник: [OECD, 2010a, р. 90]. 413 14. Сравнение образовате льных достиж ений в проектах Консорциума по мониторингу качества образо- вания в странах Южной и восточной африки (SACMEQ) внима- ние было сосредоточено на иерархических категориях навыков в чтении и математике. Это было сделано, чтобы те, кто будет пользоваться результатами этого исследования, могли сразу увидеть, какой процент учеников достиг какого уровня навы- ков. Это понятнее, чем, скажем, «количество баллов, равное 487» [Postlethwaite, 2004]. в этом определении предметного поля исследования нет понятия «правильно» или «неправильно». определение дается специалистами в области учебных программ, участвующими в исследовании. очевидно, что, интерпретируя результаты, важ- но помнить об определении предмета исследования. Поскольку невозможно построить план проекта, который является спра- ведливым для всех стран, принято говорить, что окончательный план «в равной степени несправедлив по отношению ко всем странам». Какие суммарные баллы необходимы? Если в отчетах по результатам тестов будут фигурировать не только общий балл, но и балл, полученный в целой области, то в этом случае нужно убедиться, что в соответствующих областях имеется достаточное количество тестовых заданий, чтобы иметь возможность генерировать баллы для подраздела каждой обла- сти. Если тестовые задания должны быть написаны для навы- ков разных уровней в какой-нибудь предметной области, то эти уровни тоже нужно определить заранее. Таким образом, важно определить, баллы какого типа нам понадобятся, потому что от этого будут зависеть виды тестовых заданий, которые нужно на- писать, и уровень их сложности. Если, скажем, нужно измерить чтение и математику, то обычно имеется общий балл по чтению и общий балл по ма- тематике. Также обычно имеется балл для каждой области, на- пример, текст-повествование, текст-аргументация и документы для определения грамотности чтения; число, измерение и про- странство на уровне математики в начальной школе. Понятие уровней навыков менее распространено. Уровни навыков иерар- хически расположены по уровню сложности. например, навыки в области естественно-научной грамотности в PISA 2009, про- веденном среди 15-летних школьников, приведены в табл. 14.1. в исследовании этого типа показан процент учеников, достиг- ших каждого уровня. Такая форма отчетности представляется более важной, чем выведение общего балла или даже баллов для Ис следование по сравните льному образованию: под ходы и методы 414 Таблица 14.1. Иерархия навыков естественно-научной грамотности Описание естественно-научных навыков Уровень 1 У учеников такие ограниченные естественно-научные знания, что их можно применить только в нескольких знакомых ситуациях. Учащиеся могут дать естественно-научные объяснения, которые очевидны и явно следуют из предложенных фактов Уровень 2 У учеников достаточно адекватный уровень естественно-научных знаний, чтобы дать возможные объяснения в знакомых условиях или сделать выводы, основанные на простых исследованиях. Они способны приводить прямые аргументы и буквально интерпретировать результаты научного исследования или решения технологической задачи Уровень 3 Ученики могут выявить четко описанные научные проблемы в различных контекстах. Они могут отобрать факты и знания, чтобы объяснить явления и применить простые модели или стратегии поиска ответа. Ученики на этом уровне могут интерпретировать и использовать научные понятия из разных дисциплин и применять их. Они могут сформулировать короткие высказывания, опираясь на факты, и принимать решения, основываясь на научных знаниях Уровень 4 Ученики могут эффективно работать в различных ситуациях, содержащих четко выраженные явления, требующими от них выводов о роли науки и техники. Они могут отобрать и использовать объяснения из различных областей науки или технологии и привязать эти объяснения непосредственно к различным жизненным ситуациям. Ученики на этом уровне могут обдумывать свои действия и могут объяснять свои решения, используя научные знания и доказательства Уровень 5 Ученики могут выявить естественно-научные компоненты во многих сложных жизненных ситуациях, применять к ним научные понятия и знания о науке и могут сравнивать, выбирать и оценивать подходящие научные данные, чтобы реагировать на эти жизненные ситуации. Ученики на этом уровне могут использовать хорошо развитые исследовательские способности, правильно связывать знания и критически оценивать ситуации. Они могут строить объяснения, основанные на фактических данных и аргументах, полученных в результате их критического анализа Уровень 6 Ученики всегда могут последовательно определять, объяснять и применять научные знания и знания о науке в различных сложных жизненных ситуациях. Они могут связывать различные источники информации и объяснения, а также использовать доказательства из этих источников, чтобы аргументировать свои решения. Они четко и последовательно демонстрируют хорошо развитую способность научно мыслить и рассуждать, и они используют свое научное понимание, чтобы принимать решения в новых для них научных и технологических ситуациях. Ученики на этом уровне могут использовать научные знания и предлагать научное аргументирование при разработке рекомендаций и решений, которые касаются личных, социальных или глобальных ситуаций Источник: [OECD, 2010a, р. 144]. 415 14. Сравнение образовате льных достиж ений каждой отдельной области, так как здесь содержится информа- ция для руководителей системы образования и разработчиков учебных программ об уровнях естественно-научной грамотно- сти, которые были или не были достигнуты. Как выглядит предварительный план? в то время как структура исследования очерчивает его масштаб, предварительный план расставляет акценты в различных ча- стях этой структуры. План состоит из областей, в которых бу- дут проходить тесты (на основе структуры исследования), и из разных типов тестовых заданий, которые будут использовать- ся. он также акцентирует внимание на разных частях структу- ры исследования (количество заданий и общий балл в каждой). Пример предварительного плана теста TIMSS 2011 приведен в табл. 14.2. Таблица 14.2. Количество тестовых заданий каждого типа по математике и баллы по категориям, 8-й класс Категории Вопросы с предложенными вариантами ответов Вопросы без предложенных вариантов ответов Общее число заданий Содержание Числа 31 (31) 30 (36) 61 (67) Алгебра 37 (37) 33 (39) 70 (76) Геометрия 25 (25) 18 (19) 43 (44) Вероятность 25 (25) 18 (20) 43 (45) Всего 118 (118) 99 (114) 217 (232) Когнитивные процессы Знание 53 (53) 27 (30) 80 (83) Применение 47 (47) 38 (44) 85 (91) Рассуждение 18 (18) 34 (40) 52 (58) Всего 118 (118) 99 (114) 217 (232) Баллы указаны в скобках. Источник: [Mullis et al., 2012, р. 427]. Какие типы заданий используются? в исследовании можно использовать несколько типов заданий, начиная с тех, где требуется развернутый ответ, и заканчивая вопросами с предложенными вариантами ответов. разработ- Ис следование по сравните льному образованию: под ходы и методы 416 чики тестов должны принять решение о типах заданий, которые они будут использовать. многие международные исследования используют задания с предложенными вариантами ответов. Их непросто составить, особенно если они также являются еще и ди- агностирующими, когда по неправильно выбранным вариантам ответов можно определить, что ученик неправильно мыслит. в середине 1990-х годов предпочтение отдавалось вопросам, где учащиеся должны были самостоятельно давать развернутый ответ без предложенных вариантов. Утверждалось, что вопро- сы с предложенными вариантами ответов требуют от учеников просто узнать правильный ответ, при этом правильный ответ можно было и угадать. Казалось очень важным заставить уча- щихся самим дойти до правильного ответа. однако вопросы с предложенными вариантами ответов имеют преимущество: их легко обработать. стали более распространенными и вопросы, на которые нужно давать короткие неразвернутые ответы. в ра- боте с ними применение хороших оптических приборов скани- рования позволяет подсчитывать баллы с помощью компью- тера. задания типа «верно/неверно» используются редко из-за того, что ответ легко угадать. Критерии для полностью правильного ответа Задание 1. Измерьте частоту пульса и запишите полученные данные в таблицу. Ответ оценивается и за качество презентации, и за качество сбора данных. Качество презентации: i) в таблицу внесены как минимум два измере- ния; ii) измерения записываются парно: время и количество ударов пульса; iii) в таблице имеются правильные заголовки: данные в столбцах определяются по заголовкам столбцов и (или) единиц измерения; единицы измерения ука- заны в заголовках или помещены около каждого измерения; в заголовках или единицах измерения частоты пульса указан временной интервал. Возможная сумма баллов: 2. Качество данных: i) ученик делает минимум пять замеров в состоянии покоя и четыре или более во время выполнения упражнений; ii) данные частоты пуль- са правдоподобны: от 7 до 25 ударов за 10 секунд (40–150 ударов в минуту); iii) частота пульса увеличивается во время выполнения упражнений (может вы- равниваться или замедляться ближе к концу упражнения). Возможная сумма баллов: 3. Рис. 14.2. Пример критериев оценки заданий, где учащиеся должны дать развернутый ответ Источник: [Harmon et al., 1997, р. 15]. 417 14. Сравнение образовате льных достиж ений Проблема с заданиями, требующими развернутого ответа, заключалась в том, что их должна проверять команда экспертов. Это дорого и требует серьезной подготовки специалистов. При- мер критериев оценки таких заданий показан на рис. 14.2, где вопрос связан с измерением пульса в исследовании TIMSS 1995. Кто пишет и проверяет задания? Это нормально, когда в рамках международного исследования в каждом национальном исследовательском центре есть своя группа, которая пишет задания. Когда предварительный план исследования уже ясен, национальные команды должны подать задания, состоящие из уже существующих вопросов или напи- санные заново. вопросы отсылаются в международную тесто- вую комиссию, которая и решает, какие из них выбрать, возмож- но, с некоторыми изменениями. отобранные вопросы повторно проверяются национальными комитетами, обсуждаются и, на- конец, принимаются. Как тестовые задания переводятся на другие языки? Перевод инструментов исследования (тестовых заданий и во- просов в анкетах) — это больше, чем просто технический вопрос. Точность перевода влияет на сущность того, что исследуется, и на сопоставимость результатов. Для международного иссле- дования в качестве рабочего языка должен быть выбран один язык, и тесты (и другие инструменты, например, анкеты), обыч- но написаны на этом языке. При переводе тестовых заданий на другие языки важно убедиться, что смысл тестов не изменился, уровень трудности с точки зрения языка примерно одинаковый и когнитивные процессы, которые требуются, чтобы учащиеся выполнили задания, не отличаются от языка к языку. Эта работа не из легких, особенно, если в исследовании уча- ствует много стран. в TIMSS 1995, например, использовался 31 язык, и в международном исследовательском центре рабо- тали команды профессиональных переводчиков для проверки правильности, тонкости понимания и эквивалентности перево- да. в проекте PISA был реализован ряд процедур обеспечения качества и эквивалентности всех версий национальных тестов и анкетных материалов [Adams, Wu, 2002; Grisay, 2003; OECD, 2010c]. здесь было необходимо: предоставить две параллельные исходные версии тестов (на ан- • глийском и французском языках) и рекомендовать, чтобы каж- дая страна разработала две независимые версии теста на своем Ис следование по сравните льному образованию: под ходы и методы 418 рабочем языке (одну из них по-английски или по-французски), а затем объединила бы их, чтобы получить одну национальную версию; добавить систематизированную информацию о цели вопроса в • сам тест и в анкетные материалы для перевода, чтобы уточнить границы и свойства каждого задания, а также подробные при- мечания переводчика, чтобы обратить внимание на возможные проблемы с переводом или с адаптацией; разработать подробные рекомендации по переводу/адаптации • тестового материала, а затем по уточнению его после проведе- ния апробации в рабочих условиях, чтобы убедиться в эквива- лентности всех национальных версий исходным версиям; провести обучение ключевых людей от каждой национальной • команды рекомендуемым переводческим процедурам; назначить и подготовить группы международных контролеров • (профессиональных переводчиков, владеющих английским и французским языками, для которых язык, на который был сде- лан перевод, является родным), чтобы убедиться в эквивалент- ности всех исходных и национальных версий тестов. очевидно, что перевод — задача не из легких и, кроме того, не из дешевых, составителям международных тестов нельзя не обращать на это внимание. Как апробируются тестовые задания? Как правило, для каждого пункта в предварительном плане тре- буется в 3–5 раз больше тестовых заданий, чем на самом деле понадобится для окончательной версии. Эти задания разделены на несколько экзаменационных листов для апробации, и каж- дый экзаменационный лист предлагается выборке из примерно 200 учащихся из определенной целевой группы населения. затем полученные результаты тестов вводятся в общую базу данных, и проводится анализ тестовых заданий. Как прави- ло, это классический анализ данных. затем уточняется, что те- стовые задания измеряют один и тот же конкретный аспект и что задания не отдают предпочтение какой-то одной группе в ущерб другой (например, мальчикам по сравнению с девочками или сельским детям по сравнению с городскими). Баллы, полу- ченные из тестов, должны считаться надежными и валидными. в некоторых случаях требуется дополнительная разработка те- стовых заданий и их апробация. затем согласовывается оконча- тельный набор тестовых заданий. 419 14. Сравнение образовате льных достиж ений Как выглядит окончательный вариант теста? задания собираются в тест и размещаются в порядке возраста- ния их сложности. в зависимости от предметной области, ко- личество заданий, которые требуются, чтобы охватить все со- держание, предусмотренное предварительным планом, может превышать необходимое количество заданий для теста, рассчи- танного примерно на час или полтора. в этом случае могут быть использованы так называемые ротационные (rotated) тесты. создается несколько тестов, но в каждом из них есть общие за- дания, что позволяет позже их уточнить. затем эти тесты даются школьникам. с помощью такого метода можно определить бал- лы для школы, но часто с помощью этих же заданий невозможно определить индивидуальные баллы. КоГо сравнИваТь? После того как мы решили, что нужно сравнивать, возникает следующий главный вопрос: кого сравнивать? здесь требуется понять, что такое возрастная группа по сравнению с классом, и поднять вопросы правильного определения исследуемой груп- пы учащихся. Возраст по сравнению с классом в сравнительных исследованиях, как правило, обозначается или возраст исследуемых учащихся, или класс, в котором они учатся, а иногда и то и другое. Исследование PISA, например, проводи- лось среди 15-летних школьников. Изучение возрастной груп- пы дает информацию о том, что система образования сделала для определенной возрастной группы, которой эта система за- нимается. однако в некоторых странах официальный возраст поступления в школу довольно ранний (в нидерландах, напри- мер, дети идут в школу в четыре года). в других странах дети поступают в школу гораздо позже (например, в шесть-семь или даже восемь лет в некоторых южноамериканских и африканских странах). Будет ли правильным сравнивать 9-летних учеников из нидерландов, у которых позади уже пять лет обучения в шко- ле, с 9-летними учениками из стран Южной америки, которые только начали школьную учебу? определение возрастных параметров также сталкивается с практическими сложностями. в исследовании PISA 15-летние школьники на момент тестирования, например, могли быть уча- щимися двух классов, а в странах, где школьников часто остав- ляют на второй год, 15-летние ученики могли быть даже в не- Ис следование по сравните льному образованию: под ходы и методы 420 скольких классах. Это делает определение выборки и само те- стирование очень сложным и, следовательно, дорогостоящим. в то время как понятие «возраста» не допускает разночтений, понятие «класс» крайне неоднозначно. означает ли «4-й класс» одно и то же в разных странах? в некоторых системах образо- вания до поступления в начальную школу дети уже учатся не- сколько лет, и это только дань традиции — называть первый год обучения в начальной школе 1-м классом. на другом конце шка- лы, если исследователи решили тестировать учащихся в течение их последнего года обучения (как это имело место во втором международном исследовании математического образования IEA), следует учесть, что в некоторых системах среднего образо- вания последним годом обучения является 10-й класс, а в неко- торых — 13-й. разница в три года, когда мы говорим о количестве лет обучения, вероятно, является причиной большой разницы в достижениях учащихся, и поэтому существует утверждение, что сравнивать их нельзя. Кроме того, процент учащихся, не закончивших школу, в раз- ных образовательных системах совершенно разный. Даже если во всех системах образования имеется одинаковое количество лет обучения в школе, размер возрастной группы тех, кто остал- ся в школе, может быть самым разным. в соединенных Штатах америки около 90% учащихся соответствующей возрастной группы остаются в школе до 12-го класса, но в некоторых других странах эта цифра не превышает 20%. однако если взять такой учебный предмет, как физика, то даже в соединенных Штатах ее специально изучают только 5% учеников. в других странах доля возрастной группы учащихся, специально изучающих физику, может быть от 7 до 35%. сравнимы ли в таком случае эти воз- растные группы или классы школы? в исследовании TIMSS 1995, чтобы преодолеть эту трудность, было использовано определение «класс — возраст» в первых двух из трех протестированных групп. Первая группа, напри- мер, была определена следующим образом: «учащиеся из двух смежных классов, в которых большинству учеников 9 лет». Даже это определение не было полностью удовлетворительным, по- скольку 9-летние ученики в некоторых странах имели суще- ственно меньше лет образования за плечами, нежели 9-летние в других странах. осуществляя выбор между определением класса и определением возраста, необходимо ответить на вопрос: что интересует исследователей больше — эффективность обучения (в этом случае они должны опираться на определение класса) или зрелость учеников (в этом случае они должны опираться на определение возраста). 421 14. Сравнение образовате льных достиж ений Определение состава группы учащихся Даже в случае, когда хорошее определение желательного состава целевой группы для сравнения уже сформулировано (например, «все ученики 5-х классов дневной формы обучения на 25 апреля в государственных и частных школах»), все же остается непонят- ным, что такое «все ученики». например, должны ли участвовать в исследовании такие ученики 5-х классов, как: ученики, живущие в самых отдаленных районах, к которым за- • труднен доступ, и затраты на тестирование могут быть очень высокими; группы национальных меньшинств, которые говорят на других • языках, чем большинство населения; ученики, которые учатся по другим учебным программам, чем • большинство населения (например, потому, что они обучаются в международных школах), а также дети с тяжелыми формами инвалидности, такими как умствен- • ная отсталость? обычно исключения допускаются, как правило, из-за высо- кой стоимости исследования. Тем не менее исключенное коли- чество учащихся не должно превышать 5% общего числа уче- ников. Для того чтобы получить группу определенного состава (т.е. желательный состав минус те, кто был исключен) требуется очень хороший специалист в области сравнительных исследова- ний в образовании, который знаком со сравниваемыми систе- мами. После того как группа определенного состава получена, в ней можно формировать, а можно и не формировать выбор- ки. в международном исследовании, проведенном под эгидой SACMEQ на сейшельских островах, не нужно было формировать выборку, потому что это маленькая страна, в которой исследова- тели могли относительно легко получить доступ ко всем детям. Таким образом, в данном случае исследователи протестирова- ли всех учащихся 6-х классов — около 1500 человек [Leste et al., 2005]. однако в большинстве случаев население велико, и про- тестировать всех слишком дорого. в этой ситуации используется выборка. Число учеников, которые войдут в выборку, зависит от стан- дартной погрешности выборки. в большинстве международных исследований обычно стремятся к тому, чтобы стандартная по- грешность выборки составляла 0,05 стандартного отклонения. в этом случае эквивалентная выборка будет состоять из как минимум 400 случайно выбранных учеников. Поскольку прак- Ис следование по сравните льному образованию: под ходы и методы 422 тически невозможно сделать простую случайную выборку из всех учащихся конкретного года обучения по всей стране, часто используется двухступенчатая выборка: первичной единицей выборки является школа, а на втором этапе отбора единицей выборки является ученик. Школы, как правило, выбираются с вероятностью, пропорциональной количеству учеников, зачис- ленных в тот класс, который является предметом изучения. в некоторых исследованиях тестировались целые классы, а в некоторых — использовалась случайная выборка учащихся из всей параллели. в первом случае можно провести более зна- чительный многовариантный анализ, однако здесь неизбежно недооценивается дисперсия в рамках всей школы. существует также проблема определения класса. Там, где все ученики цело- го класса изучают одни и те же предметы, ответ прост. но в не- которых странах учащиеся для обучения различным предметам группируются по-разному. на эти проблемы следует обратить внимание и договориться о согласованной процедуре. После того как данные собраны, записаны и очищены, воз- никает следующая проблема: недостаточное количество учени- ков (или школ) в одном или нескольких слоях, используемых в структуре выборки. Если такой недостаток имел место, то нужно внести исправления, используя объем выборки, чтобы скоррек- тировать диспропорции между слоями. рассчитываются кор- ректирующие коэффициенты и затем добавляются к общим данным. сравнЕнИЕ УровнЕЙ И равЕнсТва УсПЕваЕмосТИ Ученики в школах Большинство учителей (и многие родители) хотят знать сильные и слабые стороны учащихся в различных предметных областях. Так бывает всегда, независимо от того, является ли исследование национальным или международным. очень важно, чтобы ис- следователи дали свои комментарии учителям и школам. среди прочих преимуществ, это увеличит готовность школ к сотрудни- честву в будущем. Преподаватели также могут спросить: Каковы достижения моих учеников в конкретных областях ма- • тематики и естественных наук? Там, где были протестированы целые классы, можно предо- ставить школам информацию о полученных учениками баллах по отдельным предметам и об уровне их навыков по классам. однако это невозможно сделать в том случае, если в тестирова- нии была использована ротация. 423 14. Сравнение образовате льных достиж ений Пример комментария, который был дан классу по первым четырем учащимся, — в табл. 14.3. в этой таблице видно, что уче- ник 1 был лучшим по обоим предметам, а ученик 3 имел более высокий балл по математике, чем по чтению. Еще можно было бы сравнить этот класс с подобными классами в этой стране и со средними баллами классов в международном исследовании. |