Актуальные вопросы языкового тестирования. Издательство санктпетербургского университета
 Скачать 6.52 Mb.
|
|
1.1. СОВРЕМЕННЫЙ ПОНЯТИЙНЫЙ АППАРАТ ТЕСТОЛОГИИ И ЕГО ТЕРМИНОСИСТЕМА 1.1.1. О ЕДИНСТВЕ ПОНИМАНИЯ И ЭВОЛЮЦИИ ОСНОВНОГО ТЕСТОЛОГИЧЕСКОГО ТЕРМИНА — «ТЕСТ» В данном разделе находит освещение основная проблема тесто- логии — проблема определения теста 1 Слова тест, тестирование в речи преподавателей теперь можно слышать достаточно часто. Их употребляют, когда говорят о контрольных мероприятиях ими пользуются, когда описывают психологический или педагогический эксперимент тестами называют различные виды контрольных упражнений, которые зачастую при ближайшем рассмотрении ничего общего сними не имеют. Исторически тесты впервые появились в психологических исследованиях, и понятие тест иногда ассоциируется с психологической анкетой. Полисемия английского слова «test» (испытание, эксперимент, проверка) также вносит свою лепту в имеющуюся путаницу. В англоязычной литературе под тестом понимают и экзамен, и зачет, и любую другую учебную проверку. Российские же методисты предпочитают называть тестом только такое задание, где правильность ответа определяется по заранее подготовленному ключу и которое составлено так, что требует однозначного ответа. Таким образом, за термином тест закрепляется характеристика объективности, хотя не всегда в реальных случаях эта характеристика оправдывается. Отсутствие четкого определения педагогического теста играет в этом далеко не последнюю роль. Учитывая противоречивость и расплывчатость термина и понятия тест, рассмотрим, как же он трактуется в различных источниках 1 Павловская И. Ю, Башмакова НИ. Основы методологии обучения иностранным языкам Тестология: учебнике изд, перераб. и доп. СПб., 2007. С. 82–86. 13 1.1. Современный понятийный аппарат тестологии и его терминосистема По мнению одних, этимологически слово тест происходит из старофранцузского языка и обозначает небольшой сосуд из глины, который алхимики использовали для проведения опытов. В других источниках дается два значения «1) испытательная присяга, религиозная английская клятва, которую каждый вступающий в общественную должность должен давать, чтобы доказать, что он не тайный католик) плоский плавильный сосуд или сосуд из выщелоченной золы для выделения олова из золота или серебра» 3 Не следует забывать, что тесты впервые были применены в психологической науке много лет назад как инструмент для измерения определенных функций поведения человека. И все определения теста исходили из их психологической сущности. Так, например, одно из первых определений теста было дано около ста лет назад С. Г. Гел- лерштейном. Он определил тест как испытательный эксперимент, носящий характер определенного задания, которое стимулирует определенную форму активности и выполнение которого, поддаваясь количественной и качественной оценке, служит симптомом совершенства определенных функций. Легко заметить, что в этом определении произошло отождествление понятий эксперимент и тест. Вероятно, для психологии в таком уравнивании понятий заключен известный смысл, ибо зачастую весь психологический эксперимент может уложиться в рамки того или иного теста. Для методики преподавания иностранного языка подобное отождествление недопустимо здесь понятие эксперимент не покрывается понятием тест, так как первое является общим по отношению ко второму, более частному. Для методики преподавания иностранного языка тест — это одно из средств контроля и один из методов эксперимента. И. А. Рапопорт, Р. Сельг и И. Соттер предлагают следующее определение теста Тест — это самым тщательным образом подготовленная в соответствии с определенными разработанными правилами, прошедшая предварительную экспериментальную проверку и специ- 2 Пэнто Р, Гравитц М. Методы социальных наук / перс фр. М Прогресс, 1972. 3 Бурлачук Л. Ф. Словарь-справочник по психодиагностике. е изд, пере- раб. и доп. СПб.: Питер, 2007. С. 446 (со ссылкой на изд Русский энциклопедический словарь / издан И. Н. Березиным. СПб.: тип. т-ва Общественная польза, 1873–1879). 4 Геллерштейн С. Г. Прогностическая ценность тестов и связи с упражнениями Тесты (теория и практика. Сб. 2. МС Глава 1. Общие вопросы тестологии альную процедуру для ее улучшения, имеющая достаточные характеристики своей эффективности совокупность вопросов и заданий, предъявляемых испытуемому с целью квалиметрического выявления социальных, психологических и психофизиологических характеристик его личности, отличающаяся формализацией ответов испытуемых, выделением в них части, несущей наибольшую информационную нагрузку, что ускоряет, облегчает и объективизирует их последующий анализ, обработку и интерпретацию» 5 Это определение в отличие от предыдущих отражает последовательность этапов тестирования (планирование, составление, апробация. В тоже время оно имеет явную узкоспециализированную, психологическую направленность. Педагогическому же тесту нужна своя дефиниция. Э. А. Штульман определяет педагогический тест как контрольные задания, проводимые в равных для всех обучающихся условиях, длительность и характер которых строго соотнесены с объективными факторами (такими как общая цель обучения и конкретно данного теста, возрастные особенности обучающихся, характер изученного материала) и результаты выполнения которых поддаются количественной оценке, являясь показателем определенных итогов учебного процесса к моменту проведения данного теста 6 Без учета языковой специфики иностранного языка как предмета не представляется возможным сформулировать конкретное определение языкового теста. Для решения этой проблемы необходимо выделить частное направление в тестировании — лингводидак- тическое тестирование (language testing), которое находится на стыке двух важных областей с одной стороны, оно является областью методики преподавания иностранных языков, ас другой — относится к педагогическому (предметному) тестированию как части общей тестологии. Сущность этого направления раскрыта в книге «Линг- водидактическое тестирование В. А. Коккота. Автор вводит термин «лингводидактический тест и определяет его как подготовленный в соответствии с определенными требованиями комплекс заданий, прошедший предварительную апробацию с целью определения его 5 Рапопорт И. А, Сельг Р, Соттер И. Тесты в обучении иностранным языкам в средней школе (пособие для учителей. Таллин Валгус, 1987. С. 27. 6 Штульман Э. А. Тестирование при обучении английскому языку в неязы- ковых вузах. Воронеж, 1972. С. 8. 15 1.1. Современный понятийный аппарат тестологии и его терминосистема показателей качества и позволяющий выявить у тестируемых степень их языковой (лингвистической) и / или речевой (коммуникативной) компетенции, результаты которого поддаются определенной оценке по заранее установленным критериям. Под лингвистической компетенцией в отечественной науке, вслед за Н. Хомским, подразумевается способность понимать и продуцировать неограниченное число правильных в языковом отношении предложений с помощью усвоенных языковых знаков и правил их соединения, а под коммуникативной способность осуществлять речевую деятельность, реализуя коммуникативное речевое поведение на основе фонологических, лексико-грамматических, социолингвистических и страноведческих знаний и навыков с помощью умений, связанных с дискурсивной, иллокутивной и стратегической компетенцией, в соответствии с различными задачами и ситуациями общения. Первое есть часть второго (см. разд. Понятие «лингводидактический тест удачно соединяет в себе его педагогический, с одной стороны, и языковой — с другой, характер. Однако нельзя согласиться стем, что автор по существу приравнивает и подает понятия речевой и коммуникативной компетенции как синонимы. Итак, тестирование («testing») как термин встречается в литературе в узком смысле — в значении использования и проведения теста — ив широком — как совокупность процедурных этапов планирования, составления и апробации тестов, обработки и интерпретации их результатов. В нашем исследовании термин тестирование понимается и используется в широком смысле. Временная последовательность этапов тестирования представлена схемой (рис. 1) 10 7 Коккота В. А. Лингводидактическое тестирование. М Высшая школа, 1989. С. 8. 8 Азимов Э. Г, Щукин АН. Новый словарь методических терминов и понятий (теория и практика обучения языкам. М Икар, 2009. 448 с. URL: http://methodological_terms.academic.ru/ЯЗЫКОВАЯ_КОМПЕТЕНЦИЯ дата обращения 15.04.2017). 9 Зимняя И. А. Речевая деятельность и речевое поведение в обучении иностранному языку // Сб. науч. трудов МГПИИЯ им. М. Тореза. МС Коккота В. А. Указ. соч. С. 5. Глава 1. Общие вопросы тестологии I стадия — разработка предтеста Планирова- ние теста → Составле- ние пред- теста → Опробова- ние пред- теста → Обработка результатов предтеста → Интерпретация результатов предтекста II стадия — разработка окончательного теста Перепланирование предтеста → Составление и оформление окончательного теста → Подготовка спецификаций и инструкций к тесту стадия — применение теста Подготовка к применению теста → Проведение теста → Обработка результатов теста → Интерпретация результатов теста Рис. 1. Последовательность этапов тестирования. I–III стадии. На наш взгляд, схему необходимо дополнить IV стадией) регулярная статистическая обработка результатов проведения тестов со всеми группами тестируемых) лингвистическая, психологическая, лингвокультурная, социолингвистическая, техническая интерпретация успешности неуспешности прохождение теста) редактирование теста на основе сделанных выводов. Необходимо отметить, что хороший тест не может не меняться хотя бы разв года, так как постоянные изменения внешних факторов (политических, экономических, технических) приводят к тому, что тест морально устаревает, к тому же меняется и контингент испытуемых) Итак, характерными особенностями теста в отличие от других видов контроля мы будем считать его объективность, надежность, обеспечиваемую тщательной подготовкой тестовых материалов и анализом результатов тестирования, четкую направленность на контролируемый объект, удобство и компактность формы, экономичность повремени. Иначе говоря, тест — это точный инструмент измерения контролируемого процесса) Цикличность всех стадий разработки теста представлена в следующем разделе 17 1.1. Современный понятийный аппарат тестологии и его терминосистема 1.1.2. ТЕСТ КАК ИНСТРУМЕНТ ИЗМЕРЕНИЯ КАЧЕСТВА ОБРАЗОВАНИЯ В РОССИИ Чертой организации любой качественной услуги по стандартам ISO 11 является принятие решений на основании фактической информации. Данное требование вполне можно распространить на образование как одну из наиболее важных сфер жизни общества. Высшее образование в данном контексте является особенно важным, так как обеспечивает общество профессиональными кадрами. Спецификой высшего образования по направлениям Лингвистика и Преподавание иностранных языков является то, что фактически происходит самовоспроизводство профессиональной среды, те. подготовка преподавательских кадров начальной, средней и высшей школы 13 В этой связи возникает вопрос о том, обладает ли современное высшее образование по названным направлениям достаточным набором валидных инструментов стандартизированного и нестандарти- зированного контроля с целью получения фактической информации для принятия решений о присвоении выпускникам квалификации учителя или преподавателя иностранного языка. В опубликованных программах подготовки поданному направлению десяти ведущих российских вузов достаточно расплывчато описаны процедуры оце- нивания. В лучшем случае описан формат оценивания, однако критерии и шкалы оценивания, демо-версии экзаменов, статистика пилотирования и использования тестов, описание процедур подготовки экзаменаторов и рейтеров не предусмотрены нив одной из программ. Данная ситуация также не позволяет собирать информацию для измерения качества образования в России. Опросы социологов показывают отрицательную динамику общественного отношения к ка 11 ГОСТ Р ИСО 9000–2015: Системы менеджмента качества Основные положения и словарь с Поправкой. М Стандартинформ, 2015. URL: http:// protect.gost.ru/document1.aspx?control=31&baseC=6&page=10&month=10 &year=2016&search=&id=205275 (дата обращения 10.10.2016). 12 Шмерлина И. Качество высшего образования в России. 25.01.2007 // База данных ФОМ: сайт. URL: http://bd.fom.ru/report/map/d070421 (дата обращения Роль изучения иностранных языков в создании международных профессиональных сообществ программа и тезисы международной конференции, посвященной проблемам лингвистики, преподавания иностранного языка и культуры. Владивосток, 1–4 ноября 2012 г. Владивосток Изд. дом Дальневост. фед. унта, 2012. С. 85. Глава 1. Общие вопросы тестологии честву высшего образования (см. табл. 1; строка выделена автором раздела) 14 Таблица Как вам кажется, качество работы системы образования в России за последний год…? Варианты ответа 2006 2007 2008 2009 2010 2011 2012 Значительно улучшилось несколько улучшилось 20 22 23 10 12 11 11 Не изменилось 44 45 47 35 38 34 43 Несколько ухудшилось / значительно ухудшилось Затруднились ответить 13 14 10 26 21 18 14 Данные исследования отчетливо демонстрируют необходимость детальной оценки профессиональным сообществом качества образования в России, и сообщество учителей и преподавателей иностранного языка не должно оставаться в стороне. Необходимо разработать механизмы сбора информации о качестве образования, как в течение обучения, таки по его окончании. Цикл разработки теста Существует несколько моделей разработки тестов. Наиболее удобной в рамках нашего исследования представляется модель, предложенная в материалах проекта по развитию грамотности российских преподавателей в области оценивания «Tempus ProSET» (см. рис. Как следует из приведенной на рис. 2 схемы, любое тестирование начинается с необходимости принятия определенного решения. Таким решением может быть отбор для приема на обучение в вуз, 14 О качестве образования. 02.09.2013 // Левада-центр: Аналитический центр Юрия Левады: сайт. URL: http://www.levada.ru/02-09–2013/o- kachestve-obrazovaniya (дата обращения 16.05.2014). 15 Language Testing and Assessment Course: Course Materials: M1U2 Lecture. ppt // ProSet Projects Site: сайт URL: http://www.proset-tempus.net/mod/ folder/view.php%3Fid=46.html (дата обращения 20.04.2016). 19 1.1. Современный понятийный аппарат тестологии и его терминосистема присвоение квалификации, прием на определенную работу. Заказчики обращаются к разработчикам теста, которые определяют тестовый конструкт (те. то, что будет измерять данный тест, из каких он будет состоять частей или разделов, кем, как и по каким критериям будут оцениваться работы тестируемых, как будет представлена информация для принятия решения, — и фиксируют это в спецификации теста. После этого спецификация поступает разработчикам отдельных заданий (item writers). Они разрабатывают в соответствии со спецификацией несколько вариантов пилотной и основной версии теста. Параллельно идет работа по организации тестирования ответственные за проведение теста разрабатывают инструкции для тех, кто будет проводить данный тест (administrators / invigilators). Если в случае с валидностью теста основная ответственность лежит на разработчиках, то надежность теста во многом зависит от грамотной организации (подробнее о валидности и надежности см. в разделе 1.4.1). Именно учет всех деталей в письменных инструкциях и подготовка экзаменаторов обеспечивают равные условия для всех тестируемых, независимо от места проведения теста. Рис. 2. Цикл создания теста Глава 1. Общие вопросы тестологии Итоговыми являются два документа сама экзаменационная работа, а также отчет проводящего экзамен, в котором фиксируются все отклонения отправил проведения экзамена. Экзаменационная работа может быть отправлена на проверку в письменном виде, в виде аудиозаписи или в электронной форме. После этого начинается второй, ключевой для надежности и валидности теста процесс — оце- нивание работы. Для данного вида работы разработчики теста готовят шкалы и критерии оценивания, примеры работ каждого уровня, а также проводят тренинги всех оценивающих (которых еще называют «рейтерами», или «маркёрами»). Принципиально важно, чтобы не было существенных расхождений в оценке схожих работ разными проверяющими, для чего проводится специальная процедура разграничение уровней («bench marking»), чтобы каждый оценивающий четко понимал, какой результат соответствует каждому уровню шкалы. При этом в случае, если присутствуют элементы субъективного оценивания (например, при оценивании устной и письменной речи, проводится как минимум двойное оценивание, те. оценивание двумя разными экзаменаторами. Если между ними возникнет значительное расхождение в оценке, то работа направляется третьему (как правило, старшему) экзаменатору для принятия решения, и по каждому такому случаю ведется работа с маркёрами для обеспечения большей надежности оценивания. Финальным становится этап, когда результат экзамена попадает к тому, кто будет принимать решение на его основе. Результат может быть выражен как в баллах (например, в случае со вступительными экзаменами или ЕГЭ), таки набором оценок (например, в экзаменах IELTS и TOEFL), или, например, развернутым комментарием (например, рецензия на диплом или диссертацию. В любом случае важно дать максимально полный объем информации, чтобы принимающий решение имел достаточную фактическую базу. С другой стороны, достаточно часто принимающий решение хочет получать информацию в максимально сжатом виде (например, сумма баллов экзаменов). Важным звеном разработки любого теста являются присутствующие в рамках каждого этапа «валидаторы», которые постоянно контролируют валидность теста и могут отправить его на доработку на любой стадии (например, в случае, если конструкт теста не позволит принять решение, если формат теста не позволяет измерить кон- структ, или же пробелы в описании процедуры тестирования могут привести к неоднородности вовремя его проведения 21 1.1. Современный понятийный аппарат тестологии и его терминосистема Таким образом, создание качественного теста является длительными дорогостоящим процессом, включающим работу большого количества экспертов на разных стадиях. Кроме того, создание теста подразумевает создание целого ряда документов (спецификации, шкал и критериев оценивания, пилотной версии теста, демо-версии теста, инструкций для проводящих тест, инструкций для оценивающих и др. Данные документы не всегда могут находиться в открытом доступе, но они обязательно должны существовать и быть доступны для оценки. ПРОБЛЕМЫ ТЕРМИНОЛОГИЧЕСКОГО ЕДИНСТВА В ОБЛАСТИ ТЕСТИРОВАНИЯ ПО ИНОСТРАННЫМ ЯЗЫКАМ Из всех сфер лингводидактической терминологии сфера тестирования складывается наиболее динамично. Поэтому авторам представляется, что задачами настоящей книги и первой ее главы в частности являются следующие: а) проанализировать и синтезировать существующий отечественный и зарубежный опыт лингводидактического тестирования б) на основе этого анализа выработать разумные рекомендации; в) предоставить времени и языку самим произвести отбор наиболее жизнеспособных понятий, терминов и формулировок. Терминология лингводидактического тестирования содержит большое количество автономных терминов, характеризующих разные подходы, типологизации, классификации одних и тех же явлений с разных точек зрения, что порождает трудности как в понимании учеными друг друга, таки в преподавании тестологии как учебной дисциплины. Проблема терминологического единства не раз поднималась в докладах и дискуссиях на заседаниях секции тестологии Международной филологической конференции СПбГУ 16 , а также 16 Беляева Л. Н, Девель Л. А. Языковое тестирование Т. Макнамары // Материалы Международной филологической конференции. Вып. 19. Тестология / под ред. И. Ю. Павловской. СПб.: Филол. ф-т СПбГУ, 2004. С. 10–14; Солодилова ТЮ. Проблемы терминологического единства в области тестирования по иностранным языкам // Материалы XXXIV Международной филологической конференции. Вып. 24. Тестология / под ред. И. Ю. Павловской. СПб.: Филол. ф-т СПбГУ, 2005. С. 51–57; Гордеев Е. Н, Глава 1. Общие вопросы тестологии были осуществлены попытки создания тестологических словарей 17 Сам термин языковое тестирование может послужить знакомили свидетельством изменений в языковой картине мира тестирования. Термин «тестология» неизвестен в переводе на другие языки, однако имеет свое определение в русскоязычных публикациях «Тестология от англ. test — проба, греч. logos — знание) — междисциплинарная наука о создании качественных и научно обоснованных измерительных диагностических методик» 18 В целом можно отметить следующие этапы в развитии терминологии период изолированного использования английской терминологии в русском языке, несовпадение русской и английской лингвометодической терминологической базы во многих сферах деятельности, обусловленное различиями профессиональной практики, традиций и др период перевода — калькирования, приводящего к не очень удачным вариантам, как, например, тест языковых знаний пример из брошюры Британского Совета при описании IELTS); • современный этап — период появления русских эквивалентов, соответствующих зарубежным понятиям, когда слово и обозначаемое явление получили реальную почву в российской практике. Ерофеева И. Н, Нестерова ТЕ. и др. Кпроблеме развития тестологиче- ской терминосистемы // Материалы XXXV Международной филологической конференции. Вып. 25. Тестология / под ред. И. Ю. Павловской. СПб.: Филол. ф-т СПбГУ, 2006. С. 8–13. 17 См Балыхина Т. М. Словарь терминов и понятий тестологии. М Изд- во МГУП, 2000; Multilingual glossary of language testing terms // Studies in Language Testing. Cambridge, 1998. No. 6; Шмелев А. Г. Гипертекстовый словарь методических терминов // Human technologies = Лаборатория Гуманитарные технологии портал. URL: http://www.ht.ru/cms/dictionary/ dictionary (дата обращения 30.09.2016); Девель Л. А. Англо-русский практический учебный словарь языкового тестирования англо-русские соответствия, программа диагностирования и сертификации коммуникативной компетенции, литература, интернет-справочник. СПб.: Филол. ф-т СПбГУ, 2004. 18 Шмелев А. Г. Указ. соч 23 1.1. Современный понятийный аппарат тестологии и его терминосистема В связи стем, что основным языком межкультурного общения, в том числе и научного, является английский язык, мы считаем уместным провести параллели между традиционными российскими и англоязычными терминами, одновременно представив основные понятия тестологии. Очевидной является ведущая роль так называемых стран (Britain, Australasia, North America) в области языкового тестирования. В этих странах интенсивно проводятся исследования, развиваются различные технологии тестирования, что, несомненно, оказывает влияние на развитие языкового тестирования в нашей стране. Иногда происходит прямой перенос англоязычных терминов в отечественную методику. Это приводит к тому, что в области языкового тестирования существуют различные термины, которые определяют одно и тоже понятие и используются как эквиваленты. Кроме того, проблема оценки качества обучения, степени сфор- мированности иноязычной коммуникативной компетенции, уровня владения различными видами речевой деятельности настолько многогранна и многоаспектна, что это не могло не отразиться в многообразии тестологических терминов. В данном разделе нами предпринята попытка сопоставить некоторые основные понятия, которые наиболее часто встречаются в работах отечественных ученых в области тестологии и языкового тестирования с соответствующими терминами, которые используются различными зарубежными авторами, в частности британскими и американскими. В своей работе мы использовали анализ опыта тестирования, описанный в научной и методической литературе за последние два десятилетия. В современных условиях в отечественной методике для обозначения сложного и многообразного понятия контроль качества обучения используются термины оценка качества усвоения знаний, измерение знаний. Употребляются также термины отслеживание учебных достижений учащихся, диагностика, педагогические измерения учебных достижений, мониторинг, экспертиза, образовательная статистика, «квалиметрический мониторинг» 19 Термин контроль в широком смысле включает в себя надсмотр, проверку, оценку, измерение, управление. С помощью кон 19 См Ефремова Н. Ф. Современные тестовые технологии в образовании. М Ростов Изд. центр ДГТУ, 2001. Глава 1. Общие вопросы тестологии троля можно выявить достоинства и недостатки новых методов обучения, установить взаимосвязь между планируемым, реализуемыми достигнутым уровнем образования, сравнить работу различных преподавателей, оценить достижения учащегося и выявить пробелы в его знаниях, дать руководителю учебного заведения объективную информацию для принятия управленческих решений и выполнить ряд других задач. Контроль — это одновременно и сфера практической деятельности педагога, и объект теоретических исследований. Например, контроль речевых навыков и умений служит цели выявления уровня сформированности этих навыков и умений, определения характера протекания этого процесса, диагностики трудностей, проверки эффективности приемов и способов обучения 20 Термин оценка включает в себя не только конечный результат, но и процесс формирования оценки — оценивание. Педагогическая оценка иногда отождествляется с отметкой, которая является численным аналогом оценочных суждений. Термин отметка соответствует английским словам «mark» или В отличие от субъективных оценок и отметок измерение предполагает проведение объективного количественного сопоставления оцениваемого свойства ученика с некоторым эталоном, принятым в качестве единицы измерения. Задачи объективного оценивания и контроля решает «тестирование». Термины контроль, оценка, педагогические измерения соотносятся с английскими терминами «evaluation», «assessment», «testing», «measurement», которые во многих источниках часто используются как синонимы. Но, несмотря на схожесть, эти понятия имеют некоторые отличительные характеристики. Слово «evaluation» имеет словарное значение оценка, оценива- ние, определение качества, количества или пригодности, анализ. Термин трактуется Л. Бахманом как систематический сбор качественной, надежной и адекватной информации с целью принятия правильного решения. Эта информация необязательно должна быть 20 См Павловская И. Ю, Башмакова НИ. Указ. соч 21 См Челышкова М. Б. Теория и практика конструирования педагогических тестов учебное пособие. М Логос, 2002. 22 Bachman L. F. Fundamental Considerations in Language Testing. Oxford: Ox- ford University Press, 1990. 25 1.1. Современный понятийный аппарат тестологии и его терминосистема количественной, а поэтому необязательно включает в себя тестирование) или измерение (Термин «measurement» (измерение) означает процесс сбора количественной информации в соответствии с определенными процедурами и правилами. Поэтому «measurement» не всегда имеет функцию принятия решения, в отличие от Термин «testing» (тестирование, проверка) не во всех случаях подразумевает оценку, так как тестирование может использоваться для других педагогических целей, например, как средство мотивации к обучению или как средство повторения пройденного материала. В этих случаях тестирование не предполагает принятия оценочных решений на основе результатов тестов. Термин «assessment» употребляется наряду с термином «evaluation» в широком значении контроль, при этом на первое место выдвигается оценочная функция контроля. Понятие «evaluation» шире, чем понятия «assessment» и «testing». Часто употребляются производные термины (self-assessment, self-evaluation, peer-assessment, peer-evaluation, teacher assessment, oral Термин «language testing» соответствует термину «лингводидак- тическое тестирование, хотя употребляется также термин языковое тестирование в широком значении. Лингводидактическое тестирование занимается разработкой и использованием языковых и речевых тестов и является областью методики преподавания иностранных языков, с одной стороны, ас другой — относится к педагогическому предметному) тестированию как части общей тестологии 23 В зарубежной методике термин «test» употребляется для обозначения любого контроля в значении контрольная работа, опрос, зачет, экзамен (см. разд. 1.1.1.). Американские тестологи выделяют объективные тесты (objective tests) и субъективные тесты (subjective tests). В объективных тестах определение правильности ответа осуществляется механически, по заготовленному ключу, в субъективных основывается на мнении проверяющих. Объективные тесты могут быть стандартизированными (standardized tests). Стандартизированным называется тест, который прошел апробацию (trialling, trying out) на достаточно большом контингенте тестируемых (test- takers, testees) и который имеет стабильные и приемлемые показатели качества, а также спецификацию (test specification) — паспорт с норма 23 Коккота В. А. Указ. соч Глава 1. Общие вопросы тестологии ми, условиями и инструкциями для его многократного использования в разных условиях. Различают также традиционное тестирование (traditional testing) и альтернативные методы контроля и оценки (alternative assessment). К традиционным видам тестов можно отнести тесты, выполняемые на бумаге (paper-and-pencil language tests), и компьютерные тесты (computer based tests — СВТ, computer adaptive tests — CAT). В традиционном тестировании проверяется знание грамматики и лексики, атак- же понимание звучащей или письменной речи. В таких тестах присутствуют задания (test items) с фиксированным ответом (fixed response) или свободно-конструируемым ответом (free response). К альтернативным методам контроля можно отнести коммуникативные или речевые тесты (performance tests, performance base tests), в которых речевые навыки проверяются в процессе коммуникации. Это тесты говорения или письма, в которых образец устной или письменный речи тестируемого оценивает тестирующее лицо, рейтер (tester, rater). Альтернативные методы контроля могут также включать составление портфолио, аудио- или видеозапись устного выступления, интервью и т. д. Характерными особенностями теста в отличие от других видов контроля в отечественной методике считаются его объективность (ob- jectivity), валидность (validity), надежность (reliability), которые обеспечиваются тщательной подготовкой тестовых материалов и анализом результатов тестирования, четкой направленностью на контролируемый аспект, удобством и компактностью формы, экономичностью». В отечественных публикациях при рассмотрении влияния тестирования на учебный процесс и роли тестирования в преподавании иностранных языков условно выделяют различные функции тестирования, а именно контролирующую, оценочную, обучающую, информационную, управляющую, корректирующую, диагностическую, стимулирующую, учебно-организационную, развивающую, воспиты- вающую. В практике использования тестов эти функции обычно реализуются в единстве. Коккота считает, что основная роль тестирования в преподавании иностранных языков заключается в обратной связи в широком смысле) ив контроле (в узком смысле, и чем теснее взаимосвязаны тестирование и учебный процесс, тем эффективнее учебный процесс и качественнее тестирование 24 Там же. 27 1.1. Современный понятийный аппарат тестологии и его терминосистема Единство контролирующей и обучающей функций в англоязычной методике проявляется в тесной взаимосвязи тестирования (testing) и обучения (teaching). Тестирование (language testing), с одной стороны, служит целям исследования в области усвоения языка (language acquisition) и обучения языкам (language teaching), ас другой использует результаты этих исследований 25 Сложность вызывает понятие «direct testing» (прямое тестирование. Т. Макнамара определяет этот термин как подход к тестированию, который подчеркивает необходимость близкой симуляции критериального поведения (criterion), те. использования языка в реальной жизни при тестировании. В Интерактивном проекте отраслевого терминологического стандарта Центра тестирования приводится следующее определение Тестирование абсолютное — педагогическое тестирование, предназначенное для оценивания уровня подготовленности каждого испытуемого персонально (безотносительно к успехам других) в четко определенной области знаний» 27 Л. Н. Беляева и Л. А. Девель считают, что определения терминов «direct testing» и абсолютное тестирование совпадают, что позволяет приравнять их на уровне перевода 28 В англоязычной литературе при рассмотрении социальной роли и влияния тестов используют два терминологических словосочетания «ethical language testing» 29 и «critical language testing» 30 . Влияние тестирования на учебный процесс в англоязычной литературе определяется термином «washback / backwash effect». Это влияние может быть положительным, если при разработке тестов учитывают дидактические цели, задачи и опираются на содержание и приемы обучения, а может быть отрицательным, если существует разрыв между учебным процессом и тестированием. При рассмотрении эффекта тестирования за пределами аудитории, те. влияния тестирования на образовательный 25 Bachman L. F. Op. cit. 26 McNamara T. Language Testing. Oxford: Oxford University Press, 2000. 27 Отраслевой стандарт Педагогические тесты, термины и определения Министерство образования РФ. я редакция. М, 2001. URL: http:// bank.orenipk.ru/Text/t19_135.htm (дата обращения 20.06.2017). 28 Беляева Л. Н, Девель Л. А. Указ. соч 29 Hanson A. Testing testing: Social Consequences of the Examined Life. S. l.: Uni- versity of California Press, 1993. 30 Spolsky B. Measured Words: The Development of Objective Language Testing. Oxford: Oxford University Press, 1995. Глава 1. Общие вопросы тестологии процесс и на общество в целом, выделяют термин «test impact» 31 (см. разд. Основными характеристиками теста считаются надежность ива- лидность. Надежность теста (reliability) — это способность теста давать подобные результаты при его применении к одинаковым выборкам тестируемых, надежный тест характеризуется устойчивостью и точностью результатов тестирования. Теоретически надежность теста отражает идею точности измерений уровня подготовки заданиями теста. Оценка результатов надежного теста не зависит ни от времени и условий его проведения, ни от экспертов, осуществляющих контроль Значение надежности рассчитывается по коэффициентам корре- ляциимежду результатами двукратного тестирования одного итого же контингента испытуемых по эквивалентным вариантам тестов. На практике по ряду причин это используется редко. Иногда для определения надежности гомогенных тестов используется метод расщепления. Для этого тест разделяют на две эквивалентные половины, затем стандартным способом вычисляют коэффициент корреляции между результатами тестирования по двум половинкам теста (см. раздел Валидность теста (validity) — это его способность соответствовать поставленным задачам, она характеризует пригодность тестовых результатов для определенной цели. Валидность — это методологическая характеристика способности теста измерять то, для чего он создан Многие зарубежные и отечественные педагоги считают, что важнейшими сторонами этого показателя эффективности теста являются содержательная валидность (content validity), внешняя валидность (face validity), конструктная (конструктивная, концептуальная) валидность, сопоставительная (сопряженная, конкурентная) валидность (concurrent validity), прогностическая валидность (predictive / prognostic validity), диагностическая валидность (diagnostic validity) и валидность, связанная с последствиями применения тестам 31 См Messick S. Validity and washback in language testing // Language testing. 1996. No. 13; McNamara T. Language Testing. 32 См Аванесов В. С. Композиция тестовых заданий. е изд. М Адепт, 1998; Bachman L. F. Op. cit. 33 Аванесов В. С. Композиция тестовых заданий 29 1.1. Современный понятийный аппарат тестологии и его терминосистема (consequential validity)». Различные стороны, или типы, валидности являются, по существу, разными способами ее определения. Нельзя не упомянуть и разночтения при переводе некотоых имен собственных. Так, название экзаменационного центра при кембриджском университете, первоначально обозначавшегося как University of Cambridge Local Examination Syndicate (UCLES) и переводившегося на русский язык как Кембриджский экзаменационный синдикат, несколько разменялось, менялся и перевод. В настоящее время эта структура носит название Cambridge English Language Assessment, или просто Cambridge English, аббревиации не подвергается и плохо поддается точному переводу. В настоящем издании с целью устранения разночтений было принято, помимо английского оригинала, наименование Департамент экзаменов по английскому языку Кембриджского университета, встречающееся на официальном сайте данной орга- низации. 34 На представленных примерах терминологических эквивалентов видно, что их можно условно разделить натри категории. Одни термины имеют устоявшиеся в англо-русском переводе эквиваленты, например objective tests, standardized tests, validity, reliability. Другие термины переводятся рядом понятий, иногда близких по смыслу слов, понятных читателю, однако могущих вызвать разночтение (direct testing — абсолютное тестирование, прямое тестирование, различное понимание сути явления (construct validity — конструктная / конструктивная концептуальная валидность, concurrent validity — сопоставительная сопряженная / конкурентная валидность, а также представляющих различные точки зрения (некоторые авторы считают, что термины «predictive / prognostic validity» — прогностическая валидность и «diagnostic validity» — диагностическая валидность означают, по сути, одно и то же). К третьей группе можно отнести те термины, которые не имеют эквивалентов и переводятся при помощи описания (ethical language testing, critical language testing, washback / backwash effect, test impact, consequential Все затронутые в данном разделе понятия будут более подробно рассмотрены в следующих главах книги. Сказанное выше показывает настоятельную необходимость унификации терминов, разработки понятийного аппарата. В этом могут 34 URL: http://cambridgeenglish.org.ru/ (дата обращения 26.07.2017). Глава 1. Общие вопросы тестологии помочь специальные словари-справочники. Приведем некоторые примеры. В настоящее время в публикациях, в том числе на сайтах Интернета, уже есть попытки создания глоссариев терминов тестологии. Уже упоминавшийся Словарь терминов и понятий тестологии» (2000) представляет базисные понятия тестовой теории и практики, лингвистического тестирования. Автор словаря проф. Т. М. Балыхи- на произвела отбор наиболее употребительных специальных слови устойчивых терминологических словосочетаний и представила их семантизацию. Достоинством и отличительной особенностью данного словаря является то, что в нем наряду с простыми определениями терминов представлены также словарные статьи широкого информационного характера. В них содержатся краткие сведения об истории вопроса, называются авторы термина и исследователи, разрабатывавшие вопросы, связанные с определяемым понятием, а также информация о состоянии развития представляемого вопроса в России и за рубежом на современном этапе. В некоторых случаях приводятся примеры тестовых заданий, характеристики уровня и др. Все это позволяет назвать словарь Т. М. Балыхиной кратким пособием по введению в тестологию и тестирование. Несомненно, данная работа полезна для центров тестирования и преподавателей. Однако у этого словаря есть и недостатки единицы терминосистемы психодиагностики и математической статистики в словаре представлены недостаточно полно. Интересным опытом создания методического словаря является Гипертекстовый словарь методических терминов, созданный проф. А. Г. Шмелевым в 2004 г. и размещенный на портале «Human technologies» (www.ht.ru). Данный словарь содержит основные понятия из области психодиагностики и психометрии, некоторые общеп- сихологические термины. В словаре даются также авторские определения некоторых терминов и понятий из области тестологии. Всего в работе определяется 427 единиц, около 120 из них актуальны для исследователей-тестологов и тесторов-практиков. Несомненным достоинством данного издания является гипертекстовая модель представления материала. Словарь А. Г. Шмелева — словарь-справочник для тех, кому необходимо быстро установить содержание термина. Нов нем нет ни информации об истории появления термина, ни о работах создателей термина. Однако необходимо принять тот факт, что введение такой информации не являлось целью автора 31 1.1. Современный понятийный аппарат тестологии и его терминосистема «Англо-русский практический учебный словарь языкового тестирования) Л. А. Девель отличается адекватной подборкой словарных статей, широким охватом методических, тестологических и связанных сними терминов, содержит приложения в виде таблиц, в которых представлена информация, необходимая современному тестологу. Лаконичные словарные статьи содержат прямой однозначный перевод терминов и не включают их толкования, что продиктовано, по-видимому, учебным характером словаря. В тоже время этот перевод иногда дает лишь общее, а не специально-терминологическое значение слова. «Многоязычный глоссарий терминов оценивания и тестирования) был создан специалистами разных стран, входящих в Европейскую ассоциацию языкового тестирования (Association of Language Testers in Europe — ALTE). В процессе совместных дискуссий исследователи в области тестологии и практического тестирования пришли к выводу о том, что такой словарь даст им возможность быть уверенными в точности и корректности использования терминов в разных странах. В словарной статье глоссария содержатся очень краткое определение термина, его разъяснение со ссылкой на источник, где можно получить более подробную информацию. Несомненно, удобно то, что каждая словарная статья в словаре одного из языков содержит указание на номер соответствующей словарной статьи в словарях других языков, входящих в общий глоссарий. Однако узкая трактовка терминов четкость по замыслу создателей) является причиной смешения терминов. К этому приводит совпадение в семантизации разных слов (ср.: item task и др. Данный словарь — это словарь терминов тестологии для специалистов. Глоссарий содержит 442 термина, включает в себя термины тестологии, а также дидактики, статистики, психометрии и методики, используемые в исследованиях и практической работе тестологов. Итак, даже краткий анализ четырех словарей говорит о том, что исследовательская работа в области систематизации терминов тесто- логии и семантизации единиц терминосистемы в последние годы ведется очень активно. При этом не следует забывать, что правильное моделирование развития науки в будущем зависит оттого, насколько полно и адекватно мы представляем себе ее развитие в прошлом. Для этого обратимся к истории Глава 1. Общие вопросы тестологии |