Актуальные вопросы языкового тестирования. Издательство санктпетербургского университета
 Скачать 6.52 Mb.
|
|
GRE Subject Test (предметный тест, призванный оценить уровень знаний тестируемого в конкретной области, в которой он собирается специализироваться в аспирантуре (Test of Written English) — тест на письменный английский язык. Дает возможность тестируемым продемонстрировать способности в написании короткого эссе по-английски на заданную тему. Используется в дополнение к трем разделам TOEFL или самостоятельно (Test of Spoken English) — тест на английский разговорный язык. Некоторые университеты требуют сдачи TSE в качестве допол- 153 2.2. Тесты по английскому языку нения к результатам TOEFL. Процедура сдачи экзамена такова тестируемым в письменном и устном виде предлагаются вопросы на общие темы, а их устные ответы записываются на магнитофон для последующего их оценивания. TOEIC (Test of English for International Communication) ориентированна проверку знаний и умений по деловому английскому языку. Сертификат этого теста признается достаточным для бизнес- персонала, инженерных кадров, работников промышленных предприятий, торговли, обслуживающего персонала больниц, гостиниц, ресторанов, спортивных мероприятий и организаций, международных конференций при приеме на работу. Кроме того, этот тест квалифицирует медиков, имеющих иностранный диплом о высшем или среднем медицинском образовании, которые собираются учиться дальше или практиковать в США в области медицины. В США большое число выпускников школ сдают тесты SAT (Scholastic Aptitude Test). С 1994 г. различают SAT I (Reasoning test), который включает вербальный и математический разделы (Verbal and Mathematical sections) и определяет общие вербальные и математические способности тестируемых, независимо от выбранной ими специальности, и SAT II (Subject Test), который определяет уровень знаний в той конкретной области, в которой тестируемый собирается специализироваться, прогностический тест Симонд- са, был специально разработан для исследования проблемы перевода (Modern Language Aptitude Test), прогностический тест Джона Кэррола, создан в соавторстве со Стэндли Сэпоном с целью определения возможной степени успеха в освоении английского языка. В настоящее время MLAT является единственным широко используемым прогнозирующим тестом по иностранным языкам в мировой методике обучения, не считая теста Пимслера «Language Aptitude Battery», который еще не нашел такого широкого признания и применения, как MLAT. Большая работа по составлению и применению тестов ведется в Мичиганском университете, в Институте английского языка, где разрабатываются тесты типа Michigan Test of English Language Proficiency — теста, оценивающего знания, умения и навыки по английскому языку. Он включает три варианта — А, В и СВ Глава 2. Системы тестирования по иностранным языкам С), составленные идентично, равные по трудности, но различные по языковому наполнению. Каждый вариант теста (А, В, С) состоит из следующих частей письменное сочинение проверка понимания речи на слух проверка лексики и грамматики проверка чтения. Тест начинается с написания сочинения, для того чтобы дать возможность испытуемым собраться с мыслями, сосредоточиться на более привычном для них виде работы. Затем следуют остальные, перечисленные выше виды работы. Самый распространенный из вышеперечисленных экзаменов — тест по английскому языку как иностранному, TOEFL (Test of English as a Foreign Language). Сдают его студенты, для которых английский — неродной язык. Сертификат признается в 5 тыс. университетов и колледжей в более чем в 90 странах, в том числе в Японии, Франции, Швеции, Испании, Австралии, даже в Великобритании (где есть свои экзамены по английскому языку. Этот тест валиден, когда речь идет об учебе или стажировке на английском языке или когда знание английского языка необходимо для работы. Первоначально тест существовал в бумажном варианте (Paper- based TOEFL (PBT), в 1998 г. стал электронным (Computer-based TOEFL (CBT), ас осени 2005 г. появилась интернет-версия теста (TOEFL Для учебных заведений (организаций, участвующих в совместных обменных программах, продолжает использоваться бумажная версия PBT (Institutional Среди профессиональных тестов ETS предлагает серию PRAXIS для учителей-предметников по принципам обучения, коммуникативным навыкам на английском языке и специальным знаниям в области математики, химии, физики и других дисциплин. Таким образом, системы тестирования английского языка представлены чрезвычайно широко, проверяют как общие, таки специальные навыки и конкурируют между собой на международном рынке образовательных услуг. Ann Arbor (MI): The English Language Institute, University of Michi- gan, 1961; The University of Michigan Examination for the Certificate of Profi- ciency in English: Official Past Papers. Oxford: Oxford University Press, 1997. 8 Подробно эволюция этого теста описана в разделе 2.2.2. 155 2.2. Тесты по английскому языку. 50 ЛЕТ TOEFL: СМЕНА ПАРАДИГМЫ И ЕЕ ПОСЛЕДСТВИЯ В 2014 г. TOEFL (Test of English as a Foreign Language) исполнилось 50 лет. Еще несколько лет назад безо всякого преувеличения можно было говорить, что TOEFL — это самый авторитетный и востребованный тест на знание английского языка. Его успешная сдача являлась не только обязательным условием обучения в высших учебных заведениях США и ряда других странно часто служила конкурентным преимуществом при устройстве на работу в международные компании. Сейчас приходится признать, что это детище ETS безвозвратно проиграло в соперничестве с британским IELTS. IELTS (International English Language Testing System) появился на рынке языкового тестирования в 1989 г. и поначалу не пользовался особым спросом. В 1995 г. его сдавало всего 43 тыс. чел. Тем не менее свойственное британцам терпение дало свои плоды кг. число ежегодно сдающих IELTS выросло почтив рази достигло 1 млн чел. Через год их было 1,4 млн, через два — 1,7 млн, а в 2012 гуже более 2 млн 9 Совсем иная ситуация с TOEFL. По официальным данным ETS, в 2006 г. его сдавали более 800 тыс. кандидатов, а в 2013 г. — около миллиона. Таким образом, залет увеличение контингента сдающих составило менее 200 тыс. Единственное, чем осталось гордиться, это тем, что более 27 миллионов человек во всем мире сдали TOEFL, чтобы продемонстрировать свой уровень владения английским языком. Но это статистика за пятьдесят лет. А самое обидное для ETS, наверное, то, что результаты сдачи IELTS теперь принимают более 3 тыс. учебных заведений и организаций в самих Соединенных Штатах. Очевидно, что для такого массового дезертирства потребителей должны быть веские причины. Представляется, что главной 9 IELTS: сайт. URL: www.ielts.org/media_centre.aspx (дата обращения 15.10.2016). 10 Taking on TOEFL // Inside Higher Ed: сайт. URL: www.insidehighered.com/ news/2006/08/07/ielts (дата обращения 15.10.2016). 11 Test of English as a Foreign Language (TOEFL) // University of Cincinnati: AESS Testing Services: сайт. URL: http://www.uc.edu/testingservices/Tests_ Offered/toefl_info.html (дата обращения 15.10.2016). 12 About the TOEFL iBT® Test // ETS TOEFL: сайт. URL: www.ets.org/toefl/ibt/ about (дата обращения 15.10.2016). Глава 2. Системы тестирования по иностранным языкам из них является изменение идеологии и формата теста, имевшие место в 2005 г. Тестологически TOEFL образца 1964 г. представлял собой классический пример отборочного теста, определяющего нижний порог для зачисления в ту или иную группу или на тот или иной курс. Сам по себе балл, полученный при сдаче таких тестов, значения не имеет. Главное, чтобы он хоть на единицу был выше установленного порога. Так, в TOEFL-1964 550 баллов соответствовали уровню студента, 600 — аспиранта. Лица, получившие 551 балл и 599 баллов, все равно попадали в одну и туже категорию. Идеологически TOEFL образца 1964 г. представлял собой классический пример теста, ориентированного на проверку знания. Можно по-разному классифицировать учебные дисциплины, нос точки зрения тестирования, их условно можно разделить на предметы, ориентированные на знание фактов (knowledge or fact-oriented disciplines), и предметы, ориентированные на овладение навыками (command or habit-oriented Примером дисциплин первого типа является история. Здесь в учебной программе, и соответственно при оценке результатов обучения, главенствует знание фактов (дат, имен, названий, количественных показателей и т. п. Способность интерпретировать факты, давать собственный анализ причинно-следственных связей не оценивается. Отсюда вытекает и принцип построения таких тестов множественный выбор (multiple choice). Даже в тех случаях, когда сдающему предлагается ответить на вопросы к тексту, у него нет никакой возможности дать свою собственную интерпретацию событий правильным может быть только один ответа именно тот, который предусмотрен составителями теста. Кроме того, предметы, ориентированные на знание, предполагают обязательное владение значительным количеством специальных терминов. Обучение иностранным языкам относится к иному роду учебных дисциплин. Безусловно, и здесь знание фактов (вокабуляра и грамматических структур) является обязательным условием успешности процесса обучения. Однако оно само по себе не гарантирует правильного, те. соответствующего системе данного языка, использования языковых единиц при порождении речевых высказываний. Известно, что многие из тех, кто получал достаточно высокий балл, сдавая TOEFL 13 См Павловская И. Ю. Тестирование в учебном процессе С. 6. 157 2.2. Тесты по английскому языку образца 1964 г, испытывали трудности при практическом общении на английском языке. И уж совсем никакого значения не имеет здесь знание или незнание терминов, описывающих языковые факты, поскольку обучение иностранному языку и его изучение (языкознание) — вещи суть разные. Как убедительно показала дескриптивная лингвистика, научное описание какого-либо языка вообще не требует владения этим языком. С другой стороны, знание того, каким лингвистическим термином принято обозначать то или иное языковое явление, ничего не дает для использования его при порождении речи. Лингвистически TOEFL образца 1964 г. представлял собой классический пример сегрегированного теста, который оценивал языковые знания и языковые умения по отдельности. Тест состоял из четырех частей проверка понимания на слух (Listening comprehension), проверка знания лексики (Vocabulary), проверка знания морфологии и синтаксиса (Structure and Written Expression), проверка понимания письменного текста (Reading Но реальное использование языковых единиц при порождении речевых высказываний может осуществляться только благодаря тому, что языковые навыки существуют у пользователя в едином комплексе, интегрировано. Безусловно, иногда для практических целей вполне можно обойтись способностью понимать содержание письменного текста, не умея правильно произнести ни единого слова из этого текста. Читаю со словарем можно считать видом владения языком, но владения особого рода. К чему может привести попытка оценивать уровень владения языком (фр. langage), тестируя знание единиц языковой системы (фр. langue), наглядно иллюстрируется содержанием таких разделов старого, как Vocabulary и Structure and Written В первом испытуемым предлагалось 30 коротких предложений с одним подчеркнутым словом, к которому из четырех предлагаемых вариантов надо было выбрать слово или словосочетание, наилучшим образом передающее значение подчеркнутого слова». Сама по себе подобная методика проверки знания лексики вполне допустима. Другое дело, что словарный корпус этой части представлял собой странный конгломерат слов совершенно разной частотности и стилистической принадлежности. Вот несколько примеров из одного итого же теста. С одной стороны, проверяется знание значений слови Глава 2. Системы тестирования по иностранным языкам, the universally accepted system of writing used by blind persons, consists of sixty-three characters. A. catalog B. method C. committee D. punctuation Federica Von Stade has sung in opera houses throughout the United States and abroad. A. on the radio B. on recordings C. in private homes D. in other Ас другой — ascertain и preeminence, которые в толковых словарях сопровождаются пометкой formal. Biologists have ascertained that specialized cells convert chemical energy into mechanical energy. A. determined B. argued C. exempted D. hypothesized The preeminence of the newspapers as a daily source of information has been undermined as a result of the rapid expansion of the audiovisual media. A. promotion B. superiority C. rank D. Было бы понятно, если бы знание более редких, книжных слов оценивалось выше, чем знание слов повседневного обихода, но этого не было. Все они сточки зрения начисляемых баллов весили одинаково. Поскольку ETS не склонна раскрывать свои принципы составления тестов, приходится только гадать, как отбиралась лексика для этого раздела. Еще больший интерес с рассматриваемой точки зрения представляет собой раздел Structure and Written Expression. В нем имелось две части. Впервой испытуемым предлагалось 15 коротких предложений, в которых надо было заполнить пропуски. Это было классическое задание на подстановку, против которого, учитывая идеологию тогдашнего, вряд ли можно возражать. Но анализ значительного 159 2.2. Тесты по английскому языку количества реальных тестов показывает, что три из четырех предлагаемых для вставки варианта в 70–75 % случаев были абсолютно бессмысленны. Вот примеры опять же из одного итого же теста. The ancestors of the horse lived _____ and were about half a meter tall. B. ago 60 million years A. years ago 60 С. 60 million years ago D. million years ago 60 5. In 1978 the United States National Air and Space Administration se- lected Sally Ride the ____ first woman astronaut. A. who being B. to be C. and being D. was 11. The «confederation school» poets of nineteenth-century Canada were primarily nature poets, _____a wealth of eulogies to Canadian rural life. A. and producing B. С. who they produced D. whose production Можно только пожалеть составителей теста, которым приходилось так издеваться над своим родным языком. Нам бы тоже, наверное, было бы непросто сочинить нечто вроде, введенный в 1964 г, является _____ тестов на знание английского языка. одним авторитетным из наиболее. одним наиболее из авторитетных. из наиболее одних авторитетных. одним из наиболее авторитетных И в тоже время в тестах той поры с загадочной регулярностью появлялись предложения, предполагающие столь нехарактерную для английского языка синтаксическую инверсию, причем особой любовью составителей почему-то пользовалось словосочетание «not until». Not until 1948_______ its start as a full-scale broadcasting service in the United States. A. television got Глава 2. Системы тестирования по иностранным языкам. when television got C. that television did get D. did television И опять же никакой градации по балльному весу не предпо- лагалось. Из ориентации на знание языка, а не на владение им, естественно, вытекало еще одно следствие. Язык, представленный в лексической, грамматической и текстовой частях TOEFL-1964, был языком письменной нормы. Он не был тем языком, на котором люди говорят, а был языком, на котором им предписывается говорить. Однако выдержать ориентацию на норму во всех частях TOEFL-1964 по понятным причинам не удавалось. Нередко диалоги в Listening comprehension содержали такие формы и конструкции, которые трактовались как неправильные в грамматической части теста. Что же касается Reading Comprehension, то это была самая слабая часть теста. Для успешного ответа на вопросы в этой части ненужно было ни читать сами тексты, ни даже понимать, о чем они. Достаточно было просто владеть техникой поиска правильных ответов. Однако при всех указанных недостатках, связанных с упором на проверку знания, TOEFL-1964 в определенной степени позволял тестировать и владение языком. Это касалось, прежде всего, Listening comprehension и даже Reading comprehension. Ведь для того, чтобы отвечать на вопросы к тексту, не читая оный, необходимо было быстро и точно понимать сами вопросы. Важной особенностью TOEFL-1964 была ориентация на нормативный общеупотребительный язык. Диалоги и монологи в Listening comprehension касались ситуаций повседневной жизни, а тексты в Reading comprehension имели общеобразовательный характер. Поэтому в содержательном плане тестовые задания вполне соответствовали возможностям выпускников средней школы. Таким образом, TOEFL-1964 представлял собой пусть и небезупречный, но более-менее приемлемый языковой тест, что и обеспечивало ему популярность в течение нескольких десятилетий. В 1998 гон был переработан. Из теста исчезла лексическая часть (Vocabulary) как особый раздел. Проверка знания лексики была перенесена в Reading Comprehension и стала составной частью вопросов к текстам. Это имело два следствия. Во-первых, для того, чтобы включить задания на тестирование знания лексики, пришлось резко увеличить 161 2.2. Тесты по английскому языку длину текстов. Если в старом варианте использовались тексты, состоящие из 250–300 слов, то теперь они стали включать в себя 350– 450 слов. Во-вторых, для экзаменуемых ситуация дополнительно усложнилась тем, что теперь искомое слово часто выступало не в своем первичном значении, как это было раньше, а реализовывало вторичные и окказиональные значения. Действительным новшеством в TOEFL-1998 было введение такого задания, как написание эссе. Это был шаг на пути перехода от тестирования знания языка к тестированию порождающего аспекта речевой деятельности. Балльный вес Writing был равен весу Structure, что указывало на значимость, которую придавали этому виду речевой деятельности составители теста. Особый интерес представляет собой языковая ориентация TOEFL-1998. Здесь очевиден резкий крен в сторону его «академиза- ции». В Listening comprehension появились отрывки из лекций на различные, часто сложные научные темы, содержащие научные термины и обороты, свойственные научному стилю речи. Резко усложнились тексты они стали узкоспециальными, нередко перенасыщенными специфической терминологией. Наконец, хотя темы для эссе носили общей характер, предпочтение отдавалось сочинениям, написанным стилем, близким к академическому 14 Существенно увеличилась и продолжительность теста. Если в TOEFL-1964 на выполнение всех заданий отводился 1 час 50 мин, то теперь — от 2 ч. 35 мин. до 3 ч. 20 мин. Люфт в продолжительности был обусловлен тем, что теперь разделы Listening и Structure стали компьютерно-адаптивными (Такие разделы начинаются с вопросов средней сложности. По мере того, как сдающие отвечают на каждый вопрос, компьютер оценивает вопрос и использует эту информацию, чтобы определить, какой следует предложить следующим. До тех пор, пока кандидаты отвечают правильно, компьютер выдает вопросы более высокой или такой же сложности. Если же ответ неверный, то компьютер выдаст вопрос меньшей или равной сложности 15 Смысл нововведения заключался в том, чтобы устранить уравниловку в оценке заданий разной степени сложности, характерную 14 TOEFL Tips: Preparing Students for the Computer-Based TOEFL. S. l.: Educa- tional Testing Service, 1998. P. 23–25. 15 Ibid. P. 14. Глава 2. Системы тестирования по иностранным языкам для старого TOEFL, и сократить время сдачи теста тем, кто имеет более высокий уровень владения языком. Сложные вопросы оценивались выше, а потому отвечающий на них правильно быстрее набирал итоговую сумму баллов. На первый взгляд, идея вполне разумная, но только на первый взгляд. Подобный подход вполне применим при оценке знания лексики. Здесь критерием служит частотность слов. Иное дело грамматика. Как определить, какой вопрос более сложный, а какой менее Безусловно, склонение количественных числительных в русском языке является намного более сложной задачей, чем склонение существительных. Даже образованные носители этого языка не всегда могут сходу правильно прочитать фразу Фермер владел 6748 акрами земли». Это действительно сложно, но для кого Для русскоязычных. Но отсюда никак не следует, что те же затруднения будут обязательно испытывать иностранцы, которые учат русский язык. Вполне вероятно, что для них более сложными окажутся те особенности русского языка, которые нам кажутся естественными и простыми. Кроме того, следует учитывать, что любой тест на знание того или иного языка характеризуется дискриминацией по национальному признаку, поскольку предоставляет конкурентные преимущества носителям одних языков перед носителями других. Совершенно очевидно, что сдать тот же TOEFL шведу значительно проще, чем русскому или венгру. Английский и шведский — языки близкородственные, имеющие много общего в грамматике и лексике. Даже если слова со сходным значением произносятся по-разному, на письме они часто выглядят похоже. С другой стороны, сдача письменного теста на знание английского, как и любого другого языка, тексты которого фиксируются с помощью латиницы, создает дополнительные трудности для носителей языков, где используется иная система письменной фиксации. Так, для араба, чтобы работать с английскими текстами, необходимо не только перейти на чуждый алфавитно и научиться читать задом наперед. Соответственно, при сдаче письменных тестов представители разных наций находятся в неравном положении, а посему компьютерная аранжировка вопросов по степени их сложности не выглядит ни валидной, ни надежной. Следует отдать должное составителям они очень скоро отказались от компьютерно-адап- тивной системы 163 2.2. Тесты по английскому языку Оценивая TOEFL-1998 в целом, можно сказать, что он представлял собой языковой тест с явным уклоном в сторону академической тематики. Эта версия теста продержался всего 7 лет. В 2005 г. грянула революция был непросто переработан он получил совершенно новый формат. В значительной степени было покончено с ориентацией на проверку знания языка. Из теста был полностью исключен раздел, связанный с тестированием отвлеченного знания грамматических форм и конструкций. Другим революционным изменением, делавшим TOEFL iBT поистине уникальным, являлось тестирование речевых навыков сдающих онлайн, что стало возможным благодаря развитию информационных технологий. Речь экзаменуемого записывается и передается независимым асессорам, что резко повышает объективность оценки. Исключительно важным являлось введение многофокусных заданий, при выполнении которых тестируемый должен задействовать все или большинство из видов речевой деятельности. Например, сдающему предлагается текст по какой-то проблеме. Затем он прослушивает минутное сообщение по той же теме, но излагающее иную точку зрения на вопрос. Задание в письменной или устной форме дать краткое изложение прочитанной и прослушанной информации и сформулировать, чем отличаются представленные подходы. Это в чистом виде многофокусное тестирование всех речевых навыков, позволяющее преодолеть разрыв между реальной речевой деятельностью и параметрами оценки речевых навыков. Отказ от ориентации на знание закономерно привели к изменению языковой ориентации. Язык диалогов и лекций предельно приближен к реальной речи носителей языка совсем ее аграмматизмом, повторами, незаконченностью высказываний и т. п. Сохранились в тесте и однофокусные задания (independent tasks), тестирующие языковые навыки по отдельности. Вне всякого сомнения, Internet-based TOEFL, введенный в 2005 г, представлял собой прорыв в практике языкового тестирования и одновременно был блестящим маркетинговым ходом. Ведь именно все- редине нулевых годов Интернет распространился навесь мири вместе с сотовыми телефонами стал доступен каждому. Технологически TOEFL-2005 обогнал всех конкурентов, но тесто- логически тут же стали очевидны его недостатки Глава 2. Системы тестирования по иностранным языкам Во-первых, неоправданно возросла продолжительность самого теста и количество предлагаемых заданий. Сдача TOEFL iBT походит непрерывно в течение более 4 ч. (см. табл. Таблица Разделы теста TOEFL iBT |