Актуальные вопросы языкового тестирования. Издательство санктпетербургского университета
 Скачать 6.52 Mb.
|
|
8.4. ИСПОЛЬЗОВАНИЕ КОРПУСА В ЯЗЫКОВОМ ТЕСТИРОВАНИИ Лингвистическим корпусом называют совокупность текстов, собранных в соответствии с определёнными принципами, размеченных по определённому стандарту и обеспеченных специализированной поисковой системой 28 На сегодня существует большое количество корпусных ресурсов, которые могут быть интересны тестологу и полезны рядовому преподавателю иностранного языка. В числе созданных корпусов английской речи следует упомянуть представительные национальные дивер- сифицированные корпусы, охватывающие большое количество разных жанров и регистров, такие как Британский национальный корпус (БНК, British National Corpus — BNC, 100 млн словоупотреблений), пополняющийся Банк английского языка (БАЯ, Collins Birmigham University International Language Database — COBUILD, 200 млн сло- воупотреблений), Международный корпус английского языка (The International Corpus of English — ICE, каждый компонент корпуса, такой как ICE-GB — Британский компонент, состоит из 500 текстов в 2000 словоупотреблений, составляющий примерно 1 млн словоупо- треблений). Кроме того, созданы более специализированные корпусы или подкорпусы, отражающие письменную и устную академическую речь, бизнес-коммуникацию и др. Современные корпусные фонды включают в себя и множество более узких, специализированных корпусов Теория // Корпусная лингвистика / Ин-т лингвистич. исследований РАН сайт. URL: http://corpora.iling.spb.ru/theory.htm (дата обращения 20.10.2013). 605 8.4. Использование корпуса в языковом тестировании Поскольку ни один корпус не может служить всем целям сразу, создание на базе университетов специализированных методически организованных и профессионально-ориентированных языковых корпусов становится все более актуальной задачей. Корпус может быть создан преподавателем в методических целях для более детального анализа изучаемого дискурса, например профессионального 29 Примерами методически организованных корпусов могут служить корпус ЭРУК (экспериментальный регионоведческий учебный корпус, 1 млн 700 тыс. словоупотреблений, СПбГУТ) 30 , а также корпус, созданный коллективом Центра лингвистических исследований им. А. А. Худякова 31 , и другие прагматические корпусы текстов. Сравнительные исследования, например русского и английского языков, поиск межъязыковых соответствий могут проводится на корпусах параллельных текстов. Обзор существующих корпусов русского языка приводится в статье В. П. Захарова Корпусная лингвистика в России. Корпусная проблематика также освещается в материалах конференции Корпусная лингвистика, проводимой кафедрой математической лингвистики СПбГУ 34 Вместе стем в разработке учебных материалов и тестов широко используются корпусы ошибок обучаемых (Learner о. В числе 29 Braun S. Designing and exploiting small multimedia corpora for autonomous learning and teaching // Corpora in the Foreign Language Classroom: Select- ed papers from the Sixth International Conference on Teaching and Language Corpora (TaLC 6) / ed. by E. Hidalgo, L. Quereda, J. Santana. Amsterdam: Ro- dopi, 2007. С. 32–33. 30 Горина О. Г. Определение словарного запаса обучаемых с помощью корпуса Вестник ЛГУ им. АС. Пушкина. CПб., 2013. Т. 7. № 2. С. 201–209; Павловская И. Ю, Горина О. Г. Корпусно-когнитивные методы обучения лексической стороне речи на иностранном языке // Когнитивные исследования языка. 2015. № 22. С. 552–554. 31 Linguatorium: Smart Language System: сайт. URL: https://linguatorium.ru/ about.ru.html (дата обращения 20.10.2016). 32 Гвишиани Н. Б. 1) Практикум по корпусной лингвистике учебное пособие по английскому языку. М Высшая школа, 2008; 2) Гвишиани Н. Б. Введение в контрастивную лексикологию (Англо-русские межъязыковые соответствия. М Либроком, 2010. 33 Захаров В. П. Корпусная лингвистика в России. URL: http://www.academia. edu/Корпусная_лингвистика_в_России_Corpus_linguistics_in_Russia (дата обращения 20.10.2016). 34 См, например Труды международной конференции Корпусная лингвистика. СПб.: Филол. ф-т СПбГУ, 2015. 466 с Глава 8. Компьютерные и интернет-технологии в языковом тестировании релевантных в сфере тестирования следует также упомянуть корпусы аудиторного дискурса (Teacher Corpora), которые аккумулируют запись и расшифровку речи преподавателя вовремя занятия. На материалах таких корпусов исследуются особенности аудиторного дискурса, изучаются лингвистические инструменты преподавателя на занятиях. Данные используются в процессе обучения / стажировки преподавательских кадров. Таким образом, возрастает не только количество корпусных ресурсов, но и постоянно расширятся круг задач в сфере обучения иностранному языку, решаемых с помощью корпуса. Тестологи постепенно приходят к выводу о том, что корпус является ключевым инструментом в определении и уточнении уровня владения языком обеспечивает аутентичные примеры устной (спонтанной и подготовленной, письменной, профессиональной речи предоставляет возможности и инструменты анализа тестируемого типа дискурса. Д. Дуглас указывает, что не все компьютерные средства следует эксплуатировать в профессионально-ориентированном тестировании иностранного языка. По его мнению, созданные на компьютерной основе виртуальные профессиональные ситуации не обладают достаточной аутентичностью. В отношении применения корпуса Дуглас считает, что эти технологии имеют значительный потенциал в тестологии и разработчику теста будет несомненно полезен список ключевых слов, ключевых лексических единиц, их сочетаемости, предложений и структур, полученных на корпусе профессионального дискурса 36 Обработка корпусных примеров Самым очевидным использованием корпуса в тестировании является применение большой лингвистической иллюстративной базы корпуса для составления тестовых заданий. Здесь следует оговориться, что корпусные аутентичные речеупотребления не всегда являются приемлемыми и готовыми к использованию в тестах примерами. Дословные образцы аутентичной речи могут 35 O’Keeffe A., McCarthy M., Carter R. From Corpus to Classroom: language use and language teaching. Cambridge: Cambridge University Press, 2007. 36 Douglas D. Assessing language for Specific Purposes. Cambridge: Cambridge University Press, 2000. 607 8.4. Использование корпуса в языковом тестировании содержать слишком специфическую информацию (никому неизвестное название компании и др корпусный пример может быть слишком длинными уводить в сторону от тестируемого элемента лексики, грамматики и др иметь много включений (например, в устной речи фальстар- ты, смех, идиосинкразическое оформление пауз хезитации, одновременная речь двух говорящих и др, которые мешают тестируемому сосредоточиться на рассматриваемом явлении. Тестолог может разумно редактировать такие элементы при составлении теста 37 В связи с вышесказанным считается, что для достижения приемлемого уровня понимания тестовых предложений, взятых из корпуса, допускается некоторая обработка этих аутентичных примеров. Важным признается тот факт, что примеры при этом являются не искусственно придуманными, а остаются максимально приближенными к состоявшимся речеупотреблениям, являясь нарезкой аутентичной лингвистической реальности. Корпусные инструменты анализа и составления тестовых заданий К корпусным инструментам педагогически-ориентированного анализа в обучении с помощью баз данных (DDL) традиционно относится генерирование строк конкорданса, или строк сочетаемости, как показано на примере конкорданса корпуса ЭРУК. Пример конкорданса на слово «consequence». for foreign-born workers with high skills and / or higher incomes. This seems a logical consequence of the fact that high skills are the result of a process of specialization… The West itself is witnessing major social and economic change. And as a long-term consequence of the end of the Cold War and the demise of the Soviet Union…. in advertising, journalism, public relations and so on. This is no doubt a positive consequence of the rapid expansion of these new professions in Russian business… 37 Continuity and Innovation: Revising the Cambridge Proficiency… Глава 8. Компьютерные и интернет-технологии в языковом тестировании Основанная на корпусе информация, безусловно, крайне важна при обучении и при составлении тестовых заданий. Вместе стем конкорданс, состоящий из 1, 2 или 3 строк, может быть уже готовым тестовым заданием на заполнение пропуска и проверку коллокацион- ной компетенции обучаемого (например Заполните пропуски в трех фрагментах предложений одним словом. Для этого необходимо лишь изъять слово «consequence» из конкорданса. Конкорданс на слово / грамматическую конструкцию может также служить материалом для тестового задания на множественный выбор. В следующем примере даны аутентичные примеры конкорданса БНК, трансформированные в тестовое задание на грамматический компонент (сложный инфинитив) в конструкции модальный глагол в функции предположения. Поиск осуществлялся по комбинации «might have», которая была введена в поисковую строку БНК. Поиск осуществлялся по комбинации «might have», которая была введена в поисковую строку БНК. Пример. If you were told the circumstances you might have said well that’s okay, no problem. a. have said b. said c. be saying B. And didn’t it even once cross your mind that you might be doing harm? “No, how could it?” she justified. a. be doing b. have been done c. to have been doing Корпусная функция расширенный контекст поможет получить не только строку сочетаемости, но и несколько предложений, иллюстрирующих употребление слова, словосочетания, синтагматической цепочки. Составителю теста корпус может помочь в отборе полных предложений для заданий на трансформацию, на составление предложений по отдельным словам. Пример. There /something / stigma / being / unemployed Ответ There is something of a stigma attached to being an unemployed professional / There is something of a stigma in being an unemployed pro- Как видим, корпус также выступает как инструмент нормирования теста. По корпусным данным в допустимые ответы по тестовому заданию может быть включено 2 варианта предложений по заданным словам 609 8.4. Использование корпуса в языковом тестировании При отборе дистракторов для составления заданий на коллока- ции может использоваться функция корпусного поиска коллокаций. Эта функция основана на поиске коллокаций, которые могут находиться в окрестности 3–5 слов от изучаемого и автоматически выводятся на экран. Скопировав полученный список коллокаций, преподаватель тестор получает материал для упражнений и тестов на развитие тестирование коллокационной компетенции. Виды заданий с результатами корпусного поиска коллокаций включают сортировку, ранжирование, угадывание слова по его коллокатам, контексту и т. д. Кроме того, тестор может отбирать из списка те контексты (экономические, политические и др, которые релевантны для обучаемого. Слова, которые по корпусному поиску не вошли в список колло- катов или имеют значение показателя MI (по тестируемому типу дискурса, которым можно пренебречь, могут служить дистракторами. Следует принимать в расчет корпусный список коллокатов при составлении заданий на проверку сформированности коллокацион- ной компетенции. При отборе дистракторов, соответствующих по грамматическим показателям, следует проконсультироваться с таким списком и не включать слова, которые являются коллокатами прове- ряемого. Например, в следующих заданиях выбор и коллокатов, и дис- тракторов производился с опорой на корпус (corpora-informed choice): 1. Найдите лишний элемент (the) importance / impact / significance / indication. 2. Выберите наиболее подходящее слово government made strenuous efforts to upgrade the quality of the teaching profession. a. strong b. strengthening c. strenuous d. demanding 3. Расположите коллокаты слова по убыванию от наиболее вероятного к наименее вероятному good, reasonable, slim, little, fat, realistic, sporting, fifty-fifty, relishing, Полезной разновидностью корпусного исследования также является выделение с помощью функции поиска коллокаций лексико- грамматических единств, или чанков — лексической единицы в наиболее употребительном грамматическом окружении. Например, такие лексико-грамматические фрагменты лингвистической реальности, Глава 8. Компьютерные и интернет-технологии в языковом тестировании как «thanks to the efforts», «there is / was (huge / something of a) stigma attached to», «it takes a bit of getting used to», «I would suggest that», «there is some evidence to suggest that», «the results of this study suggest попадаются целым куском (чанком) в корпусе также часто, как и отдельные глаголы, существительные или другие, неслужебные единицы. Поэтому логичным кажется использование корпуса как для выявления таких единств, таки для отбора иллюстрирующих их предложений для тестовых заданий. Например, такие комплексы могут быть основой для разработки ключей в заданиях на трансформацию предложений. Задание. Составьте предложение, близкое по содержанию к данному, использовав слова в скобках in our country are very prejudiced against HIV-positive employ- ees. There is……………………………………………………[huge Использование ключевых слов в тестовых заданиях по аннотированию Ключевые слова могут использоваться в заданиях, связанных с компрессией текста. В числе лингвостатистических показателей, которые автоматически рассчитываются корпусным менеджером, существует функция подсчета ключевых слов. Статистически выявление ключевых слов основано на выполнении расчетов по критерию квадрат (хи-квадрат, chi-square), или тесту на логарифмическое правдоподобие (log-likelihood test) 38 . Если из текста отобрать те предложения, на которые имеется наибольшее число отсылок, те. содержащие ключевые слова, то получится адекватное краткое резюме текста. Таким образом, ключевые слова и их высокочастотные синонимы помогут тестору разобраться в содержании текста, уловить основную идею текста, выделить главные мысли и их дистрибуцию по тексту, выделить основные пункты, которые должны содержаться в аннотации тестируемого. Для оценки аннотации (summary) отбираются 6–8 основных идей текста, которые должны быть отражены тестируемым при ответе. За 38 Scott M., Tribble C. Textual Patterns: key words and corpus analysis in language education. Amsterdam; Philadelphia: John Benjamins, 2006 (Studies in Corpus Linguistics). 611 8.4. Использование корпуса в языковом тестировании каждый указанный пункт присваивается 1 балл. Если мысль / идея не была отражена в аннотации, балл не присваивается. Кроме того, должна оцениваться краткость изложения (3 балла) — аннотация не должна быть длиннее 90–100 слов. Вместе стем оценивается когезия уместное использование средств связи) текста, те. аннотация должна представлять собой связный законченный абзац / текст (4 балла. Также оцениваются лексическое разнообразие и грамматическая правильность баллов. Баллы, полученные тестируемым, суммируются, и рассчитывается процентный показатель. Если тестируемый набрал 6 баллов (из 8) за содержание, 2 балла (из 3) за краткость, 3 балла (из 4) за связность, 3 балла (из 3) за лексику и 2 балла (из 3) за грамматику, то такая аннотация оценивается в 16 баллов, что составляет 76 % из 100 % возможных и соответствует оценке Для тестируемых, находящихся на уровне ниже В, оценка за лексическое разнообразие не снижается, если правильно используются слова из текста. На уровне выше В оценка снижается, если тестируемый не использует синонимы выражений в тексте и опирается лишь на лексику текста (lifting from the text). Далее приводится фрагмент статьи М. A. Берди «What makes the Russians so Russian?» Задание. Используя средства когезии, составьте краткое содержание текста as a way of life It is also worth remembering that the vast Russian landmass about one fifth of all the land on earth is a barely defensible plain. There are few natural barriers to invasion from the West or the East, and over the ages Russia has been attacked from both directions. When not being attacked, the Russian Empire has gone to war against the nations surrounding it and incorporated their lands into their empire. The first significant invasion occurred in 1224. A Russian chronicler wrote: “For our sins, unknown tribes came. No one knows who they are, nor whence they came, nor what their faith is, but they call them Tatars.» These horsemen from the East called Tatars in Russia and Mongols in the West appeared like a bolt from the blue, pillaged and plun- dered, and then reigned over Russia for nearly 250 years. Over the centuries, Russia was attacked numerous times by the Mon- gol-Tartars, Lithuania and Poland, Sweden, France (the Patriotic War of 1812); and Germany in 1941 (known in Russia as the Great Patriotic War). Russia fought Great Britain and France in the Crimean War, in 1905 against Japan, and in World War I against Germany. Russia launched wars against Глава 8. Компьютерные и интернет-технологии в языковом тестировании, Sweden, and Turkey and annexed Central Asia and the Far East. Its territory expanded to eventually include Ukraine, Belarus, Estonia, Lithua- nia, Poland, Latvia, Crimea, the northern and southern Caucasus (including Georgia, Armenia and present-day Azerbaijan). The Soviet Union invaded Finland, regained the Baltic States and Eastern Poland, sent tanks into Hun- gary and Czechoslovakia, and started a war in Afghanistan. In about 800 years, through invasions, treaties, and annexations the tiny city-state of Moscow grew enormously to stretch eleven time zones, gaining territories, nations, new religions and vast natural wealth. But in the na- tional psyche, the devastation of the major incursions against Russia (the Mongol- Tartars, the Poles and Swedes, the French in 1812 and Germans in 1941) have overshadowed Russia’s own territorial expansion. Today it is not unusual to hear Russians assert that the country has “never invaded another land” or to invoke the specter of enemy encirclement. Certainly this is par- tially the result of political manipulation. But even in this age of terrorist attacks and nuclear weapons, when natural boundaries or even conventional armies provide little protection or deterrence, the sense of being a people of the plains, vulnerable to land attack, has remained a part of the Russian col- lective На основе ключевых слов тестор выбирает следующие пункты, по которым будет оцениваться адекватность передачи содержания текста landmass is a barely defensible plain; Few natural barriers to invasion from the west or the east; Over the ages Russia has been attacked from both directions; Unknown tribes came, they call them Tatars; Pillaged and plundered, and then reigned over Russia for nearly 250 years; In the national psyche the devastation has overshadowed Russia’s own territorial expansion; Russian empire has gone to war against the nations surrounding it; Conventional armies provide little protection or deterrence; The sense of being a people of the plains, vulnerable to land attack, is a р of the Russian collective В тестовое задание может быть также включен список вспомогательных выражений для аннотирования текста 39 Berdy M. A. What makes the Russians so Russian? // The Moscow Times: сайт. 2009. Apr. 28. URL: http://old.themoscowtimes.com/business/busi- ness_for_business/article/376636.html (дата обращения 20.10.2016). 613 8.4. Использование корпуса в языковом тестировании Применение лингвистических корпусов в методике составления тестов на сегодня признается состоявшимся фактом. Учебная литература, включая материалы тестов, со знаком «corpora-informed» занимает все более значимое место в общем потоке лингвометодических материалов. В отчете К. Уолтер еще в 1999 г. были высказаны самые оптимистичные оценки использования корпусных ресурсов английского языка в составлении тестов и разработке критериев оценки 40 Пришло время реализовать эти возможности ив российской методике обучения 40 Continuity and Innovation: Revising the Cambridge Proficiency… Глава ОСОБЕННОСТИ ЯЗЫКОВОГО ТЕСТИРОВАНИЯ УЧАЩИХСЯ СРЕДНЕЙ ШКОЛЫ. ВЛИЯНИЕ ЯЗЫКОВЫХ И КОГНИТИВНЫХ ФАКТОРОВ НА ФОРМИРОВАНИЕ УМЕНИЙ В ЧТЕНИИ НА ФИНСКОМ ЯЗЫКЕ ИВ ФИНСКОЙ ПИСЬМЕННОЙ РЕЧИ У РУССКО-ФИНСКИХ ШКОЛЬНИКОВ Исследование факторов, влияющих на формирование умений в чтении на финском языке ив финской письменной речи у русско- финских школьников, выполнено в рамках проекта Диагностика чтения и письма на втором или иностранном языке (Diagnosing reading and writing in a second or foreign language — DIALUKI). Анализируются результаты лингвокогнитивного тестирования 183 русско-финских школьников-билингвов. Входе экспериментов было установлено, что и когнитивные и языковые предикторы дают возможность объяснить механизмы формирования умений в чтении и письменной речи на финском языке, являющемся для испытуемых вторым языком. Поскольку полученные результаты отличаются от результатов тестирования второй группы информантов (финских школьников, изучающих английский язык, можно сделать вывод о необходимости продолжить исследование с учетом фоновой информации об учащихся и их родителях, включив анализ анкет, позволяющих установить уровень мотивации к изучению финского языка. Вводные замечания В данном разделе представлены первые результаты проекта DIALUKI, цель которого — диагностика уровня сформированности умений в чтении и письмена родном и на втором (иностранном) языке. Проект финансируется Академией Финляндии, Университетом г. Ювяскюля и Советом экономических и социальных исследований, Великобритания (Economic and Social Research Council — ESRC). 1 См. подробнее о проекте DIALUKI // Jyväskylän Yliopisto = Universi- ty of Jyväskylä: сайт. URL: http://www.jyu.fi/dialuki (дата обращения 20.10.2016). 615 9.1. Влияние языковых и когнитивных факторов на формирование умений Одной из задач проекта DIALUKI является установление факторов, способствующих развитию умений в письменной речи ив чтении на втором (иностранном) языке, с помощью различных когнитивных и психолингвистических тестов. Кроме того, входе исследования решается проблема оптимального использования диагностического ин- струментария. Для реализации проекта необходимо провести 3 эксперимента, которые включают в себя задания разного типа, изначально предназначенные для оценки уровня сформированности умений в чтении и письмена родном языке, номы применили эти тестовые задания для школьников, изучающих второй (иностранный) язык. Таким образом, можно выяснить, подходят ли они для оценки уровня владения вторым (иностранным) языком. Первый эксперимент является межгрупповым исследованием, цель которого — отбор диагностических тестов для оценки уровня владения вторым (иностранным) языком. Важно было отобрать только те тесты, которые могли бы быть пригодными для последующих экспериментов (см. ниже. Планируется, что второй эксперимент будет педагогическим, относящимся к типу интервенции, который может быть проведен, например, с помощью компьютерной игры. Входе третьего эксперимента, довольно продолжительного повремени, предполагается установить, каким образом у школьников развиваются умения в чтении и письме. Все эксперименты должны помочь выявить новые возможности диагностического инструментария, а также тех стратегий, которые могут использоваться при изучении второго (иностранного) языка. Диагностические инструменты и процедуры необходимы для оценки степени устойчивости и прочности языковых навыков у учащихся, для определения темпа изучения иностранных языков, уровня владения ими и последовательности их изучения, а также для установления максимального уровня знания иностранного языка, которого можно достичь в реальных условиях. Информантами являются финскоязычные школьники, изучающие английский как иностранный, и русскоязычные школьники, изучающие в Финляндии финский как второй язык. Группа русскоязычных исследуемых гетерогенна. В нее входят не только школьники, только что переехавшие в страну, но и те, кто проживает в Финляндии уже долгое время или всю жизнь и один из его родителей — русскоговорящий. Таким образом, уровень владения финским языком Глава 9. Особенности языкового тестирования учащихся средней школы у второй группы информантов неодинаков от начального до уровня носителя языка. Теоретические проблемы В настоящее время проводится анализ данных первого эксперимента, в котором участвовали две группы информантов. Первая группа это школьники, у которых финский язык — родной, а английский иностранный (n = 637). Вторая группа — около 270 школьников с го пой классу которых русский язык — родной, афинский второй язык. В данном разделе нас интересуют результаты тестирования школьников младших классов (n = 183) второй группы информантов. Информанты, принявшие участие в первом эксперименте, являются учащимися 108 школ из разных регионов Финляндии. Главная цель этого эксперимента — выяснить, какие факторы (например, память, словарный запас) способствуют или препятствуют формированию умений в чтении и письме у индивида, изучающего иностранный язык. В нашем случае под диагностикой понимается установление или объяснение сильных и слабых сторон языковой компетенции учащихся и методики обучения неродному языку. Как правило, центром внимания исследователей становятся проблемы методики преподавания иностранных языков. По сравнению с исследованиями процесса усвоения родного языка, имеется слишком мало информации об овладении иностранным языком, его преподавании и оценке качества преподавания. Диагностика требует более глубокого понимания механизмов формирования языковых навыков, что способствует развитию теории обучения и совершенствованию приемов, обеспечивающих их использование при коммуникации 2 Во многих работах уже доказано, что когнитивные способности тесно связаны с умениями в чтении народном языке ив письменной 2 См, например Alderson J. C. Reading in a foreign language: A reading prob- lem or a language problem? // Reading in a Foreign Language / ed. by J. C. Al- derson, A. G. Urquhart. London: Longman, 1984. P. 1–24; Alderson J. C., Huh- ta A. Can research into the diagnostic testing of reading contribute to SLA research? // EUROSLA Yearbook 11 / ed. by L. Roberts, G. Pallotti, C. Bettoni. Amsterdam ; Philadelphia: John Benjamins, 2011. P. 30–52. 3 Bowey J. A. Predicting individual differences in learning to read // Science of Reading: A Handbook / ed. by M. Snowling, C. Hulme. Malden (MA): Black- well, 2005. P. 155–172; Gathercole S. E. Is nonword repetition a test of phonolog- 617 9.1. Влияние языковых и когнитивных факторов на формирование умений речи. Несмотря на это, до сих пор недостаточно изучена связь между когнитивными способностями обучаемых и их умением читать и писать на втором (иностранном) языке. Поэтому обратимся к исследованиям, посвященным проблемам овладения родным языком. Какие психологические процессы происходят вовремя чтения ив чем их особенность Во-первых, осуществляется быстрое и автоматическое распознавание слов. Во-вторых, многие процессы разных уровней происходят одновременно орфографические, фонологические, семантические, морфологические, синтаксические, контек- стуальные. В-третьих, кратковременная память играет важную роль в процессах нижнего (базового) уровня декодирования письменного текста. Кроме того, она же поддерживает фонологические, орфографические и морфологические процессы, сохраняет и группирует активную лексику, помогает семантическими синтаксическим процессам фразового уровня, вытесняя нерелевантную информацию. Кратковременная память является как бы фонологическими визуальным рабочим столом для реципиента 6 Перейдем к процессам чтения высшего уровня, создающим модель, с помощью которой текст воспринимается как целое. Эта модель необходима для обработки смыслов на более высоком уровне, чем на словесном и фразовом. В отличие от процессов нижнего уровня ical memory or long-term knowledge?: It all depends on the nonwords // Mem- ory & Cognition. 1995. Vol. 23(1). P. 83–94; Gathercole S. E., Baddeley A. D. Evaluation of the role of phonological STM in the development of vocabulary in children: A longitudinal study // Journal of Memory and Language. 1989. Vol. 28. P. 200–213. 4 Bourdin B., Fayol M. Is written language production more difficult than oral language production?: A working memory approach // International Jour- nal of Psychology. 1999. Vol. 29. P. 591–620; Fayol M. From on-line manage- ment problems to strategies in written composition // The cognitive demands of writing: Processing capacity and working memory in text production / ed. by M. Torrance, G. C. Jeffery. Amsterdam: Amsterdam University Press, 1999. P. 13–23; Kellogg R. D. Components of working memory in text production // Ibid. P. 43–61; Vanderberg R., Swanson H. L. Which components of working memory are important in the writing process? // Reading and Writing: An in- terdisciplinary Journal. 2007. Vol. 20. P. 721–752. 5 Grabe W. Reading in a second language: Moving from theory to practise. Cam- bridge: Cambridge University Press, 2009. 6 Baddeley A. Working memory: looking back and looking forward // Nature Re- views Neuroscience. 2003. Vol. 4. P. 829–839; Grabe W. Op. cit. Глава 9. Особенности языкового тестирования учащихся средней школы например, распознавания слов, регулирование процессов высшего уровня происходит сознательно например, индивид сам определяет степень детальности чтения, выделяет важные для него информационные блоки и т. д. Несколько слово главных компонентах процессов чтения высшего уровня. Это группа навыков техники чтения и ресурсов, используемых кратковременной памятью. К ним относятся стратегии чтения, цели, фоновые знания, мониторинг понимания. Благодаря модели понимания читатель пытается осознать, что автор текста хотел сказать, ас помощью модели толкования читатель пробует интерпретировать текст, учитывая контекст, ситуацию и цель чтения 7 Помимо когнитивных и психолингвистических факторов нас, безусловно, интересуют и лингвистические факторы, влияющие на эффективность чтения и письма. Лингвистическими факторами являются словарный запас, умение записывать и сегментировать текст. Все они связаны с чтением, потому что обучение языку, как правило, осуществляется на основе чтения. Так, хорошее владение орфографией и словарный запас важны для чтения и письма и народном, и на изучаемом языках. При чтении иноязычного текста даже учащиеся продвинутого этапа обучения встречаются с незнакомыми словами. Создавая письменные тексты на изучаемом языке, обучаемые не могут выражать свои мысли точно также, как они сделали бы это народном языке 8 Испытуемые, материал и методика проведения эксперимента Материалом исследования послужил ряд тестов, выполненных русско-финскими школьниками младших классов (8–15 лет, n = 183). Средний возраст испытуемых — 11 лет, 53 % девочки и 47 % мальчики. При анкетировании 66 % информантов отметили, что их родной язык — русский, 19 % испытуемых считают, что у них два родных языка финский и русский 11 % назвали родным финский языки другой / другие языки. Анкеты для родителей школьников и анкеты для школьников использовались для получения дополнительной ин- 7 Kintsch W., Rawson K. A. Comprehension // Science of Reading: A Handbook. P. 209–226; Paris S. P., Hamilton E. E. The development of children’s reading comprehension // Handbook of research in reading comprehension / ed. by S. E. Israel, G. G. Duffy. New York: Routledge, 2009. P. 32–53. 8 См, например Read J. Assessing Vocabulary. Cambridge: Cambridge Univer- sity Press, 2000. 619 9.1. Влияние языковых и когнитивных факторов на формирование умений формации об испытуемых. Кроме того, была предложена анкета по исследованию мотивации изучения второго (иностранного) языка. В данном разделе мы сосредоточили внимание только на тестах, использованных в первом эксперименте (см. выше. Прежде несколько слово языковых тестах, которые выполнялись в письменной форме (на бумажном носителе) в небольших группах испытуемых в аудиторное время. Это были тесты почтению, письму и лексике, а также диктант и задание на сегментацию народном (русском) и на втором финском) языках. Языковые тесты соответствуют шкале европейских стандартов (уровни СВ большинстве случаев частично были использованы уже существующие языковые тесты, например, тесты почтению для русскоязычных школьников начальных классов международного проекта Исследование качества чтения и понимания текста (Progress in International Reading Literacy Study — PIRLS, 2006 г. На основе национального теста по финскому языку для взрослых (YKI) авторы данного раздела разработали в рамках проекта тесты почтению на финском языке, поскольку таких тестов не существовало. Мы использовали задания по письму из проекта TOPLING 10 (разработаны в Университете г. Ювяскюля) а также диктанты и задания по сегментации, которые мы также создали сами. Учащиеся должны были по выбору написать текст на русском языке на тему либо Нет мобильникам в школе, либо Родители могут решать, как детям использовать Интернет. Одни ученики начального этапа писали на финском языке письмо финскому другу, а другие — рассказ о каком- нибудь замечательном, страшном или смешном случае. Три тестора оценивали задания, направленные на проверку уровня сформированности умений в письменной речи, по шкале Общеевропейских компетенций владения иностранным языком. Для получения более объективных данных каждая письменная работа оценивалась с помощью программы FACETS, которая используется для статистической обработки с целью установления достоверности по 9 Общеевропейские компетенции владения иностранным языком 10 См. подробнее о проекте Topling — Toisen kielen oppimisen polut // Jyväsky- län Yliopisto = University of Jyväskylä: сайт. URL: http://www.jyu.fi/topling; https://www.jyu.fi/hum/laitokset/kielet/tutkimus/hankkeet/paattyneet-hank- keet/topling (дата обращения 20.10.2016). Глава 9. Особенности языкового тестирования учащихся средней школы ставленных тесторами оценок и на основе анализа ставит окончательную оценку 11 Тест для определения словарного запаса финских слов был взят из компьютерного теста DIALANG. Материал задания — список финских глаголов и квазислов, похожих на финские глаголы. В матрице нужно было только отметить, знает ли испытуемый значение данного слова. Тест для определения запаса русских слов аналогичен, но поскольку русской версии DIALANG нет, мы создали этот тест сами. Задание на сегментацию (определение границ слов в тексте, где отсутствуют пробелы и знаки препинания) и диктант (запись прослушанного текста) были разработаны на русском и финском языках. Перейдем к психолингвистическим тестам. Психолингвистическое тестирование проводилось индивидуально с помощью компьютерной программы Cognitive Workshop (CW). Данная программа была разработана для проекта «Лонгитиюдное исследование типов дис- лексии унта Ювяскюля» («Jyväskylä Longitudinal Study of Dyslexia»), номы могли использовать некоторые из ее тестов. Программа позволяет предъявлять стимулы (через наушники или на экране) и записывать ответы испытуемых. Тестирование учеников младших классов на ноутбуке заняло около 45–60 мин. на каждого. При тестировании использовались следующие задания на русском и финском языках. Обратный счет (Digit Span) предназначен для измерения объема кратковременной памяти. Нужно было запомнить и произнести в обратной последовательности произвольно выданные числа русские числительные от 1 до 9, распределенные на 7 уровнях, и финские числительные от 1 дона уровнях. Так, испытуемый, услышав стимул, должен был сказать «5, 2». Если учащийся ошибался дважды на одном уровне, то тестирование прекращалось. При выполнении заданий, включающих квазислова, например задания на снятие фонемы (Phoneme deletion), испытуемые прослушивали стимул и затем повторяли его вслух. После этого учащийся должен был повторить слово еще разно без какого-то одного сегмента Скажи бяр. Теперь скажи бяр без первого согласного. В тесте на русском языке было 12 стимулов, в тесте на финском — 8. В задании повтор квазислов (Non-word repetition) необходимо было вслух повторить услышанное слово (10 стимулов 11 Linacre J. M. Facets computer program for many-facet Rasch measurement, version 3.65. Beaverton (OR): Winsteps.com, 2009. 621 9.1. Влияние языковых и когнитивных факторов на формирование умений Некоторые задания направлены на измерение скорости и правильности чтения, например быстрое механическое называние (Rap- idly Alternating Stimulus — RAS). В этом задании были представлены в произвольном виде буквы, цифры и цвета (в тесте на русском языке стимулов) или буквы, предметы и цвета (в тесте на финском языке — 30 стимулов. Испытуемому нужно было воспроизвести стимулы как можно точнее и быстрее. В задании чтение вслух списка слов (Word list reading), состоящем из 105 стимулов, ученик должен был за 1 мин. прочитать быстро и правильно столько слов, сколько успеет. В задании на быстрое распознавание слов (Rapidly presented words) испытуемому нужно было распознать и запомнить слово, которое появлялось на экране только на 80 мс. В тесте на русском языке объем задания составил 14 слов (количество букв в словах — 2–7), а в тесте на финском языке — 8 слов (количество букв в словах — Выполнялись и задания только на русском языке чтение вслух квазислов (Non-word от двухсложных до четырехсложных слов,предъявленных в графическом виде на экране (10 стимулов, диктант из квазислов (Non-word spelling, 12 стимулов) и задание на определение общей части (Common unit, 10 стимулов, в котором учащийся прослушивал пары квазислов, а затем называл одинаковые сегменты например, «симор — сетул» (общая часть — с Результаты Результаты когнитивного тестирования оценивались по обычным параметрам например, в некоторых заданиях не принималась во внимание скорость, а объектом контроля являлась только точность, в других же заданиях оценке подлежали и скорость, и точность. Выполнение языковых тестов оценивалось либо, исходя из правильности ответа, либо по шкалам европейских стандартов. При анализе полученных данных важно было определить, какие факторы влияют на формирование умений в чтении ив письмена изучаемом языке. В табл. 55 показаны результаты пошагового регрессионного анализа с использованием языковых предикторов. Таким образом были проанализированы переменные, позволяющие наиболее точно предсказать ошибки в чтении ив письмена изучаемом финском) языке. Анализ произведен на основе корреляции, что дает возможность объяснить расхождения в результатах. Были найдены 3 предиктора для чтения на финском языке и 2 для письма на финском языке. Диктант (запись финских слов, чтение на русском языке Глава 9. Особенности языкового тестирования учащихся средней школы и письмо на финском языке предсказали всего 50,7 % вариаций в результатах чтения на финском языке. Диктант и чтение на финском языке спрогнозировали 48,2 % вариаций в результатах чтения на финском языке. Наиболее важным языковым предиктором для чтения и письма является диктант на финском языке. Наибольший процент объясняется тем, что языковые предикторы должны объяснять прежде всего языковые навыки. Таблица Результаты пошагового регрессионного анализа с языковыми предикторами Зависимая переменная Вариации, объясняемые предикторами, % Предикторы Корреляция между предиктором и зависимой переменной Чтение на финском языке) 50,7 Диктант (финские слова) 0,680* Чтение (на русском языке) 0,290* Письмо (на финском языке) 0,577* Письмо на финском языке) 48,2 Диктант (финские слова) 0,684* Чтение (на финском языке = Значимая на уровне 0,000 или ниже. Результаты пошагового регрессионного анализа с использованием когнитивных предикторов показаны в табл. 56. Когнитивные предикторы тоже достаточно хорошо объясняют результаты чтения и письма на финском языке. Согласно модели, данные 4 предиктора предсказывают 41,0 % вариаций в результатах почтению. Три преди- ктора предсказывают 47,9 % вариаций в результатах по письму. Общими когнитивными предикторами для чтения и письма являются чтение вслух списка финских слови снятие фонемы на финском языке. Задание на чтение вслух списка финских слов измеряет скорость чтения, те. степень автоматизации процессов нижнего уровня. Задание на снятие фонемы (на финском языке, в свою очередь, измеряет фонологические механизмы, относящиеся к нижнему уровню. Здесь получены гораздо бóльшие проценты по сравнению с другой группой информантов (финны, изучающие английский язык, те. когнитивные предикторы в меньшей степени объясняют их результаты в тестах почтению и письму 623 9.1. Влияние языковых и когнитивных факторов на формирование умений Таблица Результаты пошагового регрессионного анализа с когнитивными предикторами Зависимая переменная Вариации, объясняемые предикторами, % Предикторы Корреляция между предиктором и зависимой переменной Чтение на финском языке) 41,0 Быстрое распознавание финских слов 0,175* Снятие фонемы (на финском языке) 0,466** Чтение вслух списка финских слов Обратный счет (на русском языке) Письмо на финском языке) 47,9 Чтение вслух списка финских слов Снятие фонемы (на финском языке = Значимая на уровне 0,01 или выше. ** = Значимая на уровне 0,000 или ниже. *** = Значимая на уровне Таблица Результаты пошагового регрессионного анализа с языковыми и когнитивными предикторами Зависимая переменная Вариации, объясняемые предикторами, % Предикторы Корреляция между предиктором и зависимой переменной Чтение на финском языке) 51,7 Диктант (финские слова) 0,680* Чтение вслух списка финских слов Определение общей части (на русском языке) 0,238** Письмо на финском языке) 58,8 Диктант (финские слова) 0,684* Чтение вслух списка финских слов 0,646* * = Значимая на уровне 0,000 или ниже = Значимая на уровне 0,01–0,001. Глава 9. Особенности языкового тестирования учащихся средней школы Затем был произведен регрессионный анализ, объединяющий обе группы факторов. Как показано в табл. 57, языковые и когнитивные предикторы предсказывают результаты чтения и письма на финском языке. Отметим, что здесь 2 одинаковых предиктора в чтении ив письме, те. диктант (на финском языке) и чтение вслух списка финских слов. Результат интересен, потому что при подобном анализе результатов группы финских информантов, изучающих английский язык, появились только языковые предикторы, а когнитивные исчезли. Кроме того, заметим, что при сравнении таблиц 56 и 57 оба пре- диктора в совокупности не объясняют результатов в тестах почтению и письму в такой степени, как объясняют их в отдельности. Выводы и перспективы проекта На основе полученных результатов можно сделать следующие выводы. Во-первых, в соответствии с прогнозом и языковые, и когнитивные факторы действительно обусловливают результаты в тестах почтению и письму. Такое влияние не было выявлено при анализе результатов другой группы информантов (финнов, изучающих английский язык. Во-вторых, языковые и когнитивные предикторы в совокупности объясняют всего 51,7 % вариаций по результатам чтения текстов на финском языке и несколько больше — 58,8 % — по результатам письма на финском языке. Наиболее важным предиктором оказался диктант, состоящий из финских слов. Результат очевиден, потому что задание, связанное с письменной фиксацией слов, включало элементы как чтения, таки письма. Второй предиктор (чтение вслух списка финских слов, возможно, объяснит, в какой степени он связан с умениями в чтении и письме. Проведенные эксперименты позволяют также говорить о том, что для дальнейших исследований чрезвычайно важно сопоставление имеющихся результатов с анализом фоновой информации об обучаемых и анкет мотивации, чтобы понять, какие факторы являются наиболее сильными предикторами. Таковы результаты первого эксперимента в рамках проекта DI- ALUKI, полученные при исследовании русско-финских двуязычных детей младших классов. В настоящее время продолжается анализ данных первого эксперимента. Второй эксперимент для первой группы информантов был начат осенью 2011 г. В этом педагогическом эксперименте школьники, например, играют в компьютерную игру Grapho- game, созданную при университете г. Ювяскюля для развития умений 625 9.2. О приравнивании результатов централизованного экзамена по русскому языку в чтении народном языке. Наши испытуемые играют в нее на втором (иностранном) языке. В третьем эксперименте мы пронаблюдаем затем, как у младших школьников развиваются умения в чтении ив письменной речи. О ПРИРАВНИВАНИИ РЕЗУЛЬТАТОВ ЦЕНТРАЛИЗОВАННОГО ЭКЗАМЕНА ПО РУССКОМУ ЯЗЫКУ КАК ИНОСТРАННОМУ В ЛАТВИИ К ОБЩЕЕВРОПЕЙСКОЙ ШКАЛЕ УРОВНЕЙ ВЛАДЕНИЯ ЯЗЫКОМ В системе образования Латвии русский язык имеет статус иностранного. Школьники могут выбрать его для изучения в м классе и затем продолжить осваивать в м (второй иностранный) или же начать изучать в м классе (третий иностранный. Количество часов учебного предмета Русский как второй иностранный составляет 700 ч. (385 ч. — основная школа, 315 ч. — средняя, учебного предмета Русский язык как третий иностранный — 315 ч. Процесс обучения русскому языку как иностранному в Латвии имеет свою специфику, которая обусловлена существованием русской языковой среды, что создаёт условия для использования русского языка приобщении не только за пределами страны, но и внутри не. Однако плотность языковой среды в республике неравномерна и зависит от региона. На западе страны (регионы Курземе и Видземе) русского населения намного меньше. Можно сказать, что оно практически отсутствует, а для тех русских, кто проживает в этой части Латвии, языком межэтнического общения стал латышский. В восточных же районах республики (Латгале) ив столице плотность языковой среды выше. Это, естественно, сказывается на уровне владения русским языком там, где существуют неформальные контакты, ученики говорят по-русски лучше, чем в тех случаях, когда такие контакты отсутствуют. Такая же ситуация сложилась ив крупных городах Латвии — Риге, Лиепае, Вентспилсе, Резекне, Даугавпилсе, жители которых также чаще используют возможность смотреть российские телеканалы по кабельному телевидению. Кроме того, поданным Министерства образования и науки Латвийской республики, в 2010 / 2011 учебном году 16,7 % учеников латышских школ составляли этнические русские 12 Комментарий ответственного редактора Русский язык — второй по рас- пространённости в Латвии. Дома на нём разговаривают 33,75 % населе- Глава 9. Особенности языкового тестирования учащихся средней школы Все это следует отнести к социолингвистическим факторам, которые оказывают непосредственное влияние на степень успешности в освоении русского языка. В соответствии с Законом об общем образовании и Государственным стандартом общего среднего образования по иностранным языкам в конце го класса учащиеся сдают государственный централизованный экзамен по одному из 4 иностранных языков — английскому, немецкому, французскому, русскому — по выбору. Содержание государственного централизованного экзамена по иностранному языку в течение десятилетнего периода разрабатывалось на основе описания уровней владения языком, принятых в Латвии. Приведем описание этих уровней в переводе с латышского языка: • Уровень A. Понимаю аутентичную речь и тексты разных типов как полностью, таки детально. Использую язык точно и эффективно в сложных ситуациях устного и письменного общения. Могу в соответствии с ситуацией высказать и обосновать свое мнение. • Уровень B. Понимаю разговорный язык, сложные деловые и литературные тексты, сложную, хорошо организованную и ясно выраженную речь в ситуациях устного и письменного общения. Могу выразить свое мнение. • Уровень C. Понимаю различную информацию, выраженную ясно и правильно, смысл текстов различных видов. Запас слов ния по переписи 2011 года при 26,9 % этнических русских. Более поздние данные отсутствуют. https://ru.wikipedia.org/wiki/%D0%A0%D1%83%D1% 81%D1%81%D0%BA%D0%B8%D0%B9_%D1%8F%D0%B7%D1%8B%D0% BA_%D0%B2_%D0%9B%D0%B0%D1%82%D0%B2%D0%B8%D0%B8 (Дата обращения 26.07.2017) Поданным статистики Министерства образования и науки Латвийской Республики рост количества учеников в русских школах наблюдается уже седьмой год подряд — за этот период показатель вырос почти на два процента. http://www.rubaltic.ru/article/politika-i- obshchestvo/290416-russkie-latvii/ (дата обращения 26.07.2017) 13 Vispārējās izglītības likums. Riga: Latvijas Vēstnesis, 1999 (2013). URL: http:// www.r53vsk.lv/wp-content/uploads/2013/08/likumi_lv_20243_07.08.2013_. pdf (дата обращения 20.10.2016). 14 Svešvaloda: Vispārējās vidējās izglītības mācību priekšmeta standarts // No- teikumi par valsts vispārējās vidējās izglītības standartu, mācību priekšmetu standartiem un izglītības programmu paraugiem. 2.pielikums. Rīgā, 2013. URL: https://likumi.lv/doc.php?id=257229 piel2&pd=1; http://visc.gov.lv/ vispizglitiba/saturs/standarti.shtml (дата обращения 10.10.2016). 627 9.2. О приравнивании результатов централизованного экзамена по русскому языку достаточен для самостоятельных действий в соответствующей языковой среде. Уверенно использую речь в знакомых ситуациях устного и письменного общения. • Уровень D. Вцелом понимаю информацию, выраженную правильным языком, в медленном темпе, смысл простых текстов. Использую язык в хорошо знакомых ситуациях устного и письменного общения правильно, но словарный запас огра- ничен. • Уровень E. Понимаю часто употребляемые слова, фразы, предложения, простую информацию. Могу прочитать и понять простые предложения. Могу поддержать устное и письменное общение только в простых бытовых ситуациях. • Уровень F. Понимаю знакомые слова и простые предложения. Использую в устном и письменном общении основные фразы и очень простые предложения, чтобы передать элементарную информацию 15 Эти требования к степени сложности заданий централизованного экзамена действовали до 2010 / 2011 учебного года, когда в силу вступил новый Государственный стандарт среднего образования по иностранным языкам. В соответствии с этим документом ученики при окончании средней школы должны освоить второй иностранный язык на уровне B2–C1, а третий иностранный — на уровне B1. Таким образом, как содержание обучения, таки содержание контроля было сориентировано на описание уровней владения языком, содержащееся в Общеевропейских компетенциях…». В связи с этим возникает вопрос о том, в какой степени материалы экзамена по русскому языку как иностранному в м классе латышской школы соответствуют требованиям Европейской шкалы уровней. Возможно ли приравнять результаты государственного экзамена к этой шкале И, наконец, способны ли ученики, заканчивая среднюю школу, освоить иностранный язык на уровне Постараемся ответить на эти вопросы, проанализировав содержание одной из частей экзамена по русскому языку как иностранному. Для проведения исследования была выбрана часть Чтение, потому что умения зрелого коммуникативного чтения занимают значитель- 15 Ibid. (перевод с латышского языка мой. — ЕМ Общеевропейские компетенции владения иностранным языком Глава 9. Особенности языкового тестирования учащихся средней школы ное место в структуре коммуникативной компетенции изучающего иностранный язык, особенно на высоких уровнях. Они обеспечиваются значительным словарным запасом, восприятие смыслового аспекта текста свидетельствует о сложившейся у изучающего язык ас- социативно-вербальной сети, что оказывает влияние навесь процесс овладения иностранным языком. Позицию части Чтение в структуре государственного экзамена по русскому языку как иностранному для средней школы образца 2011 г. можно представить по табл. 58 Таблица Структура экзамена по русскому языку как иностранному |