Актуальные вопросы языкового тестирования. Издательство санктпетербургского университета
 Скачать 6.52 Mb.
|
|
Гласные Согласные Звук m p σ Звук m p σ ə 94 9,0445 3,068902 t 50 8,04033 –1,59703 ı 65 8,2537 0,122589 n 74 7,0849 2,451182 aı 13 2,8473 –1,17204 s 39 5,0893 –0,06353 e 21 2,8126 –0,10641 d 21 4,1762 –1,47001 i: 4 1,7878 –1,27234 l 27 3,6892 –0,20982 əʊ 3 1,7477 –1,3611 m 23 3,289 –0,32508 ʌ 6 1,6701 –0,8969 ð 23 2,9927 –0,02878 ɒ 13 1,5261 0,149158 k 26 2,8985 0,452015 æ 17 1,5261 0,664622 r 32 2,7697 1,354011 eı 12 1,4956 0,050792 w 20 2,5661 0,01122 u: 6 1,4222 –0,649 z 15 2,4927 –0,55971 ɔ: 5 1,2007 –0,55637 b 5 2,0842 –1,43987 ɑ: 9 0,7755 0,384294 v 22 1,8515 0,983552 ɑʊ 0,7741 –0,7741 p 20 1,7698 0,80752 ʊ 9 0,7672 0,392594 f 11 з 0,6661 0,493694 h 8 1,6729 –0,64197 eə 4 0,4335 0,081964 j 15 1,5303 0,40269 ıə 3 0,2867 0,099898 ŋ 9 1,2436 ‒ Всего в тексте звуков Q = 776 g 9 1,1619 ‒ 0,00211 ʃ 21 0,7021 2,004086 θ 3 0,5955 ‒ 0,2089 ʤ 3 0,5138 ‒ 0,1272 ʧ 6 0,3684 0,404796 ʒ 1 0,0512 0,077666 Глава 7. Психолингводидактическое тестирование Согласные звуки /n/, /∫/ и /r/, значимо выделяющиеся по частоте встречаемости, коррелируют между собой последующим параметрам тусклый, сложный, бесцветный, медленный, сильный громкий, неприятный. Если фоносемантика текста воспринимается читателем (при условии гармонии формы и содержания, текст должен производить впечатление тусклого, неприятного, сложного, медленного, сильного, громкого, бесцветного. Как мы видим, по двум примененным методам анализа совпадают характеристики тусклый, неприятный, сложный, бесцветный. Это дает 50 % совпадения. Следует отметить, что эти характеристики адекватно отражают, на наш взгляд, содержание статьи. В данной статье освещено заявление супругов о намерении расторгнуть брак, краткое описание истории их брака и комментарии пары, свидетельствующие о том, что пара расстается достойно. Анализ статьи ATe посредством программы ВААЛ показал, что текст производит впечатление тусклого, темного, большого, медленного, тяжелого, глубокого, неприятного (рис. Рисунок 17. Результаты фоносемантического анализа статьи ATe с помощью программы ВААЛ (Е. Повтор картинки снять. Результаты анализа методом Павловской представлены в табл. 49. Таблица Результаты фоносемантического анализа статьи по формуле (17) Гласные Согласные Звук m p Звук p σ ə 108 9,0445 5,976362 t 48 8,04033 ‒ 1,36439 64 8,2537 0,647552 n 70 7,0849 2,650844 a 8 2,8473 ‒ 1,73464 s 43 5,0893 0,891229 e 15 2,8126 ‒ 0,72637 d 18 4,1762 ‒ 1,67272 i: 3 1,7878 ‒ 1,37055 l 28 3,6892 0,205098 1 1,7477 ‒ 1,60862 m 25 3,289 0,188051 9 1,6701 ‒ 0,41836 ð 24 2,9927 0,345269 10 1,5261 ‒ 0,13528 k 17 2,8985 ‒ Рис. 17. Результаты фоносемантического анализа статьи ATe с помощью программы ВААЛ (Е 565 7.3. Сопоставительный анализ методов измерения фоносемантики текста Результаты анализа методом Павловской представлены в табл. Таблица Результаты фоносемантического анализа статьи ATe по формуле (17) Гласные Согласные Звук m p σ Звук m p σ ə 108 9,0445 5,976362 t 48 8,04033 –1,36439 ı 64 8,2537 0,647552 n 70 7,0849 2,650844 aı 8 2,8473 –1,73464 s 43 5,0893 0,891229 e 15 2,8126 –0,72637 d 18 4,1762 –1,67272 i: 3 1,7878 –1,37055 l 28 3,6892 0,205098 əʊ 1 1,7477 –1,60862 m 25 3,289 0,188051 ʌ 9 1,6701 –0,41836 ð 24 2,9927 0,345269 ɒ 10 1,5261 –0,13528 k 17 2,8985 –0,53411 æ 5 1,5261 –0,83069 r 24 2,7697 0,568269 eı 17 1,4956 0,868795 w 16 2,5661 –0,34079 u: 9 1,4222 –0,17046 z 12 2,4927 –0,82372 ɔ: 7 1,2007 –0,22713 b 6 2,0842 –1,24971 ɑ: 7 0,7755 0,198074 v 17 1,8515 0,512895 ɑʊ 5 0,7741 –0,07869 p 15 1,7698 0,316431 ʊ 4 0,7672 –0,21087 f 19 1,7283 з 0,6661 0,585639 h 7 1,6729 –0,69933 eə 2 0,4335 –0,15534 j 8 1,5303 –0,41764 ıə 1 0,2867 –0,14762 ŋ 3 Всего в тексте звуков Q = 719 g 7 1,1619 –0,18833 ʃ 13 0,7021 1,105967 θ 5 0,5955 0,09991 ʤ 4 0,5138 0,042528 ʧ 4 0,3684 0,187928 ʒ 2 0,0512 0,226964 Глава 7. Психолингводидактическое тестирование Согласные звуки /n/ и /∫/, выделяющиеся по относительной частоте встречаемости, коррелируют между собой последующим параметрам тусклый, легкий, сложный, бесцветный, медленный, сильный, громкий, неприятный. В данном случае, практически как ив предыдущем, совпадение результатов анализа по двум методикам не превышает 45 %. Общими для обоих способов анализа явились следующие характеристики тусклый, медленный, неприятный. Что, опять же, соответствует содержанию статьи, описывающей расставание известной семейной пары, содержащей краткую историю брака, комментарии супругов о разводе и намерении продолжить совместное воспитание общих детей. Результаты анализа статьи 3Ho согласно программе ВААЛ представляют следующие параметры для текста тусклый и сложный рис. 18). 350 æ 5 1,5261 ‒ 0,83069 r 24 2,7697 0,568269 e 17 1,4956 0,868795 w 16 2,5661 ‒ 0,34079 u: 9 1,4222 ‒ 0,17046 z 12 2,4927 ‒ 0,82372 ɔ: 7 1,2007 ‒ 0,22713 b 6 2,0842 ‒ 1,24971 : 7 0,7755 0,198074 v 17 1,8515 0,512895 5 0,7741 ‒ 0,07869 p 15 1,7698 0,316431 4 0,7672 ‒ 0,21087 f 19 1,7283 з 0,6661 0,585639 h 7 1,6729 ‒ 0,69933 eə 2 0,4335 -0,15534 j 8 1,5303 ‒ 0,41764 ə 1 0,2867 ‒ 0,14762 ŋ 3 1,2436 ‒ Всего в тексте звуков Q = 719 g 7 1,1619 ‒ 0,18833 ∫ 13 0,7021 1,105967 θ 5 0,5955 0,09991 ʤ 4 0,5138 0,042528 ʧ 4 0,3684 0,187928 ʒ 2 0,0512 Согласные звуки /n/ и /∫/, выделяющиеся по относительной частоте встречаемости, коррелируют между собой последующим параметрам тусклый, легкий, сложный, бесцветный, медленный, сильный, громкий, неприятный. В данном случае, практически как ив предыдущем, совпадение результатов анализа по двум методикам не превышает 45 %. Общими для обоих способов анализа явились следующие характеристики тусклый, медленный, неприятный. Что, опять же, соответствует содержанию статьи, описывающей расставание известной семейной пары, содержащей краткую историю брака, комментарии супругов о разводе и намерении продолжить совместное воспитание общих детей. Результаты анализа статьи 3Ho согласно программе ВААЛ представляют следующие параметры для текста тусклый и сложный (рис. Рисунок 18. Результаты фоносемантического анализа статьи 3Ho с помощью программы ВААЛ (Е). Рис. 18. Результаты фоносемантического анализа статьи 3Ho с помощью программы ВААЛ (Е). Результаты анализа статьи методом Павловской представлены в табл. 50. 567 7.3. Сопоставительный анализ методов измерения фоносемантики текста Таблица Результаты фоносемантического анализа статьи 3Ho по формуле (17) Гласные Согласные Звук m p σ Звук m p σ ə 110 9,0445 1,103101 t 67 8,04033 –1,85952 ı 112 8,2537 2,078403 n 99 7,0849 2,047941 aı 15 2,8473 2,628098 s 47 5,0893 –0,75351 e 17 2,8126 –1,24433 d 42 4,1762 –0,30166 i: 3 1,7878 –1,51105 l 64 3,6892 7,163539 əʊ 11 1,7477 –0,73294 m 22 3,289 –1,25948 ʌ 32 1,6701 1,28193 ð 20 2,9927 –1,14768 ɒ 23 1,5261 1,433849 k 28 2,8985 –0,31547 æ 24 1,5261 0,687922 r 24 2,7697 –0,55568 eı 19 1,4956 0,257168 w 26 2,5661 –0,09033 u: 5 1,4222 –0,96095 z 54 2,4927 2,48885 ɔ: 17 1,2007 0,367566 b 15 2,0842 –0,70044 ɑ: 4 0,7755 –0,24066 v 24 1,8515 0,362522 ɑʊ 15 0,7741 0,609664 p 19 1,7698 –0,01703 ʊ 12 0,7672 0,339811 f 25 1,7283 з 0,6661 –0,11259 h 24 1,6729 0,541122 eə 3 0,4335 –0,15675 j 8 1,5303 1,335851 ıə 7 0,2867 2,505275 ŋ 7 Всего в тексте звуков Q = 1085 g 9 1,1619 –0,33164 ∫ 4 0,7021 –0,3331 θ 10 0,5955 0,327009 ʤ 4 0,5138 –0,1448 ʧ 7 0,3684 Звуки /l/ и /ıə/, выделяющиеся по частоте встречаемости, коррелируют между собой последующим характеристикам светлый, острый, цветной, громкий. И, соответственно, именно такое впечатле- Глава 7. Психолингводидактическое тестирование ние вызывает текст статьи, посвященной разоблачению французского президента Ф. Олланда. В статье говорится о крупных доходах и собственности президента, выступающего против богатства и роскоши. В отличие от первых двух случаев, здесь не наблюдается совпадения характеристик при сопоставлении результатов двух методов анализа текста. При рассмотрении результатов анализа текста посредством двух методов напрашиваются 2 вопроса) Почему результаты неидентичны) Как объяснить совпадение отдельных характеристик (те. почему именно эти характеристики были выявлены в результате анализа посредством обеих методик)? Попробуем ответить на вопросы по порядку. Во-первых, различия результатов могут быть обусловлены тем, насколько точно был учтен фонетический состав текста, отраженный в транскрипции. Во-вторых, причиной несовпадения результатов может являться особенность компьютерной программы. В. И. Шалак указывает, что специальные формулы позволяют определить производимое текстом впечатление (те. фоносемантическое значение, но конкретных формул автор не приводит. Возможно, что, несмотря на то, что ВААЛ основан на разработках Павловской, Шалак использовал некие иные формулы, чем и объясняется различие в результатах. Что касается совпадения отдельных характеристик, то, вероятнее всего, именно этими характеристиками текст обладает в наибольшей степени. Подводя итог всему вышесказанному, следует сказать, что во- первых, входе написания данного микроисследования выяснилось, что программа ВААЛ (Е) несомненно требует более детального изучения и большей информации в дополнение к изложенной в аннотации к ней 34 Кроме того, необходима оптимизация процесса записи транскрипции текстов и подсчета отдельных звуков, так как анализ объемных текстов требует больших временных затрата закравшаяся вовремя транскрибирования ошибка искажает результат. Данные выводы могут помочь исследователям в подборе и совершенствовании методов фоносемантического анализа 34 Проект ВААЛ // VAAL: сайт. URL: http://www.vaal.ru/index.php (дата обращения. Начала сравнительной психофизиологии речи. НАЧАЛА СРАВНИТЕЛЬНОЙ ПСИХОФИЗИОЛОГИИ РЕЧИ. ФИЗИОЛОГИЧЕСКИЕ ОСОБЕННОСТИ ВОСПРИЯТИЯ РУССКИХ И АНГЛИЙСКИХ ТЕКСТОВ Предваряя изложение вопросов о физиологических особенностях восприятия русской и английской речи, следует высказать слова благодарности нашим далекими безвестным предкам, которые на заре развития человечества создали первый алфавит — прообраз современных алфавитов. Жизнеспособность этого, изначального, и других, разработанных на его основе алфавитов заключается в том, что каждая буква, включенная в их состав, соответствует определенному кванту зрительного или слухового речевого сигнала. Более того, подобное алфавитное или, иначе, формальное описание квантов речевого сигнала, исходящего из внешней среды и воспринимаемого в режиме реального времени, было разработано с достаточной степенью дискретности, что и сделало возможным подобные исследования. На рис. 19 в сравнении показаны ранговые вероятностные эволюционные модели буквообразования русского и английского языков. Из него видно, что вероятности, а следовательно, и частоты встреча- емости букв в этих двух моделях имеют существенные различия. Это значит, что физиологические особенности восприятия английской и русской речи также будут обладать существенными различиями. Рис. 19. Ранговые вероятностные эволюционные модели буквообразования русского и английского языков Глава 7. Психолингводидактическое тестирование Каким же образом количественный составили набор букв (знаков) в различных алфавитных системах влияет на нагрузки декодирования текстов на разных языках? Рассмотрим подробнее доказательства того, что на первом этапе декодирования (образования управляющих кодов букв) нервная система, обеспечивающая речевые функции в условиях алфавитной системы с меньшим количеством букв, испытывает бóльшие нагрузки декодирования. Для простоты объяснения приведем пример. Представим себе две команды пловцов. Одна команда состоит из 7 спортсменов, авто- рая — из 3. Режим тренировки обеих команд одинаковый, те. пловцы по очереди проплывают дистанцию в бассейне. Проплывший дистанцию спортсмен становится вконец очереди. Таким образом, в процессе тренировки отрабатывается несколько подобных циклов (рис. Рис. 20. Пример, объясняющий бóльшие нагрузки первого этапа декодирования образования управляющих кодов букв, возникающие при восприятии текста, составленного на основе более короткого алфавита. Под пловцами в данном примере подразумеваются отделы нервной системы, ответственные за обработку каждой отдельно взятой буквы алфавита. Очевидно, в команде с меньшим количеством спортсменов нагрузка, или интенсивность тренировки, будет большей, чем в команде с бóльшим количеством спортсменов. Несложные расчеты позволяют установить, что время отдыха, или нахождения в очереди, за один цикл тренировки будет равным N – 1, где N — количество спортсменов в команде. Тогда соотношение времени отдыха спортсменов разных команд может быть вычислено по формуле (18): ( ) ( ) (1) 1 (7 1) 2. (2) 1 (3 1) N N − − = = − − (То есть время отдыха в период одного цикла тренировки у представителей команды с большей численностью пловцов будет в 2 раза большим, а следовательно, нагрузка этих спортсменов будет в 2 раза 571 7.4. Начала сравнительной психофизиологии речи меньшей, чему команды спортсменов с меньшим количеством пловцов. Следуя этой логике, можно ожидать, что и результативность спортсменов на соревнованиях будет более высокой у команды с меньшим количеством пловцов, так как режиме тренировок был более интен- сивным. Используя этот подход, несложно по формуле (19) подсчитать соотношение нагрузок декодирования в случаях применения русского (33 буквы) и английского (26 букв) алфавитов 1) 32 1,28. (26 1) 25 − = = − (То есть нагрузка декодирования в случае применения английского алфавита ожидается большей на 28 % процентов. Однако рассмотренный случай — простейший и не учитывает различную частоту встречаемости или вероятность появления отдельных букв в тексте (рис. 19). Более сложные расчеты и моделирование процессов декодирования в виртуальной среде, учитывающие это, свидетельствуют, что за 5 мин. подобной тренировки при средней скорости чтения 600–700 букв в минуту нервная система, работающая с английским алфавитом, испытывает на 9,1 % бóльшие нагрузки. Важно, что при увеличении времени восприятия текста происходит кумуляция этих нагрузок. Например, при обработке выборок случайно отобранных текстов, принадлежащих классикам русской и английской литературы, в специально разработанных программах диагностики нагрузок кода речи оказалось, что среднее значение нагрузки первого этапа декодирования (СДН-1) английских литературных текстов превышает такое же среднее значение русских текстов враз. Обосновывая эти данные, следует пояснить, что данные выборки были высокорепрезентативны и включали в себя каждая более 200 тыс. букв, по 20 различных текстов известных авторов, состоящих из введения и первой главы каждого произведения. Таким образом, каждый исследуемый текст составляли 6–19 тыс. букв, 1–3,5 тыс. слов, что соответствовало 10–28 мин. непрерывного восприятия каждого текста. В результате этих исследований были получены интервальные (референтные) значения СДН-1 для английских литературных текстов — равное 152,4 ± 12,3 и для русских литературных текстов — равное 2,0 ± 1,8 (152,4 / 2,0 = 71,2!). За референтное значение интервала принято среднеквадратичное (стандартное) отклонение Глава 7. Психолингводидактическое тестирование Кроме этого, следует особо оговориться, что для данного исследования использованы специальные программы диагностики нагрузок кода речи, разработанные в отдельности для каждого из исследуемых речевых пространств. Единственным отличием алгоритмов этих программ являются заложенные в них эволюционные модели английского и русского кода речи (рис. 21), в то время как все остальные условия математической обработки текстов в этих программах были абсолютно одинаковыми. Рис. 21. Классы русскоязычных текстов с позиций физиологических параметров их восприятия. Таким образом, с учетом изложенного мы не нашли оснований для опровержения вывода о том, что нервная система, работающая с алфавитом, обладающим меньшим набором букв, испытывает бóльшие нагрузки декодирования. В опубликованных нами ранее материалах приводятся обоснования разделения русских текстов на классы по степени нагрузок декодирования. Эти данные были получены в результате мониторинга русскоязычного речевого пространства (рис. 21). Наиболее полярными по нагрузкам декодирования в результате этих исследований ока 35 Биркин А. А. Указ. соч 573 7.4. Начала сравнительной психофизиологии речи зались мантральные тексты и тексты произведений русских классиков. Первые в сравнении со вторыми обнаруживали нагрузки в сотни раз бóльшие. Также в процессе исследований рельефно выделялся класс суггестивных текстов, которые по своим нагрузкам многократно превышали художественные тексты ив несколько разили в несколько десятков раз были легче мантральных текстов, те. по параметрам нагрузок декодирования эти тексты занимали промежуточное положение между литературными и мантральными текстами. Целью настоящего исследования было подтверждение наличия подобных классов ив английском речевом пространстве. Результаты данного исследования показаны на рис. Рис. 22. Сравнение результатов мониторинга русского и английского речевых пространств. Для исследования была использована случайная выборка, состоящая из 34 мантр на английском языке. Все подлежащие обработке электронные версии текстов мантр были рецитированы от 45 до 180 разв интересах получения достаточных и сопоставимых по объ- 36 Сайт Лотоса Развитие человека. 05.09.2012. URL: http://ariom.ru/forum/ p71272.html&sid=4f8ca1b85b3ec77d253d70ee76ad2a4b 71272 (дата обращения Глава 7. Психолингводидактическое тестирование емам текстов. Таким образом, количество букв во всех сравниваемых текстах было от 4,3 до 6,2 тыс, что соответствовало времени восприятия в 6,0–9,5 условных минут. Общий объем выборки составил более 179 тыс. буква средняя нагрузка первого этапа декодирования текстов (СДН-1), подвергшихся компьютерной обработке, варьировалась в пределах от 15,7 до 500,0 Подавляющее большинство (85 %) исследованных текстов оказалось вне рамок интервальных значений нагрузок английских литературных текстов. Из этого количества тексты мантр, обнаруживающие нагрузки бóльшие, чем группа литературных текстов, составили 70 %. Некоторые же мантры вошли в группу текстов с нагрузками меньшими или значительно меньшими, чем контрольные тексты. В состав этой группы вошло 15 % наблюдений от выборки, и 15 % от выборки оказались в интервалах нагрузок литературных текстов (рис. Таким образом, большинство английских мантр (70 %) достоверно, или в 4,7 раза, обладает бóльшими нагрузками декодирования, чем мантры, обладающие параметрами текстов художественных произведений (15 %). В тоже время оставшиеся 15 % мантральных текстов обнаружили нагрузки меньшие, чем литературные тексты. Важно заметить, что в процессе исследования русскоязычного пространства все тексты мантр (100 %) по нагрузкам декодирования значительно превышали тексты классиков русской литературы (рис. Случайно отобранные 7 суггестивных (гипнотических) текстов на английском языке в объеме времени восприятия от 5,5 домин. при аналогичной обработке обнаружили нагрузки декодирования от 172,5 доте. по рейтингу нагрузок, как ив русском речевом пространстве, они заняли промежуточное положение между ман- тральными и художественными текстами (рис. Таким образом, мы не нашли оснований для опровержения существования художественных, суггестивных и мантральных классов текстов в английском речевом пространстве. Наиболее важным аспектом полученных данных является эффективное применение переведенных лечебных текстов в практике психотерапии. Как показывают наши исследования, от 30 до 40 % суггестивных психотерапевтических текстов теряют свои физиологические качества как при переводе с английского на русский язык, таки наоборот. Это обуславливает необходимость психофизиологической оценки и оптимизации переведенных лечебных текстов с помощью программ диагностики нагрузок кода речи 575 7.4. Начала сравнительной психофизиологии речи В режиме реального времени следующим за этапом вычисления управляющих кодов букв является этап вычисления управляющих кодов словили так называемый второй этап декодирования речевого сигнала. Эти вычисления осуществляются нервной системой на основе вычисленных ею ранее кодов букв. Очевидно, что чем длиннее слово в буквах, тем больший ресурс для его декодирования должна затратить нервная система. По данным литературных источников, средняя длина слова в русском языке равна 6,37 буквы. В процессе исследований двух выборок художественных текстов, которые рассматривались ранее, удалось установить, что средняя длина слова русских текстов этих выборок оказалось равной 6,32 буквы, а английских — 5,43 буквы. То есть средняя длина английского слова оказалась почти на одну букву короче, см. формулу (20): 6,32 – 5,43 = 0,89 ≈ 1,0. С одной стороны, на втором этапе декодирования английского текста нервная система экономит 16,4 % своих вычислительных ресурсов в сравнении с русским текстом, см. формулу (21): 6,32/5,43×100–100 ≈ 16,4 %. С другой стороны, эта экономия, по нашему мнению, несоизмерима с дальнейшими затратами нервной системы, направленными на смысловую обработку текста. Ведь в единицу времени в мозг человека, воспринимающего текст на английском языке, поступает на 16,4 % большее количество слов, те. первичных единиц речевой информации, чем при восприятии русского текста. Об этом свидетельствуют простейшие расчеты, см. формулу (22): ( ) ( ) 6,32 6,32 5,43 100 100 100 100 100 100 16,4%, 5,43 5,43 6,32 S S S S × × − = × − = × − ≈ × (где S — количество букв, воспринимаемых в единицу времени. Таким образом, следует обоснованно предположить, что и на последующих после первичного декодирования этапах обработки речевой информации нервная система, воспринимающая текст на английском языке, испытывает бóльшие вычислительные нагрузки, чем нервная система, воспринимающая текст на русском языке Глава 7. Психолингводидактическое тестирование Но, если любая система организма в процессе эволюции или жизни особи подвергается бóльшим функциональным нагрузкам вин- тересах выживания индивида в окружающей среде, то её как филогенетическое, таки онтогенетическое развитие должно быть более интенсивным, что обуславливает бóльшую вероятность выживания биологического видав процессе естественного отбора. В частности, Ч. Дарвин установил (1859), что эволюция живых форм (в первую очередь видов) осуществляется через эволюцию их приспособлений к среде. С этого времени в биологии утвердилось положение, согласно которому адаптация — не есть нечто внутренне присущее и заранее данное организмам, но она всегда возникает и развивается под воздействием 3 основных факторов органической эволюции — изменчивости, наследственности и естественного отбора (а равно и искусственного, те. производимого человеком. В тоже время он рассматривал внутривидовую конкуренцию как важнейшую форму борьбы за существование. При этом наиболее острая конкуренция, по Ч. Дарвину, имеет место между более сходными особями вида, не исключением из этого является и Homo sapiens. Очевидно, что степень конкурентоспособности отдельно взятой общности людей, включая и страну, зависит от биологического уровня развития нервной системы, а следовательно, и качества мышления каждого индивида, входящего в состав данной социальной группы. Не сложно увидеть на примере истории колониального прошлого, что в этот период в мире доминировали страны, использующие короткие алфавиты в 26 и менее букв Англия, Испания, Португалия, Франция, Германия. Приведем еще один пример. На основе размещенных в Интернете ресурсов о валовом национальном продукте надушу населения (ВНП) по 227 странам мира за 2010 г были отобраны материалы для исследования. В эти данные не вошли страны c населением менее 1 млн чел, обладающие иероглифической письменностью, и те, в основе официального языка и письма которых лежали колониальные языки английский, французский, испанский, португальский и др. Таким образом, для анализа была использована статистика по 115 странам с населением в 45 % (более 3 млрд чел) от населения планеты (более 37 ВВП надушу населения 2010 // Статистика стран мира сайт. 15.09.2012. URL: http://iformatsiya.ru/tabl/567-vvp-na-dushu-naseleniya-2010.html (дата обращения 20.10.2016). 577 7.4. Начала сравнительной психофизиологии речи млрд чел. На основании изученных 117 алфавитов из 115 стран для исследования были сформированы 2 полярные группы. В первую группу были включены страны, в основе официального языка которых лежат алфавиты в 26 и менее букв, всего 30 страна во вторую группу — страны, в основе официального языка которых лежат алфавиты в 34 и более букв, всего 20 стран. Исследование показало, что количество экономически успешных стран, те. обладающих ВНП выше среднемирового наги использующих алфавиты в 26 и менее букв, в 4 раза превышает таковое из числа экономически менее успешных стран, обладающих ВНП ниже среднемирового (соответственно 24 / 6 = 4, p ≤ 0,001). И наоборот, количество экономически менее успешных стран и использующих алфавиты, насчитывающие более 33 букв, превышает таковое из числа экономически более успешных стран более чем враз соответственно, 17 / 3 = 5,7, p ≤ 0,001). Среднее значение показателя ВНП надушу населения оказалось более чем враз большим у стран, использующих алфавиты в 26 и менее букв, чему стран, использующих алфавиты из более 33 букв (28 445 $ / 3704 $ = Таким образом, на повестку дня современной науки следует поставить вопрос Каковы долгосрочные перспективы развития нервной системы и мышления человека в различных языковых пространствах Очевидно, что исследования этого направления без изучения существующих психофизиологических проблем невозможны. В качестве заключения приведем цитату Н. Г. Чернышевского, который еще в 1860 г. в своем Антропологическом принципе в философии указывал Естественные науки уже развились настолько, что дают много материалов для точного решения нравственных вопросов. Из мыслителей, занимающихся нравственными науками, все передовые люди стали разрабатывать их при помощи точных приемов, подобных тем, по каким разрабатываются естественные науки 38 Чернышевский Н. Г. Антропологический принцип в философии. 1860 // Классика сайт. URL: http://az.lib.ru/c/chernyshewskij_n_g/ text_0430.shtml (дата обращения 20.10.2016). Глава КОМПЬЮТЕРНЫЕ И ИНТЕРНЕТ-ТЕХНОЛОГИИ В ЯЗЫКОВОМ ТЕСТИРОВАНИИ. ПРИМЕНЕНИЕ ИНТЕРНЕТ-ТЕХНОЛОГИЙ ДЛЯ АДМИНИСТРАТИВНЫХ ПРОЦЕДУР В ОПРЕДЕЛЕНИИ УРОВНЯ ВЛАДЕНИЯ ИНОСТРАННЫМ ЯЗЫКОМ (НА ПРИМЕРЕ ОКСФОРДСКОГО АДАПТИВНОГО ДИАГНОСТИЧЕСКОГО ОНЛАЙН-ТЕСТА) Новые информационные технологии стремительно разворачиваются в привычных сферах повседневной жизни, и особенно в области образования, наиболее тесно связанной с источником интеллектуальных свершений. Получение сертификата овладении иностранным языком в жизни любого человека является значимой вехой, и некоторые экзамены, такие как TOEFL, IELTS или FCE, существующие в течение десятилетий, в рамках человеческой жизни стали восприниматься как нечто глобальное и непреходящее, как неотъемлемая часть действительности, открывающая возможности стать гражданином всего мира. И эти экзамены на наших глазах меняют свой формат. Навсегда ушел в прошлое привычный бумажный вариант экзамена TOEFL, а также его компьютерный вариант, теперь существует только ин- тернет-версия (Internet-based Test — TOEFL iBT) (см. раздел 2.2.2.); многие кембриджские сертификационные экзамены Key (KET) for Schools / Preliminary (PET) for Schools, First (FCE) for Schools, First (FCE), Advanced (CAE), Proficiency (CPE), Business Preliminary (BEC P), Business Vantage (BEC V), Business Higher (BEC H) — имеют параллельную компьютерную версию с 2008 г. Группа Технологии знаний издательства «Пирсон» (Knowledge Technologies group of Pearson 1 ) принимает полностью компьютеризованный тест на владение навыками устной речи на таких языках, как английский, испанский, голландский, французский, арабский и мандарин (китайский. Ответы тестируемого при очной беседе или по телефону оцифровываются с помощью технологий распознавания речи и автоматически оцениваются. 1 Pearson: сайт 579 8.1. Применение интернет-технологий для административных процедур Служба образовательного тестирования ETS также перешла к экспериментам по автоматизации оценивания письменной части языковых экзаменов. Издательства университетов Оксфорда и Кембриджа предлагают свои диагностические онлайн-тесты с целью подбора образовательного курса или определения подходящего для кандидата уровня квалификационного экзамена. Результаты тестирования приводятся в соответствии с европейской системой уровней владения иностранным языком (Common European Framework of Reference — Остановимся подробнее на одной из интернет-версий входного или диагностического тестирования. При измерении уровня знаний согласно классической модели тестирования группе обучаемых предъявляется тест определенной длины (до 200 единиц, как водной из старых версий Оксфордского диагностического теста, содержащий задания всех предполагаемых уровней трудности, начиная от проверки базовых знаний и до довольно продвинутых. Итоговая оценка формируется по числу правильных ответов чем выше уровень знаний студента — темна большее количество вопросов он способен выбрать правильный ответ. Недостатком такого тестирования может быть случайное угадывание слабыми и средними студентами правильных ответов. С другой стороны, для более или менее точного определения уровня знаний необходимо ответить на большое количество вопросов, отражающих множество языковых явлений и предъявляемых на той или иной стадии обучения. И тогда для смешанной группы нередки ситуации, когда сильному студенту приходится отвечать на множество легких вопросов, а слабому студенту — переходить в режим угадывания ответов на все сложные для него задания, тогда как каждый из них предпочел бы вообще не отвечать на задания, несоответствующие своему уровню. Таким образом, для обеспечения максимальной информативности результатов контроля необходимо, чтобы средняя сложность предъявляемого обучаемому теста соответствовала его индивидуальному уровню обученности, а длина теста, желательно, не вызывала бы скуки и утомления. Практически это осуществляется с помощью адаптивного или индивидуально-ориентиро- ванного тестирования (adaptive / tailored testing 3 ). 2 Oxford Placement Test // Британия Школа английского языка сайт. URL: http://britania.tomsk.ru/site/examenation/oxford-placement-test.html (дата обращения 20.10.2016). 3 Клайн П. Указ. соч Глава 8. Компьютерные и интернет-технологии в языковом тестировании Под современным адаптивным тестовым контролем понимают компьютеризованную систему научно обоснованной проверки и оценки результатов обучения, обладающую высокой эффективностью за счет оптимизации процедур генерации, предъявления и оценки результатов выполнения адаптивных тестов. Эффективность кон- трольно-оценочных процедур повышается при использовании мно- гошаговой стратегии отбора и предъявления заданий, основанной на алгоритмах с полной контекстной зависимостью. Это значит, что очередной шаг совершается только после оценки результатов выполнения предыдущего шага при правильном ответе испытуемого очередное задание выбирается более трудным, коэффициент трудности и текущий балл постоянно увеличиваются. Первый же неверный ответ влечет за собой предъявление последующего более легкого задания, что дает возможность системе определить полосу комфортности для данного тестируемого. Процедура тестирования обычно начинается с выбора учащимся своего предполагаемого уровня (рис. 23), нов любом случае, весь процесс осуществляется по принципу обратной связи и завершается, когда обучаемый выходит на некоторый постоянный уровень сложности, например отвечает подряд на некоторое критическое количество вопросов уровня А2. Рис. 23. Начальная страница Оксфордского теста размещения. Для реализации таких алгоритмов необходимо наличие банка калиброванных заданий с устойчивыми оценками их параметров, позволяющими прогнозировать успех 581 8.1. Применение интернет-технологий для административных процедур или неуспех испытуемого при подборе очередного задания адаптивного теста использование программно-инструментальных средств и компьютерных программ для индивидуализации алгоритмов подбора заданий, основанных, как правило, на оценке вероятности правильного выполнения учебных заданий использование параметрических моделей IRT. Создание банка тестовых заданий Оксфордского диагностического теста (Oxford Online Placement Test 4 — OOPT) включало в себя стандартные процедуры их апробацию на начальной выборке типичных респондентов (в данном случае это были 200 студентов из более чем десятка учебных заведений, носители нескольких языков, отличающихся от английского, результаты по каждому пункту анализировались и соотносились с числовой отметкой в соответствии с коэффициентом трудности на шкале, градуированной от 1 до 100. Все элементы банка тестирования были проверены с помощью корпусных процедур они представляют собой речевые образцы в высоковероятном для данного типа дискурса грамматическом и лексическом окружении. Упомянем также о теоретических основах использования модели Георга Раша (G. Rasch) при адаптивном тестировании. Классическая теория тестирования, несмотря на хорошо разработанный математический аппарат, прозрачность и ясность получаемых выводов, имеет принципиальные недостатки. В частности, тестовые баллы испытуемых зависят от трудности заданий в тесте, а трудность задания зависит от выборки испытуемых. Большим недостатком классической теории является нелинейность тестовых баллов испытуемых. За рубежом уже несколько десятилетий развивается современная теория тестирования — Item Response Theory, являющаяся частью более общей теории латентно-структурного анализа. Отдельно следует ко 4 Pollitt A. The Oxford Online Placement Test: The Meaning of OOPT Scores. URL: http://www.oxfordenglishtesting.com/uploadedFiles/Buy_tests/oopt_ meaning.pdf (дата обращения 20.10.2016); Purpura J. E. The Oxford Online Placement Test: What does it measure and how? URL: http://www.oxforden- glishtesting.com/uploadedfiles/6_New_Look_and_Feel/Content/oopt_measu- re.pdf (дата обращения 20.10.2016). 5 Ким В. С. Указ. соч Глава 8. Компьютерные и интернет-технологии в языковом тестировании ротко остановиться на теории Раша, которую иногда называют одно- параметрической теорией IRT 6 (см. раздел Перечислим преимущества IRT перед классической теорией тестов использование модели Раша превращает измерения, выполненные в порядковых шкалах, в линейные измерения, в результате качественные данные анализируются с помощью количественных методов мера измерения параметров модели Раша является линейной, что позволяет использовать широкий спектр статистических процедур для анализа результатов измерений оценка трудности тестовых заданий не зависит от выборки испытуемых, на которых она была получена оценка уровня подготовленности испытуемых не зависит от используемого набора тестовых заданий неполнота данных (пропуск некоторых комбинаций испытуемый тестовое задание) не является критичной. Возвращаясь к практике использования адаптивной модели диагностического тестирования OOPT, следует учесть, что оно проводится по двум аспектам — оценивает наличие таких навыков, как использование языкового материала (Use of English) и аудирование (Listening Каждая сессия диагностического теста OOPT предназначена для соотнесения имеющихся у испытуемого умений и навыков обоих упомянутых аспектов с одним из 6 уровней владения иностранным языком на шкале CEFR (от A1 до C2). Это возможно при условии, что 1) каждый элемент / задание, включаемое в банк, относится к одному из 6 уровней и 2) все уровни CEFR от A1 до C2 содержат свое подмножество ранжированных по трудности заданий. Более того, во избежание повтора одного итого же набора вопросов для разных тестируемых, а также для любого тестируемого, который выполняет этот тест неоднократно, необходимо наличие в банке достаточного количества заданий с одинаковым рейтингом, которые бы произвольно отбирались системой в момент генерации следующего задания. Каждый такой элемент банка имеет подробную спецификацию и отнесен копре сайт. URL: https:// en.wikipedia.org/wiki/Item_response_theory (дата обращения 20.10.2016). 583 8.1. Применение интернет-технологий для административных процедур деленному банку-уровню CEFR. Всего в системе собрано несколько тысяч единиц таких калиброванных заданий. Еще одна задача — это создание подмножеств промежуточных элементов. Например, самые сложные задания уровня А должны принадлежать также и к уровню B1, но только в качестве наиболее легких из них. Это гарантирует непрерывность шкалирования, так, что пограничные участники тестирования смогут определить, попадают ли они наследующую ступень или остаются на более низком уровне. Такой подход обеспечивает плавный переход от уровня к уровню благодаря равномерной наполненности банков подуровней (рис. Рис. 24. Результаты диагностического тестирования в соответствии со шкалой CERF. Обратимся к рис. 25. Итак, вначале тестируемому было предложено задание с рейтингом чуть ниже 40. После правильного ответа на этот вопрос он зарабатывает чуть менее 50 очков, и далее следует задание с рейтингом чуть выше 40. Так, всего за 8 шагов, ответив лишь единожды неправильно, студент постепенно набирает 75 очков. Однако за этим была допущена пара ошибок, из-за чего система определила, что этот уровень для испытуемого несколько высок. Ряд дополнительных вопросов — и итоговый балл части Использование языкового материала («Use of English») стабилизируется вокруг отметки 7 International language standards // Cambridge English: сайт. URL: http:// www.cambridgeenglish.org/exams/cefr/ (дата обращения 20.05.2017). Глава 8. Компьютерные и интернет-технологии в языковом тестировании чуть ниже 70. После этого система диагностирования предъявляет ему вторую часть — аудирование. Рейтинг первого вопроса на прослушивание теперь задается баллом, полученным впервой части. Студент дважды попадает в точку и дважды ошибается, так что его итоговый балл за аудирование быстро устанавливается выше отметки 70. Важно учитывать, что системе удалось нащупать стабильность в ответах испытуемого довольно быстро всего за 13 шагов части Использование языкового материала ив части Аудирование. Однако тестируемый обычно отвечает на некоторое количество дополнительных, «подстраховочных» вопросов, те. всего на 30 впервой и 15 во второй части, что обеспечивает бóльшую точность в оценке уровня испытуемого (см. рис. Рис. 25. Индивидуально-ориентированное тестирование студент Погрешность оценивания Процесс оценивания в данном случае (рис. 26) был сходным с описанным в случае со студентом 1 (рис. 25): трудность первых вопросов была невысока, и 3 первых ответа испытуемого оказались правильными. Его итоговый балл стабилизировался через 12 шагов. На диаграмме, представленной на рис. 26, вертикальные отрезки, проходящие через точки ранжированных по трудности вопросов, обозначают величину погрешности измерения для каждого набранного балла. Поначалу погрешность довольно высока, приблизительно ± 20, после чего она уменьшается с каждым новым заданием. Обычные 30 вопросов первой части сводят эту погрешность к величине ± 5. Так как баллы, набираемые тестируемым при выполнении заданий на ауди- 585 8.1. Применение интернет-технологий для административных процедур рование, обычно довольно близки к итоговому баллу, полученному завладение языковым материалом, погрешность вначале второй части немного меньше, а требуемые параметры точности (± 5) достигаются всего за 15 шагов. Рис. 26. Индивидуально-ориентированное тестирование студент Значение расхождений в оценке умений и навыков первой и второй частей Обратим внимание, что студент 2 (рис. 26), по всей видимости, лучше справляется с заданиями части аудирования, чем с заданиями на грамматику и лексику впервой части. Создатели данной системы онлайн-диагностики считают, что, как правило отличие в 6 баллов и меньше не позволяет судить о наличии существенной разницы в имеющихся у испытуемого умениях и навыках по обоим аспектам оценивания; • разница в 7 и более баллов признается значимой, ноне всегда сказывается на практике обучения и использования данного иностранного языка отличие в 13 баллов — это существенный разрыв, который может сказаться на результатах дальнейшей линии обучения и практики использования языка. Таким образом, в результате описанного процесса онлайн-тести- рования система OOPT производит и сообщает 2 оценки по части владения языковым материалом и по части аудирования, что делается с достаточно высокой точностью в свете целей подобного диагностического мероприятия. В завершение процесса в отчете указывается Глава 8. Компьютерные и интернет-технологии в языковом тестировании также упомянутая остаточная погрешность ± 5 единиц. Это значит, что с наибольшей вероятностью способности студента могут соответствовать баллам, а это, без сомнений, относит его к уровню B2. Другими словами, он находится на четверти пути по направлению к С1. Также мы можем судить, какова вероятность правильности полученного результата. Итоговый балл равен 65 ± 5. Вероятность того, что текущий уровень студента ниже 55 баллов, — 2,5 %; между 55 и 60 — 16 %; между 60 и 70 — 68 %; между 70 и 75 — 16 %; выше 75 — 2,5 Несмотря на неизбежную вероятность ошибки, сопровождающую любые измерения, мы можем быть уверены, что наш студент действительно находится на уровне B2: существует вероятность лишь 1: 6, что его уровень определен неправильно и на самом деле он все еще принадлежит уровню B1. Не стоит забывать, однако, что если система выдает отчет о наличии 6 студентов, чей результат лишь на стандартную погрешность выше границы уровня, существует большая вероятность, что один из них все-таки ниже заветной отметки! В случае, если итоговый балл какого-либо студента пришелся рядом с границей между уровнями, ему рекомендуется повторное прохождение теста. Тогда стандартная погрешность по обеим сессиям снизится на коэффициент 2 — с 5,1 до 3,6, что поможет определиться с выбором уровня точнее. А какие выводы должен сделать преподаватель, если студент получил баллов завладение языковым материалом и 60 за аудирование По возможности — снова повторное тестирование, либо придется принимать во внимание пограничное состояние способностей данного студента и, возможно, уделить особое внимание тем аспектам его навыков, которые не получили достаточного развития. |