Актуальные вопросы языкового тестирования. Издательство санктпетербургского университета
 Скачать 6.52 Mb.
|
|
Оценка 5. Написано цельное, хорошо организованное и логически построенное сочинение, в целом раскрывающее тему. Основная идея подтверждается рядом примеров. Меньшее разнообразие грамматических структур и вокабуляра. Могут иметь место некоторые грамматические ошибки. • Оценка 4. Написано вполне приемлемое сочинение. Тема раскрыта частично. Хотя основная идея и подтверждается рядом примеров, однако наблюдается недостаток организованности и логического построения. Грамматические структуры могут иногда использоваться не вполне корректно. Грамматические ошибки довольно часты. • Оценка 3. Сочинение с трудом можно признать отвечающим критериям. Наличие темы едва улавливается. Значительные нарушения организации и логической структуры. Серьезные несоответствия в использовании грамматических структур и вокабуляра. Частые грамматические ошибки ведут к затруднению понимания основной идеи. • Оценка 2. Сочинение невозможно признать отвечающим критериям. Организация очень слабая или отсутствует совсем. Недостаток цельности и взаимосвязанности элементов друг с другом. Основная идея подтверждается малым количеством приемов или не подтверждается ими совсем. Если же они имеют место, то часто не соответствуют основной идее. Значительные нарушения грамматических структур и серьез- Глава 3. Теория и практика тестирования языковых навыков и речевых умений ные грамматические ошибки. Автор, возможно, не полностью уяснил тему сочинения. • Оценка 1. Сочинение признается полностью не отвечающим критериям. Полное отсутствие организации и логической структуры. Предложения короткие и часто незаконченные, не связаны друг с другом. Существенные грамматические ошибки делают практически невозможным понять идею автора. Автор абсолютно не понял тему сочинения. Тема нераскрыта. Сочинение не написано. Однако в соответствии с новыми требованиями TOEFL при оценке применяется так называемый целостный подход, те. общее впечатление от работы испытуемого важнее, чем соответствие ряду выдвигаемых критериев. Испытуемый получает оценку, среднюю между двумя асессорами например, 4 + 5 = 9; 9: 2 = 4,5). Если их оценки расходятся более чем на 1 балл, тест читает третий асессор, чья оценка является решающей. Строго говоря, этот субтест не является стандартизированным. При этом баллы за эссе инкорпорируются в результаты второго субтеста, составляя половину его шкалы. Итак, рассмотрев критерии, предъявляемые к письменной речи в англоязычных тестах, можно сделать выводы об их различиях. Несмотря на то что эти тесты предоставляют сертификаты поре- зультатам сдачи экзамена, они отвечают разным целям. Если TOEFL предназначен в первую очередь для поступающих в американские университеты и имеет ярко выраженную академическую направленность, то британские тесты FCE и CAE более специфичны и могут быть использованы и при приеме на работу, и для зачисления в университет, и как сертификат, регистрирующий получение языковых навыков по окончании курса английского языка. Хотя в рассматриваемых тестах применяются общие критерии, степень их важности различна. Для американских тестов TOEFL важнее соответствие заявленной теме, те. тому критерию, который в большей степени создает общее впечатление, что по новым подходам к данному тесту важнее, чем соответствие остальным критериям. Кембриджские тесты ставят во главу угла организацию структуры работы, далее когезию текста, те. формальные признаки оценки работы, по которым можно сказать, насколько испытуемый владеет письмен 395 3.6. Письмо как объект тестирования ным языком. В заданиях этих тестов также имеются различия. Так, задания сформулированы таким образом, чтобы выявить способность мыслить на английском языке и соответственно выражать эти мысли в письменной форме, в то время как задания FCE ив большей степени предназначены для выявления конкретных навыков, необходимых при приеме на работу, написании различных видов писем, отчетов и т. д, те. ориентированы на проверку более конкретного навыка владения иностранным языком. Критерии оценки, применяемые в В последнее время тест IELTS приобрел большую популярность, так как он принимается в ряде стран как сертификат, подтверждающий уровень владения языком как для постоянного проживания в выбранной стране, таки с целью возможного обучения там. Среди критериев письменной части данного международного формата можно выделить следующие объем работы (как правило, 150–180 слов структура и организация текста во введении должна быть сформулирована основная идея, которая будет развиваться в дальнейшей работе. Любой тезис должен подтверждаться аргументами и т. д, те. во многом требования к структуре схожи с другими форматами. Однако есть и отличия в форме самих заданий и времени, которое отводится на выполнение каждого из них испытуемым предлагается за 60 мин. выполнить 2 задания. Первое, как правило, представляет собой описание графика или диаграммы, а второе — сочинение на заданную тему (жанры во многом схожи с теми, которые предлагаются в формате Один из главных критериев содержание должно полностью соответствовать заданию. Текст должен легко читаться, а грамматические ошибки учитываются, только если они затрудняют понимание текста. Если они не мешают, то им придается мало значения. Однако есть возможность повысить свой балл, если испытуемый демонстрирует хороший уровень владения грамматикой и сложными языковыми структурами. Единые европейские критерии определения уровня владения письменной речью Так как в данном разделе нас интересует один вид речевой деятельности письмо, то данные из всех таблиц именно поэтому аспекту были сведены в таблицу (см. табл. 26) в соответствии с критерия Глава 3. Теория и практика тестирования языковых навыков и речевых умений Таблица Навык владения письмом как видом речевой д ея те льнос ти Ур овни Обще е владение язык ом Обще е владение языком (социальный и туристический а сп ек т) Вл адени е языком с целью обу чения Вл адени е языком с целью работы ve l Ям огу писать письма на любую тему, вести протоколы встречи заседаний, выражая мысли в письменной форме грамотно и разнообразно Я могу писать письма на любую тему, выражая мысли в письменной форме грамотно и разнообразно Я могу делать правильные и четко оформленные записи вовремя лекций, семинаров, аудиторных занятий Я могу делать записи и одновременно продолжать участвовать в заседании или конференции Ям огу подготовить деловую корреспонденцию, вести записи совещаний и писать сочинения общего характера, демонстрирующие навыки общения в письменной форме Я могу писать письма наб ольшин ств от ем. Аспекты, которые могут представлять трудности для читателя, вероятнее всего, связаны со словарным запасом Я могу писать сочинения, которые демонстрируют навыки общения в письменной форме, однако представляющие некоторые трудности для читателя Я могу справляться как со бы чными, таки с внештатными ситуациями, в которых информация, требующая профессиональных знаний, предоставляется коллегами или внешними структурами Ям огу делать записи со слов другого человека или писать письма, в том числе и снес та ндар тными запросами Я могу написать запрос в гостиницу, чтобы выяснить наличие услуг, например оборудования для инвалидов или предоставления диетического меню Я могу делать простые записи, которые можно будет использовать для написания сочинений или для повторения материала Я могу справляться со бы чными запросами в области товаров и услуг. Письмо как объект тестирования ve l Ям огу писать письма или вести записи только на известные темы Я могу писать письма на ограниченное количество тем, имеющих отношение к личному опыту, и выражать мнение ограниченным набором языковых средств Я могу фиксировать услышанную на лекциях информацию, если она преподносится в темпе, близком к задик то выв анию Я могу делать четкие записи совещаний икон ф ер енций, где тема достаточно хорошо знакома Ям огу заполнить форму и писать короткие письма или открытки, имеющие личный характер Я могу заполнять большинство форм личного характера Я могу писать короткие простые предложения, такие как Ям огу писать короткие общие ответы на запросы коллеги ли контактных лиц из других компаний, скот ор ыми общение уже имело место Ям огу заполнять простые формы и писать сообщения, включающие информацию о времени, дате, месте Я могу оставить очень короткое сообщение для принимающей семьи или писать короткие заметки, такие как Ям огу копировать информацию о времени, дате, месте с доски в тетрадь Я могу писать простые обращения к коллегам, такие как Глава 3. Теория и практика тестирования языковых навыков и речевых умений ми, первоначально разработанными в сертификационных экзаменах ALTE, а позднее усовершенствованными и дополненными в Общеевропейских компетенциях владения иностранным языком». При разработке европейской системы уровней проводились обширные исследования в разных странах, методики оценки опробова- лись на практике. В результате пришли к согласию по вопросу око- личестве уровней, выделяемых для организации процесса изучения языка и оценки степени владения им. Существует 6 крупных уровней, которые представляют собой более низкие и более высокие подуровни в классической трехуровневой системе, включающей в себя базовый, средний и продвинутые уровни. Схема уровней построена по принципу последовательного разветвления. Она начинается с разделения системы уровней натри крупных уровня — А, В и С. Ниже приведена сводная таблица (см. табл. 27) владения различными навыками письма и соответствующими дескрипторами, те. конкретным описанием того, что учащийся должен уметь на каждом уровне. Представленная в табл. 27 шкала оценки наглядно демонстрирует критерии оценки владения общим навыком изложения мыслей в письменной форме, навыком творческого подхода к выполнению письменного задания и навыком написания отчетов и сочинений на каждом из 6 уровней. Критерии оценки представлены в виде дескрип- торов. Таким образом, опираясь на серьезную и фундаментальную работу, проведенную разработчиками ассоциации ALTE, а затем расширенную и дополненную разработчиками CEFR, можно сделать вывод о появлении достаточно четких критериев (с помощью дескрипторов) оценки различных видов речевой деятельности. В табл. 27 видно разграничение навыков и умений в зависимости от уровня и конкретного аспекта использования письменного языка сточки зрения цели. Такая система дает возможность достаточно точно оценить уровень владения языком обучающегося с целью составления его персонального языкового портфеля (см. главу На основании проведенного исследования удалось сформировать единую систему критериев, которые используются в различных международных тестовых форматах. Данные сведены в табл. 28. 399 3.6. Письмо как объект тестирования Та блица Шкала критериев оценки различных навыков владения письменным язык ом Оценк а Общий н авык Тв ор че ский н авык Н авык написания отчетов и э сс е C2 М огу написать ясный, связный, законченный по смыслу текст в наиболее соответствующем ситуации стиле ил оги ческой структуре, позволяющей читателю выявить ключевые моменты Могу написать ясную, связную, законченную по смыслу историю, привлекающую внимание читателя, до конца выдерживая подходящий стиль Могу написать ясный, связный законченный по смыслу отчет, статью или эссе, в которых выражается критическая оценка или представляющие собой законченное художественное произведение. Могу оформить изложение в логическую структуру, которая поможет читателю выявить основные смысловые акценты Могу написать ясный, хорошо организованный текст на общие темы, подчеркивая наиболее важные моменты и подтверждая заявленные тезисы соответствующими примерами, плавно переходя к заключению, в котором в краткой форме делаются выводы попов оду вышеизложенного Могу сделать ясные, подробные, хорошо организованные описания, ат акж е написать образные, художественные тексты, отражающие личный взгляда вт ор а, ат акж ели чн ос тны е характеристики Могу написать ясные хорошо организованные статьи на сложные темы, подчеркивая наиболее важные моменты. Могу развивать и поддерживать уже заявленные идеи напр от яж ении всей статьи Глава 3. Теория и практика тестирования языковых навыков и речевых умений Оценк а Общий н авык Тв ор че ский н авык Н авык написания отчетов и э сс е B2 М огу написать ясные и подробные тексты на большинство тем, связанных со своими интересами, обобщая и анализируя информацию, полученную из многих источников Могу сделать ясные, подробные описания реальных или вымышленных событий и ситуаций, организовывая идеи в связный текст, соблюдая установленные требования выбранного жанра Могу написать отчет или эссе, в котором аргументы предоставляются систематически, а важные моменты освещаются подробно. Могу оценить различные идеи или решения проблем B1Могу написать связный текст наряд знакомых тем, имеющих отношение к интересам, связывая несколько отдельных фрагментов в единую последовательность Могу сделать подробное описание пор яду знакомых тем, связанных со своими интересами. Могу описывать события прошлого, с акцентом на чувства и реакции, простыми, связными предложениями. Могу давать описания событий, недавних поездок. Могу изложить историю в письменной форме Могу писать короткие, простые эссе на интересующие темы. Могу подводить итог, делать выводы и предоставлять собранную информацию как по обычным, таки попер ио ди чески возникающим вопросам A2Могу написать несколько простых фраз и предложений спрос тыми слов ами-св язками» типа Могу писать об элементах ежедневной жизни — описание людей, место пы та работы и образования. Могу давать очень короткие общие описания событий прошлого, личного опыта Нет описания Могу написать только простые отдельные фразы и предложения Могу писать простые фразы и предложения ос еб е и о воображаемых людях (где живут, чем занимаются и т. д.) Н ет описания Окончание табл. 27 401 3.6. Письмо как объект тестирования Таблица Система международных критериев оценки письменной речи № Критерий Вес каждого критерия 1 Организация структуры работы Глубина содержания Соответствие заявленной теме Когезия (логичное и последовательное изложение материала. Уместное использование различных средств передачи логической связи между отдельными частями текста Использование аргументов для подтверждения выдвигаемых тезисов Грамматическая корректность Общее впечатление от работы Оригинальность суждений Начитанность и информированность по излагаемой теме Наличие примеров Орфографическая корректность Разнообразие вокабуляра 1 Разнообразие языковых структур Пунктуационная корректность Стилистическая корректность 1 При формировании системы учитывались критерии оценки во всех рассмотренных форматах. В зависимости отвеса каждого критерия, который принимается во внимание разработчиками, ему было присвоено определенное количество баллов, исходя из максимального количества 20. Работы студентов, анализ которых представлен в диссертационном исследовании автора, оценивались исходя из балльной шкалы 158 Более подробно см Креер М. Я. Критерии оценки письменной речи учащихся на рубеже школа-вуз на материале английского языка автореф. дис. … канд. пед. наук. СПб., 2007. Глава 3. Теория и практика тестирования языковых навыков и речевых умений Данная система является контрольно-измерительным инструментом, необходимым для проведения анализа работ в методическом эксперименте. Вес каждого критерия определялся также на основании анализа успешно написанных работ поданным форматам, оцененных международными экспертами. Каким образом эта гипотетическая шкала коррелирует с мнением российских экспертов, показано в табл. Таблица Расстановка приоритетов в критериях оценки письменной речи в различных шкалах Шкалы Критерии Cambridge Российские эксперты Соответствие заявленной теме Организация структуры работы 2 2 Когезия 3 3 Грамматическая корректность 4 5 Глубина содержания Общее впечатление — 1 — — 3 Разнообразие вокабуляра и структур 6 6 Наличие примеров Используя опыт шкалирования в европейских форматах, в частности в FCE, при оценивании творческих работ, мы исходим из того, что наиболее важным критериям присваивается максимальный вес 2, менее значимым — от 1 до Из дескрипторных шкал, показывающих владение навыком письменной речи на разных уровнях, к уже сформулированным критериям оценки можно добавить еще несколько, которые практически не фигурируют отдельно в рассмотренных тестовых форматах оригинальность суждений, начитанность и информированность поданной теме, а также отдельно выделяются грамматическая, орфографическая, пунктуационная корректность, разнообразие вокабуляра и структур 403 3.6. Письмо как объект тестирования Экспертный анализ критериев оценки письменной речи На основании подробного анализа критериев оценки в таких тестовых форматах, как TOEFL, FCE, IELTS (табл. 29), а также опираясь на рекомендации, представленные в документах ALTE и Совета Европы, была сформирована система оценки, которая включает не только ранжирование вышеперечисленных критериев, но также и определение веса, который имеет каждый критерий сточки зрения европейских и американских экспертов (см. табл. 29). Однако принимая во внимание, что для целей российского образовательного контекста задачей является найти соответствие между критериями, применяемыми как в международной, таки в отечественной практике, был проведен экспертный анализ, о котором и пойдет речь ниже. Цель проведения экспертного анализа — определение отношения отечественных специалистов к критериям оценки письменной речи на английском языке, стем чтобы сравнить полученные результаты с подходами зарубежных методистов и попытаться найти оптимальный вариант, учитывающий как отечественный, таки зарубежный подход к критериям оценки письменной речи. Для того чтобы сделать выводы на основе опыта отечественных специалистов, был проведен экспертный анализ, участниками которого являлись преподаватели средней и высшей школы, распределенные по группам соответственно стажу работы менее 5 лет, от 5 до 15 лет, более 15 лет. Специалистам в области преподавания иностранных языков был предложен список из 15 критериев оценки письменной речи, который сформировался в результате подробного изучения критериев, применяемых в зарубежных форматах тестов (TOEFL, FCE, CAE), а также с учетом дескрипторов, применяемых в CEFR. Задача преподавателей заключалась в ранжировании критериев (присвоить ранг каждому критерию от 1 до 15 по убыванию, те наиболее важный критерий при оценке, 15 — абсолютно неважный. Таким образом, было обработано 50 анкет. В результате анализа из 15 критериев было выделено (общее впечатление от работы, организация структуры, соответствие заявленной теме, глубина содержания, когезия и грамматическая корректность, которые представляются наиболее важными у различных категорий преподавателей, так как именно у этих критериев медиана ранга ≤ 5 (см. рис. Из табл. 29 видно, что в основном эксперты присваивали наивысшие ранги только 6 критериям из 15 (таб. 28). К остальным критериям Глава 3. Теория и практика тестирования языковых навыков и речевых умений отношение было существенно различными по медиане они не вошли в число представленных шести. Например, такие критерии, как оригинальность суждений, или использование аргументов для подтверждения тезисов, или наличие примеров, у одних преподавателей занимали ведущие позиции, в то время как другие сходилось в мнении, что либо эти критерии нет смысла выделять отдельно, либо они не играют важной роли при оценивании письменной работы. В табл. 29 также показано место критериев в представлениях российских экспертов в сравнении сих с местом в списке международных критериев по тем шкалам, которые рассматривались в рамках про- Рис. 12. Распределение рангов по критериям оценки письменной речи 405 3.6. Письмо как объект тестирования веденного исследования. Критерий Соответствие заявленной теме оказался наиболее важным для российских экспертов, что в целом соответствует международной практике оценки. Однако в приведенной формулировке, которая наиболее привычна для отечественных методистов, этот критерий обозначается только в оценках Кембриджских тестов и TOEFL. При описании того, что должен уметь испытуемый на определенном уровне владения письменным языком, в оценках, предлагаемых в CEFR и ассоциацией ALTE, этот критерий можно лишь интуитивно выделить из общего описания. Вторым в списке приоритетов российских экспертов следует критерий Организация структуры работы, и хотя среди различных групп экспертов место этого критерия варьировалось от 2 до 5, в общей статистике он ставится на е место, что в целом соответствует международной практике. В отношении критерия Общее впечатление, который с небольшим отставанием стоит нам месте у российских экспертов в общей статистике, возникают самые серьезные разногласия с международной практикой оценки. Как видно из табл. 29, в большинстве шкал этот критерий не считается одним из важнейших, за исключением шкалы TOEFL, где в последнее время разработчики ориентируются не столько на аналитический, сколько на холистический подход, те. оценку впечатления от работы в целом. Следует заметить, что среди различных групп российских экспертов этот критерий вызвал самые неоднозначные толкования. Анализ показал, что из 50 респондентов более половины присвоили этому критерию ранг от 1 до 3, в тоже время более 10 чел. поставили его на последнее место. В первом случае мы можем говорить о холистическом подходе к оцениванию работы, что, как будет показано ниже, оказалось более свойственно группе младших преподавателей, во втором случае — проявление аналитического подхода, когда эксперты руководствуются четкими дискретными критериями оценки, из совокупности которых и складывается общее впечатление от работы. Критерий Глубина содержания, который у российских экспертов занял е место, в международной практике только в шкалах ALTE и European Framework занимает схожую позицию, тогда как в шкалах TOEFL ион даже не входит в число основных критериев. Возможно, разработчики не выделяют этот критерий отдельно, полагая, что важнее раскрыть тему в логической последовательности, а насколь- Глава 3. Теория и практика тестирования языковых навыков и речевых умений ко глубока мысль в оцениваемой работе — для выставления высокой оценки не столь важно. Следует отметить, что в системе дескрипторов в шкалах ALTE и CEFR важно непросто изложение идеи в соответствующей форме, а то, насколько глубоко испытуемый может мыслить на иностранном языке и излагать свои мысли письменно, что во многом отражает уровень его дискурсивной и общей компетенции. Творческая составляющая всегда была важна для российского менталитета, именно поэтому такое высокое место данного критерия можно считать вполне обоснованным. Если экзаменатору действительно интересно читать ту или иную письменную работу, другие критерии оценки могут отойти на второй план. В связи с этим данный критерий в сознании российских экспертов может быть близок критерию Общее впечатление от работы. Однако, как показал анализ, критерий Глубина содержания был более понятен по своей формулировке и вызвал меньше разногласий у респондентов. Ранг, присвоенный критерию Когезия российскими экспертами, наглядно демонстрирует значительное отставание в российской практике оценки одного из важнейших в международной практике дискурсивных критериев. Надо отметить, что все группы респондентов поставили этот критерий на е или е место, что свидетельствует о постепенной переоценке взглядов. Однако 5 чел. из числа опрошенных поставили этот критерий на последнее место, не считая необходимым уделять ему должное внимание при оценке или не считая целесообразным выделять его как отдельный критерий. Удивительным оказался тот факт, что критерий Грамматическая корректность, которому уделялось большое внимание как в оценке, таки при обучении письменной речи, в отечественной практике замыкает шестерку основных критериев. В других шкалах, как европейских, таки американских, данный критерий занимаете или е место. Возможно, это происходит в силу того, что грамматическая корректность также относится к лингвистической компетенции, а не к собственно дискурсивной, а в последнее время идет переоценка места дискурсивных критериев. В результате удалось сформировать универсальную абстрактную шкалу, состоящую из 15 критериев, которые применяются при оценивании письменных работ в различных тестах. Анализ показал, что в каждом конкретном случае из общего списка критериев выбираются те или иные в зависимости от целого ряда факторов. Место 407 3.6. Письмо как объект тестирования (ранг) различных критериев также зависит от конкретной ситуации. Тот факт, что российские эксперты выделили 6 критериев, не означает, что остальные критерии не принимаются во внимание. Существует множество факторов, которые влияют на набор и приоритетность критериев оценки. Представляется целесообразным рассматривать критерии как универсальную сущность, а их отбор и порядок — как конкретную сущность в зависимости от образовательного контекста разных уровней. При этом под образовательным контекстом можно понимать как федеральный уровень, таки университетский уровень или срез по конкретному курсу. Так как при оценивании письменных работ обучаемых мы имеем дело с субъективным мнением экзаменаторов, возникает острая необходимость локальной стандартизации всех критериев и дескрипторов в зависимости отряда факторов целей обучения, проверяемых навыков и умений владения письменной речью, социолингвистических факторов, этнических и национальных особенностей и т. д. Дж. Ч. Олдерсон и др. описывают процедуру подготовки экзаменаторов по проверке навыка письменной речи следующим образом 159 Предполагается, что есть главный экзаменатор, который либо самостоятельно, либо вместе с группой специалистов устанавливает стандарты оценки и направляет их каждому экзаменатору, который будет участвовать в процессе оценивания письменных работ. Процедура состоит из следующих этапов. • |