Актуальные вопросы языкового тестирования. Издательство санктпетербургского университета
 Скачать 6.52 Mb.
|
|
Разработка шкалы оценки для конкретной ситуации При разработке шкалы не рекомендуется использовать шкалы, состоящие только из цифр или односложных дескрипторов («хорошо»,«плохо»), так как такие неотчетливые и расплывчатые определения могут быть интерпретированы по-разному различными экзаменаторами, а также использовать шкалы более чем с 7 параметрами, так как экзаменаторам будет довольно сложно провести такие тонкие различия. • Определение стандарта После того как тест проведен, главный экзаменатор (chief examiner, председатель экзаменационной комиссии) должен просмотреть как можно больше письменных работ, чтобы ясно осознавать, с какими трудностями 159 Alderson J. C., Clapham С. M., Wall D. Language Test Construction and Evalua- tion. Cambridge: Cambridge University Press, 2005. Глава 3. Теория и практика тестирования языковых навыков и речевых умений столкнулись испытуемые при написании работы. Для достижения максимальной объективности предпочтительнее, чтобы работа по определению стандартов проводилась не одним экспертом, а несколькими квалифицированными специалистами, составляющими комиссию по определению стандар- тов. • Распространение сформированных стандартов среди всех экзаменаторов. Кроме стандарта всем участникам высылаются или выдаются проверенные образцы письменных работ, чтобы выявить, как они их оценивают в соответствии со стандартами. Любой экзаменатор должен быть готов объяснить своим коллегам, а также членам комиссии свое решение по поводу выставленной оценки. Далее между экзаменаторами происходит обсуждение оценок, выставленных образцам работ. В случае серьезных разногласий по поводу оценки может иметь место разъяснение членами комиссии своих оценок. Однако в случае, если большинство экзаменаторов не вполне поняли формулировку критерия оценки, формулировка такого критерия изменяется или уточняется. В процессе такого обсуждения задача главного экзаменатора — отследить, насколько можно доверять оценкам различных экзаменаторов и имеет ли смысл привлекать их к дальнейшей оценке работ. Существуют определенные процедуры, определяющие степень надежности (reliability) оценки, выставляемой экзаменатором (см. выше раздел Таким образом, к моменту начала процесса выставления оценок у каждого экзаменатора будет модифицированная шкала, которой они будет руководствоваться в данной ситуации. Важно, чтобы такая подготовка экзаменаторов проводилась регулярно. В ней должны принимать участие не только новички, но и опытные экзаменаторы, чтобы каждый раз руководствоваться конкретными стандартами, а не использовать исключительно свой опыт в оценивании письменных работ. Для достижения максимальной объективности при субъективном оценивании необходимо обеспечить адекватность выставляемой оценки. Кроме процедуры подготовки экзаменаторов, описанной выше, целесообразно использовать процедуру, выявляющую уровень надежности оценки 409 3.6. Письмо как объект тестирования Такая подготовка к оцениванию может прояснить определенные критерии для каждого экзаменатора, однако, принимая во внимание то, что речь идет о субъективной оценке, невозможно гарантировать, что всякий раз экзаменаторы будут выдавать тот результат, который от них ожидают, так как существует множество факторов, под воздействием которых оценка, выставляемая даже опытными экзаменаторами, может оказаться ненадежной. Здесь целесообразно рассмотреть два термина — внутренняя надежность и внешняя надежность. Если экзаменатор в двух различных ситуациях выставляет одну и туже оценку за письменную работу испытуемого или различия в оценке незначительны, можно говорить о внутренней надежности оценок экзаменатора. Внешняя надежность определяет соотношение между оценками, выставленными различными экзаменаторами между собой. Конечно, предположить, что все экзаменаторы оценят одну и туже работу одинаково, было бы идеалистично, однако каждый из них должен следовать стандартам, устанавливаемым главным экзаменатором или комиссией по стандартам. Существует несколько способов, с помощью которых организация может отслеживать, как экзаменаторы осуществляют централизованное или дистанционное оценивание 161 Рассмотренные процедуры представляются необходимыми при оценивании письменной речи испытуемых. В разработанной шкале критериев оценки письменной речи присутствуют критерии, относящиеся к разным видам компетенции критерии оценки общей компетенции, лингвистической компетенции, коммуникативной компетенции. В зависимости от конкретной ситуации, те. оттого, какой навык проверяется в задании, ранжирование критериев оценки будет разным. При оценке письма-жалобы — одни критерии, при оценке эссе — другие 162 Таким образом, задача экзаменаторов — каждый раз четко определять шкалу критериев оценки. Более того, сформировав шкалу оценки, которая соответствует конкретной ситуации, необходимо не только выделить приоритетность критериев, но и определить вес 160 Павловская И. Ю, Башмакова НИ. Указ. соч 161 Alderson J. C., Clapham С. M., Wall D. Language Test Construction and Evalua- tion. 2005. 162 Ibid. Глава 3. Теория и практика тестирования языковых навыков и речевых умений в баллах каждого из них, стем чтобы каждый экзаменатор руководствовался одними тем же набором критериев, одинаково определял их приоритетность и вес каждого критерия в определенной ситуации оценивания. 3.6.2. КРИТЕРИИ ОЦЕНКИ ПИСЬМЕННОЙ РЕЧИ ОБУЧЕНИЕ И ТЕСТИРОВАНИЕ В РАМКАХ ТРКИ) Человек, живущий в XXI в, может наблюдать за сущностными изменениями в ценностных установках нашего современника, не обращаясь к данным исторических справочников или монографий, поскольку изменения происходят очень быстро. Преподаватели еще в недавнем прошлом с трудом находили достаточно сильные аргументы для своих учеников, которые не желали тратить свои силы на овладение письменной речью (аргумент Вам нужно написать контрольную работу или Вам придется сдавать тест не слишком убедительны, студент может сдать экзамен, не утруждая себя обретением соответствующих письменных навыков и умений. Теперь эти преподаватели с недоумением отмечают, что все чаще аспект Письмо вызывает повышенный интересу учеников. Действительно, письменная форма коммуникации сегодня очень важна (можно даже предположить, что для молодых людей она встала вровень с коммуникацией посредством фотографий и других способов передачи образов. Повсеместно проникающий Интернет предоставляет все новые и новые формы общения уже привычные форумы дополнились возможностями социальных сетей блоги теперь многим кажутся слишком длинными фрагментами, и потому воцарился твиттер. В области преподавания РКИ эти явления, которые могут нас пугать в других отношениях, безусловно, вызывают радость, ведь Интернет и привычка к виртуальному общению позволяют нашим ученикам не терять приобретенные навыки даже тогда, когда они живут не в России. С другой стороны, письменная форма самопрезентации становится крайне важной для карьерного роста молодых людей. И для развития молодого ученого, и для эффективной работы начинающего бизнесмена очень важны навыки презентации продукта своей деятельности, а эта презентация обычно подразумевает письменную форму. Здесь становится видно, насколько современна пословица По одежке встречают, по уму провожают первое письмо, первое пред 411 3.6. Письмо как объект тестирования ложение о сотрудничестве, первая самопрезентация в профессиональном сообществе может стать прекрасной стартовой площадкой, но может и закрыть двери 163 Таким образом, у наших учеников действительно есть сильная мотивация, чтобы овладеть навыками письменной речи на русском языке. Можем ли мы сказать, что наши занятия позволят им быть успешными в неофициальной и официальной коммуникации Имеем ли мы право заявить, что человек, который успешно прошел ТРКИ определенного уровня и, соответственно, справился с письменными заданиями, — этот человек готов к письменному общению согласно обозначенному порогу? Что мы знаем о том, каковы вообще критерии эффективной речи Специалисты по культуре речи и по речевой коммуникации формулируют множество положений. Приведем здесь авторитетное мнение, которое представляется нам обобщающими в тоже время вполне конкретным важно учитывать ситуацию реализации и распространения речи, ее целей и задач, отношений между коммуникантами, характер и свойства ее адресата это должна быть целесообразная речь правильность речи — необходимое, но недостаточное качество обязательно использование нужной в конкретной ситуации функциональной разновидности литературного языка, соответствующей национальным традициям общения и этическим нормам поведения продукт речи должен восприниматься как современный 164 Важно обратить внимание на то, что на первый план выходят требования целесообразности речи и ее соответствия ситуации, а несоответствия норме (языковой или этической. Согласимся, что сегодня это действительно наиболее важные критерии удачной речевой 163 Подробнее см Плешакова Т. В. Роль письменной речи в свете современных требований к формированию коммуникативных компетен- ций // PsyJournals.ru: Портал психологических изданий. URL: http:// psyjournals.ru/sociosphera/2010/n3/35475_full.shtml (дата обращения 18.06.2014). 164 Сиротинина ОБ. Основные критерии хорошей речи // Хорошая речь. Саратов, 2001. С. 16–28. Глава 3. Теория и практика тестирования языковых навыков и речевых умений продукции слово отвечает ожиданиям адресанта и адресата и уместно здесь и сейчас, именно в том контексте, для которого создано. Находясь на таких позициях, филолог не может упрекать политического деятеля за использование сниженных лексических единиц в своей речи, если политик использует эти единицы со смыслом и к удовольствию аудитории. Соглашаясь с этими размышлениями лингвистического характера, подумаем насколько свободно современный тестор в системе оценки речевой компетенции инофонов может руководствоваться подобными соображениями, те. оценивать речевой продукт тестируемых сточки зрения его эффективности и целесообразности Оправдан ли подобный подход к письменным работам иностранных учащихся, и если оправдан, то возможно ли найти формальные критерии оценивания с таких позиций Наконец, нужно ли подобный подход к оцениванию письменных работ распространять на все уровни обучения, или он должен применяться лишь на продвинутом уровне? Для того, чтобы наши ответы небыли слишком голословны и субъективны, посмотрим, как решается эта проблема в признанных на разнообразных уровнях тестах по английскому языку как ино- странному. В различных европейских и американских шкалах оценки (TOEFL, Cambridge English, ALTE, IELTS, CEFR и др) используются различные критерии оценки письменных работ (см. предыдущий раздел). Представляется весьма показательным результат исследования, проведенного М. Я. Креером (см. раздел 3.6.1), в рамках которого выяснялось, какие из перечисленных выше критериев осознаются как наиболее важные нашими коллегами, преподающими английский язык русским школьниками студентам. Ведущими критериями оказались (в порядке уменьшения приоритетности): соответствие заявленной теме, организация структуры работы, общее впечатление, глубина содержания, когезия и грамматическая корректность. Обратим внимание на то, что параметры, показатели которых довольно легко формализуются и потому подлежат объективной оценке, заняли е и е место среди приоритетов, впереди жених расположи 165 Подробнее см Креер М. Я. Экспертный анализ критериев оценки письменной речи // Известия РГПУ им. АИ. Герцена. 2011. Т. 11, № 32. С. 322– 326. 413 3.6. Письмо как объект тестирования лись категории, характеризующие скорее способности к логическому мышлению, чем уровень владения языком. Можно спорить с коллегами и настаивать на том, что самыми важными показателями владения языком являются корректность (в списке международных тестов указано четыре ее типа) и разнообразие использованных языковых единиц и структур. Пойдя поэтому пути, мы можем сформулировать четкие и непротиворечивые критерии оценки письменной работы инофона. Однако если принять во внимание те тенденции, о которых шла речь вначале раздела, то придется признать, что в реальной жизни а именно подготовка к использованию иностранного языка в реальной коммуникативной ситуации является важнейшей целью современного преподавателя иностранного языка) важен произведенный текстом эффект — те. то самое Общее впечатление, которое так сильно удивляет при первом взгляде на строгие методические критерии оценки. Нам кажется, что нужно подумать о том, чем на самом деле может определяться это общее впечатление и каковы могут быть дескрипторы этого явления (тем самым попытаться описать ощущение и эмоцию в научных терминах. Собственно, о такой необходимости говорится уже довольно давно, ведь коммуникативная компетенция и должна обеспечить успешность произведенного учащимся речевого продукта. Но до сих пор тесторы (по крайней мере, в области ТРКИ) при оценке письменных работ руководствуются другими критериями, а потому и преподаватели на занятиях вынуждены сосредотачивать свои усилия на отработке навыков в области корректности и норма- тивности. Что производит человек в результате рецепции речевого продукта В самом общем виде — это умозаключение. Результатом же продуктивных видов речевой деятельности становится высказывание, текст, дискурс. В обоих случаях предметом речевой деятельности является мысль. Как оценить мысль баллами Вполне понятны обескураживающие выводы специалиста «…оценивание того, насколько серьезны отклонения речи от нормы, всегда будет носить субъективный характер и соответственно невозможно по балльной системе. Оценить в баллах сочинение или устное высказывание представляет Глава 3. Теория и практика тестирования языковых навыков и речевых умений ся еще большей трудностью и наделе не имеет ничего общего с балль- но-рейтинговой системой» 166 При всем том нам кажется, что базовые особенности письменной речи дают нам возможность поиска критериев для использования балльно-рейтинговой системы. Вспомним, что, в отличие от устной речи, письменная речь подразумевает более-менее глубокое осмысление ситуации или предмета речи. Соответственно, письменный текст всегда имеет нужду в четкой структуре и потому неслучайно критерий Организация структуры работы имеет высокую приоритет- ность ив иностранных, ив отечественных тестовых системах) и логичности изложения (в противном случае реципиент может неправильно понять написанное. Кроме того, мы как читатели обычно ожидаем, что письменный текст более информативно нагружен, нежели устный. Для того, чтобы указанные категории оказались представленными в письменной работе, ей должны быть присущи определенные синтаксические структуры (и чем сложнее мысль, тем сложнее должны быть эти структуры) и определенные группы лексики и чем оригинальнее мысль, тем более разнообразными должны быть эти группы. Если мы помним о важности целесообразности речевого продукта, то остается существенной стилистическое и жанровое соответствие коммуникативной ситуации. С другой стороны, постоянно развивающаяся в современном русскоязычном общении тенденция к всепоглощающей иронии и далее самоиронии приводит к тому, что текст, написанный без использования этих приемов выразительной речи, воспринимается с трудом (мы не имеем ввиду тексты официально-делового стиля, однако в научной речи ирония уже заняла крепкую позицию. В тоже время ирония обычно воплощается имплицитно, а значит, трудно составить перечень языковых средств, которыми может пользоваться инофон, желающий проявить свое ироничное отношение. Видимо, именно этим обстоятельством объясняется отсутствие какого-либо включения этой характеристики речевого продукта в состав оцениваемых вовремя теста. Укажем здесь все же, что в каждом случае ироничного представления действительности присутствует некий парадокс. Кро- 166 Сон И. С. Особенности оценивания знаний по иностранному языку (говорение, письмо) по балльно-рейтинговой системе // Теория и практика образования в современном мире материалы II международной научной конференции (Санкт-Петербург, ноябрь 2012 г. СПб.: Реноме, 2012. С. 187. 415 3.6. Письмо как объект тестирования ме того, всякий ироничный текст способен передать читателю чувство интеллектуального превосходства над объектом изображения — что, собственно, и делает этот стилистический прием настолько востребованным в современном дискурсе. Присутствие иронии в тексте тестируемых никак не оценивается в системе ТРКИ, а значит, средства проявления ироничного отношения к миру не становится предметом обучения на уроках РКИ даже на продвинутом этапе. Более того, преподаватели РКИ неготовы к тому, что иностранный учащийся способен эффективно использовать иронию, преподаватели склонны в этом случае увидеть ошибки. Например, недавно на методическом семинаре пришлось убеждать группу профессиональных преподавателей РКИ в том, что студент (сдающий ТРКИ-IV!) сознательно выражает иронию, когда в письме подруге (согласно заданию Ваша подруга едет в вашу страну, дайте ей совет) пишет Ты знаешь, конечно, что американцы тоже люди, поэтому у них с русскими много общего. Коллеги настаивали, что здесь имеет место логическая ошибка, и потому баллы за работу должны быть снижены. Нам кажется, что если мы понимаем важность коммуникативной компетенции и осознаем свою задачу как подготовку к реальной речевой практике, необходимо оценивать не только логику и содержательный компонент, но и форму подачи содержания, причем делать это можно, начиная уже с ТРКИ-II. Если подобный критерий будет введен в оценку на официальном тестировании, то средствам выражения иронии и самоиронии будут учить на занятиях по письменной речи, и таким образом наши учащиеся окажутся более подготовлены к речевой деятельности в современном мире. Все эти требования к письменной работе на иностранном языке хороши и могут помочь преподавателю и тестору, однако каким поступить, если в работе, кажется, видна яркая индивидуальность автора, просматривается оригинальная идея, использованы разнообразные и сложные синтаксические и лексические единицы, потек- сту рассыпаны шутки и иронические намеки, однако все это написано с ужасающим количеством орфографических и грамматических ошибок и таким почерком, который не дает возможности быть уверенным в том, что понимаешь написанное верно Каждый преподаватель встречается с такими работами. Видимо, в этом случае нужно опять обратиться к жизненному опыту письменной коммуникации. В начале XXI в. многие филологи писали о том, что привычка писать в форумах и чатах ведет к потере грамотности, к снижению уров- Глава 3. Теория и практика тестирования языковых навыков и речевых умений ня нормативности речи, так как пользователи сети нарушают правила с удовольствием, бравируют вседозволенностью и на орфографическом уровне. Мы опять можем сказать, что стремительное развитие процессов позволяет нам быть свидетелями и их начала, и их развития. Сегодня и блоггеры стремятся писать грамотно (в противном случаев комментариях появятся исправления и порицания, и участники форумов без надобности правил не нарушают (чтобы не увидеть вот- ветных репликах пожелание сначала доучиться в школе, а потом уже свое мнение миру предлагать. Разумеется, написанное с ошибками резюме (знаменитое владею тремями языками) не поспособствует приему на престижную работу. В общем, надо сказать, что русскоязычное общество достаточно консервативно относится к правилам правописания, писать безграмотно — стыдно (в отличие от, например, англоязычного общества. Значит, нам как преподавателям нужно заботиться о формировании грамотного письма у наших учеников, те. остается важной грамматическая, орфографическая, пунктуационная корректность (кстати, вполне может быть, если бы упомянутый выше опрос проводился среди преподавателей русского языка, эти критерии остались бы среди важнейших приоритетов при оценке письменных работ). Можно заметить, что все указанные выше критерии вполне могут быть переведены на язык балльного рейтинга, за исключением главного — мысли, которую выражает письменная работа. Между прочим, обычно мысль в работах иностранных учащихся есть (наверное, это результат перенесения опыта написания текстов народном языке, кроме значительного количества работ, написанных студентами из азиатских стран. Нужно ли искать формальные критерии присутствия мысли в письменной работе на иностранном языке Нам кажется, что здесь можно еще раз вспомнить тот критерий, который мы обсуждали выше, — Общее впечатление от работы. Наш опыт подсказывает, что именно отсутствие или невнятное выражение мысли мешает проверяющему письменную работу оценить ее как удачную, хотя формально могут присутствовать многие составляющие структура, композиция, средства когезии, лексико-синтаксические комплексы выражения интенций, соответствие нормам русского языка. Это значит, что в учебной (особенно азиатской) аудитории нужно больше внимания уделить формулированию главной мысли (может оказаться достаточным напоминать перед созданием работы о том, что полезно задать себе вопрос что я хочу сказать миру) и ведущей 417 3.7. К вопросу о разработке критериев оценки письменного перевода интенции (зачем я хочу это сказать. Если же работу, в которой невозможно вычленить мысль, получает тестор, то, видимо, он может оценить это отсутствие в рамках критерия Содержательный компонент, если соответствующий параметр будет внесен в расшифровку этого компонента (сейчас в рамках ТРКИ содержательный компонент — это проблема, понимание проблемы, информация, ноне идея или мысль). Таким образом, существующие критерии оценки письменных работ инофонов представляются достаточно эффективными и полезными для определения уровня владения иностранным языком, однако в некоторых сферах оценка должна быть дополнена (в системе ТРКИ критерий Приемы выразительной речи появляется только водном задании на последнем уровне, соответствующем Си подразумевают использование художественно-риторических приемов) и уточнена (критерий Содержательный компонент должен быть обогащен представлением о необходимости выражения мысли с помощью письменного текста. К ВОПРОСУ О РАЗРАБОТКЕ КРИТЕРИЕВ ОЦЕНКИ ПИСЬМЕННОГО ПЕРЕВОДА, ВЫПОЛНЕННОГО СТУДЕНТАМИ НЕЯЗЫКОВОЙ |