Актуальные вопросы языкового тестирования. Издательство санктпетербургского университета
 Скачать 6.52 Mb.
|
|
Интерпретация балльных оценок Создатели онлайн-теста OOPT предлагают следующую таблицу для установления соответствия полученных в результате тестирования оценок и уровнями владения иностранным языком по шкале CEFR (табл. 51). Данная система соответствия возникла в результате исследования суждений преподавателей 30 учебных заведений из 11 стран, принявших участие в пилотном проекте OOPT. Преподавателей попросили оценить своих студентов по каждому из 50 критериев Общеевропейских компетенций владения иностранным языком. Было получено 638 анкет. В результате анализа на соответствие некоторые из анкет были отсеяны, после чего осталось 566 формуля- 587 8.1. Применение интернет-технологий для административных процедур ров и 44 отчета, подвергнутые статистической обработке. Для каждого студента был определен уровень, на котором, по мнению преподавателя, он в тот момент находился. Почти все участвовавшие в эксперименте студенты разместились на уровнях A1–C1, и лишь некоторые из них оказались заграницами данного диапазона. Затем диагностическая система была настроена таким образом, чтобы те же студенты были распределены в соответствии с полученными баллами нате же уровни, что и при оценке их умений преподавателями. Таблица Соответствие баллов OPT уровню Баллы Уровень CEFR 90–100 C2 Уровень владения в совершенстве (Mastery) 75–89 C1 Уровень профессионального владения (Effective Operational Пороговый продвинутый уровень (Пороговый уровень (Threshold) 20–39 A2 Предпороговый уровень (Waystage) 10–19 A1 Уровень выживания (Таким образом, при настройке данной диагностической системы ее создатели не последовали рекомендациям Совета Европы, в которых приводится совет ранжировать по трудности сами вопросы, вместо этого они предпочли взять за основу ранжированные умения студентов. «Рекомедациями» предполагалось, что группа специалистов должна оценивать каждое задание, каждый элемент тестирования, задавая вопрос какого уровня CEFR должен достигнуть учащийся, чтобы ответить на данный вопрос правильно Однако в научной литературе существуют свидетельства, что правильно оценить рейтинг задания таким образом почти невозможно, особенно когда эти задания представляют собой вопросы с множественным выбором и когда их количество в банке данных составляет несколько тысяч. По этой причине для того, чтобы оценить тест на валидность, авторы проекта воспользовались методом, известным как равные проценти- ли (equating percentiles), в основу которого положены субъективные 8 Common European Framework of Reference for Languages… Глава 8. Компьютерные и интернет-технологии в языковом тестировании оценки, поставленные студентам действующими преподавателями вовремя предварительного тестирования на начальной стадии создания диагностической системы. Обобщая сказанное, к достоинствам рассмотренной здесь адаптивной модели тестирования c использованием IRT можно отнести интерактивный характер предъявления заданий, быстрое выявление уровня развития тестируемых навыков с моментальной выдачей результата и возможностью мониторинга по итогам тестирования целых групп студентов, а также соотнесение результатов тестирования со шкалой CEFR. Другим важным преимуществом адаптивного тестирования является наличие непрерывной шкалы, позволяющей плавно распределять результаты по различным языковым уровням. Недостатком этой модели является необходимость в калибровке, те. в эмпирическом определении параметров заданий, требующем достаточно большого количества экспериментальных данных. Однако появление новой тенденции широкомасштабного входного и промежуточного тестирования в крупных российских вузах наводит на мысль о настоятельной необходимости разработки и применения подобных проектов в нашей стране. КОМПЬЮТЕРИЗОВАННОЕ ТЕСТИРОВАНИЕ КАК СРЕДСТВО ОБУЧЕНИЯ ГРАММАТИЧЕСКИМ НАВЫКАМ ВЛАДЕНИЯ ИНОСТРАННЫМ ЯЗЫКОМ НА МАТЕРИАЛЕ АНГЛИЙСКОГО ЯЗЫКА) Известно, что сегодня в высших учебных заведениях тестирование знаний нередко проводят в качестве контрольного мероприятия с целью оценки успешности усвоения учащимися курса некой дисци- плины. Л. Е. Короткова в своей диссертации описывает другую модель компьютерного сопровождения, когда контроль осуществляется на каждом из последовательных этапов процесса приобретения знаний, входе решения таких учебных задач, как актуализация, закрепление, коррекция, повторение, систематизация и обобщение. Автор отмечает, что в вузе тестовые задания применяются для проведения контро- 9 Короткова Л. Е. Проектирование и реализация компьютерного сопровождения контроля результатов обучения студентов дис. … канд. пед. наук. Ставрополь, 2006. 589 8.2. Компьютеризованное тестирование как средство обучения ля знаний с целью их оценки, в то время как важнейшие для усвоения этапы актуализации и закрепления знаний проходят чаще всего в виде фронтальной беседы или вообще не проводятся. Другой недостаток в организации обучения, на который указывает автор исследования, это низкий уровень обобщения знаний, методическое обеспечение которого проводится нерегулярно и, как правило, в устной форме. Мы полностью согласны с автором в том, что путем формального обобщения и закрепления знания усваиваются лучше. Это согласуется и с предлагаемой нами формой актуализации и обобщения грамматических знаний в виде схем и таблиц, организованных по структурно-функциональному принципу с обязательным закреплением и всеми последующими этапами приобретения знаний в процессе выполнения интерактивных упражнений и тестов на ком- пьютере. Здесь необходимо пояснить, что только что упомянутое слово тест употребляется нами для обозначения особого рода контрольного компьютеризованного интерактивного упражнения. Однако если рассмотреть характерные особенности теста в его терминологическом значении, приведенном в монографии И. Ю. Павловской и НИ. Башмаковой 10 , то следует отметить, что такой компьютерный тест обладает большинством, хотя и не всеми данными характеристиками. Такие качества, как объективность, четкая направленность на контролируемый аспект, удобство и компактность формы и экономичность повремени, присущи, по нашему мнению, контрольным материалам, создаваемым с помощью генеративных программ типа тестмейкера Hot Potatoes. Открытость программной базы данных при условии тщательного анализа и редактирования уже готовых генеративных заданий позволяет им приобретать со временем и такие важнейшие параметры, как надежность и валидность. В отношении типов упражнений, используемых в процессе обучения, добавим, что в методике обучения иностранным языкам еще в е годы XX в. учеными был сделан крупный шаг вперед в плане их типологизации 11 . Упражнения стали классифицироваться в зави- 10 Павловская И. Ю, Башмакова НИ. Указ. соч 11 Андреевская-Левенстерн Л. С, Михайлова О. Э. Методика преподавания французского языка в школе. М, 1958; Нестерова Л. В. Формирование информационной культуры будущих инженеров лесного комплекса в процессе гуманитарной подготовки дис. … канд. пед. наук. Брянск, 2002. URL: http://diss.seluk.ru/di-pedagogika/698168-4-formirovanie-infor- Глава 8. Компьютерные и интернет-технологии в языковом тестировании симости от процессов формирования речевых умений и навыков, а не на основе процессов становления знаний, характерных для учебных предметов так называемых основ наука именно актуализации, закрепления, коррекции, повторения, систематизации и обобщения. То есть классификация упражнений для совершенствования навыков владения иностранным языком соответствует следующим этапам презентации, семантизации, тренировки и контроля 12 Предлагаемая нами модель обучения основана на использовании компьютерного сопровождения на всех перечисленных этапах обучения не только в функции контроля, но и непосредственно в качестве средства обучения в соответствии с указанными стадиями усвоения материала. В табл. 68 мы попытались показать соответствие типов упражнений этапам формирования грамматического навыка, нашедшим отражение в работах П. Я. Гальперина, Е. И. Пассова и А. А. Миролюбова 13 . Табл. 52 также позволяет соотнести их с системой упражнений, предлагаемой британским методистом Пенни Ур 14 Хочется привести также следующие соображения, касающиеся перевода учащихся на самоконтроль. Миролюбов, ссылаясь на идею Пассова о том, что контроль должен на протяжении большей части учебного процесса носить скрытый для учащихся характер и содействовать их переводу на самоконтроль, отмечает Думается, что представление о контроле как фазе перехода к самоконтролю перспективно. Однако это положение автор до конца не раскрыли оно осталось лишь призывом- manitarnoy-podgotovki.php (дата обращения 20.05.2017); Пассов Е. И. НОФ Методическая школа Пассова»: Формирование грамматических навыков. Воронеж НОУ «Интерлингва», 2002; Рахманов ИВ. Обучение устной речи на иностранном языке. М Высшая школа, 1980. 12 Миролюбов А. А. История отечественной методики обучения иностранным языкам. М Ступени Инфра-М, 2002. 13 Гальперин П. Я. Предисловие // Подольский АИ. Становление познавательного действия научная абстракция и реальность. М Изд-во МГУ, 1987; Миролюбов А. А. Указ. соч Пассов Е. И. НОФ Методическая школа Пассова» … 14 Ur P. A Course in Language Teaching: Practice and Theory // Cambridge Teach- er Training and Development. Cambridge: Cambridge University Press, 2001. 15 Миролюбов А. А. Указ. соч. С. 394. 591 8.2. Компьютеризованное тестирование как средство обучения Таблица Соответствие типов упражнений Hot Potatoes этапам формирования грамматического навыка А — по П. Я. Гальперину 16 , Б — по Е. И. Пассову и А. А. Миролюбову 17 , В — по П. Ур 18 ) Мыслительные операции, сопровождающие становление грамматического навыка в соответствии с теорией поэтапного формирования умственных действий и понятий Типы (речевых) грамматических упражнений в соответствии с сознательноориентированным подходом Potatoes А Б В а. Мотивация действий Пр ез ен та ции и сем ан тиз ации 1. Ознакомительный этап После того, как учащиеся ознакомлены с грамматической моделью или структурой, предлагается текстовый материал, содержащий образцы употребления данного грамматического явления (для опознавания, подчеркивания и т. д.). Во всех приложениях есть возможность презентации грамматического материала, таблицы б. Составление схемы-ориентира действий в. Заполнение схемы-ориентира языковым материалом г. Проговаривание вслух языкового материала, организованного в соответствии со схемой-ориен- тиром д. Проговаривание про себя — внутренняя речь Ан ализ Тр енир овка, имитация и подстановка. Упражнения на подстановку (Controlled drills) John drinks tea but he doesn’t drink coffee. a) like: ice cream/cake; b) speak: English/Italian; c) enjoy: playing football/playing chess. 3. Отдельные высказывания (Mean- ingful drill) He / She likes ice cream; or He / She doesn’t like ice cream. a) enjoy: playing tennis; b) drink: wine; c) speak: Polish. Multiple Choice MultiSelect JCross, JMatch, JMix, Short Answer 16 Гальперин П. Я. Указ. соч 17 Пассов Е. И. НОФ Методическая школа Пассова»…; Миролюбов А. А. Указ. соч 18 Ur P. Op. cit. Глава 8. Компьютерные и интернет-технологии в языковом тестировании Мыслительные операции, сопровождающие становление грамматического навыка в соответствии с теорией поэтапного формирования умственных действий и понятий Типы (речевых) грамматических упражнений в соответствии с сознательноориентированным подходом Potatoes А Б В е. Выражение вслух определенной мысли Об общение, абстрагирование, синтез и сравнение Трансформация и переключение, контроль и самоконтроль. Дискуссия. Guided, meaningful Например, при изучении условного наклонения учащимся предлагается тема «If I had a million dollars…» для письменного или устного обсуждения Answer Close ж. Студенты поэтапно усваивают весь материал, сознательно выполняя все операции по оформлению мысли. Сочинение с применением изучаемых структур. (Structure- based) discourse Например, предлагается проблема выбора этически верного поведения в следующей ситуации (‘You have seen a good friend cheating in an important test’). Текст сочинения на этот раз должен содержать, например, модальные глаголы (might, should, must, can, could, etc.) Hybrid Multiple Choice Short Answer 6. Свободная дискуссия. Free Как в типе 4, нона этот раз учащихся не просят употреблять конкретные структуры. Однако ожидается, что сама заданная ситуация подтолкнет к использованию изученных структур. Нам представляется, что самоконтроль, как один из компонентов развитого грамматического навыка, неразрывно связан с самооценкой, с осознанием собственных недоработок и ошибок. В диссертации Л. В. Нестеровой упоминается интересный феномен, часто наблюдаемый многими преподавателями, а именно — переоценка или недооценка учащимися собственных знаний. Самооценка студентов более 65 процентов, — пишет автор, — оказалась завышенной или Окончание табл. 52 593 8.2. Компьютеризованное тестирование как средство обучения заниженной, что вполне соответствует начальному этапу обучения в вузе. <…> Анкета, проведенная среди преподавателей, подтвердила эту тенденцию. <…> Однако сами студенты этих недостатков за собой не замечают. Это коррелирует с преобладающей неадекватной самооценкой» 19 Оценка знаний и навыков преподавателем также часто носит субъективный характер. В условиях компьютерной поддержки, неизменно сопровождаемой выставлением оценки (которую студенты иногда стараются не оглашать, но вынуждены принимать во внимание, мы часто являлись свидетелями коррекции самооценки. Тестирование уровня сформированности грамматического навыка оформления речи (ГНОР). Для определения степени сформиро- ванности грамматических навыков вначале обучения мы предлагаем вновь поступившим студентам тестирование по основным разделам предстоящей программы обучения грамматике английского языка на основе генеративной программы Hot Potatoes, которое они выполняют на сайте дистанционного обучения или в компьютерном классе. Выводы об успешности совершенствования речевого грамматического навыка в процессе обучения в условиях компьютерной поддержки делаются на основании устного тестирования в конце обучения, для чего каждой паре студентов выдаются одинаковые экземпляры аутентичного текста, а именно — одного из рассказов Криса Кулшоу из серии «Неаdwork Stories» 20 . Тестируемые ставятся в известность, что через несколько минут содержание текста необходимо будет обсудить на языке оригинала, при необходимости используя косвенную речь. Каждый из текстов названного издания книги К. Кулшоу сопровождается рядом вопросов и заданий, которые преподаватель может использовать для создания предмета обсуждения. Последнее задание предполагает обратный перевод с русского языка на английский одного (заранее неизвестного студентам) предложения из прочитанного текста, которое содержит какую-либо из контрольных структур например, сложное дополнение, герундиальный оборот, модальную или сослагательную конструкцию и т. п two brothers sat in the dark watching the robbers steal everything of value in the shop. 19 Нестерова Л. В Указ. соч 20 Culshaw C. Headwork stories. СПб.: Питер Oxford University Press, 1999. Глава 8. Компьютерные и интернет-технологии в языковом тестировании policemen got very angry and said that they would arrest Barry and Keith and lock them up for a very long time if they didn’t answer their ques- tions. When he heard this, Tom went quite white, as if someone had dusted his face with flour. The next day Mr and Mrs Waters got a nice surprise. There was a letter in the post and inside were two free tickets for the circus. “I wonder who could have sent them?” said Mr В целях экономии времени, снятия психологической напряженности, которая нередко сопровождает процесс тестирования, а также создания условий, приближенных к реальной коммуникации, беседа проводится одновременно с двумя студентами. Начиная изучение подходов к тестированию степени сформиро- ванности ГНОР, мы опирались только на пятибалльную шкалу, предлагаемую П. Ур 21 (см. табл. Пункты 1–5 этой таблицы соответствуют разделу Правильность («Accuracy») данной шкалы и включают описание степени развитости грамматических навыков оформления речи в соотнесении с одним из уровней, обычно от го до го (первые два столбца табл. 53). Выставляемая оценка совпадает с номером уровня. Четвертый столбец таблицы отведен под суммарный балл анализируемости, вычисляемый на основании данной системы. Однако, на наш взгляд, приведенные описания 5 уровней развитости ГНОР (по П. Урне позволяют детально оценить конкретные особенности грамматического оформления речи (см. табл. 54). Поэтому мы выделили некоторые грамматические маркеры, которые, по нашему мнению, могут служить внешними показателями мыслительных процессов самоконтроля и «анализируемости» (перевод термина Е. Бялисток «analyzed control» 22 ) при грамматическом оформлении устного иноязычного высказывания. Позднее была разработана система оценки анализируемости грамматической правильности речи (АГПР — см. табл. Для сравнения самооценки правильности речи, определяемой самим тестируемыми оценки, даваемой преподавателем, сразу же после устного ответа обе стороны, те. участвовавшие в устном тестировании преподаватель и студент, делали пометки на двух экземплярах 21 Ur P. Op. cit. 22 Bialistok E. Psycholinguistic Dimensions of Second Language Proficien- cy // Grammar and Second Language Teaching. VIII. Boston (MA), 1988. 595 8.2. Компьютеризованное тестирование как средство обучения бланка, приведенного в табл. 54, отметив кружком нужный балл на строках 1–7. Каждый из параметров таблицы оценивался соответствующим количеством баллов (от –5 до +6). Затем баллы суммировались. Минимальный суммарный показатель составлял –19 баллов, максимальный баллов. Регистрация проводилась по 3 параметрам) самооценка ниже оценки преподавателя (заниженная) самооценка и оценка преподавателя приблизительно совпадают балла) самооценка выше оценки преподавателя (завышенная). Таблица Оценка уровня владения ГНОР по шкале П. Ур |