Актуальные вопросы языкового тестирования. Издательство санктпетербургского университета
 Скачать 6.52 Mb.
|
|
McNamara T., Roever C. Op. cit. P. 2 (перевод мой. — И. Б Глава 1. Общие вопросы тестологии 1.2.3. РАЗВИТИЕ МЕТОДА ТЕСТОВ ЗА РУБЕЖОМ В ХХ В. Систематическая экспериментальная работа в области количественного измерения способностей человека и возможностей их развития началась еще в XIX столетии, а ее ранние этапы в значительной мере связаны с идеями и исследованиями английского ученого Фрэнсиса Гальтона 49 . Революционный подход Гальтона состоял в том, что оценка физиологических и психологических параметров человека впервые была поставлена на научную основу. Гальтон утверждал, что умственные способности людей являются в основном наследственными. Он делал различие между общей способностью (general ability) и специальными склонностями (special aptitudes), считая, что первые являются данными природой, а вторые — приобретенными. Согласно его теории, успех в интеллектуальной области определяется в основном общей способностью, а не специальными склонностями, а уровень общей способности ставит предел тому, что может достичь человек в своей умственной работе, как бы он ни старался. В процессе своих исследований Галь- тон разработал способы определения ряда физических и психологических свойств человека. В 1884–1885 гг. он провел для всех желающих серию испытаний физиологических возможностей, физических качеств и психологических свойств (куда вошли на равных, например, рост, вес, жизненная емкость легких, запоминаемость букв, различение цвета и т. д. Эти исследования и положили начало разработке приемов тестирования, которая с самого начала проходила под влиянием представлений Гальтона о природе умственных способностей человека. В США первые опыты использования тестов относятся к концу XIX в. и связаны с работой американского психолога Джеймса Кэт- тела. Побывав в лабораториях В. Вундта в Германии и Ф. Гальтона в Англии, Кэттел провел целый ряд опытов, в которых использовал серию простых тестов, составленных с помощью Гальтона. Кэттел ввел термин тест. Он увидел в тестах средство измерения неизме- 49 Фрэнсис Гальтон (1822–1911) — английский психолог, исследовавший проблему генетических предпосылок развития психологических характеристики способностей человека, их наследственной обусловленности. Разработал приемы диагностики способностей, которые положили начало тестологическим испытаниям. Являлся двоюродным братом Ч. Дарвина. Исторические и социальные аспекты тестирования ряемых, казалось бы, характеристик человеческой психики. В 1890 гон опубликовал работу, где дал список 50 лабораторных тестов (которые сейчас назвали бы не тестами, а контрольными заданиями) и написал, что только тогда психология сможет стать действительной и точной наукой, когда она будет иметь своей основой эксперимент и измерения» 50 Кэттел поставил себе задачу описать образ цельной личности посредством возможно меньшего числа экспериментов. С этой целью он предложил в 1890 г. нескольким лабораториям произвести в одинаковых условиях 10 основных экспериментов. В этот комплекс вошли наиболее точные и разработанные в то время психофизиологические эксперименты (например, измерение силы правой и левой руки посредством динамометра, измерение скорости рекции на звуки т. д.). Попытка Кэттела и его продолжателей окончилась ничем. И это понятно эксперименты, поставленные Кэттелом, затрагивают наиболее примитивные области человеческой психики — области, где индивидуальные различия оказываются незначительными. Как позднее писал СМ. Василейский, своеобразие личности определяется не физическими свойствами организма (остротой органов чувств, емкостью памяти, быстротой реакции и т. да сложными психическими процессами (характером интеллектуальных восприятий, актами воли, эмоциями — этическими, эстетическими и т. п.) 51 Очевидно, нужно было создать какой-то новый метод, учитывающий сложные проявления человеческой личности. Более сложные, но и более практичные тесты пришли в психологию из медицины на рубеже XIX–XX вв. Появление этих тестов было вызвано потребностью в средствах для выявления и классификации случаев ненормального умственного развития и психических заболеваний у детей с целью помещения умственно дефективных детей в особые школы. Среди других наибольшую известность получили работы французского психолога Альфреда Бине. Бине попытался осуществить идею метода, учитывающего сложные проявления человеческой личности, в виде так называемого синтетического эксперимента. В 1891 гон создал первую серию тестов 50 Cattell J. McK. Mental Tests and Measurements // Mind. 1890. Vol. 15. No. 15. P. 373. 51 Василейский СМ. Введение в теорию и технику психологических, педологических и психотехнических исследований. Минск, 1927. Глава 1. Общие вопросы тестологии для испытания личности. В эту серию вошли испытания памяти, типа представления, воображения, внимания, восприятия и т. п. В 1905 г. появились общеизвестные тесты Бине. Его десятичная шкала умственных способностей была опробована на группе детей различного возраста и давала некоторую основу для сравнения умений решать определенные задачи как у детей одного возраста, таки у детей разного возраста. Практические работы Бине положили начало широкому применению тестов. Но поскольку и этот синтетический эксперимент подводил к пониманию личности довольно слабо, психологи на длительное время отказались от труднейшей задачи экспериментально понять личность человека во всей ее целостности и ограничились значительно более простыми задачами получить более или менее верное представление об отдельных сторонах, свойствах, наклонностях и дарованиях человека. В начале XX в. начинают разграничиваться два направления в тестовой работе тесты психологические и педагогические. Под психологическими тестами мы условно будем иметь ввиду интеллектуальные тесты, те. такие, которые измеряют уровень умственного развития. К педагогическим тестам относятся тесты, которые измеряют успешность учащихся по тем или иным дисциплинам за определенный период обучения. Несмотря на то, что в дальнейшем в монографии основное внимание будет уделено языковым тестам, нам представляется необходимым коротко проследить историческое развитие и психологических тестов, так как они, в сущности, и явились основой для создания педагогических тестов Р. Л. Торндайком выделено три периода в развитии измерений в области психологии и педагогики в XX в. 52 Период с 1900 по 1905 г. — период исканий. В это время появляются первые индивидуальные психологические тесты Бине во Франции. В 1905 г. Бине и Симоном была построена первая измерительная шкала ума». Но уже в 1911–1915 гг. тесты Бине подверглись пересмотру. Его провел основоположник тестового движения в Америке Льюис Тер- мен 53 совместно с Х. Чайлдсом. Они создали 90 отдельных тестов, ко 52 Thorndike R. L., Hagen E. P. Measurement and Evaluation in Psychology and Education. New York: Wiley, 1955. 53 Terman L. M. The Measurement of Intelligence. Boston: Houghton Mifflin, 1916. 45 1.2. Исторические и социальные аспекты тестирования торые были предназначены для детей от 3- до летнего возраста. Все эти тесты были тестами психологическими 54 В 1915 г. Р. М. Йеркс создал свою серию тестов. Главное отличие этих серий тестов от тестов Бине заключается в системе подсчета. Вместо возрастных долей (по Бине) испытуемый получает за каждый правильно решенный тест известное количество баллов. По определению МС. Бернштейна, эти американские ревизии Бине представляли значительные удобства, как в отношении проведения, таки в отношении подсчета результата теста. В конечном счете, количество полученных испытуемым баллов переводилось по приложенным стандартам в коэффициент одаренности или успешности» 55 В эти же годы появляются первые стандартизованные педагогические тесты по различным дисциплинам. Это были тесты КВ. Стоу- на на проверку арифметики, Б. Р. Бекингема 57 на проверку правописания. В тоже время появляется шкала правописания Э. Л. Торндайка. Следующие 15 лет, с 1915 по 1930 г, являются периодом бума в развитии тестов. Началось широкое составление тестов в психологии ив педагогике. Были разработаны тесты успешности по всем школьным дисциплинам. Особенно широко в это время тестовая работа проводится в США, где одобряются даже несовершенные тесты, разрабатываемые учителями кустарным способом. Но наряду сочень несовершенной тестовой работой мы находим законченные исследовательские работы, отшлифованные методически и теоретически. Это работы Э. Л. Торндайка 58 и Л. Келли 59 , которые, как известно, не без основания считаются эпохальными работами в этой области. После работы Бине работа Э. Л. Торндайка является крупнейшей в области психологических измерений 54 Terman L. M., Childs H. G. A tentative revision and extention of the Binet–Si- mon Measuring Scale of Intelligence // Journal of Educational Psychology.1912. No. 3. P. 61–74, 133–153, 277–289. 55 Бернштейн МС. Тесты (теория и практика в 3 сб. М Работник просвещения. Сб. 3. С. 52. 56 Stone С. W. Arithmetical Abilities and Some Factors Determining Them. New York, 1908. 57 Бекингем Б. Р. Исследование педагогического процесса для учителей / под ред. Л. С. Выготского, А. А. Нусенбаума. М Работник просвещения, 1930. 58 Thorndike E. L., Bregman E. O., Cobb M. V. et al. The Measurement of Intelli- gence. New York: Teachers College, Columbia University, 1926. 59 Kelley L. Interpretation of Educational Measurements. Chicago: World Book, 1927. Глава 1. Общие вопросы тестологии Первые групповые тесты были составлены и применены в Америке в 1917–1918 гг. Вовремя Первой мировой войны перед американцами встала проблема отбора рекрутов в армию. Эта проблема была решена с помощью тестового обследования. При этом обследовании были применены специально разработанные две серии групповых тестов, получивших название альфа- и бета-тестов. Альфа-тесты предлагались испытуемым, которые владели английским языком. Они явились прототипом групповых словесных тестов. Бета-тесты предлагались испытуемым, которые не владели английским языком. Они явились прототипом бессловных тестов. Тесты были составлены по проекту известного психолога Артура Отика 60 . По нашему мнению, появление именно этих тестов сыграло большую роль в дальнейшем развитии тестирования, так как основные принципы, использованные при их составлении, и легли в основу всей методологии групповых тестов. Эти принципы были в дальнейшем систематизированы МС. Бернштейном 61 и сведены к следующему. Был введен принцип ограничения времени. Время было рассчитано таким образом, что только около 5 % испытуемых могли окончить проработку всего теста в срок. Показатель развития был поставлен впрямую зависимость от скорости выполнения заданий испытуемыми. Был введен принцип детализованной инструкции, как в отношении проведения теста, таки в отношении подсчета результатов. Были введены тесты с выборочным методом формирования ответа, с указанием подчеркивать наугад в случае незнания или сомнения. Сами тесты подбирались после тщательной статистической обработки и экспериментальной проверки. Эти принципы армейских тестов серии альфа были положены впоследствии в основу большинства групповых тестов, получивших такое широкое применение в психологии и педагогике. Обратимся к тому, как развивалось тестирование в средней шко- ле. В Соединенных Штатах вначале г. А. Отик опубликовал первую серию групповых психологических тестов для школы. В это же 60 Otic A. S. Scale for Rating Tests. Yonkers; New York: World Book, 1928. 61 Бернштейн НА. Очерки по физиологии движений и физиологии активности. М Наука, 1966. С. 100. 47 1.2. Исторические и социальные аспекты тестирования время С. Л. Пресси 62 публикует свою групповую шкалу. Группа американских психологов (Р. М. Йеркс, Э. Л. Торндайк, Л. Термен, А. Уиппл, С. Хаггерти) работает над созданием интеллектуальных тестов для школ всей страны, те. таких тестов, которые измеряют уровень умственного развития. Эти тесты получили название национальных тестов. Национальные тесты были составлены в двух сериях по два варианта в каждой серии. Совершенствуя методику, американские тестологи в этих тестах впервые перед каждым разделом теста дают примерные упражнения. Национальные тесты были опробованы на 4 тыс. испытуемых каждой школьной группы. Они явились итогом большой исследовательской и экспериментальной работы американских тестологов. Второе направление в области составления и применения тестов относится к измерению школьной работы успешности учащихся, работы учителя, методов преподавания и организации. Начало педагогических измерений относится кг, когда появились первые педагогические тесты. Они были составлены в Англии. Их автором был директор школы Р. Дж. Фишер 63 . Он создал «scale book» — градуированную книгу, где были даны вопросы и ответы для выбора. Книга эта содержала вопросы по правописанию, арифметике, чтению, грамматике и навигации. Однако началом систематических измерений в педагогике считается г. Их провел американский ученый доктор Дж. М. Райс, который составил первый педагогический тест. Тест должен был измерить эффективность более длительного или менее длительного обучения навыку письма. Результаты, полученные Райсом, в корне противоречили установившемуся методу обучения этому навыку. Поэтому его тестовый метод подвергся резкой критике со стороны преподавателей. Нос развитием педагогической науки идеи Райса стали привлекать внимание наиболее передовых американских педагогов. Основоположником педагогических измерений принято считать Р. Л. Торндайка. Под его руководством и при его непосредственном участии были созданы первые школьные тесты. Книга Торндай- ка Введение в теорию психологических и социальных измерений (1904) явилась результатом его большой исследовательской работы 62 Pressey S. Introduction to the Use of Standard Tests. New York, 1923. 63 См Цатурова И. А. Изистории развития тестов в СССР и за рубежом. Таганрог Изд-во ТРТИ, 1969. Глава 1. Общие вопросы тестологии в области измерений ив частности, метода тестов. Эта работа дала мощный импульс всей тестовой работе в Америке и, конечно, способствовала дальнейшему развитию школьных тестов. Первый стандартизованный тест был опубликован под руководством Торндайка. Это был тест Стоуна на решение арифметических задач, впервые снабженный «нормами». В 1909–1914 гг. выходят из печати шкала оценки детского почерка Э. Л. Торндайка, шкала оценки сочинений английского языка Ф. Хиллегаса, шкала правописания Б. Р. Бекингема, оценочные шкалы почерка и правописания Р. Айреса, составленные на основе экспери- мента. Большое значение для дальнейшей разработки школьных тестов имели школьные обследования. Целью этих обследований было сравнение оценки разных школ. Для этих обследований специально разрабатывались системы тестов. Первое исследование, посвященное проблеме тестирования в области иностранных языков, было проведено Беном Вудом 64 Первые тесты по иностранным языкам были составлены в Америке в 1925 г. по принципам построения психологических тестов. В течение четырех лет ставились эксперименты в исследовательском бюро Колумбийского университета на предмет использования их в качестве тестов успешности по иностранным языкам. Тесты состояли из трех частей. Первая часть — тест на словарь — состояла из 100 иностранных слов, каждое из которых сопровождалось пятью английскими словами. Учащийся должен был выбрать слово, которое соответствовало по значению иностранному слову. Слова эти были отобраны из словаря, состоящего из 2 тыс. наиболее употребимых слов. Вторая часть — тест на понимание прочитанного — состояла из 60 предложений на французском и испанском языках. Каждое предложение сопровождалось пятью альтернативными концовками. Только одна из концовок соответствовала смыслу предложения, и учащийся показывал понимание предложения выбором единственно правильной концовки. Третья часть — грамматический тест — состояла из 60–65 коротких английских предложений, каждое из которых сопровождалось не 64 Wood B. D. New York Experiments with New Type Modern Language Tests. New York: Macmillan, 1927. 49 1.2. Исторические и социальные аспекты тестирования законченным переводом на французский язык. Учащийся должен был показать свое знание грамматики, заканчивая это предложение. Каждый тест состоял из 220–225 элементов, которые осуществляли испытание по пройденному материалу значительно шире, чем экзамены. (На каждую часть отводилось только 30 мин.) В е годы широкое применение тестов наблюдается иван- глийских школах. О масштабах использования тестов в Англии можно судить по получившим печальную известность испытаниям для школьников в возрасте 11 лет, так называемым Вопрос оценки этого опыта гораздо сложнее, чем это может показаться с первого взгляда. В этом опыте очень ясно выявилось противоречие между развитием науки, идеологией и практикой. Изначально назначение этих испытаний заключалось в том, чтобы отобрать наиболее способных детей для дальнейшего обучения в высших учебных заведениях. Главную роль в этом начинании играл Годфрей Томсон, последователь Гальтона, при этом он исходил, казалось бы, из добрых побуждений — дать возможность наиболее одаренным детям из сельских начальных школ получить высшее образование. Идей- ствительно, процент детей из сельской местности, получавших стипендии в грамматических школах, который раньше был ничтожно мал, заметно поднялся после введения тестов. После 1944 г. экзамен «11+» для отбора детей в грамматические школы стал проводиться по всей стране, и тесты стали обязательной частью этого экзамена. Однако отбор проводился не только на основании результатов теста. При отборе наряду с тестами использовались традиционные экзамены по английскому языку и математике, а также характеристики учителей и собеседование. При этом оказалось, что шансы на поступление в грамматические школы для молодежи из рабочего класса заметно снизились, поскольку тесты «11+» были классово субъективны уже на уровне составления» 65 В нашем подходе к психологическими иным тестами тестированию мы исходим из того, что тесты — это технический прием, измерительный прибор, который можно использовать на благо или во вред испытуемому. Чтобы тест использовался на благо испытуемому, необходимо иметь ввиду границы его возможностей и не пытаться получить от него большего, чем он может дать 65 Slacey G. Psychological Testing Education and Ideology // Marxism Today. 1967. February. P. 48. Глава 1. Общие вопросы тестологии Подобно многим научным достижениям, злом могут быть не тесты, а их неправильное использование. Более того, отдельный тест с определенной степенью точности позволяет измерять и сравнивать уровни проявлений той или иной умственной деятельности людей лишь в момент тестирования, а не предопределяет границ потенциальных возможностей личности. Однако такие измерения, проводимые на протяжении достаточно длительного периода времени, позволяют изучать динамику процесса развития человеческих способностей, что открывает большие возможности совершенствования путей целенаправленного воздействия наличность через воспитание и образование. В е годы возникли тесты на коэффициент умственного развития. Проследив развитие этих тестов, можно отметить, что они должны были выявить изначальные (присущие от рождения) свойства психики, определяющие на всю жизнь способности и возможности человека. Эти тесты были внедрены в систему образования Америки и Англии в х годах с целью диагностики врожденного интеллекта и умственных способностей ребенка. Опираясь на положение о том, что способности ребенка к обучению зависят от уровня его интеллекта, психологии педагоги стали использовать эти тесты также для предсказания успешности и обучения. Однако со временем тесты на коэффициент умственного развития изжили себя, поскольку, во-первых, они определяли уровень развития ребенка на данный момента не врожденный интеллект, во-вторых, они не предполагали дифференциацию тестируемых по сферам деятельности для одновременной диагностики и, в-третьих, результаты тестирования не отражали реальной картины умственных способностей, так как носили кратковременный характер. В настоящее время тесты IQ не используются как педагогический инструмент, однако имеют хождение наряду с другими психологическими тестами. В это же время стала разрабатываться методика обработки результатов тестов. Наблюдается переход от случайных единичных тестов к тестовым системам. Этому переходу значительно содействовали, наряду с работами Бине, и работы Карла Спирмана 67 , который 66 Pavlovskaya I. Yu. Language Teaching Methodology and Course Management: (a course of lectures). St. Petersburg, 1999. Part 1. Р. 22. 67 Например Spearman C. “General Intelligence”: Objectively Determined and Measured // American Journal of Psychology. 1904. Vol. 15, No. 2. P. 201–292. 51 1.2. Исторические и социальные аспекты тестирования к этому времени разработал свои основные идеи о применении приемов корреляционного анализа для целей стандартизации тестов, для объективного измерения. В основе системы тестов Бине лежал возрастной принцип. Спир- ман же основное внимание тестологов обратил на статистический характер тестового материала. Он считал, что важным фактором для теста является степень корреляции данных по одному тесту сданными других тестов или с каким-либо другим объективным критерием. Статистические методы Спирмана, изложенные в его работах, сыграли большую роль для дальнейшего развития метода тестов, как в Америке, таки за ее пределами. На основании изложенного в данном разделе можно сделать вывод, что систематическая экспериментальная работа в области количественного измерения способностей человека и возможностей их развития началась еще в конце XIX в, а ее ранние этапы в значительной мере связаны с идеями и исследованиями американских ученых. Тесты, как инструмент для измерения определенных функций поведения человека, а в дальнейшем и как метод определения коэффициента успешности в обучении и одаренности в определенных областях интеллектуальной деятельности, интересовали педагогов и психологов на протяжении многих десятилетий. ИСТОКИ ОТЕЧЕСТВЕННОЙ ТЕСТОЛОГИИ Первая в России публикация тестологического плана появилась в 1903 г. Это была работа зачинателя отечественного тестового движения А. П. Нечаева об основателе педологии С. Холле. Проблему генезиса тестирования впервой трети ХХ в. в той или иной мере затрагивали в своих трудах Г. И. Челпанов, НЕ. Румянцев, Е. В. Гурьянов, А. М. Шуберт, Ю. А. Левин, СМ. Василейский, И. Н. Шпильрейн. В работах этих авторов можно также найти описание зарубежных и отечественных тестовых методов. В нашей стране до началах годов проявлялся значительный интерес к проблемам тестирования не только в кругах психологов и педагогов, но и среди тех, кто занимался проблемами научной организации труда, а также профессионального отбора и ориентации Ibid. Глава 1. Общие вопросы тестологии Начало составления и применения тестов в нашей стране относится кг. Такие крупные психологии педагоги, как С. Г. Геллер- штейн, П. П. Блонский, А. П. Болтунов, МС. Бернштейн, начинают проводить исследования по изучению и применению метода тестов. Большую работу по разработке и применению психологических тестов проводила Центральная педологическая лаборатория Московского отдела народного образования (МОНО), которой руководил известный педолог Е. В. Гурьянов. Лабораторией были разработаны шкала для измерения умственного развития детей тесты для учета навыков в чтении, счете и письме тесты коллективного испытания умственной одаренности. В Государственном институте экспериментальной психологии, в секции детской психологии, разрабатывались тесты отдельных видов одаренности. В Ленинградском детском обследовательском институте им. проф. АС. Грибоедова занимались выработкой тестов для массового обследования детей нормальных школ. Работа велась в двух направлениях по разработке тестов на одаренность и на школьную успевае- мость. Большая работа по разработке тестов на одаренность и школьную успеваемость проводилась под руководством А. П. Болтунова ив Ленинградском научно-педагогическом институте им. АИ. Герцена, который сделал обстоятельный обзор новейших достижений вобла- сти измерения одаренности в странах Западной Европы и Америки. Под руководством проф. П. П. Блонского велись работы по проверке шкалы Бине–Симона, школьных тестов и по построению собственных стандартов. Блонский выдвинул следующие требования к тестам тесты должны быть сопоставлены друг с другом тест должен обладать высокой степенью самокорелляции, те. четные задания должны давать такие же результаты, как и нечетные тесты должны быть стандартизованы 69 Блонский П. П. Учет школьной работы // На путях к новой школе. 1926. № 7–8. С. 26–30. 53 1.2. Исторические и социальные аспекты тестирования Таким образом, метод тестов стал предметом серьезных обсуждений психологов и педагогов в нашей стране. Некоторые из них придерживались той точки зрения, что тесты дают преподавателям возможность определить реальные знания школьника. Так, П. П. Блонский отмечал, что преимущество тестов состоит в том, что они позволяют обычный ответ учителю Так мне кажется заменить словами Я это знаю или Я этого не знаю. Тесты вскрывают недостатки методики преподавания. Как отмечают И. А. Рапопорт, Р. Сельг и И. Соттер, первым известным нам тестом по иностранному языку (немецкому) в нашей стране был тест, составленный сотрудником научно-исследователь- ского института методов школьной работы (г. Москва) Н. Э. Мамму- ной в 1928 г. Ими также упоминается эксперимент, проведенный в 1930 г. на Украине научным сотрудником научно-исследовательского института М. Герасимовичем, посвященный вопросу проверки усвоения знаний и методике обучения немецкому языку в трудшколах. Автор эксперимента не имел возможности опереться на разработки зарубежных коллег, так как тесты Э. Л. Торндайка и Д. Старча оказались непригодны для использования в трудшколах. Поэтому Герасимович провел большую самостоятельную работу для составления тестов он использовал собственные наблюдения на уроках немецкого языка в школах Харькова, проработал специально подготовленные для него ведущими преподавателями немецкого языка списки контрольных вопросов, а также провел анализ тетрадей и письменных работ учащихся. Немаловажно, что Герасимович провел предварительную экспериментальную проверку теста. Автором эксперимента были сделаны неутешительные выводы общий уровень усвоения немецкого языка являлся очень низким обучение немецкому языку не приобрело систематического характера темп обучения и усвоения крайне медленный ученики не могут ни говорить, ни писать по-немецки. Несмотря на это, данное исследование представляет интерес как одна из первых попыток изучать состояние преподавания и качество знаний по иностранному языку в период становления этого учебного предмета в советской школе, привлечь внимание педагогической об 70 Рапопорт И. А, Сельг Р, Соттер И. Указ. соч. С. 64. Глава 1. Общие вопросы тестологии щественности к обнаруженным недостатками наметить пути улучшения методики обучения иностранным языкам в школе» 71 Однако с середины х годов наблюдается резкий спад враз- витии тестирования. Он был обусловлен выходом двух постановлений Центрального комитета партии от 5 сентября 1931 г. О начальной и средней школе, после которого интерес к тестовой методике был резко ослаблен, и от 14 июля 1937 г. О педологических извращениях в системе Наркомпросов», после которого работа над изучением тестовой методики как в области определения психических характеристик личности, таки в области проверки знаний учащихся практически прекратилась. Это было связано с политической ситуацией в стране в самом методе выискивалось дурное влияние Запада. Лишь немногие российские ученые серьезно рассматривали те полезные и ценные технические приемы измерения различных проявлений умственной деятельности, которые давали тесты, в х годах. Тесты нашли широкое практическое применение главным образом в профконсультационной работе, а также в исследованиях работоспособности, режима труда, и лишь отчасти при изучении школьной успеваемости. После 1936 г. тестология была вычеркнута из перечня наук, финансируемых государством. В этих условиях даже упоминание тестологии допускалось только в плане критики и, как правило, с классовым клеймом буржуазной науки. Исключением были лишь статьи в энциклопедиях, где критике сопутствовала и положительная оценка тестов. Языковое тестирование было забыто вплоть дох годов, когда возникла новая волна исследований. С 1956 по 1995 г. постепенно возрождаются научные тестовые исследования и расширяется практика применения тестов в психологии, педагогике, системе профессионального отбора. Появляются работы, в которых в той или иной мере освещаются проблемы тестологии, в том числе и генезис тестирования. Важным стимулом для возрождения тестирования в системе образования стало внедрение ЭВМ в учебный процесс некоторых вузов. Система контроля знаний с помощью ЭВМ предполагает составление заданий с вариантами ответов. В х годах в формирование положительного отношения к тестам школьной успешности включились педагогические журналы. Первой публикацией такого плана стала статья тестолога СИ. Воскерчьяна Об ис- 71 Там же. С. 64. 55 1.2. Исторические и социальные аспекты тестирования пользовании метода тестов при учете успеваемости школьников» 72 Однако возрождение отечественной тестологии вплоть до середины х годов не носило характер сколь-нибудь проработанной общегосударственной задачи гг. стали периодом, маркированным повышенным интересом к методу тестов как к одному из методов наиболее экономичного, надежного, эффективного контроля обученности студентов в отечественной практике обучения иностранным языкам. Именно в эти годы были написаны и защищены первые диссертационные исследования и статьи по теории и практике лингводидактического те- стирования. Возрастает количество публикаций поданной проблематике в научных журналах, организуются семинары, стажировки, конференции, основываются центры тестирования, кафедры иностранных языков берутся за активную разработку метода. Стоит отметить работу кафедры иностранных языков Таганрогского радиотехнического института (ТРТИ), где закладывалась основа отечественного лингводидактического тестирования. С 1969 по 1971 г. группой под руководством И. А. Цатуровой была составлена и опробована система локально стандартизованных тестов учебных достижений потрем языкам (английскому, французскому, немецкому) для студентов технических вузов, а также тест исходного (стартового) уровня. Такая активная работа стала возможной благодаря созданию в 1972 г. при Минвузе РСФСР Центра по тестированию под научным руководством И. А. Цатуровой. Она возглавила организованную Центром тестирования группу по разработке стандартизованных тестов, в состав которой вошли представители 12 вузов страны. В их число вошли В. А. Коккота, Л. В. Банкевич, КА. Иванова, Л. А. Свешникова и др. Результатом двухлетней работы группы стало создание и опробование двух стандартизованных тестов по лексике и грамматике английского и немецкого языков в двух вариантах, которые широко применялись при тестировании студентов технических вузов страны. Наряду с работой Центра тестирования при Минвузе РСФСР велись исследования тестологами И. А. Рапопортом, С. К. Фоломкиной, Э. А. Штульманом, Ю. А. Веденяпиным и др 72 Воскерчьян СИ. Об использовании метода тестов при учете успеваемости школьников // Советская педагогика. 1963. № 10. С. 28–37. 73 Банкевич Л. В. Система тестов в американской методике // Иностранные языки в школе. 1965. № 6. С. 51. Глава 1. Общие вопросы тестологии Интересны, например, исследования Ю. А. Веденяпина, работавшего над проблемой составления и применения прогностических тестов. Таким составлено 38 серий тестов, опробованных на 350 абитуриентах Московского государственного педагогического института иностранных языков им. Мориса Тореза. Батарея тестов, составленная Веденяпиным, проверяет способность к слуховой дифференциальной чувствительности умение подметить языковую закономерность и самостоятельно применить ее способность к прогнозированию оперативную память знания грамматического и лексического материала, приобретенные к моменту поступления в вуз. В последние десятилетия педагогическое тестирование стало обретать реальные очертания важной государственной задачи. Можно сказать, что с середины х в России начался четвертый этап развития тестирования в России. Такс г. проводится опережающее аттестационное и абитуриентское тестирование. В 1996 г. Министерством общего и профессионального образования РФ была создана централизованная служба тестирования выпускников общеобразовательных учреждений РФ, выполняющая функции контроля и оценки качества знаний и умений учащихся, ас г. проводится единый государственный экзамен (ЕГЭ). В отечественной тестологии четко обозначилось направление по созданию современной теории тестов (В. С. Аванесов, Н. Ф. Ефремова, Е. А. Михайлычев, АН. Майоров, М. Б. Челышкова), опубликованы несколько вариантов моделей статистической обработки результатов массового тестирования (В. С. Аванесов, Ю. М. Нейман, В. А. Хлебни- ков, М. Б. Челышкова), разработаны и применяются в образовательной практике программы компьютерного тестирования (А. Г. Шмелев, В. И. Нардюжев, ИВ. Нардюжев, И. Д. Рудинский), по ряду учебных дисциплин созданы обучающие тесты (АИ. Сеногноева, Н. Ф. Федо- рова, В. М. Кадневский), активно разрабатываются проблемы методи- 74 Веденяпин Ю. А. Отестировании в области иностранных языков // Обучение иностранным языкам в высшей школе Методический сборник. М, 1969. № 4/9. 57 1.2. Исторические и социальные аспекты тестирования ки создания и применения тестов по различным дисциплинам образовательного стандарта 75 Достижение высокого качества обучения возможно только при наличии объективных методов диагностики. К сожалению, традиционная форма оценивания уровня знаний в форме опроса, экзамена, проводимого человеком, весьма субъективна. По мнению К. Инген- кампа 76 , при использовании пятибалльной шкалы преподаватель выставляет оценки с разбросом плюс-минус 1 балл, тес точностью 20 %. Из этого следует, что за одни и те же знания испытуемый может быть оценен разными экзаменаторами на «2», на «3» и на «4». Более того, К. Ингенкамп указывает, что один и тот же экзаменатор в разные моменты времени, например с интервалом в 1 месяц, также по разному оценивает один и тот же ответ (на экспериментах использовались видеозаписи ответов испытуемых). Очевидно, что столь неточный измерительный прибор, каковым является человек, существенно снижает эффективность диагностики учебного процесса. По этой причине в качестве контрольно-из- мерительного мероприятия выбирается тестирование. Тестирование учебных достижений является важной составной частью учебного процесса. Педагогические тесты позволяют провести объективную оценку достигнутого уровня обученности при массовой проверке знаний, а также сравнить эффективность различных программ обучения. В повседневной практике контроля знаний с помощью педагогических тестов можно получить объективную информацию овладении индивидом определенными знаниями, умениями и навыками и соотнести эти данные с задачами обучения для своевременной коррекции процесса усвоения новых знаний. Как будет показано ниже, управление учебным процессом, как известно, является одним из определяющих факторов повышения его эффективности (см. главу Революционным периодом развития тестологических идей в мире стал момент активного внедрения методов статистического 75 Звонников В. И, Челышкова М. Б. Современные средства оценивания результатов обучения. М Академия, 2007; Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. М, 1989; Ней- ман Ю. М. Педагогическое тестирование как измерение. М, 2002. 76 Ингенкамп К. Педагогическая диагностика. М Педагогика, 1991 (Зарубежная школа и педагогика 77 Челышкова М. Б. Разработка педагогических тестов на основе современных математических моделей. М, 1995. Глава 1. Общие вопросы тестологии анализа. В течение трех-четырех десятилетий сформировалась классическая теория статистической обработки тестов, которая примерно с х годов вступила в этап трансформации. В рамках классической теории педагогические тесты в системе образования создавались для контроля знаний. На этапе трансформации стали создавать тесты и для обучения. В России уже созданы и применяются обучающие тесты по ряду общеобразовательных дисциплин (математика — НА. Сеногноева, география — В. А. Федорова, история — В. М. Кад- невский. В этот период происходит переход от классической теории статистического анализа тестов методом корреляционного анализа Ч. Спирман, Дж. Браун, Л. Бахман) к теории тестовых заданий (Item Response Theory — IRT) 78 . Сложные математические процедуры применяются для выявления степени трудности заданий, объем вычислений в которых стал возможным только с появлением доступа тестоло- гов к компьютерам. Это позволило углубить разработанную теорию корреляции, факторный анализ и мультифакторную теорию. На основе компьютерных технологий построена формально-структурная модель нечеткого оценивания знаний, позволяющая организовать эффективное педагогическое тестирование по слабо формализованным например, философия) дисциплинам (И. Д. Рудинский). В результате функциональные возможности тестирования в образовании дополняются новыми вариациями. Таким образом, отечественные психологии педагоги достигли многого не только в области психологических, но ив области педагогических измерений, велась большая исследовательская работа по совершенствованию самих тестов, а также приемов обработки и интерпретации результатов тестирования 78 Spearman C. Correlation calculated from faculty data // British Journal of Psy- chology. 1910. Vol. 3, No. 2. P. 271–295; Rasch G. Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute for Educational Research, 1960 (Expanded edition. Chicago: The University of Chicago Press, 1980); Birnbaum A. Some Latent Trait Models and their Use in Inferring an Ex- aminee’s ability // Lord F. M., Novick M. R. (eds.) Statistical Theories of Mental Test Scores. Reading (MA): Addison–Wesley, 1968. P. 397–479; Brown J. D. Un- derstanding research in second language learning: A teacher’s guide to statistics and research design. Cambridge: Cambridge University Press, 1988. 59 1.2. Исторические и социальные аспекты тестирования. ПРОБЛЕМА ОБРАТНОГО ВЛИЯНИЯ ТЕСТИРОВАНИЯ В КОНТЕКСТЕ СОЦИАЛЬНЫХ ПОСЛЕДСТВИЙ Понятие обратного эффекта в тестировании (washback) — это явление, достаточно хорошо изученное в западных академических кругах и считающееся общим для процессов обучения в любых официальных учебных заведениях. Обычно под ним понимают влияние тестирования на преподавание и обучение. Этот феномен известен многим из нас практически, а не теоретически, из простого вопроса школьника или студента Скажите, а это будет на экзамене, возникающего при изучении какой-либо темы. И если ответ преподавателя на этот вопрос отрицательный, то интерес к данной теме у большей части аудитории резко падает… Замечено, что существует естественная тенденция и у преподавателей, и у студентов подстраивать обучение под требования теста, который будет подводить этому обучению итог. Особенно ярко выражено это бывает в том случае, когда результаты теста способны оказать большое влияние на дальнейшую жизнь участников процесса оцени- вания — в первую очередь, конечно, на жизнь тестируемого, а порой и педагога, поскольку часто они трактуются как показатель эффективности преподавания. У таких оценочных методик в английском языке сложилось специальное название — high-stakes tests, те. буквально тесты, связанные с высокими ставками. Поскольку аналогичная реалия на отечественной почве уже давно существует, но никем при этом всерьез не анализируется, то и соответствующего термина для нее в русском языке не существует. Мы используем при обсуждении данного феномена либо описательное определение социально значимые тесты, либо устоявшийся англоязычный термин — хай-стейкс тесты. По сходным причинам нет пока в терминологическом аппарате отечественной тестологии и устоявшегося термина, аналогичного английскому washback, поэтому в этом качестве можно синонимично использовать следующие словосочетания обратная связь, обратное влияние, обратный эффект, обратное воздействие. Во всех этих случаях подразумевается обратное влияние методик оценивания в данном случае — тестов) на процессы, так или иначе связанные с обучением Глава 1. Общие вопросы тестологии По замечанию С. Мессика 79 , обратное влияние относится к той степени, в которой введение или использование теста побуждает как учителей иностранного языка, таки учеников делать то, чего они в противном случае не делали бы (имеется ввиду при отсутствии теста, и что может способствовать или препятствовать овладению язы- ком. По мнению Дж. Ч. Олдерсона и Д. Уолл 80 , то, что тесты оказывают обратное влияние на преподавание, является общим местом в литературе по вопросам образования и прикладной лингвистики (заметим в скобках, в западной, ноне в отечественной литературе принято считать, что процедуры публичного оценивания влияют на установки, поведение и мотивацию преподавателей, учащихся и их родителей. Это влияние обычно расценивается как негативное, разрушающее учебный план, заставляющее учителей игнорировать материал и виды деятельности, которые не относятся непосредственно к выполнению экзамена (хотя отдельные исследователи все же считают, что экзаменационные испытания влияют на обучение позитивно). Высказывается, однако, и такая точка зрения, что одна из важнейших характеристик теста — валидность — должна измеряться как раз степенью, в которой он положительно влияет на обучение. Так, К. Морроу 81 предлагает ввести термин валидность обратного влияния («washback validity») для обозначения отношений между тестом и связанным с ним преподаванием. При этом подразумевается, что тест валиден, когда он имеет положительный обратный эффект, и не валиден, когда этот эффект негативен. Аналогичную концепцию создали Дж. Фредериксен и А. Коллинз, предложив термин системная валидность («systemic validity»), который они определили следующим образом Тестом, обладающим системной валидностью, является тест, вызывающий в системе образования такие изменения в учебном плане и преподавании, которые благоприятствуют развитию когнитивных навыков, для измерения которых этот тест и был предназначен. Доказательством системной валидности могло бы счи- 79 Messick S. Validity // Educational measurement / ed. by R. L. Linn. 3 rd ed. New York: Macmillan, 1989. P. 241. 80 Alderson J. C., Wall D. Does washback exist? // Applied Linguistics. 1993. Vol. 14, No. 2. P. 115–129. 81 Morrow K. The evaluation of tests of communicative performance // Innova- tions in Language Testing / ed. by M. Portal. London: NFER/Nelson, 1986. 61 1.2. Исторические и социальные аспекты тестирования таться улучшение этих навыков спустя определенное время после начала применения теста в образовательной системе» 82 Однако в ответ на это Олдерсон и Уолл замечают, что такая форма валидности не только никогда не была продемонстрирована на практике или реально исследована, но даже не было сформулировано никаких предположений о том, как ее можно было бы установить эмпирически, а непросто провозглашать. Более того, неясно, нужно ли считать в случае, если тест не обладает валидностью обратного влияния, что это — недостаток валидности самого теста, как полагают Морроу, Фредериксен и Коллинз. Ведь внутри школ, системы образования и общества в целом могут быть другие силы, которые не дают обратному эффекту теста проявиться, или воздействуют на природу обратного влияния вопреки коммуникативному качеству самого теста. Это вряд ли можно было бы приписать внутритестовым проблемам. Позиция авторов состоит в том, что, в то время как валидность является свойством теста, относящимся к его использованию, обратное влияние теста — по всей вероятности, сложный феномен, который нельзя напрямую отнести к тестовой валидности 83 Само по себе понятие обратного влияния теста нейтрально. Логично предположить, что если тест плох, то обратное влияние будет негативно, если хорош, то следует ждать положительных эффектов. Но если принять, что обратное влияние теста состоит в том, чтобы побуждать учащихся и учителей делать то, чего они в противном случае не делали бы, не будь тест приведен в действие, то логично предположить, что плохой тест, вероятно, мог бы иметь хороший эффект, если бы побуждал учеников и преподавателей делать хорошие вещи, которых они без него не делали бы (например, тщательнее готовиться к урокам, выполнять домашние задания, относиться к тестируемому предмету более серьезно и т. д.). И действительно, часто говорят, что учителя используют тесты для того, чтобы их учащиеся делали то, чего без этого не стали бы делать были внимательными на уроках, тщательнее готовили задания, учили материал наизусть и т. д. И здесь Олдерсон и Уолл приходят к парадоксальному выводу в той степени, в какой эти виды активности являются желательными (упорная работа предпочтительнее, чем 82 Frederiksen J. R., Collins A. A systems approach to educational testing // Educa- tional Researcher. 1989. Vol. 18, No. 9. P. 27. 83 Alderson J. C., Wall D. Op. cit. Глава 1. Общие вопросы тестологии отсутствие работы, а внешняя мотивация, вероятно, лучше, чем отсутствие какой бы тони было мотивации, любой тест, хороший или плохой, может иметь положительное обратное влияние, если он способствует соответствующим видам активности и мотивации. С другой стороны, можно рассмотреть обратную ситуацию, когда любой тест, хороший или плохой, будет иметь негативный эффект. Наиболее очевидный пример — тревога, которую будет испытывать ученик, которому предстоит выполнить тест, или обеспокоенность учителей результатами теста, если они считают, что плохие результаты вызовут неприятные последствия. Страх плохих показателей и связанные с этим эмоции вины, стыда, смущения могут приводить преподавателей к желанию добиться хороших результатов любой ценой, что может приводить к натаскиванию на тест и, как следствие, к обеднению учебных программ. Таким образом, Олдерсон и Уолл показывают, что качество обратного влияния теста может быть независимым от качества самого теста. Авторы приводят перечень факторов, способных опосредовать влияние тестовых переменных. К первым относятся базовая компетентность преподавателя, его понимание принципов, положенных в основу теста, доступность учебных ресурсов в школе, изменение влияния мотивации на успешность выполнения деятельности согласно закону Йеркса–Додсона, а также такие психологические качества тестируемого, как потребность в достижении, мотивация успеха или избегания неудач, атрибуция причин (приписывание причин успехов и неудач своим либо чужим способностям, усилиям, намерениям, везению и т. д, ситуативная тревожность или тревожность как черта личности. Олдерсон и Уолл считают, что в настоящее время вопрос надо ставить не о том, существует ли обратное влияние тестов, а о том, каково оно, чем вызвано и почему вообще оно существует. Они предпринимают перспективную попытку сформулировать относительно обратного влияния тестов несколько гипотез, от самых общих до более детализированных, которые позволяют лучше понять, с какой стороны нужно подходить к практическому изучению этого феномена, поскольку, как известно, хорошо сформулированный вопрос — это половина ответа. Хотя существование обратного влияния тестов в западной педагогике и методологии давно уже не подвергается сомнению, до настоящего времени было сделано не так много попыток проанализировать 63 1.2. Исторические и социальные аспекты тестирования и обосновать природу этого явления. С появлением перечня гипотез Олдерсона и Уолл об обратном влиянии («Some possible Washback Hypotheses») ситуация изменилась, и теперь этот список является фактически хрестоматийным. Поэтому приведем его здесь — возможно, впервые в отечественной литературе, чтобы восполнить этот пробел, но воздержавшись от пояснений и комментариев в целях экономии места. Возможные гипотезы об обратной связи) тест будет влиять на преподавание) тест будет влиять на изучение) тест будет влиять на то, чему преподаватели учат и) тест будет влиять на то, как преподаватели учат) тест будет влиять на то, что учащиеся учат и) тест будет влиять на то, как учащиеся учатся) тест будет влиять на темп и последовательность преподавания) тест будет влиять на темп и последовательность изучения) тест будет влиять на качество и глубину преподавания) тест будет влиять на качество и глубину изучения) тест будет влиять на отношение к содержанию, методами т. д. преподавания и обучения) тесты, которые имеют значимые последствия, будут иметь обратное влияние, и наоборот) тесты, которые не имеют значимых последствий, не будут иметь обратного влияния) тесты будут влиять на всех учащихся и преподавателей) тесты будут влиять на некоторых учащихся и некоторых учителей, ноне на всех. (В другом варианте степень и тип обратного влияния теста на различных преподавателей и учащихся неодинаковы и отличаются от степени и типа обратного влияния на других преподавателей и учащихся.) В зависимости от переменных, включенных в контекст в каждой конкретной ситуации, обучение и преподавание могут испытывать на себе воздействие обратного эффекта тестирования множеством различных способов. Задача исследователя в данном случае — обнаружить эти переменные, суметь их измерить и взвесить степень их влияния Глава 1. Общие вопросы тестологии Зная, что для успешного прохождения теста учащимся понадобятся не всезнания и навыки, необходимые для освоения согласно учебным программам, учителя сталкиваются с моральной дилеммой. С одной стороны, они обязаны преподать все то, что положено по учебным стандартам. Ноте учащиеся в их учебном заведении, которые сосредоточатся на освоении более ограниченного материала, непосредственно нужного при выполнении теста, могут справиться с тестом лучше и получить преимущество. В этом случае при подведении официальных итогов тестирования более добросовестный и ответственный преподаватель оказывается в невыгодном положении и демонстрирует более низкие результаты, чем его коллеги, успешно урезавшие учебный план в угоду потребностям тестирования. При этом преподаватели могут награждаться премиями или публично критиковаться и даже подвергаться увольнению в зависимости от успехов своих учеников при выполнении теста. К аналогичным выводам приходит и Р. В. Смит в своем исследовании роли внешнего тестирования в двух начальных школах США 86 Говоря о влиянии, которое тестирование оказывает на учителей, Смит упоминает следующие эффекты. Опубликование тестовых оценок вызывает чувство стыда, смущения, вины и гнева у учителей, порождая решение сделать все, что необходимо, чтобы избежать таких чувств в будущем. Это приводит к тому, что они начинают заниматься натаскиванием на тест. Мнение о невалидности теста в сочетании с необходимостью повышать тестовые результаты порождает чувство диссонанса и отчуждения. Если тесты не сочетаются с убеждениями учителей о том, что является ценностью сточки зрения образования, то у них возникает чувство неприятия Почему мы должны беспокоиться об оценках, если мы знаем, что в них нет смысла. Убеждение в эмоциональном воздействии тестирования на маленьких детей порождает чувство тревоги и вины у учителей. Программы тестирования сокращают время, необходимое для 85 Mehrens W., Kaminski J. Methods for Improving Standardized Test Scores: Fruitful, Fruitless, or Fraudulent? // Educational Measurement: Issues and Practice. 1989. Vol. 8. P. 14–22. 86 Smith R. W. The Rise and Fall of Public Education in America: The Interdepen- dence of Public Education and Society. Bloomington: Author House, 2006. 65 1.2. Исторические и социальные аспекты тестирования обучения. Концентрация усилий на освоении материала, входящего в тест, сужает возможности учебной программы, ас ними и способность учителя разнообразить урок, адаптировать его соответственно нуждам класса, проявлять творчество. Сужение учебных программ и пренебрежение нетестируемыми предметами, утверждает Смит, происходит на наших глазах. Учителя, сталкиваясь с этими явлениями, выбирают одну их двух тенденций реагирования. В первом случае это аккомодация, те. приспособление к требованиям, превышающим возможности учителя компетентно преподать весь курс обучения, подстраивание под тест и отказ от изучения того, что не будет тестироваться. Во втором случае это сопротивление урезанию учебных программ и рутинной работе на уроках. В такой ситуации учителя должны быть готовы защищать свой учебный план и испытывать беспокойство по поводу санкций в случае низких тестовых оценок. Сопротивление может выливаться в политическую акцию. Так, в некоторых штатах США учителя добились принятия закона, по которому не требуется проходить тестирование ученикам го класса. Смит делает еще два заключения. Во-первых, форма теста (нормативно- или критериально-ориентированный тест) не имеет отношения к влиянию, которое он оказывает на учителей и методику преподавания. Этот эффект определяется политическими или социальными выводами, которые следуют из интерпретации тестовых оценок. Во- вторых, если преподаватели испытывают слишком сильный контроль с помощью тестов затем, чему они учат и как именно, они утрачивают способность обучать нетестируемым разделам программы и использовать другие методы обучения. С нашей точки зрения, есть три общих фактора, с помощью которых можно охарактеризовать изменения, происходящие в учебных программах и методах обучения различных образовательных заведений с введением социально-значимых тестов. Имеющийся опыт показывает, что каждый раз при переходе от традиционной системы контроля качества обучения к контролю с помощью стандартизованных тестов в сходных социально-экономических и политических условиях наблюдаются следующие черты) неизбежность изменений в программах и методах обучения) оперативность этих изменений (часто для их инициации достаточно уже однократно проведенного тестирования Глава 1. Общие вопросы тестологии 3) автоматизм происходящих перемен (те. обычно нет никакой необходимости в применении административных и иных мер, требующих соответствующей коррекции программ и методов, поскольку при введении социально-значимых тестов системные регуляционные механизмы, заставляющие заинтересованных лиц вносить изменения в планы и программы обучения, запускаются самопроизвольно). Серьезной проблемой для ряда исследователей представляется ситуация, когда стратегией обучения становится натаскивание на тест («teaching to the test»), те. когда программа обучения превращается в подготовку к стандартизованному тесту. Согласно С. Йе 87 , критики хай-стейкс тестов обычно выделяют 4 вида негативного воздействия тестирования на обучение, связанного с натаскиванием на тест вместо преследования более широких учебных целей) сужение учебной программы в ущерб не тестируемым предметам (например, связанным с преподаванием истории, рисования, музыки, физкультуры и т. д в российских школах это может касаться, например, русской словесности, второго иностранного языка, астрономии) при изучении тестируемых предметов — удаление или сужение тех разделов и навыков, которые не проверяются в тесте) сведение учебных планов и обучения к запоминанию отдельных порций фактической информации) выделение слишком большого объема учебного времени подготовке к тесту (те. конкретным приемами стратегиям выполнения теста, например тренировке заполнения тестового бланка) вместо реального обучения. Практика натаскивания на тест часто вызывает критику с позиций этики. В. Мехренс и Дж. Камински 88 предложили своего рода этический континуум ситуаций обучения при подготовке к тесту, состоящий из 7 пунктов, проранжированных от наиболее до наименее этичных) общее обучение, направленное на частные цели) обучение общим навыкам выполнения тестов 87 Yeh S. S. Limiting the Unintended Consequences of High-Stakes Testing // Ed- ucation Policy Analysis Archives / ed. by Sh. Dorn. 2005. Vol. 13, No. 43. P. 2–3. 88 Mehrens W., Kaminski J. Op. cit. 67 1.2. Исторические и социальные аспекты тестирования) обучение тому, что обычно измеряется стандартизованными тестами) обучение тому, что измеряется данным тестом) обучение тому, что измеряется данным тестом, с использованием формата этого теста) обучение с использованием уже изданного теста или теста- клона, который воспроизводит формат и содержание используемого теста) использование теста, который должен применяться для оценки, доили вовремя его официального предъявления. Авторы приходят к выводу, что этическая граница проходит между пунктами 3 и 5, причем пункты 1 и 2 являются изначально этичными, а пункты 6 и 7 — неэтичными. Если согласиться с авторами в случае с пунктом 6, то следовало бы признать неэтичными весьма значительное количество учебных пособий для подготовки к тестам, которые как рази строятся на использовании уже изданных версий, возможно, применявшихся в предыдущие годы (past papers) или воспроизводящих формат самых значимых хай-стейкс тестов (в частности, отечественных ЕГЭ и ГИА) и пользующихся заметной популярностью. Вероятно, если уж мы ставим целью успешное выполнение тестов, без подобных пособий обойтись нельзя. Иначе встает другой этический вопрос учащиеся, не использующие для подготовки упомянутые пособия, будут показывать результаты заведомо ниже, чем те, кто их использовал. Использование такого рода пособий приходится считать злом, с которым мы вынуждены мириться, рискуя иначе быть обвиненными в ханжестве и лицемерии. Действительно, было бы по меньшей мере странно требовать от учащихся успешного выполнения тестов с весьма значимыми для них социальными последствиями, и при этом не давать им возможности проверить и потренировать свои умения на аналогах этого теста. Ведь, как уже было сказано выше, успех при выполнении теста зависит не только от наличных знаний и навыков, но и, например, от тестовой искушенности. Другое дело, что общее время, затраченное на это в учебном курсе, не должно быть слишком значительным. Но обратное влияние тестов не ограничивается воздействием только лишь на преподавателей и обучаемых, а также на содержание и методы обучения. Оно гораздо шире по своей сути Глава 1. Общие вопросы тестологии Л. Бахман и А. Палмер 89 считают, что об обратном эффекте тестирования можно говорить в двух плоскостях в более узком смысле, на микроуровне, затрагивающем эффект обучения в классе и влияние на учащихся и педагогов, ив более широком смысле (часто — test impact) — на макроуровне, относящемся к выработке политических решений, администрированию в сфере учебных заведений, издательской деятельности, ожиданиям, которые родители связывают со своими детьми, а также в целом к уровню общих возможностей для человека в данном обществе. Следовательно, на макроуровне обратный эффект тестирования способен выходить заграницы отдельно взятого учебного класса и проявляться в рамках всей образовательной системы или даже общества в целом. Если подход на микроуровне можно было бы условно назвать психолого-педагогическим, а на макроуровне — социологическим, то стоит упомянуть еще одну точку зрения назначение тестирования для общества, которая в последнее время все чаще обсуждается в тестоло- гических трудах, — философскую. Применительно к проблемам языкового оценивания вызывает интерес подход французского философа, теоретика культуры и историка Мишеля Фуко. Согласно его позиции, все экзаменационные процедуры — символы власти и контроля. В соответствии сточкой зрения Фуко, эволюция тестов в образовании является формой контроля, с помощью которой люди, выполняющие тест, превращаются в объекты для измерения и классификации. Само понятие знание является конструктом, используемым группой, обладающей властью, для подавления слабых и удержания их в повиновении. Таким образом, разработчики тестов вольно или невольно транслируют ценности правящей общественной группы в педагогические структуры. По мнению Фуко, экзамен — нормализующий взгляд, надзор, позволяющий квалифицировать, классифицировать и наказывать. Он делает индивидов видимыми, благодаря чему их можно дифференцировать и наказывать. Поэтому во всех дисциплинарных механизмах экзамен — совершенный ритуал. В нем соединяются церемония власти и форма опыта, применение силы и установление истины 89 Bachman L. F, Palmer A. S. Language Testing in Practice. New York: Oxford University Press, 1996. 90 Фуко M. Надзирать и наказывать Рождение тюрьмы / перс фр. В. Наумо- ва под ред. И. Борисовой. M. : AdMarginem, 1999. C. 165. 69 1.2. Исторические и социальные аспекты тестирования Согласно Фуко, если сначала экзамен знаменовал собой конец обучения, топотом он стал одним из его постоянных факторов и был вплетен в обучение посредством постоянно повторяемого ритуала власти. В связи с этим школа становится своеобразным аппаратом непрерывного экзамена, который дублирует процесс обучения на всем его протяжении. Здесь можно заметить, что в современной школе непрерывный экзамен (в широком понимании этого слова, подразумевающем не только контрольно и сам принцип усвоения знаний, специальным образом организованных для сдачи экзаменов) зачастую не дублирует, а подменяет процесс обучения. Развивая мысль Фуко, можно было бы сказать, что культура обучения повсеместно и планомерно превращается в культуру экзамена. Многие другие современные исследователи (например, Л. Хэмп- Лайонз, Э. Шоухами, Т. Макнамара) также считают, что проведение лингвистического тестирования — это политический акт. По мнению Шоухами 92 , существуют 6 факторов, способствующих тому, что тесты становятся инструментами власти. Тесты проводятся общественными институтами, обладающими властью. Тестируемые подвергаются методикам, разработанным организациями, осуществляющими контроль над типом и содержимым применяемых тестов. В них главное внимание отводится тому, что считается важным образовательными системами, правительством или обществом следовательно, получение неудовлетворительных результатов по тесту приводит к уменьшению потенциальных возможностей человека в образовательной или профессиональной сфере. В тестах используется научный язык Использование статистики и презентация тестов и экзаменов в научных терминах придает процессу авторитет, вследствие чего общественность приходит к выводу, что системы тестирования справедливы и обоснованы и заслуживают доверия даже в тех случаях, когда это не так. В тестах используется язык чисел, свойственный для средств масс-медиа. Цитирование чисел в докладе, даже если они сомнительны, придает докладу ореол авторитетности. Тесты используют письменную форму коммуникации. Введение письменного теста, в котором нет коммуникации, усиливает 91 Там же. С. 166. 92 Shohamy E. The Power of Tests: A Critical Perspective on the Uses of Language Tests. London: Longman, 2001. P. 20–24. Глава 1. Общие вопросы тестологии чувство, что процесс имеет научную основу. От тестируемых требуется продемонстрировать знание, которое оценивается безотносительно к способности это знание интерпретировать. Доверие к документации как таковой. Тестовые результаты могут быть записаны и задокументированы, стем чтобы каждому испытуемому было отведена папка, которая может быть использована для сравнения с другими, также, как и для целей классифицирования и вынесения суждений об индивиде. Создается некая постоянная, фиксированная запись о человеке (permanent record of the person), которая теоретически будет существовать всегда. Тесты используют объективные форматы Истина содержится в самом тесте постольку, поскольку большинство методик имеют пункты, для которых существует правильный ответ. Это касается даже некоторых открытых вопросов и заданий, данных в более свободной форме, как, например, при оценке письма или говорения, где формат и процедура подсчета результатов ограничивают то, что может быть сказано или оценено. Так, например, по мнению Шоухами, в том случае, когда в обществе существует централизованная образовательная система, вводимые на государственном уровне тесты дают инициаторам их внедрения исключительные средства контроля. Этот контроль может включать доступ к высшему образованию, возможность навязывать учебные планы и программы в общенациональных масштабах, определение критериев эффективности педагогической деятельности с соответствующими дисциплинарными мерами — вплоть до увольнения преподавателей, им несоответствующих, и даже закрытие образовательных учреждений, если тестовые оценки тех, кто в них обучается, не отвечают определенным бюрократическим требованиям. Шоухами рассматривает множество тестов, введенных на высшем уровне, интерпретируя их в терминах Фуко как акт власти, которая вводит инструменты надзора, чтобы численно измерить соответствие, классифицировать результаты на пригодные и непригодные, и наказать в случае непригодных. Таким образом, тесты используются для того, чтобы обеспечить ситуацию, когда знания, ценимые властными структурами общества, поддерживают их статус кво. Возрастающее понимание социального и политического значения языкового оценивания приводит исследователей к пересмотру своей роли и ответственности в обществе. Так, Макнамара и Роу- 71 1.2. Исторические и социальные аспекты тестирования вер 93 считают, что этот процесс происходит в настоящее время в двух течениях, заметных в лингводидактических исследованиях более либеральном, получившем название этического языкового тестирования, и более радикальном, называемом критическое языковое тестирование («critical language В первом случае расширенное понимание задач разработчиков тестов включает в себя принятие ответственности за социальные последствия тестирования. Во втором ставится под вопрос сама практика использования лингвистических тестов. Это движение является реакцией на мощную критику, которой подвергается в настоящее время на западе дисциплинарная природа существующего общественного порядка и роль классификации в системе надзора за индивидами. В истории лингводидактики наступила новая эпоха из-за уверенного выхода языкового тестирования на международную арену и перехода его в стадию индустриализованного тестирования, когда, например, тест TOEFL ежегодно выполняют в разных странах около 1 млн чел. Это еще одна из причин, по которой сторонники радикального направления высказывают критические социальные замечания. По мнению Макнамары, признание социально-политического значения лингвистического тестирования, которое мы сейчас наблюдаем, является результатом теоретической переориентации в этой сфере науки и практики, происходящей отчасти благодаря принятию расширенного толкования валидности Мессиком 94 сего интересом к ценностному измерению тестовых конструктов и социальному контексту оценивания. Нов настоящее время границы классической теории валидности пересматриваются с позиций социальной теории 95 Происходит отречение от идеи науки, свободной от категории ценностей, в данном случае — психометрии. Это означает, что начинает признаваться значение категории ценностей и их влияние на интерпретации тестовых оценок 93 McNamara T., Roever C. Op. cit. 94 Messick S. Validity. 95 McNamara T. Language Testing: A Question of Context // Language Testing Reconsidered / ed. by J. Fox and others. Ottawa (Ontario): University of Ottawa Press, 2007. P. 137. Глава 1. Общие вопросы тестологии |