Диагностика учебных достижений младших школьников как педагогическая проблема
 Скачать 231.92 Kb.
|
|
его целевую направленность (с какой целью проверять?), содержание (что проверять?), структуру и форму применения. В тестировании выделяется несколько этапов: проектирование тестов, организация тестирования и последующая обработка результатов. Проектирование тестов является первым этапом тестирования. Технология создания тестов предполагает несколько последовательных этапов [58, 13с.] Определение целейтестирования: текущий контроль, итоговый контроль, контроль остаточных знаний и т.д. Для контролирующих тестов основной цельюявляется проверка (контроль) усвоенных обучающимися знаний и навыков по конкретному учебному предмету. Целью текущего контроля является проверка достижения предметных результатов по одной или нескольким темам учебного предмета, по одному разделу. Целью итогового контроля является проверка знаний, умений и навыков по всей учебной дисциплине в целом. Целью может быть проверка уровня остаточных знаний по дисциплине. Анализ содержанияучебного предмета, систематизацияматериала, составление структурно-логическойсхемыпредмета. Это необходимо, чтобы содержание учебного предмета было полно отражено в содержании теста. Разработка таблицспецификации(спецификация (лат. specification - перечисление особенностей чего-либо) – подробный план содержания теста и процедуры тестирования (цель, структура теста, содержание каждой его части с указанием формы представления материала, типа и характеристик заданий, времени, отведенного на выполнение каждого из них, и пр.) Разработка (при необходимости) тезауруса. Разработкатестовыхзаданий.Создание банка тестовых заданий. Анализ содержания и формы тестовых заданий на соответствиеспецификации,определение и корректировка процентного соотношения тестовых заданий в базе тестовых заданий по форме и уровню трудности. Формированиетестовв соответствие с целями. Определение объема и времени на выполнение. Алгоритм формирования теста может быть строгим или случайным. (При использовании алгоритма строгой последовательности необходимо указать порядок следования тестовых заданий). Разработка методикитестирования.Составление шкалыоценки, определение диапазонаоценки. Составление инструкцийдля тестируемых и проверяющих. Апробациятеста.По результатам апробации вносятся корректировки для того, чтобы улучшить параметры теста: добавление или удаление тестовых заданий, изменение формы их предъявления, регулирование шкалы оценивания, уточнение инструкций и т.п. По результатам апробации можно делать выводы о степени трудности тестовых заданий. Задания низкой степени трудности, на которые отвечают, все испытуемые в дальнейшем не используются. Задание, на которое не ответил никто, тщательно анализируется, и либо исключается из базы тестовых заданий, либо изменяется его форма, либо вносятся изменения в текст задания. Формирование окончательного варианта теста. На этом этапе оформляется итоговый вариант теста. До формирования окончательного варианта теста необходимо проверить показатели качества теста. Наиболее признанными показателями качества теста являются валидность и надёжность. Под валидностъю (от англ. valid — имеющий значение, ценный), назы- ваемой иногда действенностью (И.П. Подласый), адекватностью, пригодно- стью, понимается полнота охвата всех планируемых результатов и адекват- ность оценки их достижения [59, с. 40]. А. Анастази даёт такое определение валидности: «Валидность теста - понятие, указывающее нам, что тест изме- ряет и насколько хорошо он это делает» [8; с. 126]. В таком же ключе валид- ность трактуют В.А. Хлебников, Ю.М. Нейман, B.C. Панфёров, А.И. Самы- ловский, И.Ф. Шарыгин: «Исследование валидности должно дать ответ на вопрос о том, действительно ли данный тест измеряет то, для измерения чего он предназначен...» [82, с. 123]. На современном этапе исследователи выделяют три основных вида валидности, которые имеют существенный отличающийся смысл: валидность по содержанию (содержательную); конструктную (концептуальную) валидность; валидность по критерию (критериальную или эмпирическую валидность). Надёжностьтестов (reliability) является одним из критериев качества и показывает, насколько точно измеряет данный тест изучаемое явление. Как считают многие исследователи, степень надёжности характеризуется стабильностью, устойчивостью показателей при повторных измерениях с помощью того же теста или его равноценного заменителя. Например, В.А. Хлебников, Ю.М. Нейман, B.C. Панфёров, А.И. Самыловский, И.Ф. Шарыгин утверждают, что надёжность по существу означает ««согласованность» оценок у обследуемых лиц при их повторном тестировании тем же самым тестом или его эквивалентной формой» [82, с. 123]. Количественно этот показатель характеризуется вероятностью достижения запроектированных результатов (правильностью значений). Грамотно составленные и апробированные тестовые задания позволяют достичь коэффициента надёжности. На практике чаще всего используются три основных метода оценки надёжности тестов: повторное тестирование (ретестирование); метод взаимозаменяемых форм; метод расщепления. Анализ имеющейся литературы позволяет выделить основные факторы, влияющие на надёжность тестовых заданий: Величина теста. Установлено, что надёжность теста повышается при увеличении количества тестовых заданий. Чем длиннее тест, тем более надёжными и адекватными будут результаты. Содержательное разнообразие тестовых заданий. Установлено также, что чем выше тематическое, содержательное разнообразие тестовых заданий, тем ниже надёжность теста. Например, тестовые задания, направленные на проверку усвоения конкретной темы, всегда будут более надёжными, чем тестовые задания, сориентированные на проверку всего раздела (курса), охватывающие значительное количество- материала. Это происходит потому, что содержательное разнообразие последних выше. Трудность заданий. Надёжность тестовых заданий значительно зависит от трудности их выполнения. Трудность определяется по соотношению правильных и неправильных ответов на тестовые вопросы. Включение в состав тестов таких заданий, на которые все обучаемые отвечают правильно или же наоборот, неправильно, резко снижает надёжность теста в целом. Непонятность и двусмысленность заданий. Непонятные и двусмысленные задания приводят к тому, что ответы на них даются случайным образом. Случайное угадывание верных ответов [87, с. 209] также является причиной снижения надёжности по причинам, рассмотренным нами выше. Стабильность внешних условий тестирования — времени, отведённого на решение, понятности инструкций и т.п. Стабильность и стандартизация оценки тестов [70, с. 39]. Следует подчеркнуть, что легко усмотреть прямую связь валидности с надёжностью. Тестовые задания с низкой надёжностью не могут обладать высокой валидностью. Как отмечает В.Г. Максимов, низкая надёжность означает, что неверен измерительный инструмент и нестабилен тот признак, который он измеряет [89, с. 91]. К тому же, ненадёжное средство не может быть, как утверждают Б.П. Битинас и Л.И. Катаева [11, с. 14], валидным. Как было отмечено выше, валидность и надёжность — два основных критерия, по которым оценивается качество тестовых заданий. Среди других, описанных в психолого-педагогической литературе, выделим следующие: практичность, экономичность, репрезентативность, трудность, дискриминативность, эффективность. Практичность(practicality) тестов. Под практичностью тестов исследователи понимают следующие их качества: доступность инструкций и содержания заданий теста для понимания детьми, сравнительную простоту организации тестирования, возможность проведения тестов в обычных для школы условиях и, наконец, сравнительную простоту проверки, подсчёта результатов тестовых заданий и подведения итогов [67, с. 39]. Экономичность (economy) тестовых заданий. Б. Керолл [45] считает экономичным тест, в случае которого можно положительно ответить на вопрос: даёт ли тест так много информации, как необходимо, с минимальными расходами времени, усилий и ресурсов? Экономичными следует считать такие тесты, которые при заданных условиях — цели, планируемые результаты, уровень подготовки учащихся - дают максимум достоверной информации о достижении планируемых результатов с минимальными затратами времени и усилий на их составление, проведение и обработку. Репрезентативность(фр. representatif — представительный, показательный). В самом общем виде репрезентативность — представленность в тесте тех или иных параметров. Репрезентативность объектов тестирования означает более точное отражение необходимого знания в тесте. В тест включены наиболее важные элементы, части пройденной программы. Репрезентативность тестов по своему содержанию близка к требованию полноты, всесторонности проверки, пропорционального представления всех элементов изучаемых знаний, умений, другими словами, «покрываемости программного материала (или его части) его выборкой в тесте» (В.А. Коккота) [70, с. 40]. Трудностьтестов (item difficulty). Содержание теста связано с его трудностью. Трудность теста зависит от подбора лёгких или, наоборот, трудных заданий, и тогда содержание теста становится преимущественно лёгким или трудным. Некоторые авторы, особенно зарубежные, не делают различий между понятиями трудности и сложности задания, понимая под сложностью количество действий или интеллектуальных операций, которые необходимо выполнить для решения задания. Для составления тестовых заданий, по мнению А.Н. Майорова, как и большинства отечественных учёных, использовать такое понятие сложности практически невозможно, что объясняется низкой информативностью этого понятия. По мысли учёного, задание может требовать нескольких действий, но каждое из них настолько элементарно, что учащиеся без труда справятся с ним, а может быть задание в одно действие, но очень трудное, только малый процент учащихся с ним справляется [85, с. 185]. Дискриминативность (другое синонимичное название: дифференцирующая способность) (discrimination power, item discrimination) обозначает различительную способность теста. Характеристика дискриминативности связана с использованием таких тестов, где нужно выбирать правильный ответ из нескольких возможных ответов. Как отмечается в научно методической литературе, если все учащиеся безошибочно находят правильный ответ на один вопрос и также дружно не могут ответить, на другой, то это сигнал для совершенствования, теста в целом. Его необходимо сделать различимым, дифференцировать, так как указанные задания не помогут отделить тех, кто усвоил материал на необходимом уровне, от тех, кто заданного уровня не достиг. Практически дифференцируют тесты по результатам статистического анализа, сравнивая результаты выполнения теста в целом с результатом выполнения отдельных заданий [85, с. 560]. Кроме рассмотренных показателей используется и показатель эффективноститестов. Эффективность определяется, как понятие, производное от результата (эффекта). Эффективным B.C. Аванесов называет тесты, которые лучше, чем другие измеряют знания детей, с меньшим числом заданий, качественнее, быстрее, дешевле, и всё это ˗ по возможности, одновременно [3; с. 98]. В определении эффективности тестовых заданий выделяются два ключевых момента - это число заданий теста и уровень подготовленности учащихся. Если из какого-либо теста с большим числом заданий сделать оптимальный выбор меньшего числа, то может образоваться система, не уступающая заметно по своим свойствам тесту со сравнительно большим числом заданий. Тест с меньшим числом заданий в таком случае можно назвать сравнительно более эффективным. Следовательно, проектирование теста – это процесс, состоящий из ряда последовательных этапов, предполагающий проверку показателей качества теста. Вторым шагом тестирования является его организация. Процедура тестирования связана с определенными правилами проведениятестированияи интерпретации полученных результатов. Эти правила достаточно четко проработаны. В.И. Загвязинский, Р.Р. Атаханов [32] называют эти правила: 1) информирование испытуемого о целях проведения тестирования; 2) ознакомление испытуемого с инструкцией по выполнению тестовых заданий и достижение уверенности исследователя в том, что инструкция понята правильно; 3) обеспечение ситуации спокойного и самостоятельного выполнения заданий испытуемыми; сохранение нейтрального отношения к тестируемым, уход от подсказок и помощи; 4) соблюдение исследователем методических указаний по обработке полученных данных и интерпретации результатов, которыми сопровождается каждый тест или соответствующее задание; 5) предупреждение распространения полученной в результате тестирования психодиагностической информации, обеспечение ее конфиденциальности; 6) ознакомление испытуемого с результатами тестирования, сообщение ему или ответственному лицу соответствующей информации с учетом принципа «Не навреди!»; в этом случае возникает необходимость решения серии этических и нравственных задач; 7) накопление исследователем сведений, получаемых другими исследовательскими методами и методиками, их соотнесение друг с другом и определение согласованности между ними; обогащение своего опыта работы с тестом и знаний об особенностях его применения. Как уже было отмечено, каждый тест сопровождается конкретной инструкцией и методическими указаниями по обработке и интерпретацииполучаемыхданных. За выполнение каждого тестового задания испытуемому выставляются баллы. Необходимо указать тип используемой шкалы оценивания. Номинальная шкала предполагает, что за правильный ответ к каждому заданию выставляется один балл, за неправильный — ноль. В соответствии с номинальной шкалой, оценивается всё задание в целом, а не какая-либо из его частей. В заданиях с выбором нескольких верных ответов, заданиях на установление правильной последовательности, заданиях на установление соответствия, заданиях открытой формы можно использовать порядковуюшкалу. В этом случае баллы выставляются не за всё задание, а за тот или иной выбор в каждом задании, например, выбор варианта, выбор соответствия, выбор ранга, выбор дополнения. В соответствии с порядковой шкалой за каждое задание устанавливается максимальное количество баллов, например, три. Три балла выставляются за все верные выборы в одном задании, два балла - за одну ошибку, один - за две ошибки, ноль — за полностью неверный ответ. Правила оценки всего теста. Общая сумма баллов за все правильные ответы составляет наивысший балл, например 90 баллов. В спецификации указывается общий наивысший балл по тесту. Также устанавливается диапазон баллов, которые необходимо набрать для того, чтобы получить отличную, хорошую, удовлетворительную или неудовлетворительную оценки. В процентном соотношении оценки (по пятибалльной системе) могут быть выставлены в следующих диапазонах: «2» - менее 50%; «3» - 50%-65%; «4» - 65%-85%; «5» - 85%-100%. Отметим, что при критериально-ориентированных тестах шкала может быть иной, так как важно проверить сформированность отдельных умений и выявить их прирост. Тест как инструмент оценки достижений учеников формируется из базы тестовых заданий. В зависимости от цели тестирования (вида контроля) в тест отбираются конкретные тестовые задания. Вслед за К.Д. Дятловой, будем определять тестовое задание как «минимальную законченную составляющую единицу педагогического теста в виде проверочного задания специфической формы (тестовой формы задания)» [48, с. 13]. Содержание, логическая структура и форма тестового задания должны удовлетворять ряду специфических требований и обеспечивать однозначность оценок результатов испытуемых в выбранной шкале. Содержание тестового задания должно отражать содержание учебного предмета (предметные планируемые результаты) и соответствовать образовательной программе. Логическая структура тестового задания включает инструкцию для учащихся, текст задания (вопроса), однозначный правильный ответ и набор показателей для оценивания (критерии и шкалы). Инструкция должна указывать на то, что должен сделать испытуемый, каким образом выполнять задание, где и как делать пометки и записи. Текст задания или вопроса представляет собой содержательное наполнение задания. Правильный ответ — обязательный элемент любого тестового задания, так как позволяет точно проанализировать правильность выполнения задания. Критерии и шкалы оценивания позволяют проверяющему верно определить качество выполнения задания и обеспечивают перевод оценки в баллы. Тестовое задание может быть представлено в одной из стандартизованных форм: закрытой (с выбором одного или нескольких ответов), открытой, на установление правильной последовательности, на установление соответствия. Выбор формы тестового задания зависит от того, какой вид знаний следует проверить. Так, для оценки фактологических знаний (знаний конкретных фактов, названий, имён, дат, понятий) лучше использовать тестовые задания закрытой или открытой формы; ассоциативных знаний (знаний о взаимосвязи определений и фактов, авторов и их теорий, сущности и явления, о соотношении между различными предметами, законами, датами) - заданий на установление соответствия; процессуальных знаний (знаний правильной последовательности различных действий, процессов) - заданий на определение правильной последовательности. Форма предъявления тестового задания влияет на его уровень трудности. Самые легкие – задания закрытого типа с единичным выбором, так как направлены на воспроизведение имеющихся знаний. Самая трудная форма тестового задания - на упорядочение и на соответствие. Открытая форма и закрытая форма с несколькими правильными ответами – это формы тестовых заданий со средним уровнем сложности. Тестовоезаданиезакрытойформы Если к заданиям даются готовые ответы на выбор (обычно один правильный и остальные неправильные), то такие задания называются заданиями с выбором одного правильного ответа или с единичным выбором. При использовании этой формы следует руководствоваться правилом: в каждом задании с выбором одного правильного ответа правильный ответ должен быть. Помимо этого, бывают задания с выбором нескольких правильных ответов, или с множественным выбором. Подобная форма заданий не допускает наличия в общем перечне ответов следующих вариантов: «все ответы верны» или «нет правильного ответа». Вариантов выбора (дистракторов) рекомендуется не менее 4 и не более 6. Если дистракторов мало, то возрастает вероятность угадывания правильного ответа, если слишком много, то делает задание громоздким. Кроме того, дистракторы в большом количестве часто бывают неоднородными, и тестируемый сразу исключает их, что также способствует угадыванию. Дистракторы должны быть приблизительно одной длины. Не допускается наличие повторяющихся фраз (слов) в дистракторах. Тестовоезаданиеоткрытойформы В заданиях открытой формы готовые ответы с выбором не даются. Требуется сформулированное самим тестируемым заключение. Задания открытой формы имеют вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов. В качестве ключевых элементов могут быть: число, буква, слово или словосочетание. При формулировке задания на месте ключевого элемента необходимо поставить прочерк или многоточие. Утверждение превращается в истинное высказывание, если ответ правильный, и в ложное высказывание, если ответ неправильный. Необходимо предусмотреть наличие всех возможных вариантов правильного ответа и отразить их в ключе, поскольку отклонения от эталона (правильного ответа) могут быть зафиксированы проверяющим как неверные. Особенно это важно при применении технологии компьютерного тестирования. Тестовыезаданиянаустановлениеправильнойпоследовательности Такое задание состоит из однородных элементов некоторой группы и четкой формулировки критерия упорядочения этих элементов. Тестовыезаданиянаустановлениесоответствия Такое задание состоит из двух групп элементов и четкой формулировки критерия выбора соответствия между ними. Соответствие устанавливается по принципу 1:1 (одному элементу первой группы соответствует только один элемент второй группы) или 1:М (одному элементу первой группы соответствуют М элементов второй группы). Внутри каждой группы элементы должны быть однородными. Количество элементов второй группы должно превышать количество элементов первой группы. Максимальное количество элементов второй группы должно быть не более 10, первой группы – не менее 2. Как идентификаторы (метки) элементов могут использоваться номера и буквы. Арабские цифры, как правило, являются идентификаторами первой группы, заглавные буквы русского алфавита - второй. Таким образом, в тестовом задании как минимальной законченной единице педагогического теста отражается содержание всего теста. Тестовое задние имеет четкую логическую структуру и может быть представлено в разных формах. |