ТЕСТИРОВАНИЕ КАК МЕТОД ПЕДАГОГИЧЕСКОЙ ДИАГНОСТИКИ. доклад Бесогонова. Наказ 147 сообщение по теме тестирование как метод педагогической диагностики
 Скачать 44.22 Kb.
|
|
ФЕДЕРАЛЬНАЯ СЛУЖБА ИСПОЛНЕНИЯ НАКАЗАНИЙ ФЕДЕРАЛЬНОЕ КАЗЕННОЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ № 147 СООБЩЕНИЕ ПО ТЕМЕ: «ТЕСТИРОВАНИЕ КАК МЕТОД ПЕДАГОГИЧЕСКОЙ ДИАГНОСТИКИ» Составил: Преподаватель Н.С. Бесогонов Ст. Люга 2020год Содержание: Название Страницы 1.Тест: понятие, классификация 3 2.Показатели качества тестов 6 3.Требование к тестам 7 4.Этапы разработки тестов 7 Виды тестовых заданий и правила их составления 9 Некоторые типичные ошибки при составлении заданий 11 7.Список использованной литературы 12 2 1.Тест: понятие, классификация. Тест - это кратковременное, технически просто обставленное испытание. Испытание проводится в равных для всех испытуемых условиях и имеющее вид такого задания, решение которого поддается количественному учету и служит показателем степени развития к данному моменту известной функции у данного испытуемого. ТЕСТИРОВАНИЕ - это метод педагогической диагностики, с помощью которого выборка поведения, репрезентирующая предпосылки или результаты учебного процесса, должна максимально отвечать принципам сопоставимости, объективности, надежности и валидности измерений, должна пройти обработку и интерпретацию и быть готовой к использованию в педагогической практике. ПЕДАГОГИЧЕСКИЙ ТЕСТ - система тестовых заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых. Функции тестов: Обучающая - происходит анализ результатов, и учитель и ученик получают информацию, в результате которой возможно изменение учебного процесса; Воспитательная; Контроль - контролируется текущая и итоговая успеваемость, эффективность методов обучения. Учебно - организационная - осуществляется прогноз успешности обучения, диагноз пробелов, определение общего владения языком. Специфическая - возможна дополнительная обработка результатов тестирования, для определения качества самого тестирования. Основными отличиями тестов от прочих способов выявления индивидуальных различий, таких как наблюдение, анализ документов или продуктов деятельности и др. являются их формализованность и более высокая степень объективности проводимого с их помощью оценивания, которая обеспечивается за счет стандартизации вопросов и ответов, особой процедуры проведения тестирования и способов обработки результатов. Практически все современные тесты создаются на основе математической теории оценки качества заданий и параметров личности. Тесты как инструмент оценивания имеют значительные отличия от контрольных работ. Во-первых, тесты - значительно более качественный и объективный способ оценивания и, во-вторых, что наиболее важно и принципиально, показатели тестов ориентированы на измерение степени, определение уровня усвоения ключевых понятий, тем и разделов учебной программы, умений, навыков и пр., а не на констатацию наличия у учащихся определенной совокупности формально усвоенных знаний. Стандартизированная форма оценки, используемая в тестах, позволяет соотнести уровень достижений учащегося по предмету в целом и по отдельным его разделам со средним уровнем достижений учащихся в классе и уровнями достижений каждого из них. Для того, чтобы дать наиболее полную характеристику тестов и определить их место, значение, взаимосвязи ' в общей системе тестовых методик, необходимо дать представление о существующих на данный момент видах тестов. Тесты могут быть классифицированы по следующим основаниям с выделением соответствующих видов: 1. По процедуре могут быть выделены стандартизированные и нестандартизированные тесты. Стандартизация психологами понимается в двух аспектах: о стандартизация процедуры и условий проведения тестирования, способов обработки и интерпретации результатов, которые должны привести к 3 созданию равных условий для испытуемых и минимизировать случайные ошибки и погрешности, как на этапе проведения, так и на этапе обработки результатов и интерпретации данных; о стандартизация результатов, то есть получение нормы, шкалы оценки, которая служит основанием для определения уровня овладения тем, что выясняет данный тест, при этом не важно, какого рода нормы получаются и какие шкалы используются. Классификация тестов по назначению: - общедиагностические(тесты личности по типу вопросников Кеттелла или Айзенка, тесты общего интеллекта Векслера, Бине-Симона в редакции Термена и Меррила и др.); - профессиональной пригодности (множество общих классификационных тестов - общий армейский классификационный тест, классификационные идр.); - специальных способностей (технических, музыкальных, тесты для педагогов, т. д.); - достижений (например, произношения, качества написания письменных сочинений и т.п. т. е. тесты, предназначенные для оценивания результатов, достигнутых учащимися в процессе обучения.). По средствам, используемым в процессе тестирования: - бланковые (тесты «бумага и карандаш», в которых используются тестовые тетради или бланки, в которых, испытуемые отмечают или вписывают правильные ответы - вопросники личности, тест механической понятливости Беннета, большинство тестов достижений и др.); - предметные (в которых необходимо манипулировать материальными объектами, результативность выполнения этих тестов зависит от скорости и правильности выполнения заданий ; - аппаратурные (тесты с использованием устройств для изучения особенностей внимания, восприятия, памяти и мышления - «детектор лжи», аппарат для определения энцефалограмм мозга и др.);. - практические (появившиеся относительно недавно, эти тесты схожи с известными у нас лабораторными работами - по химии, физике, биологии и пр., - однако они снабжены соответствующими инструкциями и имеют тестовое оснащение); - программные (тесты с применением компьютерных программ). По количеству одновременно обследуемых людей: - индивидуальные (тесты Векслера, тест Люшера и др.); - групповые (большинство стандартизованных вопросников, оценивающих основные характеристики личности, большинство тестов достижений и т. д.). По форме ответа тесты делятся: - устные; - письменные; - с применением компьютеров По ведущей ориентации: - тесты скорости, содержащие простые задачи, время решения которых ограничено настолько, что ни один испытуемый не успевает решить все задачи в заданное время (Кольца Ландольта, Бурдона, «шифровка» из набора Векслера); - тесты мощности или результативности, включающие трудные задачи, время решения которых либо вовсе не ограничено, либо мягко лимитировано. Оценке подлежит успешность и способ решения задачи. Примером такого рода 4 тестовых заданий могут быть задания для письменных итоговых экзаменов за курс школы; - смешанные тесты, которые объединяют в себе черты двух вышеперечисленных. В таких тестах представлены задачи различного уровня сложности: от самых простых до очень сложных. Время испытания в данном случае ограничено, но достаточное для решения предлагаемых задач большинством обследуемых. Оценкой в данном случае служат как скорость выполнения заданий (количество выполненных заданий), так и правильность решения. Эти тесты наиболее часто применяются на практике. По степени однородности задач: - гомогенные, имеющие, как правило, одну шкалу, которые позволяют оценить одно свойство или качество личности и включают задачи, сходные по характеру, но различающиеся конкретным содержанием; - гетерогенные, имеющие несколько шкал, которые позволяют оценить разнообразные характеристики личности и включают задания, отличающиеся как по характеру, так и по содержанию. По характеру действий: - вербальные (связанные с необходимостью произведения умственных действий - словесно-логические тесты, вопросники на проверку знаний, установление закономерностей й пр.); - невербальные (связанные с практическим манипулированием предметами - карточками, блоками,-деталями). По направленности, т.е. по тому, что именно предполагается изучать с помощью данного теста: - тесты интеллекта, выявляющие особенности последнего; - личностные тесты (иногда называемые тестами темперамента), с помощьюкоторых изучаются особенности личности испытуемого; тесты настроении и состояний, направленные на изучение временных состояний, таких как эмоции; - другие. По виду нормирования: - ориентированные на статистические нормы - тесты, основанием для сравнения в которых служат соответствующим образом обоснованные статистически полученные значения выполнения данного теста репрезентативной выборкой испытуемых; - критериально ориентированные - тесты, предназначенные для определения уровня индивидуальных достижений испытуемого относительно некоторого заданного критерия, существующего в реальной практике и заранее известного уровня знаний, умений, навыков, необходимых для выполнения определенного вида деятельности. Критерий может быть определен на основании экспертной оценки (например, критерий школьной успешности может быть определен путем опроса педагогов, работающих в данном классе или с данным ребенком) либо практической деятельности испытуемых (критерий школьной успешности может быть определен по оценкам за четверть или год); - прогностические, ориентированные на успешность дальнейшей деятельности; - ненормированные. По характеру ответов на вопросы: - открытого типа (со свободными ответами - когда испытуемому необходимо самостоятельно дописать слово, словосочетание, предложение, знак, формулу и т. д.) 5 - закрытого типа (с предписанными ответами - когда испытуемому необходимо выбрать из предложенных вариантов ответов тот или иной вариант). Кроме этого, выделяют следующие возможные варианты ответов, используемые в тестах открытого типа: - задания дополнения - испытуемый должен сформулировать ответы с учетом предусмотренных в задании ограничений; - свободного изложения - испытуемый должен самостоятельно сформулировать ответы, ибо никакие ограничения на них в задании не накладываются. Варианты тестов закрытого типа: - альтернативных ответов, испытуемый должен ответить «да» или «нет»; - соответствия (на восстановление соответствия) - испытуемому предлагается восстановить соответствие элементов двух списков; - множественного выбора (ответы с вариантами выбора) - испытуемому необходимо выбрать, как правило, один правильный ответ из приведенного списка возможных ответов; - исключения лишнего (устранения лишнего элемента, «встретил лишнее - убери»); - аналогии - испытуемый должен выделить отношение аналогии между парами элементов (слов, свойств, качеств и т. д.); - последовательности (на завершение последовательности) - испытуемый должен запершить некоторую последовательность элементов. 2.Показатели качества тестов. Надежность измерения - степень точности, с какой может быть измерен тот или иной конкретный признак: - надёжность теста характеризует воспроизводимость его результатов. - характеризуется коэффициентом надежности: это корреляционный коэффициент, показывающий степень совпадения результатов тестирования осуществленного в одинаковых условиях одним и тем же тестом. Валидность теста - комплексная характеристика теста, отражающая его способность измерять именно то, для чего он предназначен: - характеризует возможности генеральной совокупности заданий в тестируемой области знаний оценить объект измерений теста. - различают валидность - содержательную (насколько адекватно задания теста отражают смысл измеряемого явления?), -конструктную (насколько хорошо тестирование может быть объяснено в терминах психологических характеристик?) - критериальную (насколько точно результаты тестирования согласуются с известными объективными критериями?). Задание в тестовой форме - это педагогическое средство, отвечающее следующим требованиям: 1. цель; 2. краткость; 3. технологичность; 4. логическая форма высказывания; 5. определенность места для ответов; 6. одинаковость правил оценки ответов; 7. правильность расположения элементов задания; 8. одинаковость инструкции для всех испытуемых; 9. адекватность инструкции форме и содержанию задания. 6 3. Требование к тестам. Тестовое задание составная единица теста, отвечающая требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям: - известной трудности; - дифференцирующей способности (достаточной вариации тестовых баллов); - положительной корреляции баллов задания с баллами по всему тесту, а также другим математико-статистическим требованиям. Трудность заданий. Вначале определяется умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения заданий. Затем следует эмпирическая апробация, с подсчетом доли неправильных ответов в каждом задании. Дифференцирующая способность. Способность различать сильных и слабых студентов - Если на какое-то задание правильно отвечают все тестируемые, то такое задание является настолько легким, что оно теряет из-за этого существенное свойство быть тестовым заданием. - Нет дифференцирующей способности и у очень трудного задания, где нет ни одного правильного ответа; такое задание подлежит удалению из проектируемого теста. Локальная независимость тестовых заданий. Ответ испытуемого на каждое тестовое задание не подвергается влиянию и статистически независим от ответа на любое другое тестовое задание. Испытуемый, отвечая на задание, не может использовать добавленное знание, полученное из ответа на любое другое тестовое задание. Компьютерные тестирующие программы не должны информировать испытуемого об успешности выполнения очередного задания. Время тестирования определяется по расположению максимума дисперсии тестовых результатов и не должно превышать 60 минут. Длина теста не должна превышать 60-70 заданий, в предположении, что на выполнение одного задания требуется не более одной минуты. Тестирование необходимо проводить в первой половине дня и желательно в середине недели. 4.Этапы разработки тестов. Основные этапы конструирования тестов: - целеполагание; - создание спецификации; - составление плана теста; - разработка тестовых заданий; - проведение пилотного тестирования; - анализ полученных результатов. Правила, по которым должны разрабатываться задания включает: Цель создания теста. Ссылки на исходные документы (стандарты, учебные программы, учебники) Число заданий в каждом варианте теста. Число вариантов теста. Тип заданий с указанием количества и процентного содержания заданий каждой формы. Число ответов к заданиям закрытой формы (с выбором одного правильного ответа либо нескольких правильных ответов). Рекомендуемый автором вес заданий каждой формы при подсчете баллов тестирования, рекомендации по засчитыванию вариативных заданий. Рекомендуемое время выполнения теста и среднее время выполнения заданий разных форм. 7 Структура теста по разделам (содержательным линиям) и видам деятельности испытуемых (знаниям, умениям и навыкам) с подробной расшифровкой. Анализ значимости тем (большим количеством заданий должны быть представлены темы, изучение которых завершено или наиболее важно для дальнейшего обучения). Методика формирования параллельных вариантов тестов. Рекомендации автора по срокам апробации. Общая характеристика охвата тестом требований программы и рекомендации по дополнительным формам проверки в случае необходимости. Степень стандартизации теста и возможность его компьютерной обработки, требования к программным продуктам, используемым для обработки результатов тестирования, выведения тестового задания участникам тестирования,составлениястатистического отчета и визуализации его содержания. 8 5. Виды тестовых заданий и правила их составления. По форме предъявления ответа тестовые задания классифицируют на задания в открытой форме и задания в закрытой форме: - задания в открытой форме - тип тестовых заданий, предусматривающих свободные ответы обучающихся, по сути это задания без предлагаемых вариантов ответов. - задания в закрытой форме - тип тестовых заданий, предусматривающий различные варианты ответа на поставленную проблему Задания в открытой форме. Пример: Инструкция: дополните. 1. Система внутренних побуждений человека, определяющая его избирательную активность называется . Правильный ответ: направленность. Тестовые задания данного типа позволяют получать разностороннюю, развернутую информацию о знаниях обучающегося. Они применяются в случае, когда необходимо проверить знание фактического материала, способность обучающегося интерпретировать данные и применять правила, когда исключается фактор догадки. Основные правила составления заданий в открытой форме: - в каждом задании должно быть только одно дополнение (ответ); - дополнение (ответ) должно быть наиболее важным («ключевым») термином, знание которого является обязательным; - дополнение (ответ) лучше всего располагать в конце предложения; - задание должно формулироваться четко, требовать однозначного ответа и не допускать двоякого толкования. Задания в закрытой форме. Из ряда предлагаемых ответов, тестируемый выбирает один или несколько, по его мнению, правильных. Неправильные ответы в заданиях закрытой формы называются дистракторами. Основные виды: - задания с альтернативными ответами; - задания с множественным выбором (одного или нескольких правильных ответов); - задания на установление соответствия; - задания на установление правильной последовательности. Основные требования:1) в тексте задания должна быть устранена всякая двусмысленность или неясность формулировок; 2)основная часть задания формулируется предельно кратко, какправило, не более одного предложения из семи-восьми слов; 3) задание имеет предельно простую синтаксическуюконструкцию, в основной текст задания вводится не более одного придаточного предложения; 4) в основную часть задания следует включать как можно больше слов, оставляя для ответа не более двух-трех наиболее важных, ключевых слов для данной проблемы; 5) все ответы к одному заданию должны быть приблизительноодной длины либо правильный ответ может быть короче других, но не во всех заданиях теста; 6) из текста задания необходимо исключить все вербальныеассоциации, способствующие выбору правильного ответа спомощью догадки; 7) частота выбора одного и того же номера места для правильного ответа вразличных заданиях теста должна быть примерно одинакова, либо номер местадля правильного ответа выбирается в случайном порядке;8) основная часть задания освобождается от всякого иррелевантного для даннойпроблемы' материала;9) из ответов обязательно исключаются все повторяющиеся слова путем ввода ихв основной текст заданий; 10) в ответах не рекомендуется использовать слова «все», «ни одного»,«никогда», «всегда» и т. п., так как в отдельных случаях они способствуютугадыванию правильного ответа; 11) из числа неправильных исключаются ответы, вытекающие один из другого; 12) при формулировке дистракторов не рекомендуется использовать выражения«ни один из перечисленных», «все перечисленные» и т.п., так как ониспособствуют угадыванию правильного ответа; 13) из числа тестовых исключаются задания, содержащие оценочные суждения имнения учащегося по какому-либо вопросу; 14) все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих 9 правильного ответа; 15) ни один из дистракторов не должен являться частично правильнымответом, превращающимся при определенных дополнительных условияхв правильный ответ; 16) основная часть задания формулируется в формеутверждения, которое обращается в истинное или ложное высказываниепосле подстановки одного из ответов;17) ответ на одно задание не должен служить ключом к правильнымответам на другие задания теста, т.е. не следует использоватьдистракторы из одного задания в качестве ответов к другим заданиямтеста; 18) если задание имеет среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредоточивается только на этих двух ответах; 19) все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания теста. Задания с двумя ответами (альтернативные задания). Альтернативные задания предусматривают наличие двух вариантов ответов (типа "да" - "нет", "верно" - "неверно" и т.д.). Пример: Выберите правильный ответ: В крови здорового человека присутствует билирубин. А. да Б. нет Правильный ответ: А Задания с двумя ответами (альтернативные задания).Преимущества альтернативных заданий: - благодаря краткости позволяют охватить большой объем материала, - легко разрабатываются (только один дистрактор), - быстро с высокой объективностью обрабатываются результаты выполнения. Недостатки альтернативных заданий: - стимулируют механическое запоминание, - поощряют угадывание, - требуют увеличения количества заданий и, соответственно, времени тестирования для компенсации эффекта угадывания. Задания с выбором нескольких правильных ответов. Используются в текущем тестовом контроле для проверки классификационных и фактуальных знаний. Пример: Выберите ВСЕ правильные ответы: Какой режущий инструмент применяется в сверлильно-пазовальных станках?: а)фрезы;б)круглые пилы;в)сверла. Задания на установление правильного соответствия. Позволяют проверить ассоциативные знания элементов двух множеств. Задания на установление правильной последовательности. Позволяют проверить процедурные, процессуальные и алгоритмические знания. Пример: Установите правильную последовательность: Стадии технологического процесса: 1. заготовка 2.пиление 3.сушка 4.строгание 10 6. Некоторые типичные ошибки при составлении заданий. Некоторые типичные ошибки при разработке заданий в тестовой форме: 1. Вопросительная формулировка. В чем ошибка: задание имеет вопросительную форму. Это неизбежно влечет за собой повторяющиеся слова в вариантах ответов.Что следует сделать: сменить формулировку на утвердительную. Повторяющееся слово вынести из вариантов ответов в условие задания. 2. Несогласованная формулировка. В чем ошибка: условие и варианты ответа не согласуются по падежам. Что следует сделать: либо поставить варианты в нужный падеж, либо скорректировать условие задания под варианты. З.Избыточная формулировка. В чем ошибки: Слишком много текста; повторяющиеся слова в каждомварианте. Что следует сделать: 1. Вынести повторяющиеся слова в текст задания. 2.Сделать дистракторы более похожими на правильный ответ, чтобы он невыделялся своей длиной и точностью. 3. Можно сменить тип вопроса на"пропущенное слово" или "поле ввода". 11 7.Список использованной литературы: В.И. Звонников, М.Б. Чедышкова «Современные средства оценивания результатов обучения», М. «Академия», 2009 год Г.И. Кругликов «Методическая работа мастера профессионального обучения», М. «Академия», 2010 год 12 |