Создание тестов. Методика создания тестов. Тесты выполняют одновременно целый ряд функций
 Скачать 337.51 Kb.
|
 Методика создания тестов Пособие для сотрудников отдела обучения  Компания МИР ИНСТРУМЕНТА   Тесты выполняют одновременно целый ряд функций: 1. Контролирующую; 2. Обучающую; 3. Развивающую; 4. Воспитывающую; 5. Диагностическую; 6. Прогностическую. Тесты можно использовать как на любом этапе работы с персоналом, при изучении нового материала, его закреплении и обобщении и при итоговом контроле. Свойства теста: Валидность – соответствие измеряемым знаниям, умениям. Сложность – объем умственных усилий для выбора ответа. Надежность – правильность и адекватность отражения уровня знаний. Устойчивость – равнозначность для различных групп участников тестирования. Репрезентативность – полнота охвата темы тестирования. Значимость – актуальность включения в тест. Управлять ими можно посредством качественно разработанным тестовым заданиям (вопросов) и дистракторов. Дистракторы (от англ. distract — отвлечение внимания) — варианты ответов в заданиях с выбором, не являющиеся правильными решениями, но внешне близкие к правильному решению. Рекомендации по составлению верного варианта и дистракторов тестового задания. Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок. Все варианты ответов должны быть грамматически согласованы с основной частью задания; в любом случае следует использовать короткие, простые предложения, без зависимых или независимых оборотов. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Применяйте правдоподобные ошибочные варианты, взятые из опыта. Не используйте варианты ответов «ни один из перечисленных» и «все перечисленные», особенно для типов вопросов «единственный выбор». Убедитесь, что различия между вариантами ответов точны. Чем больше варианты ответа походят друг на друга, тем труднее распознать правильный ответ и тем лучше тестируется умение понимать, например, прочитанный текст. Но когда различия не очень четки, то может случиться так, что тестируемый, зная правильный ответ, выберет правдоподобный. Избегайте повторения в вариантах ответов, особенно для вопросов, которые следуют последовательно. Лучше использовать длинный вопрос и короткий ответ. В противоположной ситуации на прочтение ответов уходит больше времени и больше сил тратится на анализ высказываний. При всем многообразии тестовых заданий можно выделить всего 4 основных группы тестов: Задание на выбор правильного ответа; Приведение в соответствие или классификацию объектов; Расположение объектов в определенном порядке «Открытые» задания, где необходимо вписать «пропущенные» слова. Виды тестов Самым просты при составлении и самым распространенным видом тестовых заданий является тест – определитель, составленный по принципу вопрос – ответ. Пример теста определителя с одним правильным ответом: В каком субъекте Российской Федерации господствующей религией является ислам? Кабардино-Балкария Красноярский край Новосибирская область Республика Карелия Сложностью данного типа задания является количество вариантов ответов. Забегу немного вперед, если вы составляете тест, то старайтесь использовать одинаковое количество вариантов ответов для каждого вопроса. В таком случае «вес», каждого вопроса будет одинаковым. Что означает надпись на часах CRYSTAL GLASS? Сапфировое покрытие стекла на часах Сапфировое стекло на часах Закаленное стекло на часах Минеральное стекло на часах Расскажу еще об одной частой ошибки в тестах: Дайверы это: Тот, кто занимается дайвингом Вид часов, который был разработан для людей, занимающихся дайвингом. Отличительным признаком такого вида часов является безель, с помощью которого аквалангист может засекать время, которое может понадобится ему на подъем с глубины. Федор Конюхов Специальный механизм в часах, для замера временных отрезков В таком примере можно рассмотреть несколько типичных ошибок. Первая одновременно, и ошибка и не ошибка – это формулировка вопроса. Если вы хотите составить корректный вопрос, то сделайте его вопросом. Дайвер это: - не вопрос, вопросом будет – Что такое дайвер? Вторая ошибка – в вариантах ответов. Дайвер это и вид часов и тот, кто занимается дайвингом. В этом случае должно действовать правило - все кроме правды ложь. Старайтесь составлять варианты ответов таким образом, чтобы не вводить сдающих тест в заблуждение. Третья ошибка – это использование неправдоподобного варианта ответа. Неверные варианты ответов должны быть правдоподобны и не должны быть шутливыми – это явная подсказка. Всем известен Федор Конюхов и множество анекдотичных ситуаций, связанных с ним. И еще старайтесь использовать одинаковое количество письменных знаков в вариантах ответов. Если один вариант длиннее, по сравнению с остальными, это может быть подсказкой. Правильным вариантом вопроса будет: Что такое дайверы? Часы в конструкции, которых предусмотрен безель Часы в механизме, которых предусмотрен вечный календарь Часы в механизме, которых предусмотрен лунный календарь Часы в механизме, которых предусмотрен турбион Либо наоборот: вопросом является определение, а ответом – само понятие. В каких часах предусмотрен безель? Хронограф Дайвер Пилот Однострелосники Тест определите, с несколькими правильными ответами. Если вы используете множественный выбор правильных вариантов, то не вводите дополнительный варианты. Оптимальным количеством вариантов ответа будет 4-5 вариантов, но так, чтобы во всех вопросах теста было одинаковое количество ответов. Какие модели обуви относятся к мужской классике? Дерби Оксфорды Сникеры Мокасины Если вариантов ответа два, то укажите, что проходящему тест нужно выбрать именно два ответа и выделите это красным цветом или напишите заглавными буквами, чтобы это бросалось в глаза. Пример: Какие модели обуви относятся к мужской классике? Выберите ДВА варианта ответов. Дерби Оксфорды Сникеры Мокасины Следующий тип вопросов – это расположение объектов в определенном порядке. Данный тип вопросов называют ранжирование, в котором предлагаются варианты ответов, которые необходимо распределить в определенной последовательности. Пример: Расположите мужскую классическую обувь по статусу строгости. Где №1 самая строгая модель обуви и далее по убыванию. Напишите номера в клетки напротив каждой модели. (Для электронных тестов эта задача намного проще, потому, что в системах дистанционного обучения предусмотрен тип таких вопросов)  Дерби Лофер  Броги Оксфорды Какими могут быть ошибки в подобного рода вопросах? Самой грубой ошибкой будет включить вариант ответа, который не соответствует вопросу. Расположите мужскую классическую обувь по статусу строгости. Где №1 самая строгая модель обуви и далее по убыванию. Напишите номера в клетки напротив каждой модели Дерби Сникер Броги Оксфорды Старайтесь чтобы вопросы и все варианты ответов соответствовали друг другу. Следующий тип тестов – «открытые», где от участника требуется вписать пропущенное слово в определение. Пример: Берем определение Контакт – это состояние доверия и включенности во взаимодействие. И намеренно пропускаем ключевые слова Контакт – это состояние _____________ и включенности во __________________. У нас получается вопрос, в котором участнику необходимо вписать пропущенные слова. Основной ошибкой в этом случае может стать тот факт, что участник может не знать определение, используемое в качестве вопроса теста. Поэтому важно составлять релевантные вопросы. Участник должен иметь возможность получить информацию об этом вопросе, в курсе, на тренинге, на коуч-сессии и т.д. Мы должны понимать, если участник не знаком с этим определением, то его не стоит включать в тест. И последний тип вопросов для теста – приведение в соответствие. Пример: Приведите в соответствие дизайн обуви и их стилистическую принадлежность Дерби Сникер Дезерт Спортивный стиль Повседневный стиль Классический стиль Ответ: 1 – c; 2 – a; 3 – b. Приведите в соответствие горные системы и их геологический возраст:
Ответ: 1-в; 2-а; З-б Ошибкой тут так же может быть то, что вопрос не релевантный. Бесполезно спрашивать продавца сантехники о горных системах. Правила составления тестовых заданий Пишите вопросы как можно более простым и понятным языком. Иначе вы проверите не знания, а хорошее понимание конструкций русского языка (что тоже полезно, но возможно не в вашем тесте). Пример не верный: О каком материале подошвы идет речь: - «Данный материал в химии называют длинномолекурярными соединениями, при изготовлении его используют два полимера, которые вступают в реакцию, при которой образуется большое количество воздушных пузырьков»? Полиуретан Этиленвинилацетат Термоэластопласт Резина Пример верный: О каком материале подошвы идет речь: - «Преимущество данного материала подошвы является то, что она крепится методом вулканизации»? Полиуретан Этиленвинилацетат Термоэластопласт Резина Ответ: Полиуретан Как можно больше слов включайте в текст вопроса - как можно меньше в варианты ответа. Пример не верный: Во время презентации товара нужно: правила визуального мерчендайзинга стимулируют продажу товара, дополнительная презентация чаще бывает не нужна; рассказать обо всех свойствах и преимуществах товара; говорить кратко и простыми словами; о преимуществах обуви, подчеркивая выгоду, которую получает клиент; показывать товар, предложить примерить обувь; ничего не рассказывая и не объясняя, дать сразу примерить обувь клиенту; употреблять специфические термины, так презентация будет «умнее»; презентация очень важная часть продажи, необходимо долго и неторопливо рассказывать о товаре, предоставить клиенту всю полную информацию о продукте. Пример верный: Как называется дизайн модели, которая является подвидом дерби, однако превосходно сочетается с повседневным стилем? Блюхерс Топ-сайдер Монки Эспадрилья По возможности избегайте использования в тексте вопроса слова НЕ (Например, "Какие из перечисленных ниже городов не являются столицами стран"). Если это совершенно необходимо, выделяйте слово "не" заглавными буквами, цветом или выделением. По возможности предлагайте 4-5 вариантов ответа (включая верный). Меньше или больше стоит предлагать в редких случаях. Убедитесь (аргументировано убедите себя), что правильный вариант ответа, который вы предлагаете не только верный, но на самом деле лучший из предлагаемых с точки зрения тестируемого (кажется очевидным, но не всегда реализуется на практике). Пример верный: Что из перечисленного относится к обувной фурнитуре? Геленок Блочки Язычок Берец Правильный ответ один, а остальные являются составными частями обуви. Формулируйте все варианты ответа в одинаковой грамматической форме (падеже, числе и т.п.). Иначе верный ответ можно легко вычислить. Пример не верный: Какой из перечисленных материалов подошвы, способствует снижению ударных нагрузок при ходьбе? Этиленвинилацетат (ЭВА) Тунитная Резиновая Кожаная Пример верный: Какой из перечисленных материалов подошвы, способствует снижению ударных нагрузок при ходьбе? Этиленвинилацетат (ЭВА) Тунит Резина Кожа Правильный ответ должен более или менее равномерно распределяться по порядку следования в разных вопросах. Если тестируемый заметит, что как правило вы ставите верный ответ первым - будет не очень здорово (если система тестирования и СДО предлагает такую автоматическую опцию, как WebTutor или Courselab, например - отметьте соответствующую галочку в вопросе). Следите за длинами вариантов ответов - если верный ответ как правило длиннее или короче неверных, то тестируемый может угадывать ответ по длине. Пример не верный: Какой из перечисленных материалов подошвы, способствует снижению ударных нагрузок при ходьбе? Этилен и винилацетат потому что материал подошвы вспененный и состоит пор. Резина Кожа Тунит Пример верный: Какой из перечисленных материалов подошвы, способствует снижению ударных нагрузок при ходьбе? Этиленвинилацетат Тунит Резина Кожа По возможности избегайте слов все, всегда, никогда, иногда в вариантах ответа. Используйте в качестве неверных ответов утверждения, которые в целом верны, но не дают правильного ответа на вопрос. Пример не верный: Какой из перечисленных материалов подошвы, способствует снижению ударных нагрузок при ходьбе? Этиленвинилацетат Блочки Геленок Берец Предложенные варианты ответов явно не являются материалами подошв, а это явная подсказка для обучаемого. Пример верный: Какой из перечисленных материалов подошвы, способствует снижению ударных нагрузок при ходьбе? Этиленвинилацетат Тунит Резина Кожа Если вы знаете типовые ошибки тестируемых - включите их как варианты неверных ответов. Не используйте выражение "Все из перечисленных выше ответов верны/неверны" в качестве правильного ответа - если обучаемый найдет хотя бы два верных ответа он поймет, что надо выбирать этот вариант (это верно для вопроса с одним правильным вариантом ответа). Избегайте вариантов ответа типа "верны А и Б" или "верны А и Б, но не верно В и Г" - в этом случае вы будете тестировать логическое мышление, а не знания. Если в следовании вариантов ответа можно найти какую-то логику (например, это годы), то лучше расположить их в каком-то порядке - по возрастанию или убыванию, а не в случайном порядке. Пример не верный: В каком году впервые появилась марка Pierre Cardin? 1964 1950 1947 1975 Пример верный: В каком году впервые появилась марка Pierre Cardin? 1953 1952 1951 1950 Убедитесь, что правильный ответ на один из вопросов теста не является подсказкой для ответа на другие вопросы. Например, в одном вопросе вы спросили: "В каком году А.С. Пушкин написал Капитанскую дочку". Глупо после этого спрашивать, кто написал Капитанскую дочку - Пушкин или Лермонтов? |