Создание компьютерных технологий. Мерецков О.В. Создание компьютерных тестов и диалоговых тренажёр. Олег Мерецков Создание компьютерных тестов и диалоговых тренажёров ЛитРес Самиздат 2019
 Скачать 3.98 Mb.
|
|
Олег Мерецков Создание компьютерных тестов и диалоговых тренажёров «ЛитРес: Самиздат» 2019 Мерецков О. В. Создание компьютерных тестов и диалоговых тренажёров / О. В. Мерецков — «ЛитРес: Самиздат», 2019 ISBN 978-5-532-10237-8 Данное учебное пособие будет полезно всем, кто связан с производством контента для электронного обучения – преподавателям и методистам системы образования всех уровней, специалистам центров компьютерного и дистанционного обучения, студентам педагогического профиля. В пособии рассматриваются подходы и технологии создания компьютерных тестов и диалоговых тренажёров без классического программирования. Изложение материала построено на двух практических примерах, в которых по шагам разобран процесс создания компьютерного теста и диалогового тренажёра с помощью популярных на рынке продуктов компании iSpring. ISBN 978-5-532-10237-8 © Мерецков О. В., 2019 © ЛитРес: Самиздат, 2019 О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 4 Содержание Введение 5 Раздел 1. Компьютерные тесты 6 1. Технологические ограничения 7 2. Условия тестирования 8 3. Траектория тестирования 9 4. Дистракторы 12 5. Шаблоны тестовых вопросов 13 6. Практический кейс 20 7. Задания для самостоятельной работы 48 Раздел 2. Тренажёры 49 1. Диалоговые тренажёры 52 2. Практический кейс 54 3. Задания для самостоятельной работы 71 Заключение 72 Приложение 1 73 Приложение 2 75 Литература 81 Об авторе 82 О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 5 Введение Настоящее учебное пособие основано на материалах двух программ повышения ква- лификации, реализуемых в АНО «Электронное образование для наноиндустрии (еНано)»: «Практика создания оценочных средств в формате компьютерного теста» и «Разработка ком- пьютерных тестов и диалоговых тренажёров». Пособие будет полезно всем, кто связан с производством контента для электронного обу- чения – преподавателям и методистам системы образования всех уровней, специалистам цен- тров компьютерного и дистанционного обучения, студентам педагогического профиля. В нем рассматриваются подходы и технологии создания компьютерных тестов и диалоговых трена- жёров без классического программирования, но с высокой степенью визуализации и интерак- тивности. Изложение материала построено вокруг двух практических примеров, в которых по шагам разобран процесс создания компьютерного теста и диалогового тренажёра с помощью популярных на рынке продуктов компании iSpring. Пособие состоит из двух основных разделов и двух приложений. В конце каждого раздела приведены вопросы и задания для самостоятельной работы по соответствующей теме. Прило- жения содержат примеры оформления исходных авторских материалов для создания компью- терных тестов и тренажёров. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 6 Раздел 1. Компьютерные тесты В коммуникациях, опосредованной компьютером, есть некоторые особенности, которые требуется дополнительно учитывать, в частности – при разработке компьютерных тестов. Их рассмотрению целиком посвящен данный раздел. Прежде всего хотелось бы выделить три ключевые особенности. Первая – заключается в описании условий тестирования. В процессе проведения кон- троля знаний в аудитории мы сообщаем обучаемым правила тестирования – сколько отводится времени на выполнение теста, на сколько вопросов им надо ответить, как оцениваются ответы и тому подобное. При создании электронных тестов для самостоятельного прохождения, очень часто данная информация упускается из вида. Необходимо найти в своем компьютерном тесте место, где мы опишем эту информацию, как сделали бы при классической форме обучения. Вторая особенность, на которую хотелось бы указать, – это обратная связь по результатам полученных ответов. В процессе аудиторной работы мы проводим разбор допущенных оши- бок, выделяем типовые, объясняем правильные ответы. Нечто похожее важно предусмотреть и для самостоятельного прохождения тестов на компьютере. Варианты реализации обратной связи вы найдете в данном пособии. И, наконец, третья особенность, на которую хотелось бы обратить внимание, – это спе- цифика подготовки авторских материалов для последующей компьютерной реализации. Она заключается в том, что существуют типовые шаблоны всех основных видов тестовых вопросов, которые выглядят примерно одинаково в какой бы программной среде мы не рабо- тали. Знакомство с внутренним устройством этих шаблонов поможет вам создавать авторский материал, уже адаптированный для компьютерной реализации. Например, при подготовке классических тестов на бумаге мы сначала формулируем вопрос и даем перемешанные варианты ответов для выбора из них верных или сопоставления согласно заданным критериям, а отдельно (в ключах к тесту) – указываем их верную комби- нацию. При компьютерной реализации перемешивать между собой верные и неверные вари- анты ответов не требуется. Достаточно задать ответ в прямой последовательности, а компью- тер уже при отображении конечному пользователю их случайным образом перемешает. То же относится к вопросам на сопоставление, отнесение ко множествам, расстановке в правильной последовательности и т.д. В авторских материалах нужно сразу указывать правильный порядок ответов. Это снижает вероятность ошибки при разметке вопроса в программной среде. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 7 1. Технологические ограничения Авторские материалы, предназначенные для создания на их основе разделов контроля знаний в рамках электронных учебных курсов, должны предполагать возможность автомати- зированного контроля ответов слушателя без участия преподавателя. В этой связи открытые вопросы, предполагающие развернутое формулирование видения обучаемого относительно предложенного задания, не допускаются. В качестве примера таких вопросов можно привести следующий: «Опишите дифракцию на тонких щелях» или «Какое влияние оказало творчество Пушкина на мировую художествен- ную литературу 19-го века?». В то же время, открытые вопросы, множество ответов на кото- рые является исчисляемым и может быть формализовано, вполне допустимы и даже привет- ствуются. При составлении подготовке материалов для контроля знаний в электронной образова- тельной среде автору следует заранее предусмотреть вариант реализации конкретного вопроса, исходя из специфики, контролируемой области знаний. Важно отметить, что варианты неправильных ответов также должны быть разработаны автором. Перекладывание выполнения данной очевидной, на первый взгляд, функции автора на других участников команды – программистов, сценаристов или методистов, зачастую при- водит к существенному ухудшению качества контроля знаний. Это объясняется тем, что подго- товленные несведущими в предметной области специалистами варианты ответов легко обнару- живаются учащимися, что позволяет показать последним завышенный относительно реальных знаний результат тестирования. При разработке авторских материалов для контроля знаний в рамках электронной обра- зовательной среды не рекомендуется применять кроссвордный стиль формулирования зада- ний (например, «вставьте пропущенное слово»), т.к. такой подход не способствует закрепле- нию в сознании учащегося связки «вопрос – ответ» (за редким исключением). Помимо вышеизложенных ограничений, хочется дать еще несколько общих рекоменда- ций к составлению тестов: • не следует нумеровать вопросы внутри заданий, если предполагается их отображение в случайном порядке; • такая же рекомендация относится к численно-буквенному обозначению предлагаемых вариантов ответов для случаев, когда они должны быть случайным образом перемешаны; • общий объем теста должен быть ограничен максимальным временем непрерывной работы за компьютером для целевой категории обучаемых (как правило, не более одного часа); • желательно, чтобы количество предлагаемых вариантов ответов в тестовых вопросах было не менее 4-х (включая дистракторы) – для повышения статистически значимой досто- верности результатов теста по сравнению со случайным угадыванием; • в случае отображения всех вопросов теста одновременно на одном экране в прямой последовательности моментальная обратная связь по ответам не применяется, в таких случаях к разбору ошибок переходят только после полного завершения тестирования. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 8 2. Условия тестирования При разработке контрольных вопросов автору теста также следует продумать и описать следующие моменты, которые являются ключевыми в тестировании: • количество вопросов, которые будут заданы в рамках одной попытки; • количество предоставляемых попыток прохождения теста; • наличие или отсутствие ограничений по времени ответа на вопросы; • траекторию отображения вопросов (произвольную, по темам, в зависимости от резуль- тата ответа на предыдущие вопросы, возможность или невозможность пропускать вопросы и изменять уже принятые ответы и т. д.); • систему начисления баллов за различные варианты ответов (полные, неполные, частично правильные, удельный вес вопросов в зависимости от сложности, количество исполь- зованных попыток для получения правильного варианта и т. п.); • критерии оценки успешности тестирования (проходной балл). Каждый ответ на вопрос в тесте оценивается в баллах. Вы можете управлять начислением баллов, определяя свои правила в пределах принятых ограничений технической реализации. В общем случае у Вас имеется следующий арсенал оценивания ответов: • начислять баллы за правильный ответ; • начислять или не начислять баллы за частично правильный ответ; • начислять, не начислять или вычитать баллы за неправильный ответ. Количество начисляемых баллов в каждом случае определяет автор теста. Это откры- вает широкие возможности дифференцированной оценки ответов на вопросы разного уровня сложности, учета частично правильных ответов, а также влияния на итоговый результат теста грубых ошибок. При допущении грубых ошибок тест может быть завершен досрочно с отри- цательным результатом. Для того, чтобы рассмотреть механизм реализации такого варианта завершения тести- рования рассмотрим более общую категорию – траекторию отображения тестовых вопросов. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 9 3. Траектория тестирования При создании тестов на бумаге мы привыкли к тому, что вопросы следуют в прямом порядке, одинаковом для всех экземпляров теста внутри одного варианта. Основным гарантом достоверности полученных в ходе такого тестирования результатов является контроль за соблюдением условий его проведения и защиты материалов от копиро- вания, а также последующего анализа и распространения. В условиях современного уровня развития компьютерных и коммуникационных техно- логий вопрос защиты контрольно-измерительных материалов от их несанкционированного копирования и распространения становится все более сложно выполнимым. Поэтому на пер- вый план выходят приемы, сводящие ценность обладания ключами к тесту к минимуму – не дающие существенных преимуществ обладателю правильных ответов перед другими участни- ками тестирования. Среди таких приемов: • случайный порядок отображения вопросов; • случайный порядок отображения вариантов ответов; • случайный отбор вопросов из банков вопросов по разным темам; • зависимость набора вопросов от выданных ответов; • ограничение времени на ответ и др. Траектория тестирования – это порядок, в котором следуют вопросы теста на экране компьютера. У каждой разновидности траектории есть свои сильные и слабые стороны. Например, траектория отображения вопросов в прямой последовательности без возмож- ности исправления уже выданного ответа вполне оправдана, когда последующий вопрос содер- жит в себе подсказку для ответа на предыдущий. Очевидно, что и применение «шпаргалок» для такого рода тестов будет наиболее эффективно. Другой пример – изменение траектории тестирования в зависимости от результата ответа. Применение такого принципа позволяет, в частности, сократить количество вопросов в тесте: если обучаемый правильно отвечает на очень сложный вопрос, то можно не задавать ему простейшие вопросы по данной теме, сократив общий объем теста без потери достовер- ности контроля. При постановке траектории тестирования в зависимость от выбранного варианта ответа можно строить многоходовые задания для создания сложных кейсов. В последних двух случаях применение «шпаргалок» будет не очень эффективно ввиду сложности поиска ответов на заданных вопрос. Обобщенно варианты выбора траектории тестирования представлены на рисунке 1. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 10 Один из распространенных приемов реализации выборочного контроля знаний с сохранением репрезентативности контроля по всем изученным темам – это формирование «банка» (или группы) вопросов для каждой темы с последующей случайной выборкой опре- деленного количества вопросов из каждой группы. Пример возможной реализации таких настроек представлен на рисунке 2. Траектория тестирования может изменяться в зависимости от результата ответа на вопрос, в том числе – приводить к досрочному завершению теста. Пример возможной реализации таких настроек представлен на рисунке 3. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 11 О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 12 4. Дистракторы В компьютерном тестировании технологически допустимо применять как закрытые, так и открытые вопросы. Однако, для целей автоматизированного контроля, безусловно, удобнее использовать различные вариации закрытых вопросов. Для того, чтобы тест не превращался в примитивную «угадайку», в закрытые вопросы вводят дистракторы. Дистрактор (от англиского «distract» – отвлекать) – неправильный, но правдоподобный вариант ответа в тестовых заданиях. Дистракторы используются для отвлечения внимания участников оценки, которые либо плохо знакомы с предметом, либо совсем не знают правильный ответ и пытаются его угадать. Для эффективной разработки необходимо понимать логику участника оценки: • плохо знающие участники пытаются найти знакомые и подходящие к теме ответы; • участники, полностью не знающие ответ, пытаются угадать ответ по формальным при- знакам (самый длинный ответ, самый умный ответ и т. п.). Разработчик тестового задания должен создать дистракторы для обеих категорий участ- ников. Частая ошибка при разработке дистракторов – это «частичная правильность»: ситуация, когда «неправильный» ответ кажется неправильным только автору тестового задания. При этом непредвзятый анализ ответов может показать, что с определённой точки зрения дистрак- тор вполне можно назвать правильным ответом. Другая распространенная ошибка – это созда- ние абсурдных или очевидных дистракторов. Разработка дистракторов – это комплексная экспертная задача, которой может быть посвящен самостоятельный курс. В целом, следует выделить следующие базовые шаги созда- ния дистракторов: • выделение типичных ошибок, которые могут допустить обучаемые при ответе на кон- кретный вопрос теста; • создание на их основе формулировок соответствующих дистракторов; • апробация теста на контрольной группе обучаемых; • статистический анализ полученных результатов; • исключение дистракторов, которые обучаемые не выбирали или выбирали редко – как не работающих. Готовый функционал для проведения такого статистического анализа выбираемых обу- чаемыми вариантов ответов предоставляет специализированный пакет для разработки кон- трольных тестов MyTestX. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 13 5. Шаблоны тестовых вопросов В настоящее время средства разработки электронных курсов поддерживают более двух десятков шаблонов стандартных тестовых вопросов. К наиболее распространенным из них относятся следующие: • вопрос с единственным выбором; • вопрос со множественным выбором; • вопрос на определение по критерию «истина»/«ложь»; • вопрос на установление соответствий; • вопрос на расстановку в правильной последовательности; • вопрос с открытым ответом. Вопрос с предложением выбрать единственный вариант из предложенных ответов явля- ется классикой компьютерных тестов и поддерживается абсолютно всеми программными сред- ствами. При формулировании вопроса не забудьте указать на необходимость выбора одного вари- анта ответа. Пример настроек шаблона вопроса с единственным выбором в специализирован- ном средстве разработки представлен на рисунке 4. Вопрос с предложением выбрать несколько подходящих из предложенных вариантов ответов можно считать вторым по распространенности типом вопросов, который поддержива- ется большинством программных средств. При формулировании вопроса не забудьте указать на возможность выбора нескольких вариантов ответа. Пример настроек шаблона вопроса с множественным выбором представлен на рисунке 5. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 14 Вопросы на определение утверждения по критерию «истина»/«ложь» является вариа- цией вопросов с единственным выбором. Данный тип вопросов целесообразно применять в случаях, когда контекст не позволяет создать достаточное количество хороших дистракторов. Отличием применения данного шаблона по сравнению с шаблоном вопроса с единственным выбором является то, что в случае использования опции случайного перемешивания вариан- тов ответов в вопросе, варианты ответов «верно» и «неверно» перемешиваться не будут (см рисунок 6). Вопрос на установление соответствий оптимально подходит для определения названий элементов по их визуальному представлению или текстовому описанию. Например, для опре- деления автора по фотографии картины, установки соответствия аббревиатур и их расшиф- ровок, и т. п. Для усложнения задачи в вопрос рекомендуется вводить дистракторы. Пример заполнения шаблона вопроса на установление соответствий (сопоставление) представлен на рисунке 7. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 15 Вопросы на расстановку в правильной последовательности является вариацией вопросов на установление соответствие, в которых вместо определяемых элементов установлены поряд- ковые номера. Данный тип вопросов оптимально подходит для проверки знаний в части после- довательности выполнения технологических операций, а также любых регламентированных процедур. Пример заполнения шаблона вопроса на расстановку в правильной последователь- ности представлен на рисунке 8. Вопросы с открытым ответом предполагают отсутствие предложенных вариантов отве- тов. Для автоматизированной обработки вопросов данного типа важно, чтобы правильный ответ имел конечное число формулировок и мог быть безошибочно напечатан обучаемым в соответствующем поле ввода (см рисунок 9). О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 16 Вопросы с открытым ответом позволяют наряду с текстовыми значениями принимать числовой ответ, который можно проверять с использованием математических выражений. Это открывает широкие возможности для применения открытых тестовых вопросов в целях автоматизированной проверки результатов выполнения лабораторных работ, а также решений сложных естественно-научных задач (см рисунок 10). Важным методическим моментом при разработке контрольных материалов для элек- тронной образовательной среды является необходимость перед началом теста предоставить информацию о принципах тестирования: количестве и типах вопросов, возможности перехо- дов между вопросами, принципах начислении баллов, возможности исправлений выданных ответов и т.п. (см рис. 11). О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 17 По завершению теста, учащийся должен иметь возможность видеть, как общий итоговый результат тестирования, так и иметь возможность разобрать допущенные в тесте ошибки. Это чрезвычайно важно с методической точки зрения, т.к. анализ ответов является одной из фаз закрепления полученных знаний (см. рис. 12) О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 18 Хочется отметить еще один простой прием добавления человеческих эмоций в электрон- ный образовательный контент, на который вы, возможно, уже обратили внимание по преды- дущим иллюстрациям: даже в тестах вы можете использовать изображения, поддерживающие эмоциональный контакт со студентом. Например, разместить там собственную фотографию или подходящее фото из фотобанка, отражающие радость от достигнутого результата, которую Вы разделяете вместе с тестируемым, или, наоборот, выразить огорчение от провала испыта- ния (см. рис. 13). О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 19 О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 20 6. Практический кейс В качестве практического кейса рассмотрим создание компьютерного теста на основании сценария из Приложения 1. Данный пример позволяет познакомиться не только с вариантами представления самих тестовых заданий, но и дает представление о вариантах описания условий тестирования и пра- вильных ответов. Довольно часто можно видеть ситуации, когда для выделения в исходных материа- лах теста правильных вариантов ответов используется жирный шрифт или изменение цвета (самого текста, заливки, подчеркивания). Следует предостеречь от использования подобной практики: при любом форматировании текста (в том числе в процессе вычитки материалов корректором, объединении документов и т.п.) данное форматирование исчезает безвозвратно, а вместе с ним – и все отметки о правильных вариантах ответов, которые Вы сделали! Для создания теста на компьютере будем использовать пакет специализированного про- граммного обеспечения iSpring Suit 9.0. Такой выбор обусловлен опытом преподавания про- граммы повышения квалификации «Проектирование и разработка электронных учебных кур- сов в команде», где у обучаемых есть возможность выбрать индивидуальную траекторию обучения, предполагающую выполнение практических заданий в одном из трех специализиро- ванных программных средств на альтернативной основе: Articulate StoryLine, CourceLab или iSpring Suit. Достоверно отмечено, что обучаемые, выбравшие iSpring Suit в качестве средства создания электронного образовательного контента, испытывают меньшие сложности при его изучении и достигают результата быстрее, чем их коллеги, выбравшие другие средства разра- ботки. Для начала работы запускаем iSpring Quizmaker, входящий в пакет поставки iSpring Suit. Для этого вызываем iSpring Suit и в отрывшемся окне выбираем вкладку «Тесты», «Создать новый тест» (см. рис.14). Откроется главное окно iSpring Quizmaker, которое представлено на рисунке 15. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 21 Наш тест пока не содержит вопросов, что совершенно справедливо (мы их еще не созда- вали), о чем нам и сообщается в центре экрана. Но прежде, чем мы начнем конструировать свой тест, я предлагаю выполнить несколько настроек. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 22 Согласно имеющемуся сценарию, тест будет состоять из 8 вопросов разных типов. Мы предполагаем, что тест будет оцениваемый. Это означает, что за каждый ответ будут начис- ляться баллы и в завершении теста будет дана оценка общего результата тестирования в зави- симости от количества набранных баллов – путем сравнения их с некоторым, предварительно определенным пороговым уровнем. При наборе баллов больше или равных этому пороговому уровню тест будет считаться пройденным успешно, в противном случае – тест будет считаться несданным. Для настройки правил оценивания теста запустим диалоговое окно «Свойства теста», выбрав в верхнем меню главного окна iSpring Quizmaker пункт «Свойства» (пиктограмма с «колесиком» – см. рис. 15). Нас будут интересовать вкладки «Оценивание теста» и «Свойства вопросов». По умолчанию в iSpring Quizmaker оценивание успешности прохождения теста предла- гается осуществлять в процентах (например, 80%) правильных ответов от общего количества вопросов теста. Это вполне оправдано для большинства тестов, которые используются само- стоятельно для контроля знаний по какой-либо теме – как в составе системы электронного обучения образовательного учреждения или корпоративного образовательного портала, так и локально, например, в компьютерном классе. Однако, часто тест является одним из элементов электронного учебного курса, предна- значенный для контроля знаний по теме, лекции или разделу. При этом в состав электронного курса может входит несколько тем и, соответственно, несколько тестов. Представим себе ситу- ацию, когда обучаемый выполнил тест по теме 1 на 90% и по теме 2 – на 80%. Получается, что его результат освоения электронного курса равен сумме результатов двух тестов и составляет 170%? Именно такой результат отразится в системе дистанционного обучения, что не вполне корректно с точки зрения здравого смысла. Мне могут возразить коллеги: ведь по правилам математики легко определяется общий процент по двум тестам. Для нашего примера он дол- жен равняться 85% из 100%. На самом деле все чуть-чуть сложнее: далеко не все системы управления обучением способны корректно учитывать процент освоения отдельных компо- нент в составе электронного курса, да и сами тесты внутри учебной программы могут быть разной сложности, степень которой бывает полезно учитывать. Чтобы избежать подобных ситуаций, рекомендуется оценивание тестов осуществлять в баллах. В таком случае баллы, набранные в тестах по разным разделам электронного курса, будут математически суммироваться в системе электронного обучения и соотноситься, в свою очередь, с пороговыми значениями в баллах – для оценки успешности прохождения всего элек- тронного курса. У вас не возникнет ситуаций с оценкой прохождения курса, когда проходной уровень будет отображаться, например, в виде: «160% из 200% возможных». Но вернемся к нашему тесту. В сценарии теста указано, что «Тест считается выполнен- ным успешно, если набрано 5 и более баллов». Поэтому, перейдем на вкладку «Оценивание теста» и выберем в соответствующем окне значение оценивать тест – «В баллах», проходной балл – «5 баллов» (см. рис. 16). О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 23 Также сценарий сообщает нам, что «За каждый правильный ответ начисляется 1 балл» и «За частично правильные ответы баллы не начисляются». Поэтому на вкладке «Свойства вопросов» указываем количество баллов за правильный ответ равым 1 и снимаем флаг напро- тив свойства «Принимать частичные ответы» (см.рис. 17). На этой же вкладке можно настроить обратную связь по ответу на вопрос для верного, неверного и частично правильно варианта,которая будет приниматься по умолчанию для всех шаблонов вопросов нашего теста. Рекомендуется формулировать обратную связь предельно ясно и коротко, но с сохра- нением уважительного отношения к обучаемому. Первоначально в шаблоне обратной связи присутствуют фразы, указывающие на количество попыток – исчерпанное и оставшееся для ответа на вопрос. В нашем случае тестом предусмотрена всего одна попытка ответа на вопрос, после которой выдается обратная связь в виде сообщения «Вы выбрали верный ответ» или «Вы выбрали неправильный ответ». Поэтому в соответсвующих полях шаблона убираем упомина- ния про количество попыток (для частично правильных ответов мы шаблон не меняли, т.к. такая обратная связь по условиям нашего теста отсутсвует) и сохраняем выполненные измене- ния путем нажатия на кнопку «Сохранить». О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 24 Теперь,когда подготовительные операции завершены, можно переходить к созданию самих вопросов. Первый вопрос, согласно нашему сценарию, предполагает выдачу открытого ответа путем ввода его обучаемым с клавиатуры. Для создания такого вопроса в главном меню окна iSpring Quizmaker выбираем пункт «Вопрос» и в открывшемся выпадающем меню – тип шаб- лона вопроса «Краткий ответ» (см рис. 18). Откроется окно конструктора открытых вопросов текстового типа (см. рис. 19). Скопи- руем в него формулировку вопроса из сценария теста. В поле «допустимые варианты отве- тов» перенесем правильный ответ – «траектория». Остальные настройки вопроса оставим без изменения. Для лучшего представления о том, как будет выглядеть вопрос на экране обучае- мого в процессе прохождения тестирования, на рисунке 20 показан соответствующий скрин- шот экрана. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 25 О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 26 О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 27 Следующий вопрос нашего теста – на сопоставление ответной части утверждениям. Для его создания в выпадающем меню «Вопрос» выбираем тип вопроса – «Соответсвие» (см.рис. 18). Откроется шаблон вопроса на установление соответствий (см. рис. 21). О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 28 Копируем в него формулировку вопроса из сценария теста. Далее в поле «Верные соот- ветствия» переносим в него три пары значений: «специализированное средство разработки электронных курсов – CourceLab», «программная платформа для создания LMS – Moodle» и «формат описания тестов – QTI». После чего в поле «Дополнительные соответствия» пере- носим значения дистракторов: «IPX» и «Cisco». Остальные настройки шаблона оставляем без изменения. Рисунки 22 и 23 демонстрируют соответствующие скриншоты с экрана обучаемого до и после выдачи ответа на данный вопрос в процессе тестирования. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 29 О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 30 Далее в нашем тесте предусмотрен вопрос типа «единственный выбор». Для его созда- ния, по аналогии с предыдущими вопросам, в выпадающем меню «Вопросы» выбираем пункт «Выбор одного ответа». В открывшийся шаблон переносим формулировку самого вопроса и четырех вариантов ответа на него из сценария (см. рис. 24). О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 31 Устанавливаем флаг правильного ответа напротив требуемого варианта, указанного в сценарии в качестве правильного (eAutor). Остальные настройки шаблона оставляем без изме- нения. Вид тестового вопроса на экране обучаемого представлен на рисунке 25. Как было отме- чено ранее, указанные в шаблоне варианты ответов при предъявлении вопроса обучаемому будут перемешаны случайным образом. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 32 В соответствии со сценарием нашего теста следующие несколько вопросов предпола- гают использование шаблона «Множественный выбор». Этот шаблон предполагает указание нескольких вариантов ответа в качестве верных. Для создания нового вопроса в главном меню окна iSpring Quizmaker выбираем пункт «Вопрос» и в открывшемся выпадающем меню – тип шаблона вопроса «Выбор нескольких ответов» (см рис. 18). Откроется новый шаблон вопроса (см. рис. 26). Переносим в соответствующее поле шаблона формулировку вопроса из сценария. Далее в поле «Варианты ответов» последовательно переносим варианты ответов из сцена- рия. Устанавливаем флаг правильного ответа напротив соответствующих вариантов (ILIAS и MOODLE). На создании списка правильных ответов и правил работы с ним следует остановиться подробнее. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 33 В предлагаемой форме вопроса мы можем добавлять столько вариантов ответов, сколько нам потребуется, но следует учитывать также их расположение в окне на экране обучаемого (см. рис. 27). В нашем случае в окне имеется достаточно места для того,чтобы расположить больше вариантов, чем предусмотрено по сценарию. Однако, если варианты ответов были бы более развернутые (более одной строчки), или их было бы больше, или сама формулировка вопроса требовала бы больше места для описания (в частности – была представлена в виде изображения), – возможна ситуация, в которой часть вариантов ответа попадает за пределы видимой области окна тестирования. Это обстоятельство крайне нежелательно с методической точки зрения, т.к. исчезает фокус обучаемого на предлагаемых вариантах ответа. Даже при наличии полосы прокрутки, в условиях стресса ее легко не заметить и, таким образом, полу- чить неполную формулировку задачи, пропустив часть предложенных вариантов. Поэтому при создании исходных авторских материалов для применения в компьютерном тестировании сле- дует изначально учитывать то, как будет выглядеть вопрос на экране перед обучаемым. Еще один значимый момент – это правильная интерпретация задания множественного выбора из предалагемых вариантов ответа. Дело в том, что под правильным ответом в данном случае понимается одновременное указание обучаемым всех правильных вариантов ответа из предложенных, удволетворяющих условиям задания. Случай, когда обучаемый из нескольких правильных ответов выбирает один (или более, но не все), идентифицируется как неправиль- ный или частично правильный ответ – в зависимости от выполненных настроек. Данных аспект следует обязательно учитывать при формулировании вопроса автором. В нашем случае сценарий не предполагает учета неполных ответов на вопросы теста в качестве частично верных. Поэтому в нашем шаблоне мы не установили флаг напротив свой- ства «Начислять баллы за частично верный ответ». Уже знакомый флаг «Перемешивать ответы» в данном шаблоне означает, что при каждом запуске теста варианты ответов на данный вопрос будут отображаться на экране компьютера в произвольной последовательности. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 34 Следующие вопросы типа «множественный выбор» из сценария нашего теста создадим по аналогии с описанной процедурой. Предпоследний вопрос в нашем тесте – это вопрос на растановку предложенных утвер- ждений в правильной последовательности. Для его создания в главном меню окна iSpring Quizmaker выбираем пункт «Вопрос» и в открывшемся выпадающем меню – тип шаблона вопроса «Последовательность» (см рис. 18). О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 35 В окне конструктора вопросов откроется шаблон вопросов на расстановку утверждений в правильной последовательности (см. рис. 28). Скопируем в него формулировку вопроса из сце- нария теста. В поле «Вариант ответа» перенесем правильные варианты ответа в верной после- довательности. Обратите внимание на то, что в формулировке вопроса следует исключить неодно- значность интерпретации формулировки вопроса. Именно по этой причине в тексте данного вопроса присутствуют два уточнения: «перетаскивая мышью» и «от более ранним к более поздним». Довольно распространенной является ситуация, в которой очевидная последова- тельность событий глазами автора теста не совпадает с пониманием соответствующей после- довательности в сознании других людей. Еще одно замечание следует сделать относительно отображения данного вопроса на экране обучаемого (см. рис. 29). Несмотря на отсутствие в данном шаблоне настройки вопроса флагового поля «Перемешивать ответы», включение данной опции подразумевается автомати- чески: на экране обучаемого исходная последовательность, с которой ему предлагается рабо- тать, при каждом запуске теста будет выбираться случайным образом. Однако это не исключает случая, когда варианты ответов сразу отобразятся в верной последовательности. Тогда обуча- емому останется только подтвердить предложенный выбор. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 36 Заключительный вопрос нашего теста – это вопрос на определение утверждения по кри- терию «истина/ложь». Для его создания в главном меню iSpring Quizmaker выбираем пункт «Вопрос» и в открывшемся выпадающем меню – тип шаблона вопроса «Верно/неверно» (см рис. 18). По аналогии с предыдущими вопросами осуществляем настройку данного вопроса в кон- структоре вопросов. Для этого переносим в шаблон формулировку из нашего сценария (см. рис. 30). Данный шаблон предусматривает только два возможный варианта ответ, один из кото- рых должен являться правильным. Сам текст вариантов ответа можно редактировать – сооб- разно формулировке вопроса. В нашем случае вместо стандартных вариантов ответа «верно» и «неверно», в соответствии со сценарием, указываем формулировки «Да» и «Нет», при этом отмечаем вариант ответа «Нет» в качестве правильного. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 37 Созданный описанным выше способом вопрос в тесте будет отображаться на экране ком- пьютера в виде, показанном на рисунке 31. Отличия в применении для создания данного вопроса выбранного типа шаблона от шаб- лона «Единственный выбор» практически отсутствуют, за исключением возможности пере- мешивания вариантов ответа, которое в шаблоне на определение утверждения по критерию «истина/ложь» не предусмотрено. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 38 Содержательное наполнение нашего теста завершено. Теперь осталось немного дорабо- тать его оформление перед финальной публикацией. Прежде всего создадим титульный слайд. В нашем случае он будет являться одновре- менно и обложкой теста, и введением, разъясняющим обучаемым условия тестирования. Для этого в главном меню iSpring Quizmaker выбираем пункт «Введение» и в выпадающем меню второго уровня – пункт «Титульный слайд». Откроется шаблон создания титульного слайда (см. рис. 32). О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 39 Изменим стандартный заголовок слайда «Добро пожаловать в тест» на скромный и лако- ничный – «Тест 1». В зависимости от стоящей перед вами задачи, данный заголовок может видоизменяться и включать в себя название темы или раздела. Например, «Тест по разделу 3.4» или «Контрольный тест по теме «Основы нанофотоники»». Далее перенесем описание условий тестирования на слайд из сценария. Обратите внимание, что слева от настраиваемого шаблона расположено отображение структуры нашего теста, состоящее из титульного слайда, группы вопросов и слайда с резуль- татами. До сих пор мы работали с данной структурой, настраивая шаблоны на вкладке «Данные». Для целей дальнейшей настройки теста перейдем на вкладку «Слайды». Мы увидим представ- ление каждого слайда приближенно к тому, как он будет выглядеть на экране обучаемого в процессе тестирования. Данное представление позволяет нам выбирать расположение полей, выравнивание и размер шрифтов, добавлять рисунки и фотографии. В демонстрируемом примере мы выбрали минималистичный стиль титульного слайда. Его конечный вид для обучаемого представлен на рисунке 33. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 40 После того, как мы создали вводный слайд, настало время перейти к оформлению заклю- чительного элемента, содержащего информацию о результатах тестирования. Для этого в левом меню структуры теста перейдем к последнему пункту – «Слайд с результатами» (см. рис. 34). Данный слайд имеет два варианта представления – по одному для каждого из возможных исходов теста. Переключение между вариантами осуществляется путем выбора слоев «Тест пройден» и «Тест не пройден» в меню «Свойства слайда с результатами», расположенного в правой части окна iSpring Quizmaker (см. рис. 34-35). Отредактируем внешний вид слайда для варианта «Тест пройден». Для этого разместим на нем необходимую нам информацию в том виде, в которой мы хотим показать ее на экране обучаемого. Основная часть, требующая корректировки, относится к информации о результа- тах тестирования. Данная информация хранится в переменных, содержимое которых указано между символов «%» в соответствующих строках слайда. По умолчанию шаблон содержит отображение информации о количестве фактически набранных баллов и проходном уровне теста как в баллах, так и в процентном отношении. Например, для нашего теста стандартная строка с информацией о проходном балле на экране обучаемого будет выглядеть так: О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 41 «Проходной балл: 5 (62,5%) баллов». В данном случае цифра «62,5%» является неинформативной и может провоцировать дополнительные вопросы у обучаемого. Поэтому мы просто удалим переменные, указываю- щие на отображение процентов набранных баллов за ответы в тесте, и процентный эквивалент установленного нами порогового значения успешного завершения теста (5 баллов). Результат такого редактирования показан на рисунке 34. Теперь переключимся на слой, соответствующий результату «Тест не пройден» и анало- гичным образом отредактируем сообщение о том, что обучаемый не прошел тест (см. рис. 35). Красный «крестик» (как и зеленая «галочка» для варианта успешного прохождения теста) являются рисунками, размер которых можно изменить привычными для продуктов Microsoft Office приёмами. Текст надписей можно редактировать с клавиатуры. Кнопка «ПОСМОТРЕТЬ ТЕСТ» является объектом, который можно переместить или удалить. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 42 Помимо вышеуказанной информации на слайде с результатами можно разместить любое графическое изображение, передающее желаемую эмоцию. Например, изображение из фото- банка, изображающее радость победы или суровое осуждение обучаемого за неудовлетвори- тельный результат. Самый простой способ добавить такое изображение – переключиться в соответствующий слой слайда и вставить подходящее изображение, предварительно открыв его и скопировав из открытого окна другой программы. Например, – из Microsoft PowerPoint. В нашем сценарии указания на необходимость выдачи подобной обратной связи отсут- ствуют. Поэтому мы ограничимся описанными выше изменениями. Конечное представление результатов теста, соответствующих успешному и неуспешному вариантам прохождения, представлены на рисунках 36 и 37. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 43 При нажатии на кнопку «ПОСМОТРЕТЬ ТЕСТ» будет выполнен переход к слайдам с вопросами теста, на которых отмечены правильные варианты ответа, а также варианты ответа, выданные обучаемым, с соответствующей обратной связью. Пример возможного представле- ния слайдов приведен на рисунках 12 и 23. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 44 Нам осталось выполнить завершающие настройки нашего теста перед публикацией. Для этого в главном меню iSpring Quizmaker выберем пункт меню «Плеер». Отроется диалоговое окно, представленное на рисунке 38. В этом окне можно изменять настройки внешнего представления нашего теста на экране обучаемого: цвета фона, шрифты, надписи, вид кнопок управления и др. Принцип управления настройками довольно прост – все настройки разделены на четыре группы, которым соответствуют пиктограммы в главном меню окна – «Вид», «Навигация», «Цвета» и «Надписи». Выбирая необходимую нам пиктограмму, мы переходим к редактированию соответству- ющей группы свойств нашего теста. При этом в левой части окна будет показано соответству- ющее меню настроек, а в правой – то как эти настройки будут выглядеть на экране обучаемого. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 45 В своем тесте мы предусмотрели возможность разбора корректности выданных ответов (см. рис. 12 и 23). Для реализации такой возможности установим флаг «Показывать результаты ответов» в настройках пункта меню «Вид» окна настройки свойств плеера iSpring Quizmaker (см. рис. 38). Еще одна важная настройка была уже сделана до начала разбора данного кейса. Речь идет о названии кнопки ответа на вопрос, нажатие которой фиксирует принятый ответ и позволяет перейти к следующему вопросу. По умолчанию в данной версии используемого нами программного продукта предусмот- рена логика автономного тестирования, согласно которой обучаемый получает по почте или любым другим способом электронный тест, запускает его, а результаты тестирования автома- тически отправляются для целей аттестации на указанный в тесте электронный адрес препода- вателя. В таком случае после выдачи каждого ответа обучаемый нажимает на кнопку «Отпра- вить». В нашем универсальном примере название данной кнопки изменено на более нейтраль- ное – «ответить», что отражено на всех скриншотах разбираемого кейса. Для редактирования названия кнопки мы воспользовались пунктом «Надписи» главного меню. Сохраняем выполненные изменения и возвращаемся в главное окно iSpring Quizmaker. Заключительный шаг создания электронного теста на компьютере – это его публика- ция. Важно отметить отличие процесса публикации от процесса сохранения теста, независимо от выбранного средства разработки. При сохранении теста привычным нажатием на пикто- грамму «Сохранить» в главном меню программы выполняется сохранение модели теста для целей дальнейшего редактирования. В случае iSpring Quizmaker – это файл с расширением «quiz» («Пример 1.quiz»), который можно открыть только с помощью программы, использо- ванной для его создания. Для того, чтобы тест принял вид, пригодный для его использования в целях контроля знаний, необходимо выполнить его публикацию – то есть преобразование из набора выпол- ненных нами настроек, хранящихся в специализированном файле, в пакет HTML-страниц, которые можно открыть с помощью любого браузера. Соответствующий пакет может быть сформирован как для локального использования, так и для публикации в составе системы О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 46 дистанционного обучения, с предоставлением последующего доступа к нему обучаемого и автоматическим учетом полной учебной статистики (времени тестирования, количества попы- ток, набранных баллов и пр.). Для публикации теста выбираем пиктограмму «Публикация» в главном меню iSpring Quizmaker (крайняя справа – см. рис. 15). Откроется диалоговое окно публикации теста, пред- ставленное на рисунке 39. В показанном примере мы выбрали вкладку «СДО» открывшегося окна, которая соот- ветствует публикации теста в формате «SCORM-2004», пригодном для дальнейшего исполь- зования как на локальном компьютере, так и размещения в системах управления обучением (LMS) и системах дистанционного обучения (СДО) образовательных учреждений и коммерче- ских организаций. В указанной нами папке появился файл «Пример 1. zip», представляющий собой ZIP-архив, готовый к экспорту в СДО. Для работы с тестом без СДО, раскроем данный архив и из папки «RES» запустим файл «index.html». Откроется стартовое окно теста, как оно показано на рисунке 33. Можно приступать к проверке нашего теста. По сути, мы создали маленький электронный курс, который состоит из одного теста. Такой курс можно размещать в составе своих учебных программ или других электронных курсов, практически, в любой современной LMS или СДО, включая Moodle, Ilias, Mirapolis, iSpring Online, Blackboard, WebTutor, Доцент, Прометей и др. Более подробно о универсальных форматах электронных курсов, правилах их приемки и апробации, а также настройках публикации в СДО можно узнать в учебном пособии «Создание О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 47 электронного курса своими руками» и на программах повышения квалификации, реализуемых в АНО «еНано». Информацию о программах можно найти в конце пособия в разделе «Об авторе». Желаем вам удачи в проектировании и разработки собственных компьютерных тестов! О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 48 7. Задания для самостоятельной работы 1. Составьте сценарий теста по теме или дисциплине, которую вы преподаете. Сценарий должен содержать не менее 10 вопросов с использованием 5-ти типов шаблонов. 2. По написанному вами сценарию создайте и опубликуйте тест с использованием про- граммного продукта iSpring Quizmaker. 3. Проверьте правильность начисления баллов для трех вариантов прохождения теста: все ответы выданы верно, все ответы ошибочны, и набрано минимально необходимое количе- ство верных ответов для успешного прохождения теста (набрать проходной балл). 4. Исправьте ошибки, если вы их обнаружили. 5. Выделите для себя информацию, которая вам потребовалась в процессе программной реализации теста в iSpring Quizmaker, но отсутствовала в явном виде в сценарии теста. В буду- щем постарайтесь учесть данную информацию при составлении тестов, техническая реализа- ция которых будет выполняться другими людьми. О. В. Мерецков. «Создание компьютерных тестов и диалоговых тренажёров» 49 |