Основы разработки. Основы разработки электронных образовательных ресурсов Лекция_3. Лекция 3 Создание электронных учебных материалов

• Название: Лекция 3 Создание электронных учебных материалов
• Анкор: Основы разработки
• Дата: 21.09.2022
• Размер: 407.97 Kb.
• Имя файла: Основы разработки электронных образовательных ресурсов Лекция_3 .docx
• Тип: Лекция; #689040
• страница: 4 из 4

3.5. Функции компьютерных тестов и рекомендации по их разработке

Одним из основных требований организации учебного процесса в рамках Болонского соглашения является унификация учебных планов и программ для одноименных дисциплин, которые преподаются в разных учебных заведениях. Это выдвигает требования объективизации процесса оценивания знаний студентов, что невозможно без использования методов тестирования знаний, которые являются основой теории педагогических измерений. Массовое внедрение тестирования знаний в учебный процесс сформировало понимание необходимости создания и применения компьютерных систем тестирования знаний. Это обусловлено с одной стороны снижением трудоемкости при проведении тестирований по сравнению с традиционными методами бланкового тестирования, а с другой стороны повышением надежности и объективности результатов тестирования. Тестирование как одна из форм аттестации представляет собой процедуру, позволяющую объективно для каждого учащегося установить уровень: теоретических знаний, интеллектуальных умений, практических навыков. Тестирование используется на следующих этапах учебного процесса:

1. 
   Входное тестирование в начале изучения дисциплины для определения исходного уровня и выдачи рекомендаций по траектории изучения материала.
   
2. 
   Самотестирование учащихся по ходу изучения ими отдельных глав теоретического материала.
   
3. 
   Тестирование перед началом выполнения лабораторных и практических работ с целью проверки наличия необходимых начальных теоретических знаний.
   
4. 
   Тестирование знаний по итогам изучения главы (раздела) теоретического материала, результатам выполнения лабораторной работы.
   
5. 
   Тестирование по итогам изучения дисциплины с целью получения оценки полученных знаний либо выдачи допуска на прохождение промежуточной аттестации в иной форме.
   

В общем случае тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной системы проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств, знаний или навыков личности, изменение которых возможно в процессе систематического обучения.

Тесты включают в себя вопросы, отражающие содержание дисциплины или ее части, которые выносятся на контроль. При составлении вопросов для тестирования необходимо придерживаться следующих правил:

• 
  в вопросе должна быть ясно выражена только одна мысль;
  
• 
  мысль, выраженная в вопросе, должна быть записана лаконично, но содержательно;
  
• 
  вопрос должен представлять важную часть пройденной темы;
  
• 
  вопрос по сложности должен быть доступен студенту, а по содержанию – соответствовать критериям будущей профессиональной деятельности студента или потребностям обучения по другим дисциплинам;
  
• 
  при формулировании вопросов и ответов следует исключать подсказки к правильным ответам;
  
• 
  задания в тесте следует располагать в порядке постепенного возрастания трудности, что способствует снижению эмоционального стресса в процессе тестирования.
  

Для получения максимальной эффективности от тестирования знаний в процессе изучения дисциплины рекомендуется использовать два вида тестов:

• 
  тест для самоконтроля (для каждого раздела или темы),
  
• 
  итоговый тест (для всей дисциплины в целом).
  

Вопросы для самоконтроля предполагают возможность просмотреть теоретический материал и проработать ошибки, допущенные при ответах на данные вопросы. Они предназначены для получения обучающимся адекватной оценки своих знаний. Для каждого раздела рекомендуется 10-15 вопросов.

Итоговый тест используется для проверки знаний обучающегося по завершении изучения всей дисциплины (аналог экзамена). Число тестовых вопросов для одного тестируемого должно составлять не менее 30 и зависит от сложности тестовых заданий.

Работа с тестовой системой начинается с подготовки базы вопросов. При использовании тестирования в учебном процессе важно помнить, что каждый вопрос не должен иметь многоцелевую направленность, он призван выявлять лишь один определенный аспект. Критериями отбора содержания тестового материала служат:

• 
  значимость. Этот принцип указывает на необходимость включить в тест только те элементы знания, которые можно отнести к наиболее важным и ключевым, без которых знания становятся неполными;
  
• 
  научная достоверность. Суть тестовых заданий заключается в том, что они требуют четкого, заранее известного преподавателям ответа. Все спорные точки зрения, вполне допустимые в науке, не рекомендуется включать в тестовые задания;
  
• 
  соответствие содержания теста уровню современного состояния науки. Этот принцип базируется на естественной необходимости подготовки специалистов и проверки их знаний на современном материале;
  
• 
  репрезентативность. Следует обращать внимание не только на включение значимых элементов, но и на полноту охвата пройденного материала;
  
• 
  возрастающая трудность учебного материала. Знание последующих элементов курса зависит от знания предыдущих учебных элементов, то есть дисциплину можно изучать только с самого начала и без пробелов;
  
• 
  вариативность содержания. По мере изменения содержания учебной дисциплины должно варьироваться и содержание теста;
  
• 
  системность содержания. Это означает, что подбор содержания и количества тестовых заданий должен отражать все разделы теоретических материалов соответственно трудоемкости по рабочей программе;
  
• 
  комплектность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы;
  
• 
  взаимосвязь содержания и формы. Содержание теста должно быть выражено в наилучшей, с точки зрения наглядности и обучающего потенциала, форме.
  

Существует множество видов (форматов) тестовых заданий, однако на практике используется от четырех до шести основных видов, которые делятся на два основных типа: закрытого и открытого (рис. 3.6). Вопросы закрытого типа предлагают выбрать ответ (один или несколько) из многих предложенных. При этом подразумевается, что все предложенные варианты ответа являются равнопривлекательнымии. Задания открытой формы не предлагают вариантов ответа, а требуют ввода символов в пустое поле какого- то утверждения, причем предполагается, что заполнить этот пропуск можно строго однозначно. В открытому типу относятся вопросы, предполагающие развернутый ответ на естественном языке. Данный вид вопросов является единственным, не допускающим возможность проверки ответа компьютером, а требует проверки и оценки ответа преподавателем.



Рис. 3.6.

Рассмотрим основные виды тестовых заданий.

1. Выбор единственного ответа. Это простейшим вид тестовых заданий закрытого типа и представляет собой вопрос с множеством предложенных ответов, из которых требуется выбрать один верный. Разновидностью данного вида заданий являются вопросы с активной областью (с "горячими точками"), в которых выбор ответа с помощью кнопок заменен выбором места на графическом изображении.

Преимущества данного вида вопросов:

• 
  данный вид заданий интуитивно понятен обучающимся,
  
• 
  ввод ответа требует минимального времени,
  
• 
  процедура обработки ответа предельно проста.
  

Недостатки простой выборки:

• 
  существенная вероятность угадывания правильного ответа,
  
• 
  возможность запоминания неверных ответов.
  

2. Множественный выбор. Второй из наиболее распространенных типов вопросов.

Представляет собой вопрос с множеством предложенных ответов, из которых требуется выбрать несколько верных. Кнопки выбора в нем заменены на окошки метки и обеспечивают возможность выбора произвольной комбинации ответов (от одного ответа до всех возможных вариантов).

Преимущества данного вида вопросов:

• 
  этот тип заданий информативен,
  
• 
  дает возможность учесть частично правильные ответы.
  

Недостатки множественной выбора:

• 
  существенная вероятность угадывания правильного ответа,
  
• 
  возможность запоминания неверных ответов,
  
• 
  отсутствие общепризнанной процедуры обработки ответа.
  

3. Установление соответствия. Представляет собой два списка в виде двух колонок и обучающийся должен сопоставить данные из разных колонок друг другу.

Преимущества данного вида вопросов:

• 
  вероятность угадывания минимальна;
  
• 
  можно подобрать вопросы достаточно сложные по содержанию, требующие усвоения знаний на уровнях анализа и синтеза.
  

Недостаток таких вопросов - это сложность выполнения теста при достаточно большом списке для сопоставления.
4. Установление последовательности. В таком типе вопросов обучающемуся задается вопрос и дается набор готовых элементов. В его задачу входит расстановка этих элементов в правильной последовательности.

Преимущество данного вида вопросов – это вероятность угадывания (при числе элементов более трех) - незначительна.

Недостаток такого вида вопросов – это не всегда возможно подобрать только один вариант правильного алгоритма.
5. Ответ на естественном языке. Данный вид близок к традиционной форме контроля тип заданий.

Преимущества данного вида вопросов:

• 
  вероятность угадывания минимальна;
  
• 
  методически ценно то, что реализуется самостоятельная формулировка ответа.
  

Недостатки свободного ввода:

• 
  сложность синтаксического (тем более - семантического) анализа ответа;
  
• 
  невозможность автоматического контроля ответов;
  
• 
  наличие субъективного фактора в оценке ответов.
  

6. Заполнение пропуска. Иногда этот вид называют "Ввод символа", когда вводу подлежит один символ – буква или цифра. Данный вид задания представляет собой фразу или выражение, в котором пропущено слово или дата. Предполагается единственно возможный вариант ввода правильного ответа. Данный вид заданий наиболее эффективен при проверке разного рода терминов, констант, дат и правописания.

Преимущества:

• 
  вероятность угадывания минимальна;
  
• 
  данный вид заданий интуитивно понятен обучающимся.
  

Недостатки:

• 
  возможность запоминания неверных ответов;
  
• 
  невозможность в ряде случаев предусмотреть ввод учащимся различных синонимов.
  

При подготовке тестовых заданий, независимо от их вида, следует выполнять нижеперечисленные рекомендации:

1. 
   Содержание задания должно отвечать программным требованиям и отражать содержание обучения.
   
2. 
   Вопрос должен содержать одну законченную мысль.
   
3. 
   При составлении вопросов следует особенно внимательно использовать слова "иногда", "часто", "всегда", "все", "никогда".
   
4. 
   Вопрос должен быть четко сформулирован, при этом следует избегать слов "большой", "небольшой", "малый", "мало", "много", "меньше", "больше" и т.д.
   
5. 
   Стараться не использовать отрицание в основной части вопроса.
   
6. 
   Предпочтительно использовать длинный вопрос и короткий ответ.
   
7. 
   Сокращения в формулировках крайне нежелательны. Однако, если сокращение стало нарицательным (колхоз, ликбез, НАТО) или полу нарицательным, т.е. более узнаваемым в сокращении, чем в полном расшифрованном виде (НЭП), то в этих случаях сокращения допустимы. Также допустимы сокращения в случаях, когда их расшифровка значительно увеличивает размер варианта ответа, например, ст.213 УК РФ.
   
8. 
   Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.
   
9. 
   Не следует задавать вопросы с подвохом (скорее всего в заблуждение будут введены наиболее способные или осведомленные обучающиеся)
   
10. 
    Все варианты ответов должны быть грамматически согласованы с основной частью задания, в любом случае следует использовать короткие, простые предложения, без зависимых или независимых оборотов.
    
11. 
    Ответ на поставленный вопрос не должен зависеть от предыдущих ответов.
    
12. 
    Правильные и неправильные ответы должны быть однозначны по содержанию, структуре, общему количеству слов и правдоподобны.
    
13. 
    Если ставится вопрос количественного характера, то ответы к нему должны располагаться упорядоченно от меньшего к большему или наоборот; в том случае, если дистракторы представлены в виде слов, текста, их следует располагать в алфавитном порядке.
    
14. 
    Избегать использования вариантов ответов "ни один из перечисленных" и "все перечисленные".
    
15. 
    Избегать повторения вариантов ответов.
    
16. 
    Варианты ответов всегда должны соответствовать формулировке вопроса (падеж, время и пр., а главное – содержание).
    
17. 
    Место правильного ответа не должно быть определено, а формироваться в случайном порядке.
    

Для формирования наибольшей наглядности тестового контроля рекомендуется максимально использовать графический материал. По завершении составления тестовых вопросов автору (авторам) необходимо указать следующие обязательные параметры:

• 
  название теста (для какой дисциплины он предназначен) возможно с датой разработки или номером версии;
  
• 
  общее число тестовых вопросов и рекомендуемое число вопросов теста, выдаваемых одному студенту;
  
• 
  шкалу оценки знаний и соответствующее ей процентное содержание правильных ответов.
  
• 
  время, отведенное на выполнение теста, но не более 45 – 90 минут (среднее время до момента утомления).
  
• 
  иногда, помимо общего времени на выполнение теста, указывается и максимальное время для ответа на один вопрос.
  
• 
  порядок прохождения теста – с возможностью пропуска тестовых вопросов и последующего возврата к ним, или без таковой.
  
• 
  ключи к тестовым вопросам, т.е. правильные ответы к тестам, которые необходимы для создания электронной системы тестирования.
  

При использовании вопросов закрытого типа очень важно не допустить возможности угадывания правильных ответов. Вероятность угадывания P для вопроса типа "один из нескольких" составляет 1/m, где m – количество альтернатив вопроса этого типа. При этом возникает проблема количества и содержания неправильных ответов, которые принято называть дистракторами. С одной стороны дистракторы должны быть достаточно правдоподобными, чтобы тестируемый не мог интуитивно выбрать правильный ответ, а с другой стороны не должны провоцировать тестируемого на неправильный ответ. Ведь конечная цель тестирования определить объективный уровень знаний обучаемого. Также нецелесообразно строить вопросы по негативному принципу, т.е. предлагать тестируемому выбрать неправильный ответ из предложенных. Это обусловлено тем, что обычно обучение сводится к изучению и анализу правильных знаний, а неправильные знания не являются предметом изучения. При составлении вопросов первого вида (один правильный ответ) существенную роль играет количество дистракторов. При малом их количестве (m=2,3) возрастает вероятность угадывания правильного ответа, а, следовательно, уменьшается оцениваемый диапазон. При большом количестве дистракторов (m>6) возрастает громоздкость вопроса и затраты времени на поиск правильного ответа. Оптимальными с количественной точки зрения являются m=4,5.
Для каждого вида тестовых заданий существуют рекомендации: что предпочтительно делать, а чего делать не рекомендуется. Ниже перечислены основные такие рекомендации:

• 
  не рекомендуется использовать вопросы c числом альтернатив меньше 4 и больше 8;
  
• 
  не рекомендуется использовать вопросы при одной правильной альтернативе;
  
• 
  при использовании вопросов с множественным выбором должно соблюдаться условие k<(m-1), т.е., например, при общем числе альтернатив 5 число правильных альтернатив не должно превышать 3;
  
• 
  не рекомендуется использовать формулировки вопросов с отрицательными ответами;
  
• 
  в тексте вопроса на соответствие всегда следует указывать наименование понятий (столбцов) между которыми устанавливается соответствие;
  
• 
  также в вопросах на соответствие не рекомендуется использовать в левом столбце больше 5 альтернатив, так как в этой ситуации число альтернатив правого столбца (с учетом m>2*k) становится чрезмерно большим;
  
• 
  в вопросах открытого типа необходимо использовать принцип не отрицательности,
  
• 
  в формулировке вопроса открытого типа необходимо указывать, в какой языковой раскладке, в каком регистре, в каком падеже, в каком лице и т.д. необходимо вводить ответ;
  
• 
  для открытого типа не рекомендуется использовать больше трех окон ввода, если это не проверка правописания;
  
• 
  не рекомендуется использовать совместно в одном сеансе тестирования вопросы открытого и закрытого типа из-за существенной разницы в вероятностях угадывания правильных ответов.
  

В дополнении к сказанному выше проиллюстрируем некоторые сформулированные тезисы на конкретных примерах. На рис. 3.7 представлены примеры прохождения теста по русскому языку и два примера заданий вида множественного выбора и одно задание вида выбор единственного ответа.


Рис. 3.7.

В заключение надо отметить, что при разработке методов оценки знаний с помощью систем тестирования в вузах все чаще используется назначение весовых коэффициентов (индексов сложности) для всех тестовых заданий и вариантов ответов на конкретный вопрос. С помощью весовых коэффициентов определяется степень сложности вопроса по отношению к остальным вопросам, задается максимальное количество баллов, которое студент может получить при правильном ответе на вопрос и возможное общее количество баллов за весь ответ, т.е. в конечном счете устанавливается количественная и качественная (для установленной шкалы оценок) характеристика знаний. Весовые коэффициенты определяются с помощью экспертного оценивания. Количество экспертов не регламентируется, но при увеличении числа экспертов достоверность назначаемых весовых коэффициентов повышается, хотя на практике такие коэффициенты часто расставляет автор тестовых заданий.

Контрольные вопросы для самоподготовки

1. 
   Что представляет собой учебный план?
   
2. 
   Каковы основные элементы УМКД?
   
3. 
   Из каких четырех частей состоит УМКД?
   
4. 
   Является ли УМКД ЭОР?
   
5. 
   Является ли учебный план ЭОР?
   
6. 
   По каким параметрам оценивается текст ЭОР?
   
7. 
   Какие форматы наиболее часто используются для рисунков в ЭОР?
   
8. 
   Что такое компьютерные тренажеры?
   
9. 
   Назовите основные функции компьютерных тренажеров.
   
10. 
    На каких этапах учебного процесса может использоваться компьютерное тестирование?
    
11. 
    Какие типы тестовых заданий Вы знаете?
    
12. 
    Назовите шесть видов тестовых заданий.
    
13. 
    Что такое тестовое задание открытого типа?
    
14. 
    Что такое тестовое задание закрытого типа?
    
15. 
    Входит ли итоговый тест по дисциплине в состав УМКД?