Тестовая книжка - 2001 год. Министерство здравоохранения рсфср
 Скачать 1.1 Mb.
|
КН=---------------------------------------------------------Количество вопросов в теме (варианте)* число отвечающих Не претендуя на математическую обоснованность, коэффициент неосведомленности позволяет не только выявить общую ориентированность студентов в хирургии и трудность каждого варианта для отвечающих, но и, что более важно, определить осведомленность студентов по каждой теме в отдельности. Например, по заболеваниям периферических сосудов в варианте А допущено 129 ошибок 36 отвечающим. В этом варианте данной патологии уделено 10 вопросов. Следовательно: 129 КН=-------=0,3610*36 Сопоставляя величины К.Н по каждой теме, можно выделить наиболее и наименее информативные из них и сделать соответствующие выводы. Более полная характеристика знаний студента может быть получена при сравнении результатов экзаменационной сессии с успеваемостью в течение года, так как различные причины (болезнь учащегося, прогулы, непосещение лекций) найдут отражение в экзаменационных ответах на эту тему. Важным аспектом анализа экзаменационных вариантов является выявление качества составленных вопросов — валидность экзаменационных тестов (схема 3). СХЕМА 1 2-й МОЛГМИ. Кафедра хирургических болезней № 3 лечебного факультета КОНТРОЛЬНЫЙ ЛИСТ Группа ___________Ф.И.О. _________________ Вариант _______Преподаватель_________________ Заполняется на кафедре (для компьютерной обработки) Код группы ___Номер студента___Номер варианта . Количество ошибок Резерв-1 _____Резерв-2 ____ 1абвгд 26абвгд 51 а б в г д 76 а б в г д 2абвгд 27абвгд 52абвгд 77абвгд Забвгд 28абвгд 53 а б в г д 78абвгд 4абвгд 29 а б в г д 54абвгд 79абвгд 5 а б в г д 30абвгд 55абвгд 80абвгд бабвгд 31абвгд 56 а б в г д 81абвгд 7абвгд 32абвгд 57абвгд 82абвгд 8абвгд ЗЗабвгд 58абвгд 83абвгд 9абвгд 34абвгд 59абвгд 84абвгд Юабвгд 35 а б в г д 60абвгд 85абвгд Набвгд Збабвгд 61 а б в г д 86абвгд 12 а б в г д 37абвгд 62 а б в г д 87абвгд 13абвгд 38абвгд бЗабвгд 88абвгд 14 а б в т д 39абвгд 64абвгд 89абвгд 15 аб в г д 40 а б в г д 65 а б в г д 90 а б в г д 16абвгд 41абвгд 66 а б в г д 91абвгд 17абвгд 42абвгд 67абвгд 92абвгд 18абвгд 43абвгд 68 а б в г д 93абвгд 19абвгд 44абвгд 69 а б в г д 94абвгд 20абвгд 45абвгд 70абвгд 95абвгд 21абвгд 46абвгд 71 а б в-г д 96 а б в г д 22абвгд 47абвгд 72абвгд 97абвгд 23абвгд 48абвгд 73абвгд 98абвгд 24абвгд 49абвгд 74абвгд 99абвгд 25абвгд 50абвгд 75абвгд 100 а б в г д СХЕМА 2 Цели математического анализа Выявление уровня подготовки студентов Определение валидности вопросов Составление схемы «обратной связи» СХЕМА 2 Выявление уровня подготовки студентов
СХЕМА 3 Валидность вопросов Выявление вопросов в зависимости от количества ошибок Выявление индекса трудности Выявление индекса различения Выявление вопросов, на которые все студенты ответили правильно, свидетельствует об их значении в определении знаний. Иное отношение к тестам, представившим для студентов большую трудность. Анализ их может указать либо на неправильную компоновку, либо на недостаточное освещение данного раздела в течение учебного года на лекциях и практических занятиях. Более тонкую структуру вопросов позволяют выявить два других индекса: индекс трудности (ИТ) и индекс различения (ИР). ИТ—это показатель измерения легкости вопроса с учетом всех правильных ответов на него, сделанных студентами сильной и слабой групп. Последние отбираются в количестве 1/3 отвечающих. Например, в одном из вариантов 69 работ. Для анализа взяты работы с наименьшим и наибольшим количеством ошибок в соотношении 1 : 3, то есть 23 тех и других работ. Чем выше индекс трудности, тем легче вопрос. Идеальным ИТ является 50—60%, приемлемым 30—70%. H + L ИТ= ------------*100n Н—число правильных ответов в сильной группе, L—число правильных ответов в слабой группе, n—общее число экзаменуемых. ИР показывает, как ответы на вопрос разделяют экзаменуемых на более и менее знающих. H - L ИР=----------x2 n ИР, равный 0,35 и выше, характеризует вопрос как отлично составленный; 0,25—0,34—как хорошо составленный; 0,15—0,24— как спорный, подлежащий пересмотру, и ниже 0,15—как плохо составленный вопрос, подлежащий исключению. Анализ экзаменационной сессии был бы неполным, если бы, помимо выводов о ее результатах, не возникли обоснованные предложения для улучшения педагогического процесса в следующем году. Устная форма экзамена позволяет судить об этом лишь на основании выставленных экзаменационных оценок, что, естественно, не всегда соответствует реальности. Схема «обратной связи», позволяющая руководить учебным процессом в следующем году, при письменном экзамене наглядна и состоит из анализа вопросов с максимальным и минимальным количеством ошибок и определения коэффициента неосведомленности .студентов в вопросах данного предмета. Если при ответе на вопрос большинство студентов (до 85— 90%) допустили ошибку, необходимо анализировать этот факт с двух позиций — вопрос составлен неправильно, в нем нет логичности или допущена двусмысленность, и, следовательно, он подлежит переработке и труден для ответа, на него мало обращали внимания на лекции, семинарских занятиях. В этом случае пре- подаватель, ведущий данную тему, может уделить ему больше внимания, конкретизируя разбором больных и пр. Более определенная ситуация складывается при выявлении КН студентов. Например, КН по различным темам распределился следующим образом: 1) заболевания молочной железы—0,44; 2) острая кишечная непроходимость — 0,38; 3) заболевания периферических сосудов—0,38; 4) грыжи—0,31. Коллективу кафедры ясно, что темам с высоким КН необходимо уделить больше внимания. В данном случае это относится к заболеваниям молочной железы. В то же время это является и показателем качества преподавания отдельными ассистентами, если в течение учебного года за ними были закреплены строго определенные темы. Анализ экзаменационной сессии для выявления схемы «обратной связи» представлен на схеме 4. Выявление схемы «обратная связь» Анализ вопросов, тем, вариантов по КН Анализ работ по максимальному и минимальному количеству ошибок Следовательно, тестовый экзамен по методу множественного выбора позволяет проводить конкретный математический анализ. Целями последнего являются определение знаний студентов, сопоставление уровня подготовленности студентов текущего года и студентов предыдущих лет, сопоставление схемы «обратной связи» и определение валидности вопросов, позволяя активно руководить учебным процессом. Система «Экзамен» Для компьютерной обработки результатов экзаменационной сессии по курсу хирургических болезней разработана диалоговая система «Экзамен». Система предназначается для ввода, хранения контрольных листов студентов и для расчета различных сводно-статистических таблиц, необходимых для проведения анализа экзаменационных сессий. Система работает в режиме диалога оператор—ЭВМ. Система «Экзамен» ориентирована на работу с использованием самых распространенных микроЭВМ типа «ДВК», «Электроника-60» и других, программно совместимых с ЭВМ «СМ-4». Поскольку на этих компьютерах применяются флопи-диски небольшого объема, нами разработана собственная специализированная база данных для хранения сведений об экзаменах. Применение готовой универсальной базы данных представляется нецелесообразным ввиду значительного объема информации при весьма ограниченных возможностях микроЭВМ. В базе данных предполагается накапливать информацию за несколько лет. Основная единица хранения — контрольный лист студента. В контрольном листе содержится следующая информация: код учебной группы, номер студента, номер варианта, список номеров вопросов, на которые студент ответил неверно. Для генерации содержательных таблиц в базе данных хранится также и некоторая описательная информация—список преподавателей, таблица распределения вопросов по учебным темам и т. д. Поскольку эта информация может измениться со временем, каждый экзамен в базе данных будет иметь свое описание — справочник экзамена. По каждому экзамену в базе данных хранится справочник экзамена и массив контрольных листов студентов. Основная информация справочника экзамена: списки учебных групп, преподавателей, учебных тем; таблицы закрепления преподавателей за группами, распределения вопросов по темам. Для обеспечения гибкости системы количественные характеристики экзаменов варьируют в широких пределах. Конкретные значения количественных характеристик также хранятся в справочнике: количество факультетов, количество групп, количество вопросов, количество введенных контрольных листов студентов и др. Для обеспечения возможного расширения системы широко применяется принцип резервирования. Так, например, предусмотрен резерв для расширения состава справочника экзамена, предусмотрены резервные характеристики студентов (возможно, для расчетов понадобится средний балл студента, коэффициент посещаемости лекций и др.). Работа с базой данных проходит в режиме диалога. Предусматривается ввод, корректировка, визуализация контрольных листов и данных из справочника экзамена. Также в режиме диалога по запросам пользователя система рассчитывает различные сводно-статистические таблицы. Например, среднее количество ошибок на одного студента по вариантам и факультетам, коэффициент неосведомленности студентов по экзаменационным темам, с разделением по вариантам и др. Необходимые результаты для наглядности выдаются в виде гистограмм. Для обеспечения возможности тиражирования системы «Экзамен» разработка проведена на уровне «программного продукта». То есть система может эксплуатироваться любым оператором средней квалификации без поддержки разработчиков. Система будет передаваться в виде комплекта: программы на магнитном носителе и документация. При этом пользователь сначала сгенерирует базу данных в соответствии со спецификой своего института, а затем пользуется системой: вводит информацию, заказывает расчеты. Для облегчения эксплуатации системы предусмотрен «дружественный интерфейс». Все ответы оператора и вводимые данные тщательно проверяются. В случае обнаружения ошибок или противоречий оператору выводится подробное сообщение, а затем вопрос повторяется. Если в процессе работы оператору непонятен какой-либо вопрос, то можно попросить у системы «подсказку»—пояснение, раскрывающее суть вопроса и дающее возможные варианты ответов. Система «Экзамен» разработана в операционной системе РАФОС, язык программирования РАТФОР (ФОРТРАН). В перспективе возможен перенос системы на 16-битные персональные компьютеры. |