Методика. Создание тестов и тестовых заданий по учебным дисциплинам социальногуманитарного цикла высшего профессионального образования компетентностный подход Автор методики
 Скачать 0.57 Mb.
|
 Методика «Создание тестов и тестовых заданий по учебным дисциплинам социально-гуманитарного цикла высшего профессионального образования: компетентностный подход» Автор методики: Давыдова Ольга Владимировна, кандидат педагогических наук Москва 2012
Используемые сокращения
Введение Настоящее пособие содержит информацию о разработке оценочных средств для проведения текущего, промежуточного и итогового контроля подготовленности студентов Высшей школы экономики в рамках компетентностного подхода. Информация, содержащаяся в пособии, позволит сделать начальный, но важный шаг в освоении практических умений по созданию оценочных средств уровня сформированности компетенций студентов в области освоения учебных дисциплин социально-гуманитарного цикла. Пособие включает в себя сведения о компетентностном подходе к оцениванию результатов обучения, о разработке оценочных средств, формах тестовых заданий и требованиях к их созданию и использованию. В настоящем пособии показаны возможности применения разных форм тестовых заданий применительно к разным видам контроля. Приведено много примеров заданий различных форм. Рассмотрены типичные ошибки, возникающие при составлении тестовых заданий. Показано, каким образом традиционные тестовые задания, направленные на проверку знаний и фактов, можно преобразовать компетентностно-ориентированные задания. Зачастую преподаватели вузов создают измерители для оценки компетенций студентов интуитивно и бессистемно, без опоры на принципы тестологической науки. Разрабатываемые в настоящее время многочисленные контрольно-измерительные материалы для системы профессионального образования лишь имитируют по форме тестовые, но на самом деле не отвечают требованиям тестологии и компетентностному подходу к трактовке результатов образования. В настоящее время тесты апробированы в ВШЭ на ограниченной выборке студентов, поэтому статистика, отражающая результаты выполнения тестов, имеет весьма ограниченные рамки. Только апробация качественных измерителей на значимой выборке студентов позволит провести глубокий тестологический анализ полученных результатов. Данное пособие предназначено для преподавателей и административных работников, стремящихся к формированию в НИУ Высшей школе экономики по-настоящему инновационной системы оценивания результатов обучения. Здесь будут отражены подходы к созданию оценочных средств для текущего и рубежного контроля подготовленности студентов. Итоговый контроль, имеющий весомую социальную значимость, требует широко применять в разработке тестов математико-статистический аппарат и накопленный преподавателями опыт создания тестов. Пособие в основном рассчитано на преподавателей учебных дисциплин социально-гуманитарного цикла, но будет полезно и всем тем, кто стремится к созданию качественных объективных оценочных средств контроля подготовленности студентов. Усвоение преподавателями вузов основных принципов и приемов создания тестов и тестовых заданий, во-первых, позволит им в дальнейшем самостоятельно разрабатывать оценочные материалы для ведения образовательной деятельности. И, во-вторых, работники высшей школы смогут грамотно и критически подойти к анализу качества готовых оценочных материалов. 1. Оценивание результатов обучения с позиций компетентностного подхода Задача непрерывности и системности процесса оценивания компетенций отражена в Федеральной целевой программе развития образования на 2011 - 2015 гг.. Этой Программой в рамках мероприятия «Создание и внедрение независимой системы оценки результатов образования на всех уровнях системы образования» предусмотрена разработка механизмов комплексной оценки академических достижений выпускника, его компетенций и способностей. Освоение выпускниками ВШЭ совокупности необходимых компетенций можно рассматривать как фундамент успеха в их будущей профессиональной и гражданской деятельности. Важным условием успешного освоения будущей профессии является формирование способности эффективно действовать на основе практического опыта, активно применять знания и умения, полученные в вузе, при решении профессиональных задач. Очевидно, что преподавателям ВШЭ необходимо перестроить свою работу и прилагать усилия к развитию и формированию комплекса компетенций у студентов. Чтобы эти усилия носили целенаправленный характер, необходимо создать инструмент для измерения уровня сформированности компетенций. 1.1. Понятийный аппарат, связанный с измерением уровня формирования компетенций ФГОС так определяет компетенции: компетенция – способность применять знания, умения, навыки и личностные качества для успешной деятельности в различных проблемных профессиональных либо жизненных ситуациях; компетентность – уровень владения выпускником совокупностью компетенций, отражающий степень готовности к применению знаний, умений, навыков и сформированных на их основе компетенций для успешной деятельности в определенной области. Существует достаточно много других определений компетенций, которые в значительной степени дублируют друг друга [6, 7, 8, 13, 15]. Общим моментом для всех имеющихся определений является то, что уровень сформированности компетенций у выпускника вуза проявляет себя отсрочено, уже после окончания обучения, в практической профессиональной деятельности молодого специалиста. Таким образом, в период обучения в вузе компетенции носят скрытый, латентный характер. Задача состоит в том, чтобы не только в том, чтобы, во-первых, снабдить студента совокупностью профессиональных знаний и умений, и, во-вторых, научить применять полученный багаж. Оценка уровня овладения выпускником необходимыми компетенциями является важным инструментом реализации этой задачи: объективный и надежный контроль за процессом формирования компетенций основывается на применении теории педагогических измерений. Приведем некоторые важные понятия, связанные с теорией педагогических измерений. Педагогический_контроль'>Педагогический контроль - это установление соотношения достигнутых результатов с запланированными целями обучения. Входной контроль – осуществляется перед началом изучения дисциплины (модуля), нового раздела и темы. Текущий контроль – проводится в ходе обучения для актуализации и закрепления знаний обучающихся. Промежуточный контроль – выявляет результаты определенного временного или содержательного этапа обучения (учебной дисциплины, модуля, семестра, триместра и т.п.) Итоговый контроль - проводится на этапе перехода с одной ступени образования на другую, и должен соответствовать обязательным требованиям к уровню подготовки выпускников, которые определены образовательным стандартом. Педагогическое тестирование- это совокупность организационных и методических мероприятий, объединенных общей целью с педагогическим тестом и предназначенных для подготовки и проведения формализованных процедур предъявления теста, обработки, интерпретации и представления результатов по выполнению. Педагогический тест (далее «тест») - это система специально подобранных проверочных заданий специфической (тестовой) формы, позволяющая количественно оценить учебные достижения в одной или нескольких областях знаний. Наиболее существенным, влияющим на все последующие этапы разработки теста, является первый этап - этап целеопределения. Очень важно в самом начале разработки теста четко определить для какого вида педагогического контроля этот тест будет использоваться и как будут интерпретироваться результаты тестирования. Критериально-ориентированный тест предназначен для оценки уровня подготовленности каждого учащегося относительно требований учебной программы или ее части. Индивидуальный результат при таком тестировании сравнивается с заранее запланированным результатом (критерием), а не с достижениями других учащихся. Таким образом, цель критериально-ориентированного теста - аттестация учащегося в соответствии с его уровнем усвоения определенной области содержания. «Область содержания» отображается в критериально-ориентированном тесте в виде системы заданий на максимальное число элементов содержания программы или ее части. Уровень детализации области содержания – подробный. Главное в разработке критериально-ориентированного теста [14]– это четкое соответствие количества, содержания и трудности заданий контролируемым требованиям стандарта и основной образовательной программы. Нормативно-ориентированный тест предназначен для определения уровня подготовленности тестируемых путем сравнения их результатов друг с другом и (или) с тестовой нормой. Тестовая норма – это среднее статистическое значение тестового балла, определяемое для данного теста. Отсюда название теста: нормативно-ориентированный. Тестовая норма определяется предварительно по результатам апробации теста на представительной выборке обучающихся или после проведения массового тестирования, если представительную выборку заранее установить невозможно. Например, если тестирование является не обязательным для всех студентов и добровольным, то заранее нельзя просчитать, сколько студентов с разной успеваемостью по учебной дисциплине придет на тестирование. Главное при разработке нормативно-ориентированного теста – это включение в тест таких заданий, решение которых позволяет максимальным образом дифференцировать обучающихся по уровню их подготовленности. При этом задания, с которыми справляются все обучающиеся, или не справляется никто, в такой тест не включаются. Уровень же детализации области содержания теста – не существенен. Достаточно, если задания теста отражают наиболее значимые элементы содержания. Поэтому нормативно ориентированные тесты, как правило, содержат меньше заданий, чем критериально ориентированные. Спецификация теста - документ, в котором содержится информация о целях тестирования, о содержании учебной дисциплины и компетенциях, контролируемых тестовыми заданиями, а также указаны основные требования к правилам проведения тестирования, обработки результатов тестирования и их интерпретации. Спецификация теста обычно содержит список нормативных документов, определяющих отбор содержания тестовых заданий в соответствии с целью тестирования, список необходимой для подготовки к тестированию литературы. Составляющей частью спецификации является план теста. План теста - это таблица, в которой каждое тестовое задание соотносится с определенным элементом содержания учебной дисциплины и контролируемым дискриптором (операционализируемым признаком проявления компетенции), уровнем трудности. Указывается форма и вид тестового задания. В спецификации теста проводятся примеры инструкций к тестовым заданиям разной формы. Таким образом, спецификация – это полное и всеобъемлющее описание теста. Примеры спецификации и плана теста приводятся в разделе данного пособия. Тестовое задание (далее ТЗ) - это минимальная содержательно законченная составляющая педагогического теста в виде задания в тестовой форме. Тестовая форма задания - форма проверочного задания, состоящая из инструкции к заданию, текста задания и(или) невербальных материалов и системы оценки выполнения задания. К невербальным материалам относятся рисунки, схемы, карты, таблицы, графики, которые могут быть включены в задание. В инструкции к тестовому заданию содержатся указания на способ регистрации выполнения тестового задания, в частности указывается: способ записи правильного ответа, что, каким образом и где надо отметить, вписать, указание записи или оформления решения математической задачи и т.д. Инструкция может быть одинаковой для нескольких заданий теста, если эти задания однотипны по действиям. Текст задания и невербальные материалы к нему составляют содержательную основу ТЗ. Содержание ТЗ определяется структурой содержания предмета, целью тестирования и видом тестового контроля и должно соответствовать плану теста. Желательно, чтобы каждое ТЗ соответствовало содержанию одного определенного вида дескриптора (элемента содержания) [1, 11, 14]. Основное отличие теста от традиционных форм контроля - это возможность объективно измерять уровень подготовленности тестируемого, количественно оценить его знания и умения по определенному кругу элементов содержания учебной дисциплины (модуля). При этом оценка выполнения теста зависит от оценок выполнения каждого ТЗ в его составе. Применяется два вида оценки ТЗ: дихотомический и политомический. Дихотомическая оценка результата выполнения ТЗ выглядит так: оценка «выполнено верно» оценивается одним баллом, оценка «выполнено неверно» - нулем, т.е. в данном случае существует только два варианта оценки – либо «1», либо «0». Фактически дихотомическая оценка может рассматриваться как политомическая с двумя категориями ответа. Политомическая оценка результата выполнения ТЗ допускает несколько категорий ответа, каждая из которых оценивается разным числом баллов. Например, одна из категорий ответа может объединять результаты одного или нескольких этапов («шагов») решения задачи, а также отражать степень полноты ответа. Для социально-гуманитарных дисциплин одна категория ответа чаще всего объединяет правильные, но различные по полноте (частично верные) ответы. Таким образом, категория ответов-это совокупность вариантов ответов на тестовое задание, которой приписывается один и тот же балл. В зависимости от качества ответа балл, соответствующий определенной категории ответа на политомическое ТЗ, будет разным. Категории неполных или частично верных ответов может приписываться ноль баллов или один балл, а категории наиболее полного ответа - два балла. В этом случае говорят, что такое политомическое задание имеет три категории ответа. Дихотомическую систему оценки выполнения задания целесообразнее применять, если тест в целом имеет достаточно большое количество заданий и на его выполнение отводится достаточно большой промежуток времени. В таком случае политомическая оценка будет усложнять проверку работ студентов. Дихотомическую оценку используют при промежуточном и итоговом контроле знаний, а также в тех случаях, когда надо вручную проверить большое количество бланков ответов. Например, более 30 работ. Политомическую систему оценки следует вводить для ТЗ, которые контролируют понимание каких-то крупных элементов содержания - (определений, событий, фактов, процессов и т.п.), и эти элементы могут быть структурированы или разбиты на более мелкие части (признаки, события, факты, характеристики и т.п.). В этом случае одно такое задание дает большую информацию об уровне сформированности компетенции, так как охватывает большой учебный материал. Политомическую оценку можно использовать во всех видах педагогического контроля. В тестах для текущего и тематического контроля, когда время выполнения теста малÓ (15 – 20 минут), тест может состоять только из нескольких заданий с политомической оценкой (например, 4 –8 таких ТЗ). В тестах итогового контроля, когда время выполнения теста значительно большеè (два-три часа) и общее число заданий (с дихотомической и политомической оценками) в тесте может быть около пятидесяти, число ТЗ с политомической оценкой обычно составляет от 5 до 10, в зависимости от содержания учебной дисциплины. Как показал опыт применения заданий с политомической оценкой, точность измерения уровня подготовленности при этом увеличивается, но усложняется технология обработки результатов, следовательно, возрастает стоимость разработки теста и обработки результатов тестирования. Таким образом, система оценки ТЗ не является самоцелью. Выбор системы оценки прежде всего диктуется целью тестирования и видом педагогического контроля. Зависит система оценки и от формы тестового задания. 1.2. Возможность и способы оценивания компетенций Опыт многих десятилетий развития образования на основе «знаний, умений, навыков» - известных ЗУНов – показал, что часто студенты, получавшие отличные и хорошие оценки на экзаменах и зачетах в процессе обучения, после выпуска из вуза не могли проявить себя в сколь-нибудь успешной степени в профессиональной деятельности. Это наблюдение подтверждает убеждение многих исследователей [2, 3, 10] в том, что компетенции носят латентный, скрытый характер, и проверить уровень сформированности компетенций традиционными для отечественного образования способами довольно сложно. Необходима разработка компетентностно ориентированных заданий, которые позволят студенту продемонстрировать в проявляемых признаках латентные компетенции. Такие задания должны позволить, основываясь на наблюдаемых внешне результатах выполнения заданий, получить надежную и объективную информацию об уровне сформированности компетенций. Внешне наблюдаемые признаки проявления компетенций называют операционализируемыми признаками, или дескриторами ( от лат. descriptor - описывающий). Обще известно, что традиционные средства оценивания – устный экзамен, письменная контрольная работа - в лучшем случае выявляют знания студента по 2-3-4 вопросам экзамена, но они не показывают, во-первых, как студент овладел всей необходимой суммой знаний и умений по учебной дисциплине (модулю). Во-вторых, уровень овладения компетенциями носит сложный, скрытый, латентный характер, его весьма затруднительно проверить простейшими оценочными средствами. В отличие от традиционных средств контроля, тесты позволяют выявить не только уровень подготовки, но и структуру знаний и умений обучающихся, вернее, степень ее отклонения от той структуры, которая запланирована образовательной программой [10]. Кроме латентной природы и отсроченного характера проявления компетенций создание оценочного инструментария затрудняет напредметный и междисциплинарный характер компетенций. Поэтому перед высшей школой стоит задача разработки междисциплинарных компетентностно-ориентированных оценочных средств. 2. Основные этапы разработки тестов Разработка педагогических тестов состоит из нескольких этапов [1, 14]: определение целей тестирования (форма контроля, вид теста, контингент обучающихся, ресурсы); анализ содержания учебной дисциплины и отбор учебного материала, уровень освоения которого контролируется тестом; разработка спецификации теста; составление тестовых заданий в соответствии со спецификацией, компоновка пробного теста; апробация и рецензирование пробного теста; статистическая обработка результатов апробации; коррекция тестовых заданий, исключение неудовлетворительных и отбор удовлетворительных в конечный вариант теста. Обязательно ли выполнение всех этих этапов? Ответ на этот вопрос зависит от цели использования теста. Например, если тест разрабатывается преподавателем для оценки уровня подготовленности студентов относительно какой-то части учебной дисциплины (например, для текущего контроля темы, раздела одной учебной дисциплины) и используется только самим разработчиком в его конкретной учебной работе, то некоторые этапы могут быть пропущены, например, такие как «апробация» и «статистическая обработка». Преподавателю в данном случае нужно только определить, какой процент студентов группы или курса освоил определенный уровень необходимых компетенций, достижение которых было им запланировано и необходимо для понимания дальнейшего учебного материала. Безусловно, в этом случае необходимо предварительно составить план теста - таблицу, в которой каждое тестовое задание соотносится с определенным элементом содержания учебной дисциплины и конкретным дескриптором (операционализируемым признаком), подлежащих контролю с помощью этого задания. Если же тест предназначается для многократного использования на большом контингенте обучающихся, например, для промежуточного тестирования студентов одной укрупненной группы специальностей (например, «Экономика и управление») с целью мониторинга качества обучения, скажем, по экономической теории, то выполнение всех указанных этапов разработки теста является обязательным. Особенно тщательно разрабатываются тесты для массового итогового тестирования, например, Единого государственного экзамена. Приступая к созданию оценочных средств, их разработчику необходимо определиться с целями учебной дисциплины. Цели учебной дисциплины: Соотносятся с компетенциями, зафиксированными в стандарте в соответствии с задачами будущей профессиональной деятельности бакалавров. В силу междисциплинарного характера компетенций в формировании каждой из них может участвовать совокупность дисциплин, перечень которых должен быть отражен в соответствующей образовательной программе. На этапе целеполагания необходимо выбрать компетенции, которые непосредственно связаны с данной дисциплиной или модулем, проанализировать матрицы соответствия между дисциплинами и компетенциями, приведенные в образовательной программе (имеются в виду матрицы соответствия между каждой компетенцией и учебными дисциплинами/модулями). 2.1. Создание спецификации и плана теста Выбрав компетенции в качестве целей обучения и дескрипторы для этих компетенций, можно строить спецификацию теста. Спецификация теста включает следующую обязательную информацию [7, 12, 14]: 1) Цель создания теста. Обоснование подхода к его созданию; 2) Документы, определяющие содержание теста; 3) Основные учебники и учебные пособия, которые могут быть использованы при подготовке к тестированию; 4) Перечень элементов содержания и компетенций, проверяемых в ходе тестирования; 5) Перечень требований к уровню подготовки обучающихся, проверяемых в ходе тестирования (дескрипторы); 6) Описание общей структуры теста, перечень субтестов (если они есть) (модуль); 7) Описание теста: общее количество заданий, тип заданий с указанием процентного содержания или количества заданий каждой формы; 8) Рекомендуемая автором стратегия расположения заданий в тесте, т.е. композиция теста; 9) Распределение заданий теста по разделам содержания и видам деятельности (содержательно-деятельностная матрица); 10) Рекомендуемое время выполнения теста (желательно: среднее время выполнения каждого задания с учетом специфики формы); 11) Рекомендации по оцениванию заданий (дихотомическая или политомическая оценка) и теста в целом; 12) обобщенный план теста. При формировании основных образовательных программ и учебных планов бакалавриата и магистратуры все общекультурные и профессиональные компетенции «распределяются» между учебными дисциплинами (модулями). В результате получается матрица компетенций, в которой каждой учебной дисциплине (модулю) соответствует, как правило, от двух до восьми компетенций. К соответствующим учебной дисциплине компетенциям подбираются дескрипторы – операционализируемые признаки проявления компетенции, приведенные в шаблоне спецификации. Ниже в таблице 2 приведем еще один пример подбора дескрипторов к совокупности трех компетенций [5]. Таблица 2
Приведем в качестве еще одного примера фрагмент спецификации теста по учебной дисциплине «Социальная психология»1 (таблица 3). Таблица 3
Еще один пример, связанный с дисциплиной «Деловые коммуникации». Таблица 4.
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||