Задания. Психолого-педагогическая диагностика. Тема Методы психологопедагогической диагностики
 Скачать 81.02 Kb.
|
Практическое задание №2Тема 4. Диагностика интеллекта и умственного развития Задание Составьте каталог методик диагностики познавательных процессов детей дошкольного, младшего школьного возраста. Рекомендации по выполнению задания 1. Представьте каталог методик диагностики познавательных процессов в форме таблицы. 2. Описание методики диагностики психического процесса в разные возрастные периоды должно содержать: цель, стимульный материал, характер действий диагностируемого, процедура обработки результатов диагностики. Практическое задание №3 Тема 5. Критериально-ориентированное тестирование. Задание Составьте экспертное заключение качества педагогических измерительных (тестовых) материалов, используемых для оценки качества подготовки обучающихся. Рекомендации по выполнению задания Изучите представленный материал. Выберите тест достижений (можно использовать батареи тестов ЕГЭ / ОГЭ), проанализируйте его с точки зрения соответствия требованиям к измерительным (тестовым) материалам, используемым для оценки качества подготовки обучающихся. Составьте экспертное заключение (см. бланк выполнения задания 3). Материалы для изучения Критериально-ориентированный тест (КОТ) (criterion-referenced test) позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах прошлого века, то есть значительно позже нормативно-ориентированных. Возникли в системе образования в США в 60-70е годы, у нас в 80-е (новые тенденции в психодиагностике). В 1963 году – Гласер – первый использовал термин критериально-ориентированное измерение. В 1968 году – описаны способы конструирование КОТ. Появились в системе образования в США. Критериально-ориентированные тесты в свою очередь делятся на domain-referenced test (ориентированные на предметную область) и mastery-tests (квалификационные тесты). Различают две разновидности КОТ: – тесты, задания которых гомогенны, ориентированные на предметную область т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода КОТ разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих ЗУН; – тесты, задания которых гетерогенны квалификационные тесты и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода КОТ обычно используются для диагностики специфических трудностей в обучении. Целью критериально-ориентированного теста является выяснение – знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу. Областью содержания теста называется тот полный объем знаний, умений и навыков, который должен быть усвоен учащимися в результате определенного курса обучения и овладение которым измеряется критериально-ориентированным тестом. Критериально-ориентированный педагогический тест представляет собой систему заданий, необходимых для промежуточной или итоговой аттестации испытуемых в определенной области содержания, т.е. они позволяют измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены обучающимися. При критериально-ориентированном тестировании тестовые баллы не связаны с какой-либо нормативной группой испытуемых. Обычно тестовый балл отражает долю правильно выполненных заданий и выражается в процентах. Результаты критериально-ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста. Общие подходы к разработке тестов достижений Основное внимание будет уделено процедуре создания тестов достижений 1 вида, который ориентирован на измерение достижений по конкретным учебным предметам после завершения целостных курсов. Этапы Первый из них состоит в предварительном планировании. На этом этапе решается вопрос, кто, что и почему подлежит исследованию с помощью теста. Второй этап включает анализ учебников, учебных планов и программ для уяснения учебных целей, заложенных в них, их иерархии и уровней предъявляемых к ним требований. На третьем этапе происходит непосредственная разработка тестовых заданий. Это наиболее сложный и ответственный этап в создании теста, заканчивающийся формированием предварительных тестовых наборов. Четвертый этап охватывает эмпирический анализ сконструированных заданий. На этом этапе предварительные тестовые формы апробируются на подходящей выборке испытуемых. Всестороннее рассмотрение результатов апробации позволяет оформить окончательный вариант теста. На пятом этапе, перед внедрением теста в практику, определяются стандартные характеристики теста: статистические нормы, надежность, валидность. Чтобы избежать несбалансированности и диспропорции охватываемых тестом тем, его спецификация должна предшествовать составлению заданий. Поэтому для обеспечения адекватности содержания теста привлекаются ряд экспертов (опытных преподавателей-методистов), которые указывают, что именно могут или должны знать учащиеся соответствующего возраста по разным предметам. Если сформированы цели учебных курсов, то можно определить релевантность заданий по отношению к этим курсам. Известно, что фактический материал частного характера со временем по большей части забывается, а усвоенные основные принципы и их применение в новой ситуации или вообще не забываются, или после завершения обучения обобщаются. Основные критические замечания в адрес плохо построенных объективных тестов связаны с их перегруженностью несущественными деталями и акцентом на механическое запоминание учебного материала. В конечном счете, квалифицированные педагоги-разработчики тестов – сами смогут решить, какое содержание должно быть заложено в их тесты. Поэтому далее стоит уделить внимание тому, как эти специальные сведения из конкретных учебных предметов могут быть превращены в приемлемые психолого-педагогические тесты. Когда отобран содержательный материал для включения в тестовые задания, предстоит решить, какую форму должны принять эти задания, чтобы наилучшим образом реализовать цели разработки теста. Если на первый план выдвигаются объективность и экономичность тестирования, целесообразно выбрать форму заданий с предписанными ответами. Подобные задания (“закрытого” типа) имеют несколько разновидностей (идентификация, выбор альтернативы, перестановка, установление связи и др.), но чаще всего, и это вполне обоснованно, используются задания с несколькими вариантами выбора, пригодные для включения в них самой разнообразной информации в рамках практически любого учебного предмета. Такое задание состоит из двух частей: (1) основной части, которая содержит утверждение (указание), вопрос или незавершенную фразу, (2) вариантов выбора или некоторого количества возможных ответов (обычно таких вариантов четыре или пять), из которых испытуемые должны выбрать правильный ответ. Неправильные ответы (их называют дистракторами) призваны играть отвлекающую роль. Можно указать ряд преимуществ заданий с несколькими вариантами выбора: (1) есть возможность сделать каждое задание высоко надежным, т.к. отсутствуют факторы снижения надежности, связанные с субъективными оценками лиц, проводящих обследование; (2) в заданиях, где дистракторы примерно эквивалентны, вероятность простого угадывания правильного ответа сводится в 1/количество ответов; (3) поскольку тесты с несколькими вариантами выбора оцениваются точными показателями, становится возможным получить более или менее точную оценку содержательности теста. Это важно при определении соответствия теста той группе испытуемых и той цели, для достижения которой он был создан. Прежде чем перейти к практической формулировке тестовых заданий, необходимо ознакомиться со следующими правилами. 1. Задания, включаемые в тест достижений, должны быть ориентированы на проверку знаний и понимания ведущих положений соответствующей учебной дисциплины, на определение степени владения практическими умениями и навыками, принципиально важными для освоения курса. 2. Совокупность заданий должна охватывать законченный курс учебного предмета и в связи с этим может включать задания, соответствующие программе нескольких лет обучения. 3. Следует избегать включения в тестовые задания тех вопросов, которые в учебном курсе изложены слабо, неточно или чрезмерно упрощенно, а также тех, понимание которых принципиально различается у разных преподавателей и в разных учебниках. 4. Задания должны быть написаны настолько просто, насколько это возможно для их точного понимания. Нежелательно, чтобы на результаты тестирования достижений оказывали влияние уровень словарного запаса испытуемого или его общие способности. 5. Сама проблема должна содержаться в основной части задания, а не выноситься в часть с вариантами выбора, которые должны быть настолько краткими, насколько это возможно. 6. Правильные ответы на тестовые задания должны быть однозначными, не содержать двусмысленностей или неопределенностей. Только один вариант из предложенного набора должен соответствовать правильному ответу. 7. Правильные ответы не должны выделяться грамматически или графически, большей конкретностью или обобщенностью. Ключевые слова правильного ответа не должны быть однокоренными с ключевыми словами основной части задания, либо однокоренными должны быть ключевые слова всех ответов. 8. Следует делать дистракторы (неправильные варианты ответов) такими, чтобы каждый из них мог привлечь внимание испытуемого (т.е. быть как бы “похожим” на правильный ответ, представлять характерный вариант неправильного знания и решения). В идеале каждый дистрактор должен в равной мере использоваться всеми испытуемыми, не выполнившими задание. 9. Ответ на один вопрос не должен давать ключа к ответам на другие. По возможности следует избегать использование правильных и неправильных ответов из одного задания в перечне ответов в других. 10. Рекомендуется как можно реже использовать отрицания в основной части заданий, так как это может привести к противоречиям при чтении заданий, да и негативные знания все-таки не настолько важны, как позитивные. 11. Также не рекомендуется использовать в ответах выражения типа “все перечисленные” или “ни один из перечисленных”, поскольку это может привести к определенной двусмысленности в формулировке задания. 12. Диапазон предварительно оцененной сложности заданий должен быть достаточно широким. Однако следует избегать заданий, требующих чрезмерно трудоемкого или многоступенчатого решения. 13. Поскольку предполагается создание нескольких параллельных форм теста, возможна разработка аналогичных, близких по структуре и содержанию заданий. 14. Количество предварительно конструируемых заданий, учитывая их значительный отсев в процессе апробации, должно как минимум в 1,5 раза превышать требуемое на выходе. Когда задания подготовлены, следует проверить их объективность по содержанию и корректность формулировок. Для этого они предъявляются независимым экспертам, которыми могут быть как опытные педагоги-предметники, знакомые с принципами формулирования тестовых заданий, так и психологи-специалисты в области составления тестов, знающие и понимающие избранный учебный предмет. Эксперты оценивают тестовые задания с точки зрения: (а) соответствия назначению теста; (б) однозначности формулировок; (в) пригодности вариантов ответов. Если эксперты приходят к выводу, что какая-либо тестовая задача (или вся их совокупность) не соответствует требуемым критериям, она должна быть заменена или переформулирована. Количество тестовых заданий и специфика их оформления Еще до начала разработки тестовых заданий следует определить, сколько их будет в окончательных вариантах теста и сколько вариантов теста достижений по конкретному предмету требуется создать. Поскольку тест предполагает групповое проведение, создавать менее двух вариантов не имеет смысла. Однако практика показывает, что целесообразно этот минимум довести до четырех вариантов. Во всяком случае такое или большее количество вариантов создает меньше проблем (для проводящих тестирование), связанных с рассаживанием испытуемых, раздачей тестовых наборов, передачей информации во время тестирования или утечкой ее после его окончания и т.п. Что касается количества заданий в одном варианте, то здесь следует исходить из таких критериев, как минимально допустимое число заданий в тесте; максимально допустимое время тестирования; оптимальное представительство разделов программы учебного курса. Считается, что в тесте, где оценка выполнения задания имеет только две градации (“верно” - “неверно”), должно быть не менее 20 заданий, иначе надежность результатов будет низкой. Также считается, что время тестирования не должно превышать полутора часов (или двух академических часов). Конечно, решение о том, какие разделы учебной программы и в каком объеме должны быть представлены в заданиях, выносят сами педагоги-предметники, создающие тест. Однако не стоит добиваться того, чтобы все, даже самые мелкие, пункты программы обязательно вошли в задания теста. Ведь выборка в несколько десятков заданий, затрагивающих вопросы, принципиальные для понимания учебного предмета, вполне представительна, чтобы оценить уровень знаний и умений учащегося. Очевидно, что среднее время выполнения одного задания там, где требуется производить вычисления или другое преобразование информации (как, например, в математике), будет больше, чем время выполнения задания там, где нужно лишь вспомнить какой-либо факт или правило (как, например, в биологии). Поэтому для тестов достижений по тем учебным предметам, где преобладают задания первого вида, следует планировать меньшее количество заданий, чем для тестов с преобладанием заданий второго вида. Кроме того, для последних не всегда удается априори, даже приблизительно, установить трудность, зависящую не только от сути вопроса, но и от дистракторов (в большей степени, чем в точных науках). Следовательно, на предварительной стадии превышение числа таких заданий над требуемым на выходе должно быть более, чем полуторным. Вообще же, чем выше квалификация разработчика тестов (именно в сфере разработки тестов, а не только в учебном предмете), тем с меньшим запасом разработчик может конструировать тестовые задания. Формулировки всех тестовых заданий (в т.ч. и по математике) должны быть рассчитаны на то, что ответ на них, при соответствующих знаниях и умениях, может быть найден в уме. Тем не менее, это не исключает возможности оставления на бланке для ответов (прежде всего, это касается математики) чистого поля для промежуточных черновых расчетов или выкладок. Записи на таком поле никак не оцениваются и не являются обязательными, но избавляют некоторых испытуемых от необходимости делать их в местах не предусмотренных процедурой тестирования. Располагать задания на листе, следует одно под другим, с определенными промежутками. Перенос части тестового задания, включая ответы, на соседнюю, правую страницу (если речь идет о тестовой брошюре) крайне нежелателен, а на обратную сторону листа или на другой отдельный лист недопустим. Ответы на задание должны располагаться один под другим, за исключением случаев, когда они представляют собой простейшие числа или символы; последние можно разместить на одной строке, на некотором расстоянии друг от друга. Естественно, тексты заданий по математике, физике и другим предметам могут сопровождаться рисунками. Следует сразу выбрать количество ответов в тестовых заданиях (число 5 здесь кажется более приемлемым) и придерживаться его не только в рамках теста по одному предмету, но и всех тестов достижений в пределах одной программы тестирования. Желательно также, чтобы число окончательных вариантов для тестов по всем учебным предметам планировалось одинаковым. Формирование блока заданий на стадии предварительной апробации К предварительному набору заданий необходимо составить инструкцию, которая не должна сколь-либо существенно меняться вплоть до окончательного издания теста. Поэтому так важно соблюсти определенные правила написания инструкции: (1) инструкция должна быть настолько краткой, насколько это возможно для ее правильного понимания; (2) язык инструкции должен быть настолько прост, насколько это возможно; желательно употребление простых предложений без уточняющих придаточных; (3) примеры, а в необходимых случаях разъяснения к ним, должны помогать понять инструкцию, приобрести первичный навык ответов на задания. (4) примеры (оптимальное число – два) следует брать из разных разделов учебного курса; в них должны быть продемонстрированы разные аспекты освоения предмета (знание, понимание, умение). Инструкция должна быть напечатана на первой странице каждого из предварительных наборов заданий. Сами задания должны начинаться на обратной стороне листа (или со следующего листа). Во всяком случае задания не должны находиться перед глазами испытуемых, когда они изучают инструкцию. Кроме того, следует составить общую инструкцию, предъявляемую устно или письменно перед началом тестирования. В общей инструкции должны быть описаны формы представленных заданий, способы ответов на них, другие особенности процедуры тестирования. Допускается вместо раздельного представления общей и специальной инструкции включение основных положений общей инструкции в текст инструкции к тесту по конкретному учебному предмету. При формировании наборов тестовых заданий для предварительной апробации необходимо учесть следующие рекомендации: 1. Количество наборов тестовых заданий должно быть большим (в два-четыре раза), чем количество планируемых окончательных вариантов теста по одному учебному предмету. 2. Задания должны располагаться в порядке возрастающей предполагаемой сложности. 3. Тематика заданий и способы нахождения правильного ответа (вспоминание, решение, суждение) должны чередоваться. 4. Расположение правильных ответов в последовательности заданий должно быть случайным; “ключи” к разным наборам теста не должны совпадать. 5. Параллельные, аналогичные задания не должны попадать в один набор. 6. Предварительные тестовые наборы должны быть равноценными по тематике и ориентировочной сложности, содержать равное количество заданий. Могут быть предложены иные, более эффективные, но и более трудоемкие при апробации способы составления предварительных наборов. Первый из них более пригоден для тестовых заданий по тем предметам, где ответы прежде всего ориентированы на знание (вспоминание) какой-либо информации. В этом случае формируются равноценные тестовые наборы не с возрастающей, а с перемежающейся сложностью заданий, причем к каждому набору добавляется набор-дублер с обратным порядком следования заданий. Т.е. количество наборов для одного теста удваивается. Второй из дополнительных способов мог бы быть предпочтителен для тех предметных тестов, где ответы на задания требуют главным образом преобразования информации, содержащейся в тексте этих заданий, лишь с привлечение знаний. Даже при исчерпывающих знаниях не каждый учащийся может легко найти ответ на некоторые задания такого рода. Предлагается перед составлением наборов поделить все задания, исходя из их ориентировочной сложности, на три равные группы: легкую, среднюю и сложную. Затем задания каждой из групп делятся на равное число наборов, равноценных для одной группы, и к ним добавляются наборы-дублеры. Когда наборы составлены и нужным образом скомпонованы на листах бумаги, их размножают вместе с инструкцией в необходимом количестве экземпляров. В комплект тестирования при предварительной апробации, как правило, входят: (а) тестовые брошюры или листы с инструкцией и заданиями; (б) регистрационные бланки (протоколы); (в) секундомер; (г) краткое руководство для проводящих тестирование; (д) «ключи» к тестовым формам. |