«Основные этапы конструирования теста». Контрольная работа по дисциплине Психофизиология и профдиагностика персонала
 Скачать 43.61 Kb.
|
КОНТРОЛЬНАЯ РАБОТА По дисциплине «Психофизиология и профдиагностика персонала» Тема: «Основные этапы конструирования теста»
Екатеринбург 2021 г. Содержание
1. Технология создания и адаптации психодиагностических методик Ситуация конструирования психологических тестов предполагает наличие только исходной концепции психического свойства наряду с отсутствием процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениями прочих ресурсов. Несмотря на то, что конструирование методик, относящихся к различным подходам, имеет определенную специфику, можно выделить обобщенный алгоритм деятельности по разработке теста [1, с. 89]. 1. Теоретическое обоснование методики. 2. Собственно конструирование. 2.1. Спецификация теста (определение числа заданий). 2.2. Разработка заданий. 2.4. Предварительное оформление. 3. Апробация методики. На данном этапе проводится пилотажное исследование на сокращенной выборке стандартизации. Рассчитываются основные психометрические показатели. В первую очередь, проводится анализ заданий теста. Анализ заданий теста (пунктов теста) осуществляется по двум параметрам: трудность заданий (доля испытуемых выборки, справившихся с заданием) и дискриминативность заданий (различительная способность заданий). На этапе апробации методики также производят предварительный расчет показателей надежности и валидности. Расчет психометрических показателей на выборке стандартизации. 5. Стандартизация теста. Расчет тестовых норм. 6. Окончательное оформление методики. 7. Пересмотры методики с течением времени [2, с. 74]. Создание оригинальной методики или адаптация зарубежной методики не могут сводиться только к проверке (или перепроверке) отдельных психометрических свойств – репрезентативности, надежности, валидности, достоверности – в произвольной последовательности. И каждая ситуация до определенной ступени удалена от обоих полюсов. Трудно назвать такой случай, когда бы конструирование совершенно нового теста начиналось с нуля, «на пустом месте». Также трудно найти и такие случаи, когда все аспекты тестирования были бы полностью неизменными и воспроизводили бы уже совершенно исследованную нормативную ситуацию применения готового теста. Но все это многообразие ситуаций, всю комбинаторику независимых параметров психологи-практики, как правило, пытаются свести к двум-трем типовым ситуациям. Ситуация применения. Тест кем-то разработан (возможно, в других социокультурных условиях), известны тестовые нормы, полученные на представителях данной языковой культуры (несоответствие выборки стандартизации и выборки применения по половозрастной структуре и профессионально-культурным признакам признается несущественным). Ситуация адаптации. Тест кем-то разработан – проверены надежность и валидность, но отсутствуют тестовые нормы (как правило, отсутствуют вообще для любых представителей данной языковой культуры). Задача адаптации сводится, таким образом, к построению тестовых норм [3, с. 57]. Ситуация конструирования. Есть концепция психического свойства, но нет процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениям прочих ресурсов. Надо придумать измерительную процедуру, проверить ее надежности валидность, построить тестовые нормы. 2. Спецификация и оформление теста Спецификация теста представляет собой такое его описание, которое включает необходимую информацию о целях, задачах, плане и структуре теста, а также об основных требованиях к правилам проведения тестирования, обработках результатов тестирования и их интерпретации. Для тестов, ориентированных па критерий (КОРТ), подготовка детальной спецификации очень важна, поскольку отбор содержания является самым важным этапом его создания. Для принятия решения о достижении данной цели обучения (например, стандарта выполнения) необходимо достаточно точно и полно описать все составляющие этого стандарта и выразить его совокупностью заданий, которая была бы представительной для этой цели. От оформления, формы представления методики (очевидная, или лицевая валидность методики) зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования [4, с. 44]. В любом опроснике должен быть представлен: 1) блок основной информации (название и вопросы, касающиеся имени, пола, возраста, образования и некоторых других необходимых для исследователя данных; обязательно указывается дата заполнения опросника); 2) инструкция должна быть ясной, доступной для понимания; в ней должно быть указано, как выбирать ответ и каким образом отмечать его в опроснике; 3) текст опросника (рекомендации для компоновки текста опросника: нумеруется каждое задание; каждая строка на странице должна быть короткой и содержать не более 10-12 слов; все задания располагаются по прямой вертикальной полосе сверху вниз в левом углу страницы; варианты ответов должны быть представлены так, чтобы получилась прямая вертикальная полоса сверху вниз в правом углу страницы; необходимо обеспечить ясную визуальную связь между каждым заданием и вариантами ответа на него; каждое задание нужно отделить друг от друга, лучше это сделать, используя свободное пространство, а не горизонтальную линию; если используется более чем один тип заданий, одинаковые задания группируются вместе, каждый тип заданий требует разных инструкций и своих вариантов ответов: опросник печатается так, чтобы он имел эстетически привлекательный вид). Дизайн опросника может способствовать восприятию его как формального документа или приближать к игре (особенности шрифта, цвет бумаги и расположение заданий). Результаты обследования (разные формы их представления) обычно не принято включать в опросник, хотя в некоторых случаях допускается наличие в бланке (брошюре), с которым работает испытуемый, итогового блока, заполняемого психологом [5, с. 5]. 3. Определение надежности и валидности теста В ходе проверки надежности теста проводится оценка постоянства полученных результатов при повторном проведении испытания. Расхождения данных должны отсутствовать или же быть незначительными. В противном случае невозможно относиться к результатам теста с доверием. Надежность теста – это критерий, который свидетельствует о точности измерений. Существенными считаются следующие свойства тестов: – воспроизводимость результатов, полученных по итогам исследования; – степень точности методики измерения или соответствующих приборов; – устойчивость результатов на протяжении определенного периода времени. В трактовке надежности можно выделить следующие основные составляющие: надежность измерительного инструмента (а именно грамотности и объективности тестового задания), которая может быть оценена путем расчета соответствующего коэффициента; стабильность изучаемого признака на протяжении длительного периода времени, а также предсказуемость и плавность его колебаний; объективность результата (то есть его независимость от личных предпочтений исследователя) [1, с. 89]. На степень надежности может повлиять целый ряд негативных факторов, наиболее существенными из которых являются следующие: – несовершенство методики (неверная или неточная инструкция, нечеткая формулировка заданий); – временная нестабильность или постоянные колебания значений показателя, который подвергается исследованию; – несоответствие обстановки, в которой проводятся первоначальные и повторные исследования; – меняющееся поведение исследователя, а также нестабильность состояния испытуемого; – субъективный подход при оценке результатов теста. Способы оценки надежности теста При определении надежности теста могут быть использованы следующие методики. Метод повторного тестирования является одним из самых распространенных. Он позволяет установить степень корреляции между результатами исследований, а также временем, в которое они были проведены. Данная методика отличается простотой и эффективностью. Тем не менее у испытуемых, как правило, повторные исследования вызывают раздражение и негативные реакции. Метод проверки внутренней согласованности не берет во внимание постоянство получаемых при повторном исследовании результатов [2, с. 63]. Он устанавливает взаимосвязь ответов, которые были даны в рамках одного эксперимента. Вопросы теста делятся на два перечня (по определенному принципу), после чего рассчитывается коэффициент корреляции между результатами. Метод эквивалентных форм заключается в использовании двух или более тестов с разными формулировками заданий, но с одинаковой сутью, формой и степенью сложности выполнения. О надежности теста свидетельствуют одинаковые или приближенные результаты, которые были получены с использованием одного и того же измерительного прибора или вычислительной формулы. Если же итоги сильно расходятся, то, скорее всего, они были искажены намеренно или же испытуемый не очень ответственно подошел к процессу опроса. Валидность теста. Это критерий, который определяет достоверность измерения. Можно сказать, что это пригодность того или иного инструментария к оценке определенной психологической характеристики. Стоит отметить, что валидность, надежность теста – это взаимодополняемые критерии, по отдельности они являются несущественными. Валидность может рассматриваться с точки зрения теоретического и прагматического аспекта. В первом случае речь идет о методе оценки или же измерительном инструменте. Что касается второго понимания валидности, то оно касается цели проведения исследовательских мероприятий. Стоит отметить, что данный критерий может существенно отличаться для одного и того же теста, в зависимости от круга испытуемых. Наивысшая оценка может колебаться в районе 80%. Валидность психологического теста может оцениваться в соответствии с количественными или качественными показателями. В первом случае речь идет о проведении математических расчетов. Качественная оценка производится описательно, на основании логических выводов. Выделяют следующие основные разновидности валидности теста: – конструктивная валидность теста – это критерий, применяемый при оценке теста, имеющего иерархическую структуру (используется в процессе исследования сложных психологических явлений); – валидность по критерию подразумевает сопоставление результатов тестирования с уровнем развития у испытуемого той или иной психологической характеристики; – валидность по содержанию определяет соответствие методики изучаемому явлению, а также круг параметров, которые она охватывает; прогностическая валидность – это качественный показатель, который позволяет оценить перспективное развитие параметра [3, с. 23]. Валидность теста – это один из показателей, который позволяет оценить адекватность и пригодность методики для изучения того или иного явления. Можно выделить четыре основных критерия, которые могут повлиять на нее: 1) критерий исполнителя (речь идет о квалификации и опыте исследователя); 2) субъективные критерии (отношение испытуемого к тому или иному явлению, что отражается на конечном результате теста); 3) физиологические критерии (состояние здоровья, усталость и прочие характеристики, которые могут оказать существенное влияние на конечный результат тестирования); 4) критерий случайностей (имеет место в определении вероятности наступления того или иного события). Критерий валидности представляет собой независимый источник данных о том или ином явлении (психологическом свойстве), исследование которого проводится посредством тестирования. До тех пор, пока не будет проведена проверка полученных результатов на соответствие критерию, о валидности судить нельзя. Основные требования к критериям. Внешние критерии, которые влияют на показатель валидности теста, должны отвечать следующим основным требованиям: соответствие именно той сфере, в которой проводится исследование, релевантность, а также смысловая связь с диагностической моделью; отсутствие каких-либо помех или резких разрывов в выборке (суть состоит в том, что все участники эксперимента должны соответствовать заранее установленным параметрам и находиться в схожих условиях); исследуемый параметр должен быть надежным, постоянным и не подвергаться резким перепадам [4, с. 53]. Проверка валидности тестов может осуществляться несколькими способами. Оценка очевидной валидности подразумевает проверку соответствия теста его предназначению. Оценка содержательной валидности – это проверка методики на наличие в ней всех составляющих, необходимых для всестороннего исследования того или иного явления или фактора. Оценка конструктивной валидности проводится в том случае, когда для изучения определенного сложного показателя проводится ряд экспериментов. Она включает в себя: конвергентную валидизацию – проверку взаимосвязи оценок, полученных с использованием различных комплексных методик; дивергентную валидизацию, которая состоит в том, чтобы методика не подразумевала оценки посторонних показателей, не касающихся основного исследования. Оценка прогностической валидности подразумевает установление возможности предвидения перспективного колебания изучаемого показателя. Валидность и надежность тестов – это взаимодополняемые показатели, которые дают наиболее полную оценку справедливости и значимости результатов исследований. Зачастую они определяются одновременно. Надежность показывает, насколько результатам теста можно доверять. Имеется в виду их постоянство при каждом повторном проведении аналогичного испытания с одними и теми же участниками. Низкая степень надежности может говорить о намеренном искажении или безответственном подходе. Понятие валидности теста связано с качественной стороной эксперимента. Речь идет о том, соответствует ли выбранный инструмент оценке того или иного психологического явления. Здесь могут быть применены как качественные показатели (теоретическая оценка), так и количественные (расчет соответствующих коэффициентов) [5, с. 2]. 4. Принципы оценки теста При создании теста обычно ставится задача отобразить в нем то основное, что отражает идею измерения уровня и структуры подготовленности учащихся, как результат образовательной деятельности. Можно сказать, так: содержание учебной дисциплины всегда шире содержания тестовых заданий. Некоторые из них заметно связаны между собой, иногда перекрывают друг друга по содержанию и потому могут замещаться, что позволяет уменьшить общее число заданий в тесте. Репрезентативность заданий связана с числом заданий. В общем случае, чем больше заданий, тем репрезентативнее могут оказаться результаты. Число заданий традиционного теста обычно бывает не меньше тридцати. Банк заданий адаптивного теста содержит большее число заданий. Число заданий в тесте зависит, во-первых, от содержания проверяемого материала: чем больше объем проверяемых знаний, тем большее обычно требуется число заданий. Во-вторых, от вида тестов; интегративные тесты требует меньшего числа заданий, в силу того, что для правильного решения каждого задания надо обладать знаниями различных учебных дисциплин. Следовательно, тест, состоящий из интегративных заданий, охватывает большее число проверяемых учебных элементов. И в-третьих, точность педагогических измерений зависит от числа заданий; в традиционном тесте точность измерения растет по мере увеличения числа заданий [3, с. 74]. Инструкция для проверяющих является обязательной составной частью контролирующего теста. Инструкция не выдаётся тестируемым. Инструкция для проверяющих содержит: – правила оценки; – правила оценки всего теста; – ключ к тесту. Избежать этических и других проблем и получить объективные результаты помогают общие правила тестирования, которые должны соблюдать любые профессиональные пользователи тестовых методик. Это следующие правила: 1) Любое сложное тестирование должно проводиться при участии специалиста по психодиагностике или при последующем его участии в качестве консультанта, прошедшего курс специальной подготовки и процедуру аттестации. Стандартизированными, теоретически и психометрически хорошо обоснованными методиками могут пользоваться не только практические психологи, но и грамотные в области психодиагностики менеджеры и другие руководители, социологи, учителя, врачи и т.д. Любой пользователь тестовой методики автоматически должен взять на себя ответственность за соблюдение всех требований профессиональной тайны и этики и стремиться исключить возможность не корректного использования тестов. Неверные выводы и рекомендации по итогам тестирования, неэтичное поведение его организатора способны лишь дискредитировать метод тестирования в глазах и испытуемых, и руководства организации [1, с. 96]. 2) Человека нельзя подвергать психологическому обследованию обманным путем или против его воли. Недопустимы никакие формы прямого или косвенного принуждения, нарушения прав личности (исключение могут составлять лишь случаи из судебной или психоневрологической практики). 3) Перед проведением тестирования испытуемого необходимо предупредить о том, что в ходе исследования он невольно может сообщить такую информацию о себе, своих мыслях и чувствах, которую сам не осознает. 4) Любой человек, за исключением случаев, оговоренных законом, имеет право знать результаты своего тестирования. Итоговые данные в доступной для понимания форме предоставляет испытуемым тот, кто проводил обследование. Ознакомление с результатами тестирования должно исключать их неправильное толкование или появление у испытуемых каких-либо опасений. При этом тестирующий обязан подчеркнуть, что выводы по тестированию носят вероятностный характер и являются относительно достоверными только при условии правильного проведения теста и полной откровенности испытуемых. Эта вероятность зависит от конкретной тестовой методики и при правильной организации процедуры тестирования колеблется в пределах от 60 до 80%. 5) При тестировании несовершеннолетних (прежде всего учащихся) право знать результаты имеют их родители или заменяющие их лица. Работа с этой категорией исследуемых требует особой внимательности и ответственности при выборе тестовых методик, информировании испытуемых и/или их родителей об итогах тестирования и даче им рекомендаций. 6) Результаты тестирования не должны травмировать исследуемого и/или снижать его самооценку. Поэтому их следует сообщать испытуемому в ободряющей форме, по возможности сопровождая их конструктивными рекомендациями. 7) Испытуемый должен быть информирован о целях тестирования и формах использования его результатов. Так, если целью тестирования является определение уровня психического развития человека при конкурсном отборе или при приеме на работу, то испытуемый имеет право знать не только о цели тестирования, но и о том, кем, где и какое решение может быть принято на его основе [2, с. 17]. 8) Тестирующий должен обеспечить беспристрастный подход к процедуре и результатам исследования. Общение с испытуемым должно быть доброжелательно-нейтральным, исключающим проявление какой-либо помощи в процессе тестирования, кроме той, которая служит правильному пониманию испытуемым инструкций. 9) Информация о результатах тестирования должна предоставляться только тем, кому она предназначается. Тестирующий обязан обеспечить конфиденциальность психодиагностической информации, полученной от испытуемого на основе «личного доверия» или в социометрических тестах. При беседе с испытуемым по результатам тестирования присутствие посторонних лиц должно быть исключено. Никто, кроме самого испытуемого и тестирующего, не имеет права доступа к результатам тестирования, изложенным в письменной форме. Для предотвращения утечки психодиагностической информации или ее неправильного использования должен быть исключен доступ к ней любых лиц, включая обучающий персонал и администрацию учреждения или учебного заведения. Психодиагностическая информация может сообщаться соответствующим лицам только по специальному запросу или в случаях, предусмотренных законодательством о судебно-медицинской экспертизе. 10) Тестирующий обязан хранить профессиональную тайну: не передавать случайным лицам инструктивные материалы, не раскрывать перед потенциальными испытуемыми секрет той или иной психодиагностической методики [4, с. 35]. Эти принципы должны быть учтены в любом профессиональном тестировании. Конечно, при использовании тестирования в учебных целях: определении уровня усвоения знаний, диагностировании степени коммуникабельности с последующим тренингом делового общения и т. п. – с согласия участников возможно некоторое отступление от вышеизложенных правил, например, публичное подведение итогов и открытое обсуждение путей самосовершенствования и развития студентов или руководителей, повышающих свою квалификацию. Список использованных источников 1. Бурлачук Л.Л. Психологическая диагностика: Учебник для вузов [Текст]/ Под ред. М. К. Акимовой, К. М. Гуревича., 2 издание. – Москва, 2019. 2. Веснин, В.Р. Управление человеческими ресурсами [Текст]: теория и практика: учебник / В.Р. Веснин. – Москва: 1 наим. Проспект, 2018. – 688 с. 3. Кибанов, А.Я. Управление персоналом организации: Практикум [Электронный ресурс]: учебное пособие / А.Я. Кибанов. – 2-е изд., перераб. и доп. – Москва: ИНФРА-М, 2019. – 365 с. 4. Шадриков, В. Д. Профессиональные способности [Электронный ресурс]: монография / В. Д. Шадриков. – Москва: Университетская книга, 2019. – 320 с. 5. Профессиональная диагностика [Текст]: методические указания и задания для выполнения контрольных работ для студентов специальности 08.01.04 «Экономика труда» заочной формы обучения / Федер. агентство по образованию, Урал. гос. экон. ун-т; [сост. В. Н. Савин]. – Екатеринбург: [Издательство УрГЭУ], 2018. – 15 с. |