Валидность тестов. Словарьсправочник по психодиагностике издание 2е, переработанное и дополненное Серия Мастера психологии
Скачать 5.87 Mb.
|
Раздел 1. Психологическое тестирование: определение необходимости в обследовании В состоянии ли экзаменуемый: 1. Описать различие между тестами, предназначенными для измерения успешности деятельности(способности,достижения и т. п.) и тестами, измеряющими типические особенности деятельности (личность, интересы и т.п.) 2. Провести различие между тестами способности и тестами достижения. 3. Дифференцировать нормативно-ориентированные, критериально-ориентированные и предметно-ориентированные тесты (например, тесты мастерства, процедуры диагностики компетентности на рабочем месте). 4. Объяснить, что такое тесты, моделирующие рабочие функции, и как они используются. 5. Привести примеры каждого типа тестов, применяющихся в психологии профессиональной деятельности. 6. Описать различия инструментов для измерения общих и специальных способностей и привести примеры. Государственный сертификационный регистр британского психологического общества. Авторы благодарят А. Виноградова, участвовавшего в переводе этих материалов. 7. Описать характер влияния факторов внешней среды на измерение способностей и привести конкретные примеры. 8. Описать связь между анализом профессии или другими процедурами определения критериев отбора и построением профессиограммы. 9. Привести для каждого пункта профессиограммы один или несколько возможных методов диагностики. 10. Описать важность знания особенностей профессии и рабочих процедур . для корректного использования тестов в профориентации. Раздел 2. Основные принципы шкалирования и стандартизации Может ли экзаменуемый: 1. Построить распределение частот (гистограмму или полигон частот) по выборке «сырых» баллов. 2. Вычислить среднее и стандартное отклонение для того же набора данных. 3. Указать местоположение среднего и стандартного отклонения на шкале измерения признака в гистограмме. 4. Описать взаимосвязь среднего, медианы и моды распределения и изменение их относительного расположения с изменением формы распределения. 5. Указать причины изменчивости среднего и стандартного отклонения в различных выборках, извлеченных из одной и той же генеральной совокупности. 6. Описать связь между стандартной ошибкой среднего в выборке наблюдений и объемом выборки. 7. Дать определение доверительным интервалам и продемонстрировать способ их вычисления на основании выборочных среднего и стандартного отклонений. 8. Использовать таблицу площади под единичной нормальной кривой для преобразования Z-показателей в процентили и процентилей в Z-пока-затели. 9. Описать измерительные свойства шкалы на основе «сырых» баллов,, стандартизированных баллов и про-центильных рангов и привести примеры для каждого типа шкал. 10. Используя среднее и стандартное отклонение, преобразовать «сырые» баллы в линеаризованные Z-показате-ли, Т-показатели, стэны и станайны и наоборот. 11. Используя таблицу норм, найти про-центильные эквиваленты «сырых» баллов и затем получить Z-показате-ли и Т-показатели на основании таблицы нормального распределения. 12. Объяснить различие между баллами по ипсативным и неипсативным шкалам. Раздел 3. Важность надежности и валидности Может ли экзаменуемый: 1. Объяснить понятие корреляции как меры степени связи двух переменных. 2. Дать определение условий, при которых корреляция достигает максимального (положительного и отрицательного) и минимального значения. 3. Дать приблизительную оценку величины коэффициента корреляции для различных двумерных диаграмм рассеяния. 4. Описать базовую предпосылку классической теории тестов: измеренный показатель всегда содержит погрешность и может быть представлен как сумма истинного показателя и случайной ошибки. 5. Объяснить в общих чертах основные методы оценки надежности тестов (внутренней согласованности, устойчивости к перетестированию, параллельных форм) и описать их относительные преимущества и недостатки. 6. Описать причины ненадежности тестовых баллов (напр., ошибки измерения, подсчета баллов, влияние ситуационных факторов, особенностей ■ формирования выборки заданий теста). 7. Дать описание того, как изменяется надежность теста при изменении его длины. 8. Дать описание того, как на надежность теста влияет ограничение диапазона вариации признака и как можно корректировать это влияние. 9. Вычислить доверительные интервалы с разными доверительными коэффициентами для сырых и стандартизированных баллов, используя стандартную погрешность измерения. 10. Вычислить стандартную ошибку разницы баллов по двум шкалам и их суммы. 11. Объяснить, как величина корреляции между баллами по двум шкалам влияет на надежность их суммы и разности. 12. Сформулировать основное положение теории генерализации, а именно утверждение о том, что надежность количественно характеризует возможность обобщить (генерализовать) ре- зультаты, полученные при одном наборе условий, на результаты, которые могут быть получены при другом наборе условий. 13. Описать и проиллюстрировать примерами различия между внешней, содержательной, конструктной и критериальной валидностью. 14. Описать процедуры для измерения конкурентной и прогностической критериальной валидности и указать на " положительные и отрицательные стороны каждой из процедур. 15. Описать, как эффекты отбора могут оказывать влияние на оценку прогностической валидности теста. 16. Описать взаимосвязь надежности и валидности. 17. Описать, в какой степени возможен перенос данных о валидности теста, полученных в одних условиях, на его использование в некоторой другой си- • туации. Раздел 4. Принятие решений об использовании тестов в качестве одного из компонентов процесса обследования Может ли экзаменуемый: 1. Описать закон, относящийся к прямой или косвенной дискриминации на основании половой или этнической принадлежности при найме на работу или отборе. 2. Использовать каталоги издателей тестов, рекламные образцы и другие справочные материалы для определения инструментария, потенциально пригодного для выполнения определенной функции. 3. Определить для каждого теста на основании руководства к нему данные о его теоретических основаниях, надежности, валидности, нормативных выборках, а также о специфических ограничениях области применения. 4. Учесть относящиеся к делу соображения практического характера(простота проведения, требуемое время, необходимость в специальном оборудовании и т. п.). 5. Рассмотреть любые ограничения области применения теста (напр., возраст испытуемых, культурные или этнические особенности, диапазон выраженности изучаемого свойства и т. п.) и вынести суждение относительно возможности его использования. 6. Сопоставить имеющуюся информацию о валидности теста с задачами обследования и вынести суждение о степени их соответствия. 7. Рассмотреть данные о нормативной выборке и вынести суждение о ее соответствии решаемой задаче в терминах ее репрезентативности и объема. 8. Определить, будет ли отвечать использование теста обязательным требованиям законодательства «О равных возможностях и половой дискриминации». 9. Объяснить, как можно оценить прибыль или потери, связанные с использованием психологических тестов в качестве компонента процесса принятия решения о персонале. 10. Объяснить, каким образом информация о тесте (особенно о его прогностической валидности) может быть использована для уменьшения риска, связанного с принятием решений о персонале. 11. Произвести окончательный отбор теста (тестов), демонстрирующий тщательный учет всех имеющихся показаний уместности проведения психологического тестирования для решения задач обследования. Раздел 5. Проведение тестирования и обработка результатов Может ли экзаменуемый; 1. Правильно спланировать сбор данных для заданного количества испытуемых с учетом их максимального числа в группе и предельной продолжительности тестирования. 2. Обеспечить правильное функционирование оборудования (напр., компьютера) и наличие достаточного количества тестовых материалов для испытуемых. 3. Обеспечить тщательную проверку многократно используемых тестовых материалов на наличие пометок или надписей, сделанных предыдущими испытуемыми. 4. Организовать подходящее тихое помещение для проведения тестирования, обеспечить испытуемых посадочными местами и достаточным пространством за столом так, чтобы создать им максимально комфортные условия работы и уменьшить вероятность подглядывания. Информировать испытуемых заранее о месте и времени проведения тестирования, убедиться, если это необходимо, что они соответствующим образом подготовлены к тому, что от них потребуется и по какой причине. 5. Кратко объяснить испытуемым цель сеанса тестирования, добиться того, чтобы они чувствовали себя свободно, поддерживая в то же время соответствующую деловую атмосферу. 6. Внести сведения об испытуемых и относящуюся к делу информацию об используемом инструментарии в соответствующий журнал учета и регистрации. 7. Произвести проверку наличия у каждого кандидата всех необходимых материалов. 8. Использовать стандартные инструкции к тестам, излагать их испытуемым ясно и доступно. 9. Дать испытуемым достаточно времени для проработки примеров тестовых заданий. 10. Осуществлять тщательный контроль за правильным заполнением тестовых бланков и процедурами ответа. 11. Отвечать на любые возникающие вопросы таким образом, чтобы это не шло вразрез с целью теста. 12. Объяснить ограничения на время обдумывания и обеспечить тишину в ходе тестирования. 13. Четко объяснить испытуемым, что после начала тестирования никаких вопросов задавать нельзя. 14. Строго придерживаться инструкций конкретного теста относительно темпа и времени предъявления. 15. Собрать все материалы после завершения каждого теста. 16. Тщательно проверить по списку возврат всех тестовых материалов. 17. Закрывать все материалы в безопасном месте. 18. Поблагодарить испытуемых за участие после завершения работы с последним тестом и объяснить следую- „ щий этап обследования (если таковой имеется). 19. Внести заключительные записи в журнал учета и регистрации данных, включая заметки о тех или иных конкретных проблемах, возникших в ходе тестирования, которые могли повлиять на работу кандидата. 20. Визуально проверить опросные листы для выявления случаев взаимоисключающих ответов, которые пройдут незамеченными при ручной обработке с помощью просветных «ключей» или создадут проблемы при машинном подсчете баллов. 21. Продемонстрировать правильное использование различного рода ручных способов подсчета «сырых» баллов по ключам, а также бланков, предполагающих подсчет баллов самими испытуемыми. 22. Правильно перенести «сырые» баллы на бланки регистрации. 23. Использовать таблицы норм для получения соответствующего процен-тильного и (или) стандартного балла и перенести их в личные дела испытуемых. Раздел 6. Адекватное использование результатов тестирования и обеспечение письменной или устной обратной связи с клиентами и испытуемыми Может ли экзаменуемый: 1. Выбрать соответствующие таблицы норм в руководстве по тесту или в дополнительных материалах. 2. Соответствующим образом использовать информацию из руководства по тесту о критериальных границах (точках отсечения), имеющих отношение к данной профессии. 3. Сделать соответствующее предостережение относительно интерпретации результатов тестирования либо вовсе отказаться от применения теста в отсутствие подходящих норм или критериальных границ. 4. Уделить должное внимание, где это необходимо, вопросу сопоставимости данных кандидата с той или иной референтной группой, стандартной ошибке групповой средней и стандартной ошибке измерения баллов кандидата. 5. Представлять баллы, вычисленные на основе норм, в контексте, который дает четкое представление о диапазоне изменения измеряемой переменной в данной группе, или иных, имеющих значение, характеристик нормативной выборки. 6. Описывать значение баллов по шкалам в терминах, которые правильно передают смысл, отражают доверительные интервалы соответствующих баллов, а также понятны клиенту и испытуемому. 7. Строить интерпретацию тестовых баллов, обращая должное внимание на величину корреляций, существующих между каждой парой шкал, и стандартную ошибку их разности. 8. Устанавливать соответствующую связь между результатами по тесту и пунктами исходной профессиограм-мы. 9. Вычислять интегральные показатели по батарее тестов на основание приведенных в руководстве весовых коэффициентов. Обеспечивает ли экзаменуемый обратную связь испытуемому по результатам тестирования, которая: 10. Дается в форме, соответствующей пониманию последним тестов и шкал. 11. Описывает точно и осмысленно значение шкал в обыденных понятиях. 12. Дает возможность испытуемому задать вопросы, прояснить те или иные-моменты, прокомментировать тест и процедуру его проведения. 13. Побуждает кандидата высказаться о воспринимаемой правильности и точности (или наоборот) информации, полученной с помощью теста. 14. Ясно информирует кандидата о том, как информация будет представлена (устно или письменно) и кому именно. Может ли экзаменуемый готовить письменные отчеты для клиента (или кандидата), которые: 15. В обыденных терминах разъясняют обоснование и правомерность использования теста. 16. Описывают значение наименований шкал в обыденных, точных и осмысленных терминах. 17. Тщательно разъясняют применение любых нормированных баллов в отношении к диапазону проявления диагностируемого свойства в норматив- ной выборке; тщательно обосновывают предсказания относительно будущего исполнения на основании информации о валидности теста. 18. Дают четкое представление о том, какое значение следует придавать обнаруженному. {продолжение) Контроль компетентности в тестировании профессиональной пригодности Уровень Б Базовые разделы включают общие теоретические вопросы и фундаментальные знания, предположительно обеспечивающие пользователю такой уровень понимания проблем исследования личности, который является необходимым для видения конкретного инструмента в соответствующем контексте. Базовый раздел 1. Теория личности (вес ■ I) Может ли испытуемый: 1. Дать определение понятию «личность» и объяснить различия между имплицитной (обыденной, «наивной») и эксплицитной (научно обоснованной, экспериментальной) моделями личности. 2. Дифференцировать понятия темперамента (личности), мотивации (потребностей, интересов и устремлений), ценностей, отношений, убеждений и способностей. 3. Обсудить воздействие наследственных факторов и внешних условий (таких, например, как культура и образование) на развитие личности. 4. Описать ключевые отличия подходов к описанию и объяснению межличностных различий представителями теории социального научения, а также психометрического, психоаналити- 466 ческого, гуманистического направлений в психологии. 5. Описать особенности и привести примеры типологического и «координатного» (аксиального, дименсионально-го) подходов к исследованию личности и объяснить ограничения каждого из них. Базовый раздел 2. Методы исследования личности (вес = 2) Может ли экзаменуемый: 1. Описать основные преимущества и ограничения ведущих подходов к исследованию личности и привести примеры типичного инструментария, разра-" ботанного в рамках этих подходов. 2. В общих чертах описать основные источники и возможности появления специфических ошибок и искажений, присущих методам исследования личности, которые разработаны в рамках основных подходов. 3. Описать, как подобные искажения можно контролировать или свести к минимуму. 4. Объяснить, как искажения проявляют себя также и в неформальных методах получения информации о личности (в реальном межличностном взаимодействии, при проведении интервью и т. п.). 5. Привести примеры инструментов, предназначенных для измерения черт и состояний, объяснить их различия. 6. Описать такую факторную модель личности, как «Большая Пятерка», и привести пример того, как можно шкалы двух тестов спроецировать в факторное пространство этой модели. 7. Дать определение ипсативному шкалированию и привести пример двух тестов, в которых оно применяется. 8. Объяснить опасность доверия к ложной валидности на примере эффекта Барнума, оценки адекватности результатов тестирования самим испытуемым, буквальной интерпретации и переноса названий шкал на оценку поведения. 9. Привести примеры псевдонаучных процедур оценки личности, имеющих высокую внешнюю валидность (степень принятия испытуемым) или воспринимаемых обычными людьми как убедительные, которые в действительности валидностью не обладают, а также указать на опасности, связанные с их использованием. Освещение подходов к исследованию личности должно включать: • процедуры, основанные на самоотчете; • экспертные оценки; • групповую или индивидуальную ситуационную оценку; • проективные методы; • наблюдение за поведением; • «объективные тесты»; • физиологические показатели; • репертуарные решетки. Использование тестов: разделы 3, 4и5 Компетентность в использовании тес-тов следует оценивать в связи с реальным конкретным инструментом или инструментами. Основное внимание при оценке следует уделить способности экзаменуемого как практического психолога продемонстрировать хорошее понимание сильных и слабых сторон инструмента, корректное применение инструмента в различных контекстах обследования, учет полученной с его помощью информации в соответствии с данными о кандидате из других источников. Разделы 3 и 4 требуют свидетельства компетентности в интерпретации результатов и обеспечении обратной связи как клиенту, так и кандидатам в каждом из двух типов контекста: 1. Ориентированном на нужды клиента или его организации, когда первоочередной целью обследования выступает необходимость предоставления клиенту информации о кандидате: а) Подготовка отчета для клиента для проведения отбора, продвижения или формирования рабочих групп. б) Обеспечение обратной связи кандидатам относительно вышеуказанного. % Ориентированном на нужды кандидата, когда первоочередной целью обследования выступает необходимость предоставления кандидату информации о нем самом: а) Подготовка отчета клиенту информации о потенциале развития/ карьеры и т. п. кандидата. б) Обеспечение обратной связи кандидатам относительно вышеуказанного. Совершенно очевидно, что ситуации, в которых возникает необходимость ориентироваться на интересы кандидата, имеют место и в тех случаях, когда: а) Предоставление обратной связи организации-клиен- 467 ту не является корректным шагом; б) клиент и кандидат одно и то же лицо. Собранные свидетельства должны охватывать оба указанных типа условий и включать как примеры устной обратной связи кандидату, так и письменной обратной связи кандидату и клиенту. Получение свидетельств должно протекать в условиях, приближенных к рабочим. Если не представляется возможным получение достаточных свидетельств для удовлетворения данных требований при использовании одного инструмента, допустимо собирать свидетельства на основании применения нескольких инструментов. Общий вес = 8. Использование тестов: раздел 3. Проведение тестирования (вес = 1) Может ли экзаменуемый: 1. Правильно информировать кандидата относительно характера психологического обследования, причин его использования, условий, в которых оно будет проводиться, а также характера ожидаемой обратной связи. 2. Уверить его в конфиденциальности получаемых данных, характера их использования и хранения. 3. Обеспечить получение «информированного согласия» испытуемого. 4. Получить от испытуемого необходимые социально-демографические данные. 5. Продемонстрировать способность провести обследование с помощью инструмента, уделяя должное внимание необходимости установить контакт с испытуемым, побудить к откровенным ответам и поддерживать необходимый темп тестирования. 6. Вести соответствующие записи и фиксировать информацию для отчетности, а также для исследовательских целей и в исследовательских целях, Шла гарантируя сохранение анонимности испытуемых при публикации данных. 7. Гарантирует использование данных обследования только для тех целей, относительно которых испытуемый дал свое согласие. Использование тестов: раздел 4. Проблемы интерпретации данных (вес = 3) Экзаменуемый: 1. Может в общих чертах, не прибегая к использованию специальной терминологии, описать теоретическую концепцию, лежащую в основе методики, подход к ее построению, а также основные этапы создания. 2. С осторожностью интерпретирует «значимые» коэффициенты корреляции в матрицах, полученных для методик с большим числом шкал. 3. Демонстрирует понимание проблем, связанных с выбором подходящих нормативных выборок при интерпретации шкальных баллов. 4. Интерпретирует профиль шкальных оценок с учетом технического качества инструмента. 5. Может прокомментировать эффект использования норм, основанных на: гетерогенных в противоположность однородным выборкам (низкая дисперсия); смешанных по полу или этническому составу выборках в противоположность однородным; профессиональных группах в противоположность общим популяционным нормам. 6. Увязывает интерпретацию балла по шкале с информацией об используемом инструменте, природе шкалы и способе ее построения. 7. Подтверждает информацию о личности, полученную с помощью теста, данными из других источников. 8. Должным образом использует любую имеющую отношение к делу информа- цию (такую, как отчеты о предшествующих обследованиях испытуемого, данные самооценки, экспертной оценки его коллег по работе и т. п.) при интерпретации результатов. Использование тестов: раздел 5. Обеспечение' обратной связи (вес = 4) Экзаменуемый: 1. Демонстрирует достаточное знание инструмента для обеспечения компетентной интерпретации и устной обратной связи по крайней мере нескольким испытуемым и подготовки взвешенного письменного отчета а) испытуемому, б) клиенту — в случае, если обследование проводится для третьей стороны. 2. Обеспечивает испытуемым безоце- ■ ночную устную обратную связь по результатам обследования, решая методическую задачу верификации диагностических гипотез. 3. Указывает испытуемому и клиенту (при наличии третьей заинтересованной стороны) на статус и значение полученной информации и ее связь с другими данными о личности испытуемого. 4. Готовит письменные отчеты, в которых в интегрированном виде содержится информация о личности, способностях и других имеющих отношение к делу особенностях испытуемого, для обеспечения целостного сбалансированного описания в контексте решаемой задачи. 5. Гарантирует, что ни организационные, ни личностные решения не будут основываться исключительно на интерпретации данных единственного личностного опросника. Перечень функций обследования: • Ориентированные на потребности клиента или организации: напр., от- бор, продвижение, сокращение, увольнение. • Ориентированные на кандидата: напр., индивидуальное личностное развитие, развитие коллектива, управление карьерой,консультирование. Выбор теста и оценивание: разделы 6, 7, 8 и 9 Данные разделы охватывают знания и уровень понимания, предположительно необходимый пользователям тестов для компетентного выбора инструмента в соответствии с его пригодностью для достижения различных целей. Затрагиваемые в разделе 6 аспекты конструирования тестов предполагают наличие уровня знаний, который необходим для компетентной оценки инструмента на основании литературных данных и информации, содержащейся в техническом руководстве к тесту. Уровень понимания и практических навыков, требующихся для создания и построения тестов, не является необходимым на уровне В. Раздел 7 расширяет круг вопросов, связанных с понятиями надежности и валид-ности, затронутыми на уровне А, и предполагает наличие базовых знаний на уровне А. В 9 разделе следует убедиться в том, что экзаменуемый обладает значительно более широкой базой знаний для принятия решений о выборе инструментов, чем та, которая требуется для решения задач данного раздела. Общий вес = 8. Выбор теста: раздел 6. Подходы к исследованию личности и конструированию тестов Экзаменуемый может: 1. Привести пример инструмента, основанного на одном из перечисленных подходов к изучению личности психометрическом, психоаналитиче- ском, гуманистическом и социального научения, — и пояснить взаимосвязь между методикой и теоретическим направлением. 2. Проанализировать влияние ситуаци-онистских концепций на построение и использование личностных методик, а также на положение, согласно которому обобщенные «стабильные» диспозиции могут объяснить поведение в различных обстоятельствах. 3. Описать роль теорий личности в создании и интерпретации методик изучения профессиональных интересов. 4. Указать личностные опросники, базирующиеся на каждом из перечисленных подходов: типологическом, теории черт, гуманистическом, а также указать их достоинства и недостатки. 5. Привести примеры трех различных методов обнаружения или контроля погрешностей или искажений процедур исследования и описать их практическое использование. 6. Описать (не прибегая к помощи математических терминов) основные принципы, лежащие в основе факторного анализа, и объяснить его сильные стороны и ограничения как основы для конструирования тестов. 7. Привести пример инструмента, чьи шкалы построены на основе факторного анализа, а также инструмента, созданного на основе так называемых «рациональных» критериев (напр., содержания заданий). 8. Привести пример инструмента, который измеряет черты, по предположению коррелирующие друг с другом, а также инструмента, основанного на предположении о независимости измеряемых черт. 9. Привести данные, свидетельствующие в пользу пятифакторной модели личности, и привести примеры шкал из различных тестов, которые соответствуют и не соответствуют этой модели. 10. Объяснить, как профиль, порождаемый ипсативным инструментом, подвержен влиянию количества содержащихся в нем шкал, и проиллюстрировать примерами двух различных тестов. П. Объяснить, не прибегая к помощи специальной терминологии, основные моменты касательно области применимости ипсативных инструментов, приводимых в дискуссии о преимуществах ипсативных или нормативных методик. |