Валидность тестов. Словарьсправочник по психодиагностике издание 2е, переработанное и дополненное Серия Мастера психологии
 Скачать 5.87 Mb.
|
|
ВАЛИДНОСТЬ ИНКРЕМЕНТНАЯ (англ. incremental — приращение, прибыль) — один из компонентов критериальной валидности, прогностической валидности теста, отражающий практическую ценность методики при проведении отбора. В. и. может быть выражена количественно при помощи валидности коэффициента. Показатель В. и. указывает на роль теста в улучшении отбора лиц для реальной деятельности, степень улучшения результативности процедуры отбора по сравнению с традиционной,основанной на анализе объективных сведений, документов, бесед, приеме с испытательным сроком и т. д. В. и. рассчитывается в зависимости от значений индекса отбора (доля поступивших по отношению к числу претендентов), коэффициента валидности теста, базового уровня (отношение между лицами, справляющимися с критериальной деятельностью, и случайной выборкой лиц). При уменьшении индекса отбора значение коэффициента В. и. значительно повышается при условии, что используемый тест обладает высокой валидностью. Определение величины коэффициента В. и. производится с помощью специальных таблиц (А. Анастази, 1982). ВАЛИДНОСТЬ КОНСЕНСУСНАЯ (consensual validity) — тип валидности, основывающейся на установлении связи (корреляции) тестовых данных с данными, полученными от внешних экспертов, хорошо знакомых с теми лицами, которые были подвергнуты тестированию. Понятие и процедура В. к. введены Р. Мак-Краэ в 1982 г. с целью обеспечения вали-дизации опросников личностных, которая нередко затруднена ( а иногда и невозможна) в связи с отсутствием необходимых для установления валидности критериев. ВАЛИДНОСТЬ КОНСТРУКТНАЯ— один из основных типов валидности, отражающий степень репрезентации исследуемого психологического конструкта в результатах теста. В качестве конструкта могут выступать практический или вербальный интеллект, эмоциональная неустойчивость, интроверсия, понимание речи, переключаемость внимания и т. д. Иначе говоря, В. к. определяет область теоретической структуры психологических явлений, измеряемых тестом. Поскольку проявления таких конструктов, как, напр., интеллект в деятельности человека многообразны и неоднозначны с т. з. их выделения, процедура установления В. к. по сравнению с валидностью критериальной или валидностью содержательной сложна. При объяснении связи полученных тестовых результатов с теоретическим конструктом необходимо постепенное накопление разнообразной информации о динамике развития измеряемого свойства, а также о его взаимодействии с другими психическими явлениями. Среди конкретных методов характеристики В. к. в первую очередь необходимо назвать сопоставление исследуемого на предмет В. к. теста с другими методиками, конструктное содержание которых извес- тно. Наличие корреляции между новым и аналогичным по конструкту тестом указывает на то, что разрабатываемый тест «измеряет» примерно ту же сферу поведения, способность, личностное качество, что и эталонная методика. Такая процедура валидизации напоминает определение критериальной валидности в том смысле, что эталонный тест, валидность которого определена, выступает в качестве независимого критерия. Следует, однако, заметить, что, в отличие от критериальной валидизации, при анализе В. к. не требуется высокой степени связи результатовдвух тестов. Если окажется, что новый и эталонный тесты практически идентичны по содержанию и результатам и разрабатываемая методика не обладает преимуществами краткости или легкости применения, это означает лишь дублирование теста, оправданное только с т. з. создания параллельной формы теста. Смысл процедуры В. к. состоит в установлении одновременно как сходства, так и различия психологических феноменов, измеряемых новым тестом по сравнению с известным. При анализе В. к. методики обычно формулируют ряд гипотез о том, как будет коррелировать разрабатываемый тест с широки^ кругом других тестов, направленных на конструкты, находящиеся в теоретически известной или предполагаемой связи с исследуемыми. При этом В. к. характеризуется не только связями проверяемого теста с близкородственными показателями, но и с теми, где, исходя из гипотезы, значимых связей наблюдаться не должно. Эти подходы определяются как конвергентная (проверка степени близости прямой или обратной связи) и дискриминантная (установление отсутствия связи) валидизации. Подтверждение совокупности теоретически ожидаемых связей составляет важный круг сведений В. к. В англоязычной психодиагно- стике такое операциональное определение В. к. обозначается как «предполагаемая валидность» (assumed validity). Прямое отношение к характеристике В. к. имеет факторный анализ, позволяющий строго статистически проанализировать структуру связей показателей исследуемого теста с другими известными и латентными факторами, выявить общие и специфические для группы сопоставляемых тестов факторы, степень их представ-ленности в результатах, т. е. определить факторный состав и факторные нагрузки результата теста. Исключительная важность такой процедуры является основанием для выделения ее в особый вид В. к. — факторную валидность. Важным аспектом В. к. является внутренняя согласованность, отражающая то, насколько определенные пункты (задания, вопросы), составляющие материал теста, подчинены основному направлению теста как целого, ориентированы на изучение одних и тех же конструктов. Анализ внутренней согласованности осуществляется путем коррелирования ответов на каждое задание с общим результатом теста. Следует отметить, что критерий внутренней согласованности указывает лишь на меру связи всего содержания теста с измеряемым конструктом, давая лишь косвенную информацию о природе измеряемого свойства. При определении В. к. важное место принадлежит изучению динамики измеряемого конструкта. При этом мы можем опираться на гипотезы о его возрастном развитии, влиянии тренировок, обучения, освоения профессии и т. д. Одним из таких подходов является применение критерия возрастной дифференциации (см. Валидность по возрастной дифференциации), что предусматривает согласование результатов теста с ожидаемыми изменениями, которые претерпевает изучаемое психическое свойство в возрастной дина- мике при переходе на новый этап развития. Этот метод В. к. особенно важен для валидизации тестов интеллекта, достижений в обучении. В комплекс сведений о В. к. методики входят также данные, относящиеся к сфере критериальной и содержательной ва-лидности. Так, критерии, используемые при валидизации, несут информацию, позволяющую раскрыть область поведения, качества, представленные в тесте в виде конструкта. Для характеристики В. к. необходимы связь с практическими формами деятельности, достоверность прогноза реального поведения. Однако В. к. является качественно более высоким и комплексным уровнем описания теста, характеризуя область измеряемого поведения в широких психологических понятиях. Благодаря данным В. к. мы можем с психологических позиций закономерно объяснить результаты теста и их дисперсию, обосновать диагноз, введя измеряемое свойство в систему психологических категорий, прогнозировать поведение в более широких пределах, чем это задается областью деятельности, для которой определялась содержательная валидность. В качестве примера, иллюстрирующего необходимость глубокого анализа теоретического конструкта, лежащего в основе конкретной методики, для правильного применения теста и интерпретации его результатов, можно привести сопоставление двух популярных опросников личностных «Проявления тревожности» шкалы (MAS) и варианта Айзенка личностных опросников EPI. Корреляционные исследования показывают, что шкала «тревожности» MASположительно коррелирует со шкалой «нейротизма» и отрицательно — со шкалой «экстраверсии* EPLС т. з. концепции Айзенка, эти данные можно рассматривать как свидетельство низкой валидности шкалы MAS: «тревожность» коррелирует не только с релевантным фактором «нейротизм», но и с иррелевантным фактором «интровер-сия». С этой т. з. MASоказывается просто нечувствительным к особой разновидности «нейротизма» — нейротизму (тревожности) экстравертов: из перечня пунктов MASисключены высказывания, в которых могла бы проявиться тревожность экстраверта. Однако с теоретических позиций К. Спенса и Дж. Тейлор, эта ситуация вполне закономерна, желательна и никак не является артефактом — следствием дефекта данного диагностического средства. Согласно К. Спенсу,-пытавшемуся переносить на человеческое поведение теорию научения Халла, MASизмеряет общий уровень драйва — неспециализированного побуждения, которое как раз достигает максимума при сочетании нейротизма (специфическая активация, по Айзенку) и интроверсии (неспецифическая активация) (Практикум по психодиагностике, 1984). Таким образом, названия тестов не всегда однозначно выражают понятия об измеряемом свойстве. В данном примере особенно подчеркивается роль психологической теории, лежащей в основе методики для раскрытия содержания показателей, получаемых с ее помощью. ВАЛИДНОСТЬ КРИТЕРИАЛЬ- НАЯ — комплекс характеристик, включающий валидность текущую и прогностическую методики и отражающий соответствие диагноза и прогноза определенному кругу критериев измеряемого явления. В качестве валидизации критерия выступают независимые от результатов теста и непосредственные меры исследуемого качества, такие как уровень достижений в какой-либо деятельности, степень развития способности, выраженность определенного свойства личности и т. д. Так, В. к. опросника личностного для измерения социальной интроверсии может быть определена на основании сопоставления результатов теста с экспертными оценками хорошо знающих обследуемого лиц, с результатами наблюдения за проявлением этой особенности в его поведении, с объективными сведениями о круге общения. При валидизации тестов достижений результат измерений сравнивается с мнением педагогов о знаниях обследуемого в определенной области, с академическими оценками, контрольными проверками и т. д. В случае валидизации профориентационных тестов и методик тестовые оценки сравниваются как с экспертными оценками коллег и руководителей, так и с объективными показателями достижений в профессиональной сфере. В. к. включает как комплекс связей с текущим состоянием изучаемого явления, так и вероятность и обоснованность прогноза о его состоянии в будущем. Здесь в рамках В. к. различаются валидности текущая (диагностическая, конкурентная) и прогностическая. В случае характеристики текущей В. к. изучение корреляции результатов теста с независимыми критериями проводится параллельно с измерением. Таким образом, показатели текущей В. к. указывают на степень репрезентации характеристик-изучаемого психического явления в результате теста. Предсказательная В. к. может отражать как соответствие прогноза, сделанного на основании данного теста, с реальным состоянием измеряемого качества спустя некоторое время, так и временной интервал, в котором результат теста является валидным. Валидизация по какому-либо критерию эффективно осуществляется методом контрастных групп. При этом, как правило, используют сложный критерий, в котором отражено комплексное влияние различных факторов. Напр., при характеристике В. к. теста интеллекта показате- ли умственно отсталых детей могут быть сопоставлены с показателями нормальных школьников того же возраста. Множество факторов, обусловивших помещение ребенка в специальное учреждение для детей с глубокой умственной отсталостью, составят критерий валидизации. Аналогично В. к. личностного опросника, предназначенного для выявления «уровня невротизации», определяется на основе сравнения его результатов у пациентов, страдающих неврозами, и практически здоровых людей. Такой критерий в силу его обобщенности и интегративности приближает В. к. к области валидности кон-структной. Более эффективным с т. з. практической направленности теста (т. е. его адекватности как средства диагноза и прогноза реальной деятельности) является соотнесение результатов с критериальными мерами определенных существенных элементов изучаемой деятельности или способности. Так, напр., тест для определения профессиональных способностей конторского служащего может включать анализ грамотности письма, счетных способностей, комбинаторного мышления, навыков делового общения и т. д. Валидность такого сложного по составу теста, включающего разные группы заданий, может определяться, как показано выше, критерием «успешности трудовой деятельности», однако более точным и правильным будет соотнесение с ее элементами, перечисленными выше, по отдельности. Информация о текущей или прогностической валидности по такому элементному критерию носит название синтетической валидности. Процесс валидизации в данном случае складывается из детального анализа тестируемой деятельности для выявления ее существенных составных элементов, определения удельного веса элементов в составе сложной деятельности; определения связи с критери- ями по каждому из выделенных элементов деятельности; определения валиднос-ти теста путем «синтеза весов* отдельных элементов в реальной деятельности и в тесте (см. Валидности коэффициенты). Валидизация теста может осуществляться на основе критерия, отражающего событие или состояние качества в прошлом (ретроспективная валидизация).. Сведения такого рода, как правило, являются дополнительными и применяются в случаях невозможности валидизировать тест по текущему или перспективному критерию. Одним из видов В. к. является валидность инкрементная. ВАЛИДНОСТЬ ОЧЕВИДНАЯ — пред ставление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого или другого лица, не располагающего специальными сведениями о характере использования и целях методики. В. о. не является компонентом объективно устанавливаемой валидности. Вместе с тем высокая В. о. в большинстве случаев является весьма желательной. Она выступает в качестве фактора, побуждающего испытуемых к обследованию, способствует более серьезному и ответственному отношению к работе по выполнению заданий теста и к заключениям, формулируемым психологом. Достаточный уровень В. о. особенно значим для методик обследования взрослых. Если содержание тестовых заданий будет представляться несерьезным, чрезмерно легким, не соответствующим сути изучаемой деятельности, это может привести к ироническому, негативному или враждебному отношению испытуемых к ситуации обследования. Напротив, гипертрофированное отношение к возможностям методики, не вполне адекватное представление о ее направленности и прогностической значимости может вы- звать избыточную мотивацию, нежелательную эмоциональную напряженность при обследовании, выраженное установочное поведение. Очевидно, что в приведенных случаях за счет неадекватной В. о. реальная валидность теста снизится. Представления испытуемых и пользователей психодиагностической информацией о В. о. в немалой степени определяются названием методики, поскольку эта часть сведений о тесте наиболее доступна неспециалистам. Для предупреждения неадекватных мнений о методике следует избегать помещения на бланках, опросных листах, тестовых тетрадях туманных, необоснованно общих названий, которые могут быть неправильно истолкованы (напр.: «Тест личности», «Тест умственных способностей», «Комплексная батарея оценки достижений» и т. д.). Адекватность В. о. повышается путем введения в инструкцию краткой характеристики целей исследования. В. о. существенно улучшает применение понятных формулировок и терминов, а также заданий, по содержанию являющихся наиболее естественными с учетом возрастной, половой, профессиональной специфики испытуемых. Неадекватно завышенная В. о. способствует более выраженному проявлению эффекта контаминации критерия. В. о. иногда носит название внешней (face validity), или «доверительной» (faith validity), валидности. ВАЛИДНОСТЬ ПО ВОЗРАСТНОЙ ДИФФЕРЕНЦИАЦИИ — один из компонентов валидности конструктной, связанный с возрастной динамикой изменений исследуемого качества. Характеристика валидности по конструкту здесь заключается в определении соответствия результатов теста теоретически ожидаемым и практически наблюдаемым возрас- тным изменениям данного конструкта или свойства. Наибольшее значение В. в. д. имеет для характеристики валидности тестов, направленных на измерение психологических свойств, функций, отличающихся относительно быстрым изменением под воздействием индивидуального опыта, выраженной иерархичностью ступеней развития (осведомленность, навыки, интеллектуальные операции и др.). По этой причине В. в. д. является главным оценочным критерием при валидизации тестов интеллекта, особенно предназначенных для детей. Здесь закономерное повышение результатов выполнения заданий теста в каждой последующей возрастной группе является основным психометрическим принципом диагностики уровня развития, базой для построения психометрической шкалы. Прослеживается связь В. в. д. с валидностью текущей за счет более точной дифференциации возрастных этапов развития исследуемых свойств. Большое значение В. в. д. имеет и для характеристики валидности тестов способностей, достижений, уровня образования, навыков, умений. Высокие показатели по этому критерию необходимы также для методик, применяемых в клинике в целях повышения точности дифференцированной диагностики изменений возрастного и патологического характера, психодиагностического обследования лиц пожилого и преклонного возраста. В ряде случаев В. в. д. обнаруживает связь с валидностью прогностической методик. Наличие высоких показателей по этому критерию означает стабильное изменение исследуемых свойств в большой статистической выборке при переходе от одной возрастной группы к другой, повышает точность индивидуального прогноза. Критерий В. в. д. обычно не находит широкого применения при валидизации методик, предназначенных для психологической диагностики функций, свойств, не обнаруживающих четкой и однозначной тенденции к возрастным изменениям. К их числу, в частности, относятся методики диагностики личности. Одной из конкретных форм выражения показателей В. в. д. является статистический анализ достоверности различий между результатами теста у испытуемых различного возраста. Более точным, однако и более трудоемким и продолжительным методом определения В. в. д. является лонгитюдное исследование. |