Валидность тестов. Словарьсправочник по психодиагностике издание 2е, переработанное и дополненное Серия Мастера психологии

• Название: Словарьсправочник по психодиагностике издание 2е, переработанное и дополненное Серия Мастера психологии
• Дата: 10.08.2022
• Размер: 5.87 Mb.
• Имя файла: Валидность тестов.doc
• Тип: Справочник; #643669
• страница: 65 из 71

Содержательная валидность.

Г.8. Если деятельность по выполнению теста интерпретируется как репрезента­тивная выборка из видов деятельности в общем множестве ситуаций, в руковод­стве необходимо дать четкое определение учитываемого общего множества и опи­сать критерии отбора выборки из него. (Существенно.)

Комментарий. В определение не должны включаться предположения о де­терминирующих деятельность психичес­ких процессах, т. к. это объект не содер­жательной, а конструктной валидности.

Г.8.1. Если вопрос о соответствии вы­борки заданий их общему множеству или о точности выставления оценок решали эксперты, в руководстве должен быть опи­сан соответствующий профессиональный опыт и квалификация экспертов, а также инструкции, на основании которых прово­дилась экспертная оценка. (Очень жела­тельно.)

Г.8.1.1. Если задания отобраны экспер­тами, то должна быть обобщена степень согласованности между их суждениями. (Желательно.)

Г.8.1.2. Содержание теста должно быть проверено относительно возможно­сти смещения. (Желательно.)

Комментарий. Смещение может иметь место, если задания не представля­ют сравнимых видов деятельности и по­этому не являются выборкой из области деятельности, общей для различных под­групп. Такое смещение следует выявлять с помощью достаточно полных суждений экспертов. Изучение установок или интер­претаций заданий в различных подгруппах также дает полезную информацию. Суж­дения о смещении могут быть сами смеще­ны — следует придерживаться принципа,

что по возможности суждения должны подтверждаться статистическими дан­ными.

Г.8.2. В руководствах к тестам дости­жений учебных результатов должна быть сообщена система классификации, ис­пользованная для отбора заданий. (Жела­тельно.)*

Г.8.2.1. Если тест достижений был разработан в соответствии с двумерной схемой «темы—процессы», в руководстве должна быть представлена эта схема с пе­речислением заданий, относимых к каж­дой клетке схемы. (Очень желательно.)

Г.8.3. Для любого утверждения о свя­зи заданий с изучаемым предметом (или другими источниками содержания) в руко­водстве должна быть указана дата, когда изучаемый предмет был разработан. (Су­щественно.)

Г.8.4. Если тест описан как валидный по содержанию труда или видов трудовой деятельности, в свидетельствах о валидно­сти должно быть полное описание трудо­вых обязанностей, относительная частота, важность, а также уровень умений, тре­бующихся при их выполнении. (Суще­ственно.)

Конструктная валидность.

Г.9. Если автор интерпретирует тест как меру диагносцируемого конструкта (способности, черты установки), то долж­на быть полностью изложена предпола­гаемая интерпретация. Этот конструкт должен быть полностью ограничен^ ин­терпретаций, вытекающих из других тео­рий. (Существенно.)

Комментарий. Например, если тест предназначен для измерения конст­рукта «тревожность», автор теста должен отразить отличия самого определения дан­ного конструкта от некоторого другого возможного значения термина, которое подразумевается, и должен соотнести свою концепцию с мерами тревожности, рассмотренными в литературе.

Описание конструкта может быть простым, например определение «креатив­ности» как «совершения многих ориги­нальных действий». Все подобные харак­теристики или гипотезы являются частью авторской концепции.

Г.9.1. В руководстве должна быть от­ражена степень случайности предложен­ной интерпретации и обобщены исследо­вания гипотез, вытекающих изданной те­ории. (Существенно.)

Г.9.1.1. Каждое исследование, содер­жащее теоретические выводы о тесте, дол­жно быть отражено так, чтобы были рас­крыты и операциональные процедуры ис­следования, и соотнесение результатов с теорией. (Очень желательно.)

Г.9.1.2. В руководстве должны быть сообщены корреляции между тестом и другими тестами, для которых интерпре­тация относительно ясна. (Очень жела­тельно.)

Г.9.2. В руководстве необходимо приве­сти доказательства степени, с которой дру­гие конструкты, отличающиеся от пред­полагаемого автором, объясняют диспер­сию баллов теста. (Очень желательно.)

Комментарий. Хотя неразумно требовать от автора теста предвосхище­ния или включения в руководство каждой противоположной интерпретации, он все же должен представить достаточные дан­ные о противоположных гипотезах, наибо­лее вероятно объясняющих дисперсию те­стовых баллов.

Г.9.2.1. В руководстве к любому специ­ализированному тесту или вопроснику, используемому в образовательном отборе, профориентации, необходимо приводить корреляцию его баллов с общепринятыми мерами вербальной и вычислительной спо­собности в соответствующей популяции. (Очень желательно.)

Г.9.2.2. В руководстве должна быть представлена информация о факторных исследованиях (если тест подвергался

им), показывающих процент тестовой дис­персии, выявляемой хорошо известными факторами. (Желательно.)

Г.9.2.3. Для опросников, являющихся мерами личности, интересов или устано­вок, должны быть представлены дока­зательства степени, с которой оценки чувствительны к попыткам испытуемых представить социально желаемую (кон­формную) картину своей личности или с которой баллы могут отражать'другие ис­кажающие особенности ответов. Такие виды ответов должны изучаться в первую очередь для определенных выборок, а не для более общей генеральной выборки. Могут быть представлены корреляцион­ные или экспериментальные исследова-ния.„ (Очень желательно.)

Г.9.2.4. Если тест, проводимый с огра­ничением во времени, интерпретируется в качестве измеряющего гипотетическое психологическое свойство, не связанное специально с быстротой выполнения тес­та, то должны быть представлены свиде­тельства о влиянии скорости на тестовые баллы и об их корреляции с другими пере­менными. (Существенно.)

Комментарий. Наиболее полным доказательством влияния скорости выпол­нения может быть сравнение баллов по двум формам с обычным ограничением при неограниченном времени. Корреляция баллов этих вариантов имеет ограничен­ный смысл, т. к. эти два балла не являют­ся независимыми. Менее исчерпывающим доказательством является процент испы­туемых, ответивших на последнее задание или некоторое задание, близкое к концу теста, за время, отведенное на выполне­ние теста. Если этот процент ниже 90, не­обходимо более глубокое исследование, чтобы показать, что индивидуальные раз­личия по тесту существенно не отражают скорости.

Г.9.2.5. Если различия в стратегии вы­полнения теста влияют на интерпретацию

баллов, связанных с определенными ха­рактеристиками подгрупп, об этом долж­на быть дана ясная информация или ясно указано на отсутствие ее. (Очень жела­тельно.)

Г.9.2.6. Если свидетельство против противоположной интерпретации основа­но на низкой корреляции при малом раз­личии между группами, в руководстве не-. обходимо сообщить доверительность по­правки или обсудить ошибки измерения, которые могли снизить соответствующую зависимость. (Желательно.)

Д. Сведения о процедуре примене­ния теста.

Интерпретация тестов и средств изме­рения, так же как и результатов экспери­мента, наиболее надежна, когда измере­ния ведутся в стандартизированных и кон­тролируемых условиях. Конечно, в тести­ровании существуют ситуации, когда важ­но систематически менять обстоятельства для максимального понимания деятельно­сти индивида. Например, исследователь может систематически менять процедуры в последовательных повторениях теста, чтобы выяснить пределы умения ребенка в определенной содержательной области. Тем не менее составитель теста должен сам предусмотреть стандартные процеду­ры, в которых возможна подобная модифи­кация. Вне стандартизации качество ин­терпретации может ухудшиться в степени, с которой различия в процедуре влияют на результаты тестирования.

Для большинства целей наибольший упор делается на строгую стандартизацию процедур проведения тестов и инструкций к нему, Если тест предназначен для раз­нообразных популяций, эти процедуры должны быть полностью доступны для всех испытуемых из каждой популяции.

Д.1. В руководстве к тесту должна быть указана квалификация и специализа-

ция, необходимая для проведения теста и его интерпретации. (Существенно.)

Комментарий. Однако из руко­водств в определении квалификации, не­обходимой для индивидуального тестиро­вания детей данным тестом, различают психологов, которые работают с детьми, и тех, кто работает только со взрослыми. Другое руководство указывает на специ­фичность тестирования учащихся, родной язык которых отличается от языка теста.

Квалификация пользователя может быть описана путем указания на профиль специального обучения, которое в общем считается необходимым для достижения компетентности. В некоторых руковод­ствах к тестам могут выделяться наиболее частые источники ошибок применения те­ста и указываться виды обучения пользо­вателей, дающие возможность устранить эти ошибки.

Д. 1.1. Если тест рекомендован для не­скольких целей и типов заключений, в ру­ководстве следует указать степень обучен-ности пользователей, необходимую для каждого применения. (Существенно.)

Д. 1.2. Если авторы предполагают, что тест может использоваться неспециалис­тами, то руководство должно быть напи­сано в форме, доступной их пониманию. (Существенно.)

Комментарий. С тестом могут иметь дело не только лица, специально обученные этому. Испытуемые, члены пе­дагогических и общественных комиссий, родители имеют также основание для суж­дений по тесту. Это их право не вступит в противоречие с необходимостью сохра­нять тайну, если им доступны описатель­ные и объясняющие материалы.

Д.1.3. Руководство не должно допус­тить, чтобы тест понимался как «самоин­терпретирующийся». В нем должно быть указано, какую информацию о результа­тах тестирования возможно представить

лицам, не имеющим необходимой для ин­терпретации подготовки. (Существен­но.)

Комментарий. Обычно жела­тельно получать интерпретацию оценок подготовленным лицам. Конечно, суще­ствуют тесты, результаты которых могут быть оценены испытуемыми; часто полез­но сообщать тестовые баллы учащимся и родителям. Если это практикуется, смысл данного требования в том, что должны да­ваться необходимые сведения по интер­претации этих баллов.

В руководстве должно быть указано, что может выполняться необученным ли­цом и что не может выполняться. Напри­мер, в одном руководстве к широко извест­ному тесту интересов указывается, что ис­пытуемые могут усвоить способы оценива­ния результатов собственных ответов, но подчеркивается, что они нуждаются в по­мощи квалифицированного учителя или консультанта при интерпретации резуль­татов и построении планов на будущее.

Д.2. В руководстве к тесту следует ука­зать степень необходимого для теста со­хранения тайны его содержания в ходе предварительной тренировки. (Очень же­лательно.)

Комментарий. Тест числового ряда предполагает тренировочную практи­ку, для того чтобы испытуемые лучше по­няли инструкцию. Данная тренировочная практика не дублирует заданий теста и, следовательно, сохраняет содержание са­мого теста втайне.

Д.2.1. В руководстве должны быть опи­саны примеры неприемлемой практики. (Очень желательно.)

Д.З. В руководстве к тесту необходи­мо отразить основные этапы процедуры его проведения. (Существенно.)

Комментарий. Обычно последо­вательность проведения теста такова: 1) объяснить испытуемым цель проведе­ния теста;

2) гарантировать сохранение тайны инди­видуальных ответов;

3) в соответствии с требованиями руко­водства прочитать инструкцию и про­вести тренировку;

4) попросить испытуемого или самому за­полнить (если требуется) паспортные и биографические данные в регистра­ционных бланках;

5) ответить на имеющиеся вопросы;

6) обработать результаты теста в соответ­ствии с требованиями руководства. Д.4. Инструкции по проведению долж­ны быть отражены в руководстве к тесту максимально подробно, с подчеркивани­ем, что пользователь теста может и дол­жен воспроизвести те условия тестирова­ния, при которых разработаны нормы и по­лучены данные о надежности и валиднос-ти. (Существенно.)

Комментарий. Так как лица, про­водящие тесты в школах и на производ­стве, иногда могут не поступать строго по инструкциям и не понимать необходи­мости их соблюдения, важно, чтобы руко­водство в этом отношении было очень убе­дительным. Для обеспечения стандартно­сти процедуры.некоторые тесты проводят­ся полностью механизированным спосо­бом.

Д.4.1. Инструкции, опубликованные в руководстве к тесту, должны быть доста­точно полными, чтобы тестируемые пони­мали необходимость действовать так, как подразумевал автор теста. (Существен­но.)

Комментарий. Например, при за­полнении опросника личности субъект иногда может давать первый встретив­шийся ему ответ. Следовательно, подоб­ная возможность должна быть указана в инструкции, которую субъект читает или которая ему зачитывается. Инструкция для вопросников интересов должна опре­делить, следует ли испытуемому отмечать то, что ему нравится в идеале, или также

следует предусмотреть возможность того, что ему необходимо иметь благоприятные условия и способности этого достигнуть. Подобным образом в инструкции необхо­димо определить, следует ли испытуемо­му отмечать то, что ему нравится, но встречается иногда,или только то, что ему нравится и встречается постоянно.

Д.4.1.1. Инструкция должна четко под­черкнуть такие критические моменты, как указания об угадывании, лимиты времени и способ ответов. (Существенно.)

Д.4.1.2. Инструкция для тестирующе­го должна содержать указания по поводу вопросов со стороны испытуемых. (Очень желательно.)

Д.4.2. Если предусматривается воз­можность изменения и совершенствова­ния инструкций, описанных в руководстве к тесту, то должны быть ясно указаны ус­ловия, при которых позволительно это де­лать; эти условия приводятся или в фор­ме общих правил, или на основе значи­тельного числа примеров, или тем и дру­гим способом. (Существенно.)

Д.5. Инструктаж должен подготовить испытуемого к обследованию: необходимо предусмотреть подборки необходимых ви­дов стимульного материала, листы отве­тов, карандаши, ручки и т. п. (Желатель­но.)

Д.6. Процедуры выставления баллов по тестовым заданиям должны быть изло­жены в руководстве с максимальной дета­лизацией и ясностью, чтобы уменьшить вероятность ошибки при оценивании. (Существенно.)

Д.6.1. В руководстве к тесту должны быть представлены инструкции по оцени­ванию результатов выполнения задания и указаны процедуры предотвращения оши­бок подсчета и вычисления. (Очень жела­тельно.)

Д.6.2. Если оценивание результатов теста содержит субъективные процедуры, в руководстве должны быть представлены

данные степени согласованности незави­симых оценщиков в операциональных ус­ловиях. Если таких свидетельств не име­ется, в руководстве должно быть обраще­но внимание на вариации оценивания как возможный значимый источник ошибок измерения. (Очень желательно.)

Д.6.3. Если в тесте используется более чем один метод выражения ответов испы­туемыми, руководство к тесту должно со­общить данные о степени, с которой ре­зультаты, полученные при использовании различных методов, взаимозаменяемы. (Существенно.)

Комментарий. Разное количе­ство времени, необходимого для ответа на задания в формах, приспособленных к раз­ным методам выставления баллов, мбжет влиять на надежность или валидность те­ста, на применимость тестовых норм.

Д.6.4. Если использована необычная или сложная система выставления балов, в руководстве к тесту необходимо указать приблизительное количество времени, необходимое для выставления баллов по заданиям теста. (Желательно.)

Д.6.5. «Формулы поправки на угадыва­ние» должны использоваться при задани­ях с множественным выбором или при от­ветах вида «истинно—ложно» теста на скорость выполнения заданий. (Жела­тельно.)

Е. Сведения о процедуре обработ­ки и интерпретации тестовых резуль­татов.

По традиции интерпретация тестовых

баллов является нормированно-референ-тной, т. е. индивидуальная оценка интер­претируется в сравнении с оценками дру­гих индивидов. Однако возможны и другие интерпретации. Содержательно-референ­тная интерпретация имеет место, если балл интерпретируется непосредственно, соответственно деятельности на каждой точке измеренного континуума достиже-

ний. Критериально-референтная интер­претация отражает непосредственно ин­терпретацию баллов в соответствии с де­ятельностью в любой данной точке кон­тинуума внешней переменной. Перемен­ной внешнего критерия могут быть сред­ние оценки или уровни трудовой деятель­ности. Стандартные требования парагра­фа в принципе относятся больше к норми-рованно-референтным интерпретациям тестов и в меньшей степени к содержа­тельно-референтным.

ЕЛ. Нормы должны публиковаться в руководстве к тесту одновременно с пуб­ликацией теста (для операционального использования). (Существенно.)

Н. 1.1. Нормы должны быть определе­ны также к тесту, разработанному только для локального применения или только для целей предсказания. (Желательно.)

Комментарий. Иногда забывают, что таблицы норм дают информацию, по­лезную не только для сравнения индивида с групповыми данными. Например, поль­зователь теста из таблицы норм может из­влечь информацию относительно уровня баллов, на котором различительная сила измерения хороша или плоха.

ЕЛ.2. Даже если предполагается, что тест в первую очередь будет использовать­ся с локальными нормами, в руководстве к тесту следует предусмотреть нормиро­вочные данные, чтобы помочь интерпре­татору, не имеющему локальных норм. (Очень желательно.)

Е.2. Нормы, представленные в руко­водстве к тесту, должны относиться к определенным и ясно описанным популя­циям. Этими популяциями должны быть группы, с которыми пользователи теста обычно желают сравнивать тестируемых лиц. (Существенно.)

Комментарий. Почти во всех случаях, когда тесты разработаны не толь­ко для локальных целей, пользователь хо­чет знать, насколько они применимы для

различных групп. Для тестов, разработан­ных с целью широкого использования в школах или в промышленности, необходи­ма информация о различиях и сходствах нормативных данных для таких групп, как группы по полу, национальности, образо­ванию или возрасту. В руководстве долж­ны быть описаны случаи, когда нормы для одних групп также подходят и для других групп.

Например, руководство к вяпроснику профессиональных интересов или к тес­там способностей, важных для некоторых профессий, должно подчеркивать, что лицо, получающее высокую оценку инте­ресов или способностей к учебному пред­мету или профессии при сравнении со «средним» человеком, получает более низ­кую оценку интересов при сравнении с ли­цами, фактически занимающимися в этой области. Так, высокий процентильный балл по шкале музыкальных интересов, в которой испытуемый сравнивается со «средним» человеком, может быть эквива­лентен низкому процентильному баллу при сравнении испытуемого с профессио­нальным музыкантом.