|
|
Тема 29. Проблема возрастной периодизации психического
Тема 36. Психометрические основы психодиагностики
|
Требования к измерительным психодиагностическим процедурам.
А) должны быть однозначно сформулированы цель, предмет и область применения методики, а также цели использования результатов (производство, семья, образование, самопознание и т.д.) и контингент испытуемых.
Б) процедура проведения должна быть задана в виде однозначного алгоритма.
В) процедура обработки должна включать статистически обоснованные методы подсчета и стандартизации баллов с указанием уровня достоверности.
Г) тестовые шкалы должны быть проверены на репрезентативность, надежность и валидность.
Д) самоотчеты должны включать шкалы лжи.
Надежность – характеристика методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних и случайных факторов. Проще говоря, надежность – это устойчивость результатов теста при повторном измерении у тех же испытуемых.
Поможем написать работу на аналогичную тему
Распределение оценок испытуемых при выполнении теста в идеальном случае совпадает с нормальным распределением, и дисперсия при этом будет истинной, т.е. отражающей изменение только измеряемого признака, а не случайных факторов. Каждый испытуемый занимает определенное место на кривой распределения по оценкам теста, и теоретически это место для каждого члена выборки постоянно. Тогда методика точна и надежна. Но реально повторные результаты не всегда совпадают. Разница в данных называется ошибкой измерения. Чем величина ошибки измерения меньше, тем надежность выше.
Степень надежности методик зависит от многих причин:
1) нестабильность диагностируемого свойства;
2) несовершенство методики (небрежно составлена инструкция, разнородны задания и т.д.);
3) изменение ситуации обследования;
4) различия в манере поведения экспериментатора в разных опытах;
5) разное состояние испытуемого в одном и другом случае;
6) субъективность в оценивании ответов и результатов;
7) выборка испытуемых. Она может искусственно завышать надежность в двух случаях: а) если результаты каждого близки друг другу; б) если испытуемые по результатам тестирования делятся на две группы – с высокими и низкими показателями. Тогда эти результаты не совпадают и не перекрываются.
Стандартизированные (измерительные) методы и экспертные (клинические) методы. К стандартизированным (формализованным) методам относятся тесты, опросники и психофизиологические процедуры обследования. Под стандартизированностью методик имеется в виду то, что они всегда и везде должны применяться одинаковым образом, начиная от ситуации и инструкции, получаемой испытуемым, кончая способами вычисления и интерпретации получаемых показателей. Стандартизированные методы (формализованные) методы - методы, которые отличает: а) регламентация процедуры обследования (единообразие инструкций и способов их предъявления, бланков, предметов или аппаратуры, используемых при обследовании, условий проведения испытания), способов обработки и интерпретации результатов; б) стандартизация (наличие строго определенных критериев оценки: норм, нормативов); в) надежность и валидность методик. Валидность - одно из основных психометрических свойств методики, обозначающее ее обоснованность и указывающее на степень соответствия получаемой информации диагностируемому психическому свойству. Положительными сторонами формализованных методов являются:
- учет объективных показателей и возможность их перепроверки;
- меньшее влияние уровня психологической компетентности психолога на диаг ностический процесс;
- оперативность и экономичность;
- количественный дифференцированный характер оценки, возможность различать категории обследуемых;
- возможность компьютеризации процедуры обследования и обработки результатов;
- возможность проведения группового обследования.
В качестве недостатков отмечается:
- жесткая регламентация процесса получения психодиагностической информации;
- расчленение личности обследуемого на отдельные изолированные показатели;
- отсутствие доверительной обстановки (при тестировании);
- опора в основном на количественные показатели;
К клиническим методам относятся: расспрос (беседа) больного, анализ анамнестических, субъективных (полученных у больного) и объективных (со слов близких родственников, товарищей по работе) сведений, клиническое обследование соматического состояния больного и наблюдения за его поведением.
В клинической психологии используется множество методов, позволяющих объективизировать, дифференцировать и квалифицировать различные варианты нормы и патологии.
-Наблюдение
-Беседа
-Психофизиологические методы (например, ЭЭГ)
-Биографический метод
-Изучение продуктов творчества
-Анамнестический метод (сбор сведений о лечении, течении и причинах расстройства)
-Экспериментально-психологический метод (стандартизированные и нестандартизированные методики).
Тестовые нормы и проверка их репрезентативности. Тестовые нормы– количественные и (или) качественные критерии оценки результатов теста, позволяющие определить уровень достижений или степень выраженности психологических свойств, которые являются объектами процедуры измерения.
В качестве таких критериев могут выступать статистические показатели выборки стандартизации, различные признаки-симптомы, свидетельствующие об определенном уровне выраженности диагностируемых качеств.
Виды тестовых норм:
1. Абсолютные – количественные критерии.
2. Критериальные – содержательные (качественные) критерии.
Репрезентативность– свойство выборочной совокупности представлять характеристики генеральной совокупности (количественно и качественно отражать ее).
Репрезентативность означает, что распределение признака в выборочной совокупности соответствует его реальному распределению – генеральной совокупности.
Операции по анализу распределения тестовых баллов, построению тестовых норм и проверке их репрезентативности.
1. Сформировать выборку стандартизации (случайную или стратифицированную по какому-либо параметру) из той популяции, на которой предполагается применять тест.
Провести на каждом испытуемом из выборки тест в сжатые сроки (чтобы устранить иррелевантный разброс, вызываемый внешними событиями).
2. Произвести группировку «сырых» баллов с учетом выбранного интервала квантования (интервала равнозначности).
Интервал определяется величиной: размах, деленный на количество интервалов равнозначности (градаций шкалы).
3. Построить распределение частот тестовых баллов (для заданных интервалов) в виде таблицы и в виде соответствующих графиков гистограммы и кумуляты.
4. Произвести расчет среднего и стандартного отклонений, а также асимметрии и эксцесса с помощью компьютера. Проверить гипотезы значимости асимметрии и эксцесса. Сравнить результаты проверки с визуальным анализом кривых распределения.
5. Произвести проверку нормальности одного из распределений с помощью критерия Колмогорова (при n<200 с помощью более мощных критериев) или произвести процентильную нормализацию с переводом в стандартную шкалу, а также линейную стандартизацию и сравнить их результаты (с точностью до целых значений).
6. Если совпадения не будет – нормальность отвергается, тогда произвести проверку устойчивости распределения расщеплением выборки на 2 случайные половины. При совпадении нормализованных баллов для половины и для целой выборки, можно считать нормализованную шкалу устойчивой.
7. Проверить однородность распределения по отношению к варьированию заданного популяционного признака (пол, профессия и т.п.) с помощью критерия Колмогорова. Построить в совмещенных координатах графики гистограммы и кумуляты для полной и частной выборок. При значимых различиях разбить выборки на разнородные подвыборки.
8. Построить таблицы процентильных и нормализованных тестовых норм (для каждого интервала равнозначности «сырого балла»). При наличии разнородных подвыборок для каждой подвыборки должна быть своя таблица.
9. Определить критические точки (верхнюю и нижнюю) для доверительных интервалов (на уровне значимости < 0,01) с учетом стандартной ошибки в определении среднего значения.
10. Обсудить конфигурацию полученных распределений с учетом предполагаемого механизма решения того или иного теста.
11. В случае негативных результатов – отсутствия устойчивых норм для шкалы с заданным числом градаций (с заданной точностью прогноза критериальной деятельности) – осуществить обследование более широкой выборки или отказаться от плана использования данного теста.
Виды диагностических норм. Диагностические нормы - это статистические или нормативно заданные (как правило, в количественной форме) границы между диагностическими категориями сформулированные в виде диагностических признаков или точечно-интервальных значений на шкале измеряемых психических свойств. В случае тестовых методик речь идет о тестовых нормах. В обыденной практике часто можно встретить более узкое понимание термина ДН - это диапазон значений наблюдаемых или измеряемых диагностических признаков, присущих наиболее многочисленной группе хорошо социально и эмоционально адаптированных (приспособленных), или "нормальных" людей. В последнем случае выраженные отличия от нормы приобретают не всегда оправданный отрицательный оценочный смысл, будто все они свидетельствуют о психической "анормальности" (или "ненормальности") человека. Более корректно в общем случае описывать отклонение от типичной диагностической категории ("нормы") Диагностическая категория- это широкий класс объектов диагностики (в психодиагностике - класс людей), которые обладают сходными характеристиками, и на этом основании могут быть отнесены к одному классу. В медицине это совокупность симптомов, характерных для заболевания. В психологии - это совокупность типичных реакций, которая определяет тип личности, или умение решать тип задач, характерных для определенного уровня умственного развития или типа интеллекта. Диагностические признаки - это определенные внешне выраженные признаки объекта диагностики, которые оказываются информативными для отнесения обследуемого объекта к определенной диагностической категории. Особое значение для психодиагностики имеет понятие - норма. В психодиагностике следует различать как минимум два различных вида норм: статистические и социокультурные. Первый вид чаще применяется для оценки стилевых и мотивационных черт. Второй вид - для оценки способностей и достижений. Статистическая норма - это средний диапазон на шкале измеряемого свойства. Нормой здесь считается близость значения свойства к тому уровню, который характеризует статистически среднего индивида. Социокультурный норматив - это уровень свойства, который явно или неявно считается в обществе необходимым. Наличие тестовых норм для конкретного теста является обязательным. Тестовая норма- это репрезентативные средние показатели по данному тесту, то есть показатели, которые представляют большую совокупность людей, с которыми можно сравнить показатели конкретного индивида, оценивая уровень его психологического развития. Норма теста определяется в результате тестирования большой выборки испытуемых определенного возраста и пола и последующего усреднения полученных оценок и их дифференциации по возрасту, полу и ряду других релевантных показателей.
Область применения теста. Область применения теста – характеристика методики (теста), указывающая на особенности контингента испытуемых, для которых предназначен тест. Для этой группы устанавливаются нормы, оптимальная трудность заданий теста, определяются характеристики валидности, надежности и т. д.
Величина О. п. т. определяется специфичностью выборки стандартизации по возрастным, половым, социокультурным, профессиональным и другим критериям. В случае, если нормы теста носят широкий, универсальный характер, соответственно широка и О. п. т. На практике обычно нормы теста составляются для дифференцированных контингентов (чаще всего разного пола и возраста). О. п. т. зависит от диагностической направленности метода и свойств исследуемой деятельности, особенностей личности. Для тестов достижений, методик профотбора, клинических тестов 0. п. т. сравнительно узка. Для методик, направленных на исследование психофизиологических показателей, тестов интеллекта, опросников личностных О. п. т. существенно шире. О. п. т. имеет непосредственное отношение к определению валидности методики. В комплексе со сведениями о конструктном содержании исследуемых явлений, выбранной областью валидности О. п. т. определяет содержание, характер, трудность заданий теста. О. п. т. тесно связана с валидностью текущей и валидностью прогностической. Ее обычно намечают до начала разработки теста. Впоследствии О. п. т. подтверждают и уточняют вместе с оценкой валидности методики. Сведения об О. п. т. являются очень важными для правильного практического использования методики и обязательно должны быть включены в методические материалы по тесту.
Статистическое обоснование тестовых норм. Основные стат. характеристики можно разделить на 2 основные группы: меры среднего уровня. Меры среднего уровня дают усредненную характеристику совокупности объектов по определенному признаку (например, средний возраст – характеристика некоторой группы людей). меры рассеяния (разброса). Все меры рассеяния показывают, насколько сильно варьируют значения признака (а точнее – их отклонения от среднего) в данной совокупности. Чем меньше значение меры разброса, тем ближе значения признака у всех объектов к своему среднему значению, а значит, и друг к другу. Если величина меры разброса равна нулю, значения признака у всех объектов одинаковы.
Каждая из трех характеристик – средняя, медиана, мода – описывает «центр» распределения вероятностей. Понятие «центр» можно определять разными способами – отсюда 3 разные характеристики. К мерам среднего уровня относятся:
Среднее арифметическое значение - средняя величина, полученная путем сложения всех членов числового ряда и деления суммы на число членов.
Мода (обозначается Mo) – наиболее часто встречающееся значение признака в данной совокупности объектов. Так, в примере значения возраста в совокупности (группе) из 5 человек равны 30, 35, 30, 40 и 30 лет. Таким образом, значение 30 лет встречается 3 раза, 35 лет и 40 лет – по 1 разу. Модой будет то значение, которое встретилось чаще других, т.е. 30 лет.
Медиана (обозначается Median или Mе) - это "серединное" значение признака в том смысле, что у половины объектов значения этого признака меньше медианы, а у другой половины объектов – больше медианы. Некоторые множества данных не имеют меры центральной тенденции. Такая ситуация близка к бимодальной гистограмме или U-образной; Центральная тенденция групп, содержащая крайние значения наилучшим образом представляется в том случае, если гистограмма унимодальна; Если гистограмма симметрична и унимодальна, то средняя мода и медиана совпадают.
Норма как критическая точка на шкале тестовых баллов. Тестовые нормы – это такие критические точки на шкале тестовых баллов, которые отделяют области значений с заданным психодиагностическим выводом. В психодиагностике следует различать как минимум два различных вида норм: статистические и социокультурные . Первый вид чаще применяется для оценки стилевых и мотивационных черт. Второй вид - для оценки способностей и достижений (знаний и умений). Статистическая норма (основываются на выборке стандартизации) - это средний диапазон значений на шкале измеряемого свойства. Норма здесь - близость значения свойства к тому уровню, который характеризует статистически среднего индивида.
Примеры стандартных шкал в психодиагностике: Z-шкала, IQ-шкала, Т-шкала, шкала стенов. Преобразования Z-оценок Преобразования Z-оценок имеют целью перевод их в значения, которые легче записывать и объяснять. При этом, используемое преобразование должно быть линейным, чтобы сохранить форму распределения Z-оценок. Общая формула такого преобразования имеет вид Z1=M + σ·Z, где Z1 – преобразованная оценка, М – новое среднее значение (среднее значение оценок после преобразования), - новое стандартное отклонение. Различные преобразования отличаются значениями М и . Приведем несколько наиболее известных преобразований Z-оценок. T-шкала (McCall, 1939, для сообщения о результатах выполнения детьми теста ментальных способностей). Выбирается среднее значение М = 50 и стандартное отклонение σ = 10. Получим: Z1=50 + 10·Z Шкала СЕЕВ (ETS, для сообщения абитуриентам о результатах приемных экзаменов в колледжи). Выбирается среднее значение М = 500 и стандартное отклонение σ = 100. Получим: Z1=500 + 100·Z Шкала IQ (Weshler, 1939, для интерпретации оценок по шкале интеллекта для взрослых). Выбирается среднее значение М = 100 и стандартное отклонение σ = 15. Получим: Z1=100 + 15·Z Шкалы станайнов и стенов Иногда при сообщении результатов используют шкалы, состоящие из отдельных целых чисел, например, от 1 до 9 или от 1 до 10. Это удобно для сообщения тестовых результатов, т. к. такие шкалы обладают очевидной простотой. Разбиение нормального распределения на 9 интервалов приводит к шкале станайнов, имеющей 9 стандартных единиц. В этой шкале среднее значение равно 5, а стандартное отклонение – примерно 2. При оценке результатов испытуемых по любому тесту с любым числом заданий 4% самых худших результатов присваивается станайн 1, а самых лучших — станайн 9. Следующим за худшими и лучшими 7% результатов присваивают станайны 2 и 8 соответственно. Следующим за ними 12% результатов — станайны 3 и 7. Следующим 17% присваивают станайны 4 и 6 и, наконец, 20% средних результатов соответствует станайн 5. В шкале стенов, называемой часто шкалой Кэттела, весь массив результатов делится на 10 частей с интервалом 0,5 стандартного отклонения. В шкале стенов среднее арифметическое принимается равным 5,5, а расстояние между двумя соседними стандартными единицами равно 0,5. Иногда из шкалы станайнов получают одиннадцатибалльную шкалу путем выявления по одному проценту самых сильных и самых слабых испытуемых и присвоения им соответственно максимального и минимального балла. Установление проходного балла Известно много методов установления проходного балла при критериально-ориентированном тестировании. Все методы делятся на абсолютные и относительные. Почти все методы вовлекают в процедуру определения проходного балла экспертов. Рассмотрим некоторых из известных методов. Методы, центрированные на заданиях Метод Nedelsky (1954) – для закрытых заданий.
Надежность теста. Виды надежности: ретестовая, надежность параллельных форм, надежность частей теста. НАДЕЖНОСТЬ(устойчивость) – это такая характеристика методики, которая позволяет оценить постоянство тестовых показателей (т.е. устойчивость результатов теста к действию посторонних, случайных факторов).
На надежность методики влияет (посторонние факторы):
- нестабильность диагностируемого свойства;
- несовершенство диагностических методик:
– небрежно составленная инструкция;
– разнородные по своему характеру задания;
– нечетко определенная область измерения;
– нечетко прописанная процедура обследования.
- меняющаяся ситуация обследования:
– разное время дня;
– разная освещенность помещения;
– посторонние шумы;
– погода и т.д.
- манера поведения психолога:
– разная стимуляция клиента на выполнение задания и т.д.
- состояние клиента (колебание в этих состояниях):
– настроение;
– усталость и т.д.
- элемент субъективизма в способах оценки/ интерпретации результатов (особенно при открытых ответах и т.п.).
Для того, чтобы надежность методики была высокой, методика должна быть стандартизирована(все д.б. прописано: процедура проведения, область исследования и т.д.).
В качестве цифрового показателя надежностивыступаеткоэффициент корреляции.
Виды надежности:
РЕТЕСТОВАЯ НАДЕЖНОСТЬ– вид надежности, который определяется путем повторного обследования одних и тех же лиц при помощи одной и той же методики.
(Чем выше коэффициент корреляции, тем выше надежность, т.е. мы получаем примерно то же самое распределение).
Определение временного интервала:
С увеличением временного интервала – показатели корреляции имеют тенденцию к снижению (т.к. имеет место влияние посторонних факторов).
Пр: могут произойти естественные временные изменения.
Обычно выбираются непродолжительные временные интервалы: от 2 недель до 2–4 месяцев (это зависит от возраста обследуемых. Чем старше, тем больше можно делать интервал, и наоборот).
Слишком маленький интервал:
→ проблема запоминания;
→ проблема интереса.
НАДЕЖНОСТЬ ПАРАЛЛЕЛЬНЫХ ФОРМ– проверяется с помощью взаимозаменяемых форм теста (т.е. одни и те же обследуемые сначала обследуются с помощью одного теста, затем (через определенный интервал) с помощью другого теста).
Требования к созданию параллельных форм теста:
1. Количество заданий д.б. одинаково.
2. Типы заданий в обеих формах д.б. унифицированы (приведены в соответствие) в плане психологического содержания, уровня и пределов трудности, охвата тех или иных операций.
3. Задания в тесте д.б. распределены по трудности одинаковым образом.
4. обе формы должны иметь примерно одинаковое среднее значение и среднее отклонение.
5. Процедура применения отдельных форм, техника оценивания результатов д.б. унифицированы.
Показатель надежности – коэффициент корреляции.
НО!! Существует опасность обучаемости решению тестов. Обследуемый может запомнить алгоритм решения определенных типов задач.
НАДЕЖНОСТЬ ЧАСТЕЙ ТЕСТА (одномоментная надежность/ надежность-согласованность)– характеристика надежности осуществляется путем анализа устойчивости результатов отдельных совокупностей тестовых задач или единичных заданий теста.
Надежность проверяют на результатах…:
1) Результаты теста расщепляются на части (чаще всего путем деления на четные и нечетны пункты).
2) По каждой половине рассчитываются суммарные баллы.
3) Между двумя рядами баллов по испытуемым рассчитываются допустимые коэффициенты корреляции.
Разделение теста на части → уменьшение величины этого теста → уменьшение/ снижение достоверности результатов.
+ надо предусмотреть:при разделении – задания по своему характеру д.б. однородными.
Преимущества данного вида надежности:
1) Отсутствие влияния факторов, порождаемых повторным тестированием: эффект упражнения, снижение мотивации и т.д.
2) Менее трудоемок (пр: не надо разрабатывать параллельную форму теста, проводить повторное обследование и т.д.).
Наиболее высокий показатель надежности обеспечивает надежность параллельных форм Но она ограничивается техническими возможностями.
Валидность как соответствие результатов диагностируемому свойству. Виды валидности. Как считала А. Анастази, валидность указывает на то свойство, которое тест измеряет, и на то, как хорошо он это делает. Валидность теста не может превышать надежность, но повышение надежности не обязательно приводит к повышению валидности. Основное соотношение выглядит следующим образом: В < Н. Это означает, что валидность теста не может превышать его надежности, другими словами, ненадежная методика не может быть валидной.
В психометрии понятию валидности уделяется не слишком много внимания по сравнению с концепцией надежности. Концепция валидности относительно трудна для изучения и для математического определения.
Валидность — комплексная характеристика методики, включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним. В качестве сходных с ним понятий могут быть названы правдивость, полезность, точность, возможность интерпретации (интерпретируемость), прогностическая способность и помощь в принятии решений. Как уже подчеркивалось, разные типы валидности имеют одну и ту же основу. Однако понятие валидности должно быть четко определено применительно к различным целям, аспектам и контекстам. Такая дифференциация дает информацию о том, в каком контексте концепция валидности может быть использована.
Общепризнано, что нецелесообразно использовать в работе практического психолога один и тот же тест для оценки, например, интеллектуальных способностей и свойств темперамента всех представителей выборки и в различных экспериментальных ситуациях. В отдельных случаях допустимо использование различных шкал одного и того же теста (например, тест коммуникативного и когнитивного развития младенцев Н. Бейли).
Определяется валидизация путем сопоставления (корреляции) результатов тестирования с успешностью выполнения испытуемыми соответствующей деятельности, определяемой иными способами. Процесс валидизации можно также представить как установление корреляционных связей данных, полученных в ходе психодиагностического тестирования, с результатами обследования испытуемых по другим проверенным и надежным методикам.
Принято считать валидность достаточно высокой, если коэффициент корреляции будет более 0,6. При его значении 0,45-0,65 валидность считается вполне удовлетворительной.
Валидность, надежность, соответствие тестовым нормам (репрезентативность) — основные требования адекватного психометрического исследования свойств личности. Их объективный характер, возможность перепроверки результатов являются гарантией достоверной психологической информации. В связи с чрезвычайно широким распространением технологий психодиагностического тестирования в Западной Европе и Северной Америке вопрос их возможного использования в новых региональных и социальных условиях стоит чрезвычайно остро. Необходимое условие успешного применения известных зарубежных тестовых методик — их адаптация.
Рассматривают в основном следующие типы валидности: содержательная (логическая), прагматическая (критериальная), теоретическая (конструктная). В каждом руководстве по психодиагностике можно встретить описание этих трех типов.
Содержательная валидность (логическая, валидность по содержанию) характеризует степень репрезентативности заданий теста измеряемой области психологических свойств. Применяется в методиках, исследующих деятельность, близкую к реальности. Содержательная валидность требует того, чтобы каждое задание, задача или вопрос, принадлежащие к определенной области, имели равные шансы стать заданиями теста. Валидность по содержанию оценивает соответствие содержания теста (заданий, вопросов) измеряемой области поведения. Оценка содержательной валидности в определенной степени субъективна и зависит от мнений экспертов.
При исследовании содержательной валидности необходимо создать адекватную модель тестирования деятельности, охватывающей главные аспекты ее пропорции. На практике для определения содержательной валидности отбираются эксперты, которые указывают, какая область поведения важна, а затем, исходя из этих областей, генерируются задания теста, которые вновь оценивают эксперты.
Прагматическая валидность (эмпирическая, критериальная) измеряется всегда с помощью статистического коррелирования. Подсчитывается корреляция двух рядов значений: баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия валидности. Эти критерии являются показательными, обладающими непосредственной ценностью для определения областей практики; условием, ориентированным на эти категории.
Критериями в большинстве случаев выступает социальнозначимое поведение, например успеваемость в школе, профессиональная деятельность или социальная адаптация.
Психолог решает сразу две задачи: задачу измерения валидности и задачу измерения практической эффективности своей психолого-педагогической программы. Соответствие критерия проверяется с помощью корреляционного анализа. Если г > 0,75, то можно говорить о валидности методики.
Теоретическая (конструктная) валидность демонстрируется полным описанием переменной, для измерения которой предназначается тест. Каждая методика должна иметь теоретическое обоснование. Она включает в себя все виды валидности, которые были перечислены выше. Конструктная валидность имеет отношение к теоретическому конструкту самому по себе и включает в себя поиск факторов, объясняющих поведение человека при выполнении теста.
Решение вопроса о конструктивной валидности теста представляет собой поиск ответа на два вопроса:
• существует ли реально некоторое исследуемое свойство?
• надежно ли измеряет данный тест индивидуальные различия по этому свойству?
Кроме этого, некоторыми исследователями выделяются также и другие требования к созданию и апробации новой методики.
Дружинин В. Н., к примеру, указывает на то, что наиболее оптимально использовать семь заданий (вопросов) для исследования одного психологического явления. Айзенк Г. утверждает, что количество заданий теста, необходимых для качественной оценки выраженности исследуемого свойства психики или качества личности, должно составлять от 20 до 30. Если мы проанализируем существующие психодиагностические методики по данному показателю, то обнаружим, что разные авторы используют различное количество вопросов, которое варьируется от 7 до 220, а иногда и более тысячи, как в одном из вариантов теста Вине. При этом каждый автор по-своему аргументирует свою позицию, и иногда эти аргументы прямо противоположны друг другу. Внешняя валидность показывает насколько результаты эксперимента могут быть применимы к другим людям и в других ситуациях. Так, эксперименты в области социальной психологии могут подвергаться критике, так как они часто опираются на опыты со студентами-добровольцами, также используются исключительно лабораторные методы в ходе исследования.
Иными словами, под внешней валидностью подразумевается возможность распространить выводы исследования на генеральную совокупность или, в некоторых случаях, на другие условия, совокупности, моменты времени. Под внутренней – отсутствие смещения со стороны внешних переменных, предполагающих возможность альтернативных причинных влияний. При этом не имеет смысла рассмотрение внешней валидности эксперимента, если не достигнута его внутренняя валидность . Кроме внешней и внутренней валидности, существуют такие виды, как операциональная, конструктная, валидность по критерию, диагностическая, прогностическая, экологическая и другие виды. Операциональная валидность определяет степень соответствия методики и плана эксперимента проверяемой гипотезе. Оценка операциональной валидности охватывает этап перехода от уже сформулированных экспериментальных и контргипотез к процедурам их методического воплощения. Одна и та же переменная может быть представлена показателями разных методик. Одна и та же мысленная модель эксперимента может быть реализована при достаточно разном операциональном воплощении управляемых и измеряемых переменных. Конструктная валидность является одним из основных типов валидности, отражает степень репрезентации исследуемого психологического конструкта в результатах эксперимента. В качестве конструкта могут выступать практический или вербальный интеллект, эмоциональная неустойчивость, интроверсия, понимание речи, переключаемость внимания и т. д. Этот вид валидности определяет область теоретической структуры психологических явлений, исследуемых в эксперимента. Диагностическая или конкурентная валидность отражает способность теста дифференцировать испытуемых по изучаемому признаку. Примером определения диагностической валидности может быть исследование по методу контрастных групп. Проведение теста интеллекта у нормально развивающихся детей и их сверстников с нарушениями в интеллектуальном развитии может выявить глубокие количественные и качественные различия в выполнении заданий сравниваемыми группами. Степень надежности дифференциации детей первой и второй групп по данным теста будет характеристикой диагностической валидности оценки умственного развития, получаемой с помощью данной методики. Сведения, характеризующие степени обоснованности и статистической надежности развития исследуемой психологической особенности в будущем, составляют прогностическую валидность методики. Заключение об этом типе валидности может быть получено, например, путем сравнения тестовых оценок в одной и той же группе испытуемых спустя определенное время. Большинство методик, особенно тестов способностей и интеллекта, исследуется на предмет диагностической и прогностической валидности. Два этих типа валидности нередко объединяют в понятие эмпирической валидности. Экологическую валидность определяют как вид внешней валидности, характеризующий соответствие процедуры и условий лабораторного исследования «естественной» реальности. Так, экологическая валидность подтверждается, если результаты исследования имеют место подтверждения или должного применения их в полевых исследованиях. Проблемой лабороторных исследований есть адекватная переносимость полученных результатов на условия реальной жизни. Но это тоже не является конечным подтверждением результатов, как экологически валидных, потому что предполагает генерализацию также на другие условия и обстоятельства. Часто исследования обвиняются в невысоком экологическом валидном критерии, но вся причина может заключаться в невозможности повторить исследование в реальной жизни.
Требования к психометрической подготовке практического психолога. Для эффективного развития практической психодиагностики сегодня требуется резкое повышение психометрической культуры всех психологов, использующих измерительные психодиагностические методики. Методами рестандартизации теста, простейшими приемами проверки надежности и валидности должны владеть все психологи. До сего дня сохранилось не вполне оправданное разделение (и даже противопоставление) психологов, считающих себя специалистами в области клинических методов, и психологов, считающих себя специалистами по тестированию. Но в большинстве реальных практических ситуаций требуется сочетание этих методов. Клинические, диалогические методы необходимы на начальных этапах работы в заданной области для того, чтобы психолог сумел построить ясное содержательное представление о предмете психодиагностики. Они также необходимы в особых спорных случаях, требующих индивидуализированного подхода. Но когда от психолога требуется проведение ускоренных, массовых обследований, обращение к некоторым стандартизованным, измерительным методикам становится неизбежным. Здесь требуется психометрическая грамотность в подборе такого рода методик: нельзя использовать методики, о которых неизвестно, какого рода психометрической отладке они подвергались.
Всеобщая психометрическая грамотность психологов не исключает выделения из их среды специалистов особого рода - психологов-психометристов, профессионально занимающихся психометрическим обеспечением психодиагностики. Поэтому целесообразно привести здесь два списка нормативных требований - к психологу и к психологу-психометристу.
Требования к психологу:
1. Психолог должен уметь квалифицированно разбираться с психометрической документацией в методической литературе по психодиагностике, должен знать, какие психометрические характеристики теста должны указать его разработчики, в какой степени эти психометрические характеристики соответствуют типу теста, с одной стороны, и актуальной задаче, для которой его требуется использовать, с другой. Например, в тех случаях, когда требуется использовать тест для прогноза со значительным упреждением, а сведений о проверке прогностической валидности не получено, тест не может считаться готовым для решения данной задачи.
2. Психолог должен правильно определить, в какой мере известные тестовые нормы по требующейся методике применимы в его ситуации с учетом контингента испытуемых и типа диагностической ситуации, существует ли ситуация «внутрикультурного переноса» и нужна ли рестандартизация тестовых норм. При необходимости психолог должен уметь самостоятельно практически произвести рестандартизацию, построив и проанализировав распределение тестовых баллов.
3. Психолог должен уметь самостоятельно собирать данные, проводить корреляционную обработку и измерять эмпирическую валидность -эффективность методики по отношению к заданному критерию. При необходимости психолог должен уметь самостоятельно конкретизировать операциональные индикаторы критериальной информации.
4. Психолог должен уметь самостоятельно определять появление слишком высокой погрешности в результатах, утрату методикой необходимого уровня надежности, при этом проверять свою гипотезу статистически.
5. Психолог обязан вести двойную документацию: все копии протоколов он должен быть готов передать в головную методическую организацию (научно-академическую или отраслевую) для пополнения общего банка данных и совершенствования психометрических характеристик методики. Все модификации, вносимые в методику (формулировку инструкции, отдельных вопросов, последовательность предъявления), психолог должен согласовывать с головной методической организацией, так как самодеятельное введение на местах разнообразных частных модификаций влечет за собой утрату психометрической чистоты получаемых результатов, не ускоряет, а замедляет создание модификаций, адаптированных к специфическим условиям и обладающих необходимыми психометрическими свойствами. Тщательное соблюдение заданных методических стандартов — необходимый атрибут психометрической культуры психолога.
6. Психолог должен уметь самостоятельно выявлять и измерять уровень мотивационных искажений, обусловливающих фальсификацию тестовых данных испытуемыми, должен уметь корректно отсеивать недостоверные протоколы, статистически фиксировать достижение приемлемого уровня достоверности для массовых результатов в групповой психодиагностике.
7. Психолог должен овладевать приемами сложного количественного подсчета косвенных тестовых показателей, а также интегральных показателей, требующих агрегирования многообразной числовой информации. Он должен уметь поставить задачу программисту (или психологу-психометристу) для проведения расчетов на компьютере.
Психолог-психометрист должен уметь:
1. Самостоятельно планировать и осуществлять все этапы по психометрическому конструированию или адаптации психодиагностических методик: проверку надежности и валидности на уровне отдельных пунктов теста, отсев ненадежных и невалидных пунктов, построение и анализ распределения тестовых баллов, составление математических уравнений для прогнозирования или «решающего правила» для распознавания.
2. Организовывать хранение и обработку психодиагностических данных на компьютере, владеть навыками работы на компьютере в рамках стандартных операционных систем, знать структуру используемых в психодиагностике баз данных и уметь управлять базами данных.
3. Организовать работу психологов-психодиагностов по ведению документации к используемым методикам, по соблюдению методических стандартов, по сведению и интеграции результатов в общие банки психодиагностической информации.
4. Вести картотеку методик в рамках заданной области (отраслевой психологической службы), тщательно иерархизируя методики по уровню психометрической обеспеченности, вести библиотеку методических материалов и методических рекомендаций по использованию стандартизованных методик.
| |
|
|
Скачать 475.97 Kb.