ТЕОРЕТИЧЕСКАЯ ВАЛИДИЗАЦИЯ. 1 author Some of the authors of this publication are also working on these related projects
 Скачать 2.86 Mb.
|
|
§ 11.1. Первый этап: подготовка теоретической базы В отличие от общепринятого подхода валидизации измери- тельных шкал, в рамках теоретической валидизации исследователь должен начинать подготовку измерительного, имея в распоряже- нии валидный теоретический конструкт, а еще лучше – валидную теорию. В дальнейшем все полученные результаты измерения должны сопоставляться, а в случае необходимости – и модифици- роваться в соответствии с этими теоретическими положениями. При построении шкалы в качестве теоретической базы исполь- зованы результаты двух исследований. Первое посвящено поведен- ческому репертуару студентов или поведенческим стратегиям (см. главу 8, параграф 3), второе – упомянутым выше типам студентов (см. главу 9, параграф 4). Остановимся подробнее на содержательных характеристиках этих типов. Каждый из них можно описать с помощью двух пове- денческих стратегий – основной и дополнительной (реже встреча- ются ситуации, когда стратегии имеют равноценное значение). Со- ответствующие стратегии включают отличительный поведенче- ский репертуар (см. таблицу 11.1). Описание поведенческих стратегий было получено с помощью исследовательской стратегии согласования концептов, позволяющей обеспечить содержатель- ную валидность теоретического конструкта. Таблица 11.1 Содержательные характеристики групп поведенческих прак- тик и соответствующих стратегий студентов Название группы Содержание группы 1. Стратегия бездельника 1.1. «Ничегонеде- лание», надежда на удачу Давать обещания, что в дальнейшем обязательно будешь учиться; использовать моменты, когда пре- подаватель спешит, и получать списание долгов; быть наглым, идти на риск (ничего не отрабатывать, уходить, не отпросившись, и т.д.); не работать в те- чение семестра и сдавать долги только на сессии; сдавать несколько раз (брать измором) и т.д. 1.2. «Цель оправ- дывает средства» Использовать связи; сказать, что работу забыл дома и попроситься отвечать без нужных материалов; если сдаешь не вовремя, списывать готовые работы 152 Глава 11 и сдавать их; упросить преподавателя, ничего при этом не делая, и т.д. 1.3. Ссылка на внешние причины Объяснять пробелы и пропуски внешними причина- ми и «давить» на то, что был вынужден; ссылаться на бытовые проблемы, которые мешают присут- ствовать; использовать тему здоровья для объясне- ния пропусков и т.д. 2. Стратегия ловкача 2.1. Работа с пре- подавателем Изучить преподавателя и найти к нему индивиду- альный подход; если раньше учился хорошо, ис- пользовать свой авторитет; ранжировать препода- вателей по требовательности и в зависимости от этого выделять время на подготовку и т.д. 2.2. Использова- ние подходящих ситуаций и момен- тов Когда присутствуешь на парах, демонстрировать активность; когда сдаешь долги, перевести обсуж- дение на материал, который знаешь; готовиться в транспорте и т.д. 2.3. Минимизация усилий Показывать выполненные задания и отпрашиваться с пар; если есть определенный минимум необходи- мых заданий, делать только его; если делаешь зада- ния редко, то, по крайней мере, качественно, так как это подкупает; посещать те виды занятий, которые более важны (например, практические, а не лекции) и т.д. 3. Стратегия трудяги 3.1. Самооргани- зация Планировать, раскладывать по пунктам то, что необходимо осуществить; всячески использовать самоорганизацию и т.д. 3.2. Опора на дру- жеские отношения в учебной группе Помогать студентам, которые помогают тебе, рас- пределять подготовку заданий между разными людьми, брать у одногруппников необходимые ма- териалы и т.д. 3.3. Вежливость Прилежно вести себя на парах; демонстрировать положительное отношение к дисциплине; когда уходишь с пар, всегда согласовывать это с препода- вателем и т.д. 3.4. Опора на соб- ственные силы Всегда стараться вникать в суть материала; если необходимо, оставаться после пар для пересдач; при необходимости тратить все свободное время на под- готовку и т.д. Теоретическая валидизация измерительных шкал 153 В свою очередь, типы студентов были определены в рамках использования исследовательской стратегии «обоснованной тео- рии» и могут быть охарактеризованы следующим образом. Если студент относится к «безразличному» типу, он может использо- вать: а) стратегию бездельника в качестве основной и стратегию ловкача в качестве дополнительной; б) стратегию ловкача в каче- стве основной и стратегию бездельника в качестве дополнительной (либо в равной степени). Если студент относится к «декларативно заинтересованному» типу, в качестве основной используется стра- тегия ловкача, а в качестве дополнительной – стратегия трудяги. Наконец, если студент принадлежит к «ответственному» типу, он может использовать: а) стратегии ловкача и трудяги в равной сте- пени; б) стратегию трудяги как основную, а стратегию ловкача – как дополнительную. Несмотря на то, что в фокусе исследования находились сту- денты стационара, совмещающие работу и учебу, полученные дан- ные можно разделить на две части – ту, которая касается исключи- тельно работающих студентов, и ту, которая является общей как для работающих, так и для неработающих. В частности, соотноше- ние типов студентов и соответствующих поведенческих стратегий является справедливым для всех студентов, что обеспечивает вы- сокую внешнюю валидность. Фактически обе группы с точки зре- ния поведенческого репертуара отличаются лишь в одном – нали- чием или отсутствием поведенческой группы «Компромиссы на работе». § 11.2. Второй этап: разработка и корректировка эмпири- ческих индикаторов в соответствии с используемой теорией Первоначально на основе этой информации для каждой из ука- занных стратегий был сформулирован набор индикаторов (см. таб- лицу 11.2). Все индикаторы оценивались с помощью следующего вопроса: «Студенты используют различные способы поведения в различных ситуациях, касающихся учебы. Ниже описаны некоторые из этих способов. Скажите, как часто Вы лично используете каждый из них, с применением следующей шкалы: (1) почти никогда не ис- пользую – (2) использую довольно редко – (3) порой использую – (4) использую довольно часто – (5) почти всегда использую» 154 Глава 11 Таблица 11.2 Набор индикаторов для измерения выраженности поведенче- ских стратегий Название стратегий Содержание индикаторов Стратегия бездельника Большое количество долгов, накопленных за семестр, не является для меня серьезной проблемой, ведь их можно сдать и перед самой сессией Я сдаю работы, заданные на дом, с отставанием от боль- шей части группы. Это позволяет мне сверить правиль- ность выполнения работы и исправить ошибки Свои пропуски я объясняю личными обстоятельствами, которые помешали присутствовать на паре Для сдачи многих зачетов/экзаменов мне бывает доста- точно ознакомиться с материалами конспекта за день или даже в день сдачи. Для того чтобы получить нужную оценку, я иногда про- сто вежливо прошу об этом преподавателя Когда я объясняю пропуск занятия преподавателю, то использую тему здоровья или семейных обстоятельств Стратегия ловкача Когда мне представляется возможность, я демонстрирую учебную активность на паре Я стараюсь найти правильный подход к преподавателю, учесть его индивидуальные особенности При сдаче долгов я стараюсь перевести обсуждение на материал, который знаю Я трачу больше времени для подготовки к предметам бо- лее строгих преподавателей Я в основном посещаю те виды занятий (лекции либо практические), которые более важны для сдачи предмета на сессии. Остальные занятия посещаю не всегда Если преподаватель задает определенный минимум необ- ходимых заданий на семестр, для меня достаточно вы- полнить только их Стратегия трудяги Подготовку домашних заданий мы (я и другие студенты моей группы) распределяем между собой Я стараюсь планировать выполнение своих учебных обя- занностей В учебных целях я прибегаю к сотрудничеству со своими Теоретическая валидизация измерительных шкал 155 одногруппниками Мое поведение на парах является правильным и прилеж- ным Я вникаю в суть учебного материала и стараюсь с ним хорошо разобраться При необходимости я использую все свободное время для подготовки к учебе Также во время пилотного опроса (N = 16) были заданы вопро- сы относительно пропусков, частоты подготовки к практическим занятиям и успешности сдачи последней сессии. Пилотаж показал, что такой способ определения типа студента является неудовлетво- рительным. Во-первых, полученные результаты плохо соотносились с кон- трольными вопросами относительно частоты посещения занятий, интенсивности подготовки и успешности сдачи сессии. Главной причиной этого стало то, что индикаторы, первоначально предна- значенные для измерения конкретной стратегии, могли трактовать- ся участниками исследования совершенно иначе и, таким образом, не соответствовать той сути, которая в них вкладывалась исследо- вателем (то есть мною). Во-вторых, результаты, полученные с помощью индикаторов, описывающих одну общую стратегию, имели низкую внутреннюю согласованность. Так, наибольшее значение α Кронбаха, равное 0,44, было зафиксировано для индикаторов, описывающих страте- гию бездельника. Для стратегий ловкача и трудяги это значение было равно 0,11 и 0,30 соответственно. В-третьих, специфика такого измерения не отвечала особенно- стям имеющейся теории. Дело в том, что согласно теории, разрабо- танной на основе изучения феномена учебы в условиях ограничен- ного времени, поведенческие стратегии являются своего рода кон- тинуумом, начинающимся стратегией бездельника, продолжающимся стратегией ловкача и заканчивающимся страте- гией трудяги. Отсюда поведенческий репертуар студента наилуч- шим образом можно охарактеризовать с помощью отнесения его к двум смежнымстратегиям (бездельник и ловкач, ловкач и трудяга), как это описано выше. В процессе исследования с помощью стра- тегии «обоснованной теории» не было встречено случаев, когда студент использовал все три стратегии в равной степени или же ко- 156 Глава 11 гда наряду с основной стратегией он имел две дополнительные в качестве равноценных. В ситуации измерения с помощью набора индикаторов такие случаи встречались. Гипотетически возможны даже такие ситуации, когда результаты измерения будут принимать максимальное значение для каждой из стратегий, несмотря на то, что такие случаи не фиксируются в эмпирической действительно- сти посредством наблюдения. На мой взгляд, все это говорит о том, что такой способ измере- ния является во многом артефактным и, соответственно, непригод- ным для изучения поведенческих стратегий студентов. Исходя из этого был разработан другой способ измерения на основе одного комплексного вопроса, содержание которого также определялось описанными выше поведенческими стратегиями. С помощью этого вопроса у студентов напрямую спрашивали о том, какую поведен- ческую стратегию они используют, хотя, по сути, речь шла именно о типе студента: Давайте предположим, что в самом общем виде студентов можно разделить на три группы в зависимости от усилий, при- лагаемых в процессе учебы: A) наименее прилежные студенты, в основном не прилагаю- щие усилий для учебы, надеющиеся на удачное стечение обстоя- тельств и на то, что все долги можно будет закрыть в конце се- местра, а экзамены и зачеты сдать благодаря помощи одногрупп- ников или даже практически ничего не делая; B) балансирующие между подготовкой наиболее важных зада- ний и игнорированием заданий, не имеющих принципиального зна- чения, использующих ранжирование преподавателей по строгости и требовательности с целью соответствующей концентрации уси- лий и предпочитающих посещать те пары, которые имеют больший вес в рамках дисциплины; C) наиболее старательные, относящиеся к учебе максимально ответственно, старающиеся готовить все задания, предусмотрен- ные учебными требованиями, пытающиеся получить максимум знаний и постоянно посещающие пары. А теперь, используя приведенную ниже шкалу, УКАЖИТЕ МЕСТО, НА КОТОРОЕ ВЫ ПОСТАВИЛИ БЫ СЕБЯ, сравнивая с этими тремя группами. При этом нельзя выбирать «чистую» группу (A, B или С), а необходимо выбрать ОДНО из значений Теоретическая валидизация измерительных шкал 157 между двумя «чистыми» группами (между А и В или между В и С) 64 . § 11.3. Третий этап: проверка конструктной валидности и ретестовой надежности Минимальная проверка конструктной валидности связана с обеспечением двух ее составляющих – конвергентной и дискрими- нантной валидности [Campbell, 1959]. Первая основывается на том, что результаты шкалы демонстрируют связь с данными, получен- ными с помощью методик, предназначенных для измерения кон- цептуально близких социальных феноменов. Вторая же, наоборот, основывается на том, что результаты не связаны с данными мето- дик, предназначенных для изучения концептуально отличных фе- номенов. Основное опасение, связанное с использованием представлен- ной выше 10-балльной шкалы, касалось возможности получения социально желательных ответов, то есть вопрос мог оказаться сен- зитивным и смещать ответы в сторону завышения оценок. Для про- верки этого предположения в анкету наряду с другими вопросами была включена шкала лжи из опросника MMPI. После удачного пилотного опроса (N = 24) шкала была прове- рена на двух выборках различных вузов (N 1 = 61, N 2 = 62). Предпо- ложительно, в случае адекватного отображения шкалой теоретиче- ского конструкта результаты ее применения должны были корре- лировать с ответами на вопросы о количестве выступлений на практических занятиях и об успешности сдачи последней сессии, отрицательно коррелировать с ответами на вопрос о количестве пропусков и не иметь корреляции со шкалой лжи. Для соответ- 64 В оригинале для 10-пунктовой шкалы использовался не рисунок, а таб- лица. Здесь было сложно ее привести, вследствие ширины страницы. 158 Глава 11 ствующей проверки был использован ранговый коэффициент кор- реляции Спирмена 65 (см. таблицу11.3). Таблица 11.3 Сила и направление связи шкалы с контрольными переменными Контрольная переменная Сила связи первый вуз (N = 61) второй вуз (N = 62) вместе (N = 123) Количество выступлений на практических занятиях 0,74** 0,69** 0,71** Успешность сдачи послед- ней сессии 0,67** 0,67** 0,67** Количество пропусков – 0,56** – 0,64** – 0,59** Шкала лжи – 0,16 0,20 66 – 0,09 67 ** p < 0,01 Исходя из полученных результатов было принято решение о том, что данная шкала отображает теоретический конструкт, опи- сывающий поведенческие стратегии студентов, а также что она слабо подвержена смещениям, связанным с социально желатель- ными ответами. Вместе с тем приведенные данные касаются проверки шкалы, в первую очередь на уровне самоотчета, являющегося во многом субъективным. Поэтому была осуществлена ее дополнительная проверка с помощью экспертов. В состав последних вошли по два преподавателя и одному сту- денту на каждой из кафедр. В каждом вузе оценивались все студен- ты одной учебной группы (N 1 = 20, N 2 = 24). Преподаватели, ото- бранные в качестве экспертов, были хорошо знакомы с учебными группами, а студенты-эксперты учились в составе этих групп и ра- ботали на этих кафедрах. Оценка производилась с помощью 10- 65 Далее – r s 66 Количество человек во втором вузе, опрошенных с помощью Шкалы лжи, равно 17. В дальнейшем данная взаимосвязь проверялась на больших выборках студентов этого вуза, но статистически значимая связь так и не была выявлена (N = 41, r s = –0,03). 67 N = 76. Теоретическая валидизация измерительных шкал 159 балльной шкалы комплексного вопроса. Кроме этого для каждого из студентов было рассчитано среднее значение оценок на сессиях, полученных ими за все годы обучения 68 . Для расчета силы связи был использован ранговый коэффициент r s . Поскольку оценки экс- пертов в высокой степени согласованны (для первого вуза значение α Кронбаха равно 0,89, для второго – 0,96), дополнительно было рассчитано среднее значение оценок экспертов для каждой кафед- ры и вычислены соответствующие коэффициенты корреляции (см. таблицу 11.4). Таблица 11.4 Сила и направление связи экспертных оценок и успешности обучения в бакалаврате Эксперты Сила связи первый вуз второй вуз Первый преподаватель 0,83** 0,93** Второй преподаватель 0,72** 0,91** Студент 0,80** 0,93** Среднее значение трех оценок 0,85** 0,95** ** p < 0,01 Приведенные данные основываются на более точной информа- ции, чем самоотчеты. Во-первых, это связано с согласованностью результатов, полученных в ходе оценивания разными экспертами. Во-вторых, это обеспечивается отсутствием потери информации относительно успешности обучения, поскольку учтены все годы. Следовательно, результаты экспертной проверки полностью под- тверждают сделанные ранее выводы. После проверки конструктной валидности в трех учебных группах было проведено два опроса (время между опросами – один месяц) с целью проверки на ретестовую надежность. Согласован- ность двух опросов, оцененная с помощью коэффициента r s , на уровне 0,75 (N = 37, p < 0,01). 68 Были использованы данные об успешности сдачи сессии первых 4-х лет обучения. 160 Глава 11 § 11.4. Четвертый этап: специфика интерпретации полу- ченных результатов Особого внимания заслуживает специфика интерпретации ре- зультатов, полученных при использовании этой шкалы. Дело в том, что содержательно шкала основывается на информации о поведен- ческих стратегиях студентов, а конечной целью ее использования является получение информации о принадлежности каждого сту- дента к одному из трех типов – «безразличному», «декларативно заинтересованному» и «ответственному». Исходя из этого интер- претация шкалы должна осуществляться исключительно на основе теоретических положений, связывающих поведенческие стратегии с типами студентов (см. таблицу11.5). Таблица 11.5 Соотношение значений шкалы с типами студентов Тип студента Поведенческая стратегия Значения шкалы 1. «Безразличный» 1.1. Стратегия бездельника – ос- новная, стратегия ловкача – допол- нительная 1, 2 1.2. Стратегия ловкача – основная, стратегия бездельника – дополни- тельная 3, 4, 5 2. «Декларативно за- интересованный» 2.1. Стратегия ловкача – основная, стратегия трудяги – дополнитель- ная 6, 7 3. «Ответственный» 3.1. Стратегия ловкача и трудяги используется в равной степени 8 3.2. Стратегия трудяги – основная, стратегия ловкача – дополнитель- ная 9, 10 Следовательно, студенты, выбравшие пять первых градаций шкалы, были отнесены к «безразличному» типу, выбравшие ше- стую и седьмую градации – к «декларативно заинтересованному», выбравшие последние три – к «ответственному». Для проверки правильности такой интерпретации ее результа- ты были соотнесены с результатами ответов насчет успешности сдачи сессии (см. таблицы 11.6, 11.7), предварительно преобразо- Теоретическая валидизация измерительных шкал 161 ванных в три градации: 1) во время сдачи сессии были тройки; 2) сессия сдана на четыре–пять; 3) сессия сдана на «отлично». Для каждой группы студентов был рассчитан коэффициент γ. Для обоих вузов он равен 0,83 (p < 0,01). Таблица 11.6 Связь типов студентов с успешностью сдачи сессии (первый вуз) Результаты последней сдачи сессии Тип студента Ито- го «Безразлич- ный» «Декларативно заинтересован- ный» «Ответ- ственный» Были тройки 15 6 1 22 Четыре-пять 4 10 2 16 На «отлично» 1 6 14 21 Итого 20 22 17 59 Таблица 11.7 Связь типов студентов с успешностью сдачи сессии (второй вуз) Результаты последней сдачи сессии Тип студента Ито- го «Безразлич- ный» «Декларативно заинтересован- ный» «Ответ- ственный» Были тройки 21 4 3 28 Четыре-пять 5 11 8 24 На «отлично» 0 1 9 10 Итого 26 16 20 62 Несмотря на то, что сила и направление связи одинаковы для обоих вузов, ее характер существенно отличается. Это связано не со спецификой самой шкалы, а с особенностями учебного заведе- ния. Соответствующий вопрос рассмотрен выше (см. главу 10, па- раграф 4). В целом же данные результаты подтверждают право- мерность использования предложенной интерпретации, хотя и ука- зывают на необходимость ее спецификации в отношении высших учебных заведений различных типов, что, в свою очередь, является важным условием улучшения композиционной валидности исполь- зуемой теории. 162 Глава 11 Вместе с тем в контексте группировки пунктов шкалы вполне логичным может выглядеть сомнение касательно приоритетности именно такого варианта группировки. Наиболее очевидными аль- тернативами являются такие представленные ниже варианты раз- деления шкалы, которые бы делили ее на приблизительно равные группы. Первый вариант (3/4/3): 1 группа / «безразличный» тип A-90% B-10% A-70% B-30% A-50% B-50% 2 группа / «декларативно заинте- ресованный» тип A-30% B-70% A-10% B-90% B-90% С-10% B-70% С-30% 3 группа / «ответственный» тип B-50% С-50% B-30% С-70% B-10% С-90% Второй вариант (3/3/4): 1 группа / «безразличный» тип A-90% B-10% A-70% B-30% A-50% B-50% 2 группа / «декларативно заинте- ресованный» тип A-30% B-70% A-10% B-90% B-90% С-10% 3 группа / «ответственный» тип B-70% С-30% B-50% С-50% B-30% С-70% B-10% С-90% Третий вариант (4/3/3): 1 группа / «безразличный» тип A-90% B-10% A-70% B-30% A-50% B-50% A-30% B-70% 2 группа / «декларативно заинте- ресованный» тип A-10% B-90% B-90% С-10% B-70% С-30% Теоретическая валидизация измерительных шкал 163 3 группа / «ответственный» тип B-50% С-50% B-30% С-70% B-10% С-90% Если эти варианты группировки являются более удачными, в смысле отображения типа студента, то они должны демонстриро- вать более высокие, по сравнению с инициальной группировкой (5/2/3), коэффициенты связи (γ и r s ) с успешностью обучения сту- дентов (см. таблицу11.8). Таблица 11.8 Величина коэффициента γ для различных вариантов группировки пунктов шкалы Вариант группи- ровки шкалы Сила связи для первого вуза Сила связи для второго вуза Сила связи для обоих вузов 5/2/3 0,83 0,83 0,81 3/4/3 0,84 0,80 0,79 3/3/4 0,82 0,89 0,83 4/3/3 0,81 0,78 0,77 Как видно из представленных данных, наиболее эффективным вариантом группировки является вариант 3/3/4, а уже потом – 5/2/3. Однако если сравнить распределения таблиц сопряженности для двух вариантов группировки, то получится противоположная кар- тина (см. таблицы 11.9, 11.10). В обеих таблицах приводится ин- формация сразу о двух вузах. Таблица 11.9 Связь типов студентов с успешностью сдачи сессии (группировка 3/3/4) Результаты последней сдачи сессии Тип студента Ито- го «Безразлич- ный» «Декларативно заинтересован- ный» «Ответ- ственный» Были тройки 16 29 5 50 Четыре-пять 1 20 19 40 На «отлично» 1 3 27 31 Итого 18 52 51 121 164 Глава 11 Таблица 11.10 Связь типов студентов с успешностью сдачи сессии (группировка 5/2/3) Результаты последней сдачи сессии Тип студента Ито- го «Безразлич- ный» «Декларативно заинтересован- ный» «Ответ- ственный» Были тройки 36 10 4 50 Четыре-пять 9 21 10 40 На «отлично» 1 7 23 31 Итого 46 38 37 121 Если представить функциональную связь этой зависимости, то логично предположить, что все безразличные студенты имели бы тройки, декларативно заинтересованные учились бы на четыре– пять, а ответственные – на «отлично». Исходя из такого критерия, можно оценить, насколько каждый вариант группировки отклоня- ется от этой идеальной модели. В случае варианта 3/3/4 отклонение наблюдается в 48% случаев (58 из 121), а в случае варианта 5/2/3 – в 34% случаев (41 из 121) 69 . В таблице, построенной для варианта 3/3/4, видно, что значительная часть студентов, имеющих тройки, попали в декларативно заинтересованную группу, что не соответ- ствует представленной выше теории. Собственно, именно послед- ний аспект, а не сила установленных взаимосвязей, имеет решаю- щее значение для оценки различных вариантов группировки. В целом более высокие коэффициенты корреляции для вариан- та 3/3/4 объясняются в данном случае прежде всего особенностями расчета самого показателя γ и, соответственно, несут скорее техни- ческую, чем смысловую нагрузку 70 |