ТЕОРЕТИЧЕСКАЯ ВАЛИДИЗАЦИЯ. 1 author Some of the authors of this publication are also working on these related projects
 Скачать 2.86 Mb.
|
|
§ 3.1. Сущность понятий «угроза» и «смещение» Термин «угроза» заимствован из работы Д.Кэмпбелла [Кэмп- белл, 1996: с. 46], в которой угрозы определяются как факторы- переменные, при отсутствии контроля которых могут возникнуть эффекты, смешивающиеся с эффектом экспериментального воз- действия 11 . В результате наличия угроз в экспериментальном или квазиэкспериментальном исследовании ученый сталкивается с си- туацией, когда обнаруженный экспериментальный эффект (или его отсутствие) может быть связан не только с предполагаемой экспе- риментом причиной, но и с дополнительным фактором (или их комплексом). Это, в свою очередь, не дает возможности исследова- телю прийти к однозначным выводам относительно той причинно- следственной связи, которая лежит в фокусе исследования. В рамках данной работы понятие «угроза» носит более широ- кое значение, суть которого сводится к тем фактором, без мини- мизации которых невозможно достижение очевидного, содержа- тельного или композиционного вида теоретической валидности. К таким факторам относятся определенные феномены человеческого мышления, неадекватная проработка содержательного поля теоре- тического конструкта, недостаточная валидизация на отличных от теоретического этапах исследования, а также ошибки и барьеры операционализации. Термин «смещение» (bias) широко представлен в англоязычной литературе по методологии социологического исследования. Чаще всего он приравнивается к систематическим (неслучайным) ошиб- 11 Более подробно см.: [Кэмпбелл, 1996: с. 45–47]. Неудовлетворительная валидизация и смещение данных 33 кам исследования 12 . Вместе с тем в социологических исследовани- ях имеют место случаи, в которых смещения не эквивалентны си- стематическим ошибкам. Примером этого является освещенная в работе С. Садмена, Н. Брэдберна и Н. Шварца контекстуальная обусловленность ответов респондентов, касающихся их установок. По мнению указанных авторов, понятие «ошибка» применимо только в отношении фактологических ответов [Садмен, Брэдберн, Шварц 2003: с. 259]. Такая позиция связана с проблематичностью определения истинного значения той или иной установки. В ре- зультате ответ смещен не столько в отношении некого истинного значения, сколько в отношении результата измерения этой же установки отличным от данного способом. В таких случаях, не- смотря на то, что смещений невозможно избежать они все же должны четко осознаваться исследователем и найти свое отраже- ние в тех итоговых документах, которыми завершается исследова- ние. В случае теоретической валидизации соотнесение понятий «смещение» и «систематическая ошибка» также носит проблема- тичный характер. Это продиктовано тем, что по своей сути любое теоретическое построение, особенно в социальных науках, носит незавершенный характер и возникающие в ходе исследования тео- ретические смещения не могут быть устранены полностью, но лишь сведены к некоторому минимуму. Исходя из вышесказанного в рамках данной работы смещение трактуется не как систематиче- ская ошибка, а в качестве осознаваемого искажения результатов исследовательской работы, в условиях принципиальной невозмож- ности его полного устранения. Таким образом, валидность неизбежно искажается в результате существующих угроз, а смещение является степенью такого иска- жения. Следовательно, одной из главных задач исследователя явля- ется идентификация угроз валидности и минимизация возникаю- щих на их основе смещений. § 3.2. Смещения данных 3.2.1. С МЕЩЕНИЯ ДАННЫХ ПРИ НЕДОСТАТОЧНОЙ ОЧЕВИДНОЙ ВАЛИДИЗАЦИИ . Поскольку очевидная валидность связана в первую 12 См., например: [Standard Definition, 2008: p. 5]. 34 Глава 3 очередь с правильным определением социального феномена с це- лью его фиксации и дальнейшего прояснения, постольку ее дости- жение наиболее подвержено различного рода внутренним (по- другому – субъективным) факторам, присущим исследователю или исследовательскому коллективу. Последнее справедливо и для тех случаев, когда используется зарубежная концепция, релевантность которой в конкретных социокультурных условиях еще необходимо проверить. Это обусловлено теми эпистемологическими и онтологически- ми взглядами (а в большинстве случаев и социально- политическими), которых придерживается ученый. Отсюда глав- ными угрозами очевидной валидности являются особенности чело- веческого мышления, известные также под названием когнитивных смещений. Когнитивные смещения – термин, используемый для описания тенденции делать принципиальные ошибки во время мышления и умозаключений. Такие нормативные системы, как формальная логика, теория вероятности и формальная теория при- нятия решений, были использованы психологами и экономистами для оценки и обозначения когнитивных смещений в человеческом мышлении. Когнитивные смещения могут существенно исказить характер мышления на всех этапах исследования [Leighton, 2010]. В этом смысле теоретическая подготовка не является исключени- ем. Главное смещение в данном случае обусловлено потерей адек- ватного фокуса исследования. Последний может сместиться с реле- вантного данному социальному феномену теоретического кон- структа на конструкт, который в действительности лишь кажется адекватным в данной ситуации. Факторами такого смещения явля- ются следующие феномены человеческого мышления 13 : 1. Феномен самонадеянности: тенденция быть скорее уверен- ным, чем точным, то есть переоценивать корректность своих убеж- дений. 2. Предубежденность в отношении доказательств: тенденция выискивать информацию, которая подтверждает собственное мне- ние. 13 Более подробно см.: [Майерс, 2003: с. 138–157]. Неудовлетворительная валидизация и смещение данных 35 3. Эвристика репрезентативности: стратегия судить о степени вероятности чего-либо, оценивая, насколько хорошо оно представ- ляет специфические прототипы или соответствует им, может заста- вить человека пренебречь дополнительной полезной информацией. 4. Ошибка базовой оценки: тенденция игнорировать или не полностью использовать базовую оценочную информацию, нахо- дясь под влиянием частностей, характерных для рассматриваемого случая. 5. Доступность эвристики: эффективный, но небезошибочный эмпирический метод, который оценивает вероятность вещей с точ- ки зрения их доступности в памяти. Если какие-то примеры легко приходят на ум, мы полагаем, что они являются общепризнанными. 6. Иллюзорная взаимосвязь: восприятие взаимоотношений там, где их в реальности нет, или восприятие взаимоотношений как бо- лее тесных, чем они есть на самом деле. Как уже было сказано, эти угрозы и соответствующие смеще- ния наиболее характерны для исследований, которые опираются на теоретические концепции, неадекватные социокультурным реали- ям исследуемого сообщества, а также для исследований, посвя- щенных недостаточно или вовсе не изученной проблематике. В первом случае исследовательский процесс может пойти не по тому пути – вместо адаптации соответствующей теоретической концеп- ции к иным социокультурным условиям ее принимают в качестве самоочевидной теоретической базы исследования. Во втором слу- чае теоретическая база и созданные на ее основе конструкты не бу- дут отвечать реальным социальным феноменам, что сделает бес- смысленной всю дальнейшую работу. В этом контексте хорошим тоном научной практики является развитие рефлексивности, являющейся чувствительностью ученого к тем интерпретациям, которые он привносит в текст и источник которых плохо осознает. Концепт «рефлексивности» хорошо изве- стен, прежде всего, в исследованиях качественного типа. В то же время (здесь я исхожу из собственного научного опыта и общения с коллегами социологами) проблема рефлексивности в рамках науч- ной практики куда острее стоит в кругах тех социологов, которые придерживаются количественной перспективы. Уж слишком много приходится в этом случае на долю необоснованных интерпретаций. 36 Глава 3 Далее я приведу те пункты самоконтроля (ориентиры рефлек- сивности), которые способствуют снижению смещений при оче- видной валидизации 14 : 1. Есть ли у меня какая-либо политическая заинтересованность (в широком смысле), которая влияет на оценку, обобщение и опи- сание научных фактов? 2. Не формирую ли я финальные теоретические положения в таком стиле, который снимает с меня ответственность за ту интер- претацию, которой я придерживаюсь? 3. В какой степени мой анализ является альтернативным по от- ношению к здравому смыслу или доминирующему дискурсу? Примером, иллюстрирующим неудовлетворительную очевид- ную валидность теоретического конструкта и соответствующие смещения полученных данных, является применение в «Европей- ском социальном исследовании» модифицированного варианта международной стандартной классификации уровней образования ЮНЕСКО (ISCED). Использование этой схемы привело к неадек- ватным различиям в показателях уровня достигнутого респонден- тами 25–64 лет образования в разных европейских индустриально развитых странах. По мнению С.Оксамитной, в такие различия трудно поверить, даже с учетом национальных традиций стран- участниц «Европейского социального исследования» [Оксамитная, 2007: с. 156–161]. Таким образом, недостаточная социокультурная релевантность теоретического конструкта национальным особен- ностям стран-участниц исследования привела не только к получе- нию смещенных результатов в отношении достигнутого индивида- ми уровня образования, но и не позволила осуществить коррект- ный сравнительный анализ. 3.2.2. С МЕЩЕНИЯ ДАННЫХ ПРИ НЕДОСТАТОЧНОЙ СОДЕРЖАТЕЛЬНОЙ ВАЛИДИЗАЦИИ . В случае содержательной валидности соответству- ющие виды угроз и смещений носят объективный характер. Из приведенного выше определения содержательной валидности сле- дует, что главными угрозами для нее являются: 1) невключение в содержательное поле конструкта значимых и включение незначи- мых, с точки зрения целей исследования, составляющих; 2) их не- 14 Приведенные пункты являются моей интерпретацией принципов ре- флексивного мышления при подготовке исследовательских отчетов, пред- ложенных Джоном Кресвеллом [Creswell, 2007: p. 180]. Неудовлетворительная валидизация и смещение данных 37 представительность. Смещения же, вызванные данными угрозами, отчетливо проявляются на последующих этапах исследовательской деятельности – при конструктной, внутренней и прогностической валидизации. Во-первых, содержательная валидность является основой для конструктной. Не имея удовлетворительного в содержательном смысле конструкта, даже в случае тщательного проведения МТММ-эксперимента 15 (или другой более простой проверки), можно получить смещенные результаты конструктной валидиза- ции. Вместе с тем возникает вопрос: возможно ли вообще получить удовлетворительные результаты МТММ-эксперимента для неудо- влетворительного теоретического конструкта? Как было показано выше, в примере про шкалу для измерения типа студента – это возможно. Даже если «выбросить» часть шкалы, статистические показатели останутся сильными и значимыми. То есть в данном случае может быть продемонстрирована удовлетворительная дис- криминантная и конвергентная валидность и принято решение о наличии конструктной. Хотя сам конструкт будет иметь артефакт- ную природу. Во-вторых, в случае неудовлетворительной содержательной валидности смещенными могут оказаться выводы о причинно- следственных связях. В данном случае речь идет о проверке влия- ния контрольных переменных на интересующую исследователя связь как о необходимом условии достижения внутренней валид- ности. Поскольку вопрос о том, какие переменные выступят в ка- честве контрольных, решается именно в рамках теории, то невклю- чение значимых элементов в конструкт чревато смещением резуль- татов не только дескриптивной, но и квазиэкспериментальной работы. В-третьих, правильность содержательной валидизации связана с объяснительным потенциалом исследования в целом и предсказа- тельным в частности. Непредставительный в содержательном смысле конструкт не обеспечивает всей необходимой информации об исследуемом социальном феномене, что, в свою очередь, отра- 15 МТММ – от английского: multitraite-multimethod matrix. Для ознакомле- ния с сущностью МТММ-эксперимента, см.: [Campbell,1959: p. 81–105; Девятко, 1993: с. 82–86; Анастази, Урбина, 2005: с. 152–154]. 38 Глава 3 жается на точности объяснения и прогноза. Так, показателен при- мер методик, результаты которых приводятся к единому показате- лю – индексу [Haynes, Richard, Kubany, 1995: p. 242]. В случае не- включения в конструкт значимых составляющих, значение такого индекса может значительно отличаться от истинного. Соответ- ствующие выводы также будут иметь ошибочный характер. Кроме того, в данном случае невозможно достичь удовлетворительной композиционной валидности вследствие потери части структурных компонентов теоретического конструкта, что также ведет к некор- ректности выводов. В качестве теоретического конструкта, демонстрирующего не- удовлетворительную содержательную валидность, можно привести Индекс человеческого развития, используемый ООН для сравни- тельной оценки потенциала человеческого развития в различных странах. В основе этого индекса лежит теоретический конструкт, включающий три элемента: ожидаемую продолжительность жизни при рождении, уровень образования (состоит из образовательного уровня взрослого населения и совокупной доли учащихся) и ВВП на душу населения в долларах США. Несмотря на значимость ука- занных элементов, они не обеспечивают представительности в от- ношении феномена человеческого развития, что приводит к сме- щениям в рейтинге, построенном на основании этого индекса. В отчете ООН о человеческом развитии 2013 года Украина занимала 78-е место, в то время как Ливия, испытавшая и продолжающая ис- пытывать на себе все тяжести кровопролитной гражданской войны, находится на 64-м месте [Human Development Report, 2013: p. 145]. Есть еще один вид угроз, связанный с содержательной валид- ностью, на котором необходимо остановиться отдельно. Это угро- зы, вызванные полной или частичной несводимостью абстрактных понятий, положенных в основу теоретического конструкта, к кон- кретным индикаторам. В данном случае исследователю придется ограничиться лишь теоретическими изысканиями на интересую- щую тему. То есть говорить о каком-либо эмпирическом исследо- вании вообще не приходится. Пример соответствующих смещений демонстрирует известное теоретическое построение Т.Парсонса – так называемая концепция Неудовлетворительная валидизация и смещение данных 39 социального действия 16 . Несмотря на попытку объединения социо- логического анализа на микро- и макроуровне, определения подси- стем социального действия (социальная, культурная, личностная и поведенческого организма) сформулированы на таком общем уровне, что из них можно вывести и операционализировать все, что угодно, а в итоге – ничего. В свою очередь, сетка AGIL, предназна- ченная для объяснения функций указанных подсистем 17 , является простой экспликацией положений общесистемной методологии, не доведенной до сколько-нибудь конкретного уровня. В результате всего этого формально правильная на общесоциологическом уровне теория Т.Парсонса не обеспечивает оснований для операци- онализации и остается эмпирически непроверяемой. 3.2.3. С МЕЩЕНИЯ ДАННЫХ ПРИ НЕДОСТАТОЧНОЙ КОМПОЗИЦИОННОЙ ВАЛИДИЗАЦИИ . Для того чтобы понять характер угроз, связанных с композиционной валидностью, необходимо обратиться к рисунку 2.1 (см. выше). Как видно, композиционная валидность связана с содержательной и конструктной. Следовательно, первой угрозой композиционной валидности является неудовлетворительная содержательная валидизация. В данном случае композиционная валидность не может быть дос- тигнута вследствие отсутствия важных структурных компонентов теоретического конструкта. При обеспечении достаточной содер- жательной валидизации второй угрозой является неудовлетвори- тельная конструктная валидизация, вследствие которой компози- ционная валидность не может быть детализирована в рамках коли- чественного исследования с помощью методики, разработанной для измерения соответствующего социального феномена. Смещения, связанные с данными угрозами, как и в случае со- держательной валидизации, относятся к объяснительному (и в том числе прогностическому) потенциалу исследования с той суще- ственной разницей, что успешная конструктная валидизация обес- печивает возможность полноценной интерпретации полученных результатов. Хочу остановиться на этой идее дополнительно. 16 Более подробно см.: [Ритцер, 2002: с. 118–131]. 17 Социальная подсистема выполняет функцию интеграции, культурная – функцию сохранения и воспроизводства образца (латентность), личност- ная – функцию целедостижения, поведенческого организма – функцию адаптации. 40 Глава 3 В моем понимании интерпретация является приписыванием определенных значений тем эмпирическим фактам, которые уче- ный получает в рамках своего исследования. Очень часто такое приписывание основывается не только на имеющихся эмпириче- ских фактах, но и на всем предыдущем научном (а порой и не толь- ко научном) опыте. Последний является неким руководством по расшифровке «сырых» исследовательских результатов. Наверно, это единственный путь в том случае, когда ученый обеспечил оче- видную и содержательную валидность (если они не достигнуты, то любая интерпретация будет простой фантазией). И этот путь, надо признать, не самый удачный, поскольку отсутствие данных о взаи- мосвязях между элементами теоретического конструкта (а следова- тельно, и о взаимосвязях между составляющими социального фе- номена) приходится заменять гипотетическими конструкциями. Именно композиционная валидизация в некоторой мере заполняет этот пробел – сначала на этапе качественного исследования (раз- вернутая инвариантная схема взаимосвязей), а потом и на этапе ко- личественного (детализация этой схемы в отношении конкретных социальных общностей) 18 Примером критической нехватки композиционной валидиза- ции и соответствующих смещений социологического вывода явля- ется множество социологических интерпретации, описывающих события и их возможные последствия в политической сфере. В частности в ходе Евромайдана и событий, последовавших за ним (крымские события, вооруженный конфликт на востоке Украины, санкции со стороны западных стран в отношении России, взаимо- отношения между Украиной и МВФ и прочее), было создано мно- жество дискурсов, призванных наделить происходящее смыслом. Но в своем подавляющем большинстве отечественные социологи скорее принимали на веру транслируемые различными властными элитами версии вместо их критического анализа, как и анализа ре- альной конфигурации групп интересов внутри украинского обще- ства и на международной арене. Одной из проблем была переоцен- ка ценностного аспекта в качестве движущей силы и недооценка 18 Пример такой двойной композиционной валидизации приведен в главе об использовании кейс-стади для изучения влияния организационной структуры малых выпускающих кафедр на особенности обучения студен- тов (см. главу 10, параграф 4). Неудовлетворительная валидизация и смещение данных 41 важности реальных интересов тех групп, которые занимают наивысшие статусные позиции. Другой заметной проблемой стало завышение значимости отдельных персон, которым приписывалась не только крайняя иррациональность, но и те решения, которые в действительности вредили их интересам и способствовали реали- зации интересов их оппонентов. Фактически институциональная деятельность растворялась в личностной. Наконец, полностью был проигнорирован ближайший исторический контекст (последние пять лет), позволяющий понять как «все мы здесь оказались и кто чем занят». Эти неверные с научной точки зрения решения нивели- руют структуру происходящего, замешивая все конкурирующие модели в одну емкость, на поверхность которой всплывает, судя по всему, не самое правильное. Такая ситуация стала возможна потому, что после двух десяти- летий изучения постсоветского общества, всевозможных транзитов и трансформаций, а также накопления множества ценного эмпири- ческого материала, так и не была выстроена валидная теория, свя- зывающая воедино все обнаруженные и описанные социальные феномены, на которых базируется наше общество. Г ЛАВА 4. Т ЕОРЕТИЧЕСКАЯ ВАЛИДНОСТЬ И ИССЛЕДОВАНИЯ СМЕШАННОГО ТИПА Выше было сказано о том, что теоретическую валидность можно рассматривать в качестве связующего звена между каче- ственной и количественной стратегиями социологического иссле- дования. Для того чтобы сделать это допущение более четким, необходимо рассмотреть проблему разногласия между качествен- ным и количественным подходами. Согласно Г.Блумеру, уделившему немало внимания критике количественного подхода, эмпирическая наука предполагает суще- ствование эмпирического мира, который доступен для наблюдения, изучения и анализа. Кроме этого, он настаивал на том, что реаль- ность для эмпирической науки существует только в эмпирическом мире, может устанавливаться лишь в нем и проверяться лишь в нем [Blumer, 1969: p. 21–22]. Такая позиция является закономерной ре- акцией на чрезмерную экспансию количественного подхода, в рам- ках которого все исследовательские задачи рассматриваются сквозь призму измерительной процедуры. С другой стороны, и представи- тели количественного подхода, как правило, не придают замечани- ям оппонентов особого значения, а часто и вовсе делают попытки провозгласить качественный подход псевдонаучной болтовней 19 Такие разногласия являются скорее результатом недостаточно- го понимания роли того или иного подхода в рамках социальных наук, чем их принципиальной несовместимости. Для прояснения задач, которые должны решаться в рамках различных подходов, следует обратиться к наиболее общим эмпирическим методам ис- следования. К последним относятся наблюдение, измерение и эксперимент. В контексте соотнесения ролей качественного и количественного подходов уместно говорить о первых двух 20 . Качественный подход 19 См., например: [Батыгин, Девятко, 1994]. 20 В данном случае, под наблюдением понимается восприятие предметов и явлений действительности осуществляемое с целью их познания, а под измерением – процесс представления свойств реальных объектов в виде числовой величины [Никифоров, 2006: с. 137–142]. Теоретическая валидность и исследования смешанного типа 43 в целом и его отдельные методы, по сути, являются способами наблюдения в рамках социальных наук. Здесь речь идет не только о методах включенного или невключенного наблюдения, но и о та- ких методах, как структурированные и полуструктурированные ин- тервью, изучение случая или кейс-стади, согласование концептов (concept mapping) и прочих. Несмотря на то, что в рамках каче- ственных исследований часто говорят о самом исследователе как об инструменте исследования 21 , необходимо говорить об участни- ках исследования как об инструментах наблюдения тех или иных социальных феноменов. Дело в том, что многие аспекты социаль- ного феномена часто не могут наблюдаться непосредственно ис- следователем. Такая ситуация связана с тем, что эти аспекты либо остались в прошлом и доступны лишь ретроспективно, либо их наличие, особенно в случае значений (meaning), которые придают- ся тем или иным аспектам, можно зафиксировать исключительно со слов участника исследования. Что касается количественного подхода, то он, несомненно, отвечает за решение задач измерения в рамках социальных наук. Теперь следует вернуться к теоретической валидности как свя- зующему звену между двумя подходами в социологическом иссле- довании. По большей части (при очевидной, содержательной и композиционной валидизации) ее достижение является прерогати- вой качественного исследования, так как теория, построенная на основе тщательного изучения эмпирической действительности, бу- дет более обоснованной, чем теория, основывающаяся на изучении литературы и, тем более, на здравом смысле исследователя. После достижения указанных составляющих теоретической валидности можно переходить к осуществлению измерения. Важно отметить, что такой взгляд на соотнесение двух подходов не ставит во главу угла качественную методологию, так как умение использовать ко- личественные методы является не менее важным условием успеш- ного завершения теоретической валидизации в ее композиционной составляющей. Прежде чем перейти к рассмотрению соответствующих мето- дологических принципов и методов, следует описать особенности того типа исследования, который позволяет осуществить теорети- 21 См., например: [Квале, 2003: с. 148]. |