Исследование. Даниэль КанеманДумай медленноРешай быстро
 Скачать 0.81 Mb.
|
|
Часть II Методы эвристики и искажения 10 Закон малых чисел Исследование частоты рака почки, проведенное в 3141 округе США, выявило удивительную закономер- ность: самый низкий уровень заболеваемости обна- ружен в сельских, малонаселенных округах, распо- ложенных в традиционно республиканских штатах на Среднем Западе, Юге и Западе. Что вы думаете по этому поводу? Ваш разум в последние несколько секунд был очень активен, причем работала преимущественно Система 2. Вы планомерно искали в памяти инфор- мацию и формулировали гипотезы. Вам понадоби- лись некоторые усилия: у вас расширились зрачки, измеримо участилось сердцебиение. Но и Система 1 не бездельничала: работа Системы 2 полагалась на факты и предложения, извлеченные из ассоциатив- ной памяти. Вы, вероятно, отвергли мысль о том, что республиканские политические взгляды защищают от рака почки. Скорее всего, в итоге вы сосредоточились на том факте, что округа с низким уровнем заболева- емости в основном сельские. Остроумные статистики Говард Вейнер и Харрис Цверлинг, приводя в пример это исследование, прокомментировали: «Очень легко и соблазнительно сделать вывод, что низкий уровень заболеваемости – прямое следствие здоровой сель- ской жизни: воздух чистый, вода тоже, еда свежая и без добавок». Очень разумно. Рассмотрим теперь округа с самым высоким уров- нем заболеваемости раком почки. Эти нездоровые округа в основном сельские, малонаселенные и рас- положены в традиционно республиканских штатах на Среднем Западе, Юге и Западе. Вейнер и Цверлинг в шутку комментируют: «Легко предположить, что высо- кий уровень заболеваемости – прямое следствие бед- ности сельской жизни: хорошая медицина далеко, пи- ща жирная, злоупотребление алкоголем и табаком». Конечно же, что-то не так. Сельская жизнь не может служить одновременным объяснением и для высоко- го, и для низкого уровня заболеваемости раком почки. Основной фактор здесь – не то, что округа сельские или в основном республиканские. Все дело в том, что население сельских округов малочисленно. Главный урок, который нужно усвоить, касается не эпидемио- логии, а сложных отношений между нашим разумом и статистикой. Система 1 отлично приспособлена к одной форме мышления – она автоматически и без усилий опознает каузальные связи между событиями, иногда даже в тех случаях, когда связи не существу- ет. Услышав об округах с высоким уровнем заболева- емости, вы немедленно заключили, что они чем-то от- личаются, что у этой разницы есть объяснение. Одна- ко, как мы увидим, Система 1 не слишком способна управляться с «чисто статистическими» фактами, ко- торые меняют вероятность результатов, но не застав- ляют их случаться. Случайное событие – по определению – не подле- жит объяснению, но серии случайных событий ведут себя чрезвычайно регулярным образом. Представьте себе сосуд, наполненный небольшими шариками. По- ловина из них – красные, половина – белые. Затем представьте очень терпеливого человека (или робо- та), который вслепую достает по четыре шарика, за- писывает число красных, бросает их обратно и повто- ряет так много-много раз. Если обобщить результаты, то обнаружится, что сочетание «два белых, два крас- ных» появляется почти в шесть раз чаще, чем «четы- ре белых» или «четыре красных». Это соотношение – математический факт. Результат многократного из- влечения шариков из урны можно предсказать с той же точностью, как результат удара молотком по яйцу. Предсказать, как именно разлетятся осколки скорлу- пы, вы не сможете, но в целом вы уверены в резуль- тате. Впрочем, есть одно различие: удовлетворенное ощущение причинной связи, которое вы испытывае- те, думая о молотке и яйце, в случае с шариками на- прочь отсутствует. С этим связан и другой статистический факт, отно- сящийся к примеру о раке. Из одного и того же сосу- да два очень терпеливых экспериментатора по очере- ди достают шарики. Джек в каждой попытке вытаски- вает по 4 штуки, а Джилл – по 7. Они оба делают от- метку каждый раз, когда им достаются шарики одного цвета, все белые или все красные. Если достаточно долго этим заниматься, то Джек будет наблюдать та- кие результаты примерно в 8 раз чаще Джилл (ожида- емый процент составляет 12,5 и 1,56 % соответствен- но). И вновь ни молотка, ни причины, просто матема- тический факт: наборы из 4 шариков чаще дают одно- родные результаты, чем наборы из 7. А теперь представьте население США шариками в огромном сосуде, причем некоторые шарики помече- ны буквами «РП», что говорит о раке почки. Вы извле- каете наборы шариков и по очереди населяете каж- дый округ. Выборки в сельских местностях меньше остальных. Как и в игре Джека и Джилл, экстремумы – то есть очень высокие и/или очень низкие уровни за- болеваемости раком – с большей вероятностью ока- жутся в малонаселенных округах. Вот и вся история. Мы начали с факта, который требует объяснения: уровень заболеваемости раком почки сильно меняет- ся в зависимости от округа, и в этих изменениях есть закономерность. Я предложил статистическое объяс- нение: экстремумы (высокие и низкие показатели) ве- роятнее появятся в маленьких выборках, чем в боль- ших. Это – не причина. Маленькое население окру- га не порождает рак и не спасает от него. Оно про- сто позволяет уровню заболеваемости быть намного выше (или намного ниже), чем в более многочислен- ной популяции. Истина состоит в том, что объяснять здесь нечего. На самом деле уровень заболеваемо- сти раком не выше и не ниже нормы; если в округе маленькое население, она лишь кажется такой в от- дельно взятом году из-за случайности выборки. Если повторить анализ на следующий год, мы заметим, что в целом ситуация с экстремумами в малых выборках та же, но округа, где в предыдущем году было мно- го случаев рака, необязательно и на этот раз покажут высокий уровень заболеваемости. Если так, то разни- ца между плотно населенными и сельскими округами не считается, это просто артефакты, то есть явле- ния, порожденные исключительно каким-то аспектом метода исследования, в данном случае – различиями в размере выборки. Вы, может, и удивились моему рассказу, но не вос- приняли его как откровение. Вам давно известно, что результаты исследований надежнее на больших вы- борках, и о законе больших чисел слышали даже те, кто статистики совершенно не знает. Но просто «знать» недостаточно, и, возможно, вы обнаружите, что в отношении вас справедливы следующие утвер- ждения: • Вы не придали значения признаку «малонаселен- ный», когда читали историю об исследовании частоты заболеваний раком. • Вы сильно удивились, узнав о разнице между вы- борками в 4 и 7 шариков. • Даже сейчас вам требуются определенные ум- ственные усилия, чтобы понять, что следующие два утверждения означают совершенно одно и то же: – Большие выборки дают более точный результат, чем маленькие. – Маленькие выборки чаще больших дают экстре- мумы. Первое утверждение кажется истинным, но нельзя считать, что вы его поняли, пока интуиция не приняла второе. Итак, вы знали, что результаты на больших выбор- ках точнее, но сейчас вы, наверное, понимаете, что знали это не очень хорошо. Вы не одиноки. Наше с Амосом первое совместное исследование показало, что даже у опытных исследователей плохая интуиция и зыбкое представление о значении объема выборки. Закон малых чисел Мое сотрудничество с Амосом в 1970-е годы нача- лось с дискуссии об утверждении, что люди облада- ют интуитивным статистическим чутьем, даже если их статистике не обучали. На семинаре Амос рассказал нам об исследователях из Мичиганского университе- та, которые в целом оптимистично относились к инту- итивной статистике. Меня эта тема очень волновала по личным причинам: незадолго до того я обнаружил, что я – плохой интуитивный статистик, и мне не вери- лось, что я хуже других. Для психолога-исследователя изменчивость вы- борки – не просто странность, это неудобство и поме- ха, которая дорого обходится, превращая любое ис- следование в игру случая. Предположим, вы хотите подтвердить гипотезу, что словарный запас шестилет- них девочек в среднем больше, чем словарный запас мальчиков того же возраста. В объеме всего населе- ния гипотеза верна, у девочек в шесть лет словарный запас в среднем больше. Однако девочки и мальчи- ки бывают очень разными, и можно случайно выбрать группу, где заметной разницы нет, а то и такую, где мальчики набирают больше баллов. Если вы – иссле- дователь, такой результат вам дорого обойдется, по- скольку, потратив время и усилия, вы не подтверди- те правильность гипотезы. Риск снижается только ис- пользованием достаточно большой выборки, а те, кто работает с маленькими выборками, отдают себя на волю случая. Риск ошибки в каждом эксперименте оценивается при помощи довольно простой операции, однако пси- хологи не пользуются вычислениями для определе- ния размера выборки, а принимают решения в со- ответствии с собственным, зачастую ущербным, по- ниманием. Незадолго до дискуссии с Амосом я про- читал статью, прекрасно иллюстрирующую типичные ошибки исследователей. Автор отмечал, что психоло- ги сплошь и рядом используют настолько маленькие выборки, что рискуют не подтвердить верные гипоте- зы с вероятностью 50 %! Ни один разумный исследо- ватель не примет такой риск. Правдоподобным объ- яснением казалось то, что решения психологов от- носительно размера выборок отражали господствую- щие интуитивные заблуждения о диапазоне изменчи- вости. Меня поразили содержащиеся в статье объясне- ния, проливающие свет на проблемы с моими соб- ственными исследованиями. Как и большинство пси- хологов, я постоянно использовал слишком малень- кие выборки и часто получал бессмысленные, стран- ные результаты, оказывавшиеся артефактами, кото- рые порождал сам метод моих исследований. Мои ошибки были тем постыднее, что я преподавал ста- тистику и умел вычислять размер выборки, необхо- димый для снижения риска неудачи до приемлемого уровня. Но я никогда этим не занимался при плани- ровании экспериментов и, подобно другим исследо- вателям, верил традиции и собственной интуиции, не задумываясь о проблеме всерьез. К моменту, когда Амос посетил мой семинар, я уже осознал, что моя интуиция не работает, а во время самого семинара мы быстро пришли к выводу, что ошибаются и оптимисты из Мичиганского университета. Мы с Амосом решили выяснить, есть ли среди ис- следователей такие же наивные глупцы, как я, и до- пускают ли те же ошибки ученые, обладающие ма- тематическими знаниями. Мы разработали опросник с описанием реалистичных исследований и успеш- ных экспериментов. Опрашиваемые должны были определить размеры выборок, оценить связанные с этими решениями риски и дать советы гипотетиче- ским аспирантам, планирующим научно-исследова- тельскую работу. На конференции Общества матема- тической психологии Амос провел опрос присутству- ющих (включая авторов двух учебников по статисти- ке). Результаты оказались очевидны: я был не одинок. Почти все респонденты повторили мои ошибки. Выяс- нилось, что даже эксперты недостаточно вниматель- ны к размеру выборки. Первая статья, написанная мной в соавторстве с Амосом, называлась «Вера в закон малых чисел». В ней шутливо пояснялось, что «…интуитивная оценка размера случайных выборок, похоже, удовлетворяет закону малых чисел, гласящему, что закон больших чисел с тем же успехом применим и к малым». Также мы включили в статью настойчивую рекомендацию для исследователей относиться к своим «статистиче- ским предчувствиям с недоверием и при любой воз- можности заменять впечатления вычислениями». Предпочтение уверенности сомнению По результатам телефонного опроса 300 пенсионеров, 60 % поддерживают президента. Если бы вас попросили изложить смысл этого пред- ложения в трех словах, как бы вы это сделали? По- чти наверняка вы бы сказали: «Пенсионеры поддер- живают президента». Эти слова передают суть исто- рии. Опущенные детали опроса (то, что его проводи- ли по телефону, и количество респондентов) сами по себе неинтересны, они просто описывают исходные условия. При другом размере выборки вы все равно сказали бы то же самое. Конечно, абсурдное количе- ство – 6 или 60 миллионов – привлекло бы внимание. Но если вы профессионально этим не занимаетесь, вы, возможно, почти одинаково отреагируете на вы- борку из 150 и 3000 человек. Фраза «Люди не уделя- ют должного внимания размеру выборки» именно это и означает. Сообщение об опросе содержит информацию двух типов: историю и ее источник. Естественно, вы боль- ше обращаете внимание на саму историю, чем на достоверность результатов. Однако, если достовер- ность невысока, сообщение не усвоят. Услышав, что «Группа сторонников провела некорректный и тен- денциозный опрос, чтобы показать, что пенсионеры поддерживают президента», вы, конечно же, отверг- нете эту информацию, результаты опроса не станут частью того, во что вы верите. Вместо этого некор- ректный опрос и его фальшивые результаты превра- тятся в очередную историю о вранье политиков. В та- ких явных случаях вы можете принять решение не ве- рить. Но достаточно ли хорошо вы ощущаете разницу между «Я прочел в The New York Times…» и «Я слы- шал возле кулера…»? Умеет ли ваша Система 1 раз- личать степени веры? Принцип WYSIATI предполага- ет, что нет. Как уже упоминалось, Система 1 не склонна к со- мнениям. Она подавляет неоднозначность и самопро- извольно составляет когерентные истории. Если со- общение не отвергается немедленно, то связанные с ним ассоциации будут распространяться так, как если бы оно было верным. Система 2 способна со- мневаться, поскольку может одновременно рассмат- ривать несовместимые варианты. Однако поддержи- вать сомнения труднее, чем уверяться в чем-либо. Закон малых чисел – проявление общей склонности к уверенности вместо сомнений, которая под разными видами еще не раз появится в следующих частях. Сильная предрасположенность верить, что ма- ленькие выборки точно представляют все население, означает и нечто большее: мы склонны преувели- чивать последовательность и когерентность увиден- ного. Излишняя вера исследователей в результаты нескольких наблюдений сродни эффекту ореола, ча- сто возникающему у нас чувству, что мы знаем и по- нимаем человека, о котором нам, по сути, известно мало. Система 1 предвосхищает факты, составляя по обрывочным сведениям полную картину. Механизм для поспешных выводов ведет себя так, будто верит в закон малых чисел. В целом он создает чересчур осмысленную картину реальности. Причина и случай Ассоциативные механизмы ищут причины. Стати- стические закономерности трудно воспринимать, по- тому что к ним требуется принципиально иной под- ход. Рассматривая событие со статистической точки зрения, мы интересуемся его связью с тем, что могло произойти, а не как именно оно произошло. Никакой особой причины не было, случай выбрал его среди других. Наша склонность к каузальному мышлению порож- дает серьезные ошибки в оценке случайности дей- ствительно случайных событий. Для примера возь- мем пол шести младенцев, родившихся в больни- це один за другим. Последовательность появления мальчиков и девочек совершенно случайна: события независимы, а число мальчиков и девочек, родивших- ся за последние часы, абсолютно не влияет на пол следующего младенца. Теперь рассмотрим три воз- можные последовательности: МММДДД ДДДДДД МДММДМ Одинаковая ли у них вероятность? Возникающий интуитивный ответ «Конечно, нет!» – неправильный. Поскольку события независимы, а варианты исхода Д и М примерно равновероятны, любая возможная последовательность полов шести новорожденных так же вероятна, как остальные. Даже сейчас, когда вы знаете, что этот вывод правильный, он все равно про- тиворечит интуиции, потому что только третья стро- ка кажется случайной. Как и можно было ожидать, по- следовательность МДММДМ считают более вероят- ной, чем две другие. Мы ищем закономерности, верим в когерентность окружающего мира, где появление на свет шести девочек подряд не случайно, а результат механической причины или чьего-то намерения. Мы не ожидаем, что случайный процесс приведет к ре- гулярным результатам, и, обнаружив нечто, похожее на закономерность, быстро отказываемся от мысли о случайности такого процесса. На самом деле слу- чайные процессы порождают множество последова- тельностей, подталкивая наблюдателей к убеждению в неслучайности таковых. Разумеется, желание при- держиваться каузальности дает определенные эво- люционные преимущества: это часть бдительности, унаследованной от предков. Мы автоматически сле- дим за изменениями окружающей среды. Львы появ- ляются на равнине в случайное время, но безопаснее замечать и должным образом реагировать на увели- чение частоты появлений львиных прайдов, даже ес- ли оно вызвано флуктуациями в случайном процессе. Широко распространенное непонимание случайно- сти иногда имеет серьезные последствия. В нашей статье о репрезентативности мы с Амосом процити- ровали статистика Уильяма Феллера, показавшего, как легко найти закономерности там, где их нет. В го- ды Второй мировой войны считалось, что бомбарди- ровки Лондона совершаются по определенному пла- ну и не могут быть случайными, поскольку на карте распределения очагов поражения выявлялись подо- зрительные пробелы. Подозревали, что в непостра- давших районах живут немецкие шпионы. Тщатель- ный статистический анализ показал, что распределе- ние очагов поражения было типичным для случайно- го процесса, включая и сам тот факт, что оно вызыва- ло сильное впечатление неслучайности. Феллер го- ворит: «Для неопытного глаза случайность выглядит как регулярность или тенденция к группированию». Вскоре мне представилась возможность на практике применить наблюдения Феллера. В 1973 году нача- лась четвертая арабо-израильская война, и мой един- ственный незначительный вклад в нее состоял в том, что я посоветовал высшему командованию израиль- ских ВВС прекратить начатое расследование. Изра- ильские войска понесли значительный урон в резуль- тате эффективных воздушных атак противника с при- менением египетских ракет «земля – воздух». Суще- ственные потери казались неравномерно распреде- ленными: к примеру, из двух эскадрилий, вылетев- ших с одного аэродрома, одна потеряла четыре са- молета, а другая – ни одного. Для выявления оши- бок, допущенных пострадавшей эскадрильей, нача- ли расследование. Не было никаких причин считать, что эскадрильи различались по уровню подготовки; никакой разницы в действиях пилотов не обнаружи- ли. Разумеется, жизнь пилотов различалась по мно- жеству случайных показателей, включая, как помнит- ся, частоту поездок домой и методы проведения раз- боров полетов. Я посоветовал командованию прекра- тить расследование и смириться с тем, что понесен- ные потери оказались результатом слепого случая. Я выдвинул следующие аргументы: вероятнее всего, дело в случайности, искать неочевидную причину на- угад безнадежно, а пилотов понесшей потери эскад- рильи не стоит обременять чувством вины за смерть товарищей. Через несколько лет Амос и его ученики Том Гило- вич и Роберт Валлоне опубликовали исследование о неверном восприятии случайности в баскетболе. Сре- ди игроков, тренеров и болельщиков бытует убежде- ние, что иногда у игроков бывает «легкая рука». Удер- жаться от такого вывода невозможно: если игрок за- брасывает три или четыре мяча подряд, возникает ка- узальное убеждение, что он будет играть успешнее других. Обе команды подстраиваются под такое ре- шение: «свои» чаще дают удачливому игроку пас, а защита «чужих» старается блокировать его. Анализ тысяч последовательностей бросков привел к неуте- шительному заключению: в профессиональном бас- кетболе не бывает бросков «легкой руки» – ни с пло- щадки, ни со штрафной. Конечно, некоторые игро- ки точнее других, но последовательность успешных бросков и промахов удовлетворяет всем тестам на случайность. Все остальное – выдумки наблюдате- лей, склонных находить упорядоченность и каузаль- ность в случайных событиях. «Легкая рука» – распро- страненная когнитивная иллюзия. Реакция общественности на это исследование весьма показательна: неожиданные выводы привлек- ли внимание прессы, но восприняли их с огромным недоверием. Знаменитый тренер баскетбольной ко- манды «Бостон Селтикс» Рэд Ауэрбах, услышав об исследовании Гиловича, сказал: «Да кто он такой? Ну, провел исследование, а мне какая разница?» Склон- ность видеть закономерности в случайном сильнее каких-то там исследований. Иллюзия закономерности влияет на наши жизни и вне баскетбольных площадок. Сколько выгодных сде- лок должен заключить ваш финансовый консультант, прежде чем вы решите, что он необычайно эффекти- вен? Какое количество успешных приобретений убе- дит совет директоров, что у генерального директора талант к подобным сделкам? Простой ответ на эти во- просы гласит, что, следуя интуиции, вы чаще воспри- мете случайное событие как закономерное. Мы слиш- ком охотно отвергаем мысль о том, что многое в на- шей жизни случайно. Я начал эту часть с примера о частоте заболевае- мости раком в США. Он появляется в книге, предна- значенной для преподавателей статистики, но я узнал о нем из упомянутой выше статьи Говарда Вейнера и Харриса Цверлинга. Они написали о крупном вкладе в 1,7 миллиарда долларов, сделанном Фондом Гейт- са в исследования необычных характеристик самых преуспевающих школ. Многие пытаются найти секрет успешного образо- вания, определяя высокорезультативные школы в на- дежде выяснить, чем же они отличаются от осталь- ных. Один из выводов этого исследования состоит в том, что в среднем небольшие школы результативнее. К примеру, в обзоре 1662 школ в Пенсильвании 6 из 50 лучших были небольшими, что в 4 раза превыша- ет реальные показатели. На основании этих данных Фонд Гейтса сделал значительные инвестиции в со- здание небольших школ, иногда даже путем разде- ления крупных школ. К нему присоединились и дру- гие известные организации, включая Фонд Анненбер- га и Благотворительный фонд Пью, а также Програм- ма малых учебных сообществ министерства образо- вания США. Интуитивно это ощущается как разумное объясне- ние. Легко составить каузальную историю, объясняю- щую, почему, в отличие от крупных школ, небольшие учебные заведения дают замечательное образование и, таким образом, выпускают замечательных учени- ков, уделяя им больше внимания и лучше поощряя их. К несчастью, анализ причин бессмыслен, посколь- ку неверны факты. Если бы статистики, делавшие до- клад в Фонде Гейтса, задались вопросом о характери- стиках самых плохих школ, то обнаружилось бы, что плохие школы обычно тоже малочисленные. Дело в том, что в среднем маленькие школы ничуть не луч- ше, у них просто выше изменчивость. Вейнер и Цвер- линг утверждают, что большие школы дают лучшие результаты, особенно в старших классах, когда важно большее разнообразие доступных предметов. Благодаря последним открытиям когнитивной пси- хологии очевидно то, что мы с Амосом заметили лишь мельком: закон малых чисел – один из многих, объяс- няющих, как устроен наш разум. • Преувеличенная вера в маленькие выборки – один из примеров общей иллюзии: мы обращаем больше внимания на содержание сообщений, чем на информацию об их надежности, и в результате полу- чаем более простую и связную картину окружающего мира, чем предполагают данные. Поспешные выводы безопаснее делать в воображении, но не в действи- тельности. • Статистика порождает много наблюдений, кото- рые, казалось бы, требуют каузальных объяснений, но на самом деле им не подлежат. Вероятность отве- чает за множество событий, включая случайность вы- борки. Каузальное объяснение случайностей немину- емо будет неправильным. |