Краткое содержание Конфликт
 Скачать 3.29 Mb.
|
|
Разговоры о причинах и статистике «Нельзя считать, что они извлекут урок из обычной статистики. Давайте продемонстрируем им один-два типичных отдельных случая, чтобы повлиять на их Систему 1». «Эту статистическую информацию не проигнорируют. Наоборот, она поспособствует созданию стереотипа». 17 Регрессия к среднему Одно из самых впечатляющих озарений в моей карьере случилось, когда я преподавал инструкторам израильских ВВС психологию эффективного обучения. Я объяснял им важный принцип отработки навыков: поощрение за улучшение результатов работает эффективнее, чем наказание за ошибки. Это предположение много раз подтверждено исследованиями на голубях, крысах, других животных и людях. Выслушав мои воодушевленные объяснения, один из самых опытных инструкторов в группе поднял руку и произнес в ответ собственную речь. Сначала он согласился, что, возможно, птицам поощрения и помогают, но отказался признавать, что похвала действует на курсантов. Он сказал так: «Я неоднократно хвалил курсантов за чистое исполнение фигуры высшего пилотажа. Во время следующей попытки исполнения той же фигуры они справляются хуже. А когда я ругаю их за плохое исполнение, то обычно в следующий раз у них выходит лучше. Так что, пожалуйста, не рассказывайте нам, что поощрение работает, а наказание — нет, потому что все как раз наоборот». Внезапно, в радостный момент озарения, я по-новому увидел статистический принцип, который многие годы преподавал. Инструктор был прав — и в то же время совершенно неправ! Он проницательно заметил, что за случаями, когда он хвалил исполнение маневра, с большой вероятностью следовали разочарования, а за наказаниями — улучшения. Однако сделанный им вывод об эффективности поощрения и наказания оказался совершенно неверным. Инструктор наблюдал эффект регрессии к среднему, возникающий из-за случайных колебаний в качестве исполнения. Естественно, хвалили только тех, кто выполнял маневры намного лучше среднего. Но, вероятно, курсанту на этой попытке просто повезло, и, таким образом, следующая попытка была бы хуже независимо от того, похвалили его или нет. И наоборот: инструктор ругал курсанта, если тот выполнял задание необычно плохо, и потому сделал бы следующую попытку лучше, независимо от действий инструктора. Получилось, что неизбежным колебаниям случайного процесса дали каузальную интерпретацию. Мне нужно было ответить, но лекцию по алгебре предсказаний вряд ли бы восприняли с энтузиазмом. Я взял мелок, нарисовал на полу цель, попросил каждого из присутствующих стать к ней спиной и, не глядя, бросить подряд две монеты. Мы измерили расстояния до цели и записали на доске оба результата для каждого испытуемого, а затем выстроили их по порядку, от худшей до лучшей первой попытки. Выяснилось, что большинство (но не все) из тех, у кого результаты первой попытки были лучшие, на второй попытке справлялись хуже, а у тех, кто плохо справился в первый раз, в следующий, как правило, получалось лучше. Я указал инструкторам на то, что написанное на доске совпадало с услышанным относительно последовательного выполнения фигур высшего пилотажа: за плохими результатами следовало улучшение, а за хорошими — ухудшение, без всякой похвалы или наказания. В тот день обнаружилось, что летчики-инструкторы попали в ловушку зависимости от обстоятельств: ругая курсантов за плохие результаты, они, казалось, добивались улучшения, однако в действительности наказание не давало никакого эффекта. В этом они были не одиноки. В сущности, одна из особенностей человеческой природы заключается в неожиданной реакции при столкновении с жизнью. Мы хвалим других за добрые дела и ругаем за промахи, а с точки зрения статистики нас наказывают за хорошее и поощряют за плохое. Талант и удача Несколько лет назад Джон Брокман, редактор онлайн-журнала Edge, попросил ученых рассказать об их любимых уравнениях. Я предложил такие: успех = талант + удача большой успех = чуть больше таланта + много удачи Неудивительная мысль о том, что удача часто помогает добиться успеха, представляет в неожиданном свете результаты первых двух дней турнира по гольфу. Чтобы не усложнять, предположим, что в оба дня средний показатель был пар 72. Мы сосредоточимся на игроке, который первый день прошел очень хорошо, завершив его со счетом 66. О чем говорит такой великолепный результат? Первый вывод: этот гольфист талантливее среднего участника турнира. Формула успеха предполагает возможность и другого вывода: у игрока был более удачный день, чем у других участников. Если вы согласны с тем, что и талант, и удача — часть успеха, то заключение о том, что игроку повезло, так же обоснованно, как и заключение о таланте. Аналогично, рассматривая гольфиста, который набрал на 5 очков больше пара, есть причины сделать вывод, что он — довольно слабый игрок и у него был плохой день. Конечно, вы не знаете ни того ни другого наверняка. Вполне возможно, что игрок, набравший 77 очков, в действительности очень талантлив, но у него выдался совершенно ужасный день. Хотя следующие выводы из счета по окончании первого дня неокончательны, они вполне правдоподобны и чаще всего будут верными. результат лучше среднего в 1-й день = талант выше среднего + удача в 1-й день и результат хуже среднего в 1-й день = талант меньше среднего + неудача в 1-й день Теперь предположим, что вам известен результат гольфиста в первый день, и требуется предсказать его на второй. Вы ожидаете, что уровень таланта останется тем же, так что лучшее, что можно предположить для первого гольфиста, — «лучше среднего», а для второго — «хуже среднего». Удача, конечно, другое дело. Поскольку невозможно предсказать везение гольфистов во второй — да и в любой другой — день, лучший вариант: предположить, что оно будет средним, без особенностей. Это означает, что, в отсутствие другой информации, не стоит в своих догадках относительно второго дня повторять результаты игроков в первый день. Можно сказать лишь следующее: • Гольфист, успешно сыгравший в первый день, вероятно, на второй день тоже сыграет успешно, но не так хорошо, поскольку необычное везение вряд ли сохранится. • Гольфист, сыгравший плохо в первый день, скорее всего, и во второй день сыграет хуже среднего, но лучше по сравнению с предыдущим результатом, поскольку его вероятное невезение должно прекратиться. Также ожидается, что разница между двумя гольфистами на второй день уменьшится, хотя надежнее всего предположить, что первый все равно сыграет лучше второго. Мои студенты всегда удивляются тому, что лучшие предсказания результатов второго дня — более скромные и близкие к среднему, чем те результаты, на которых предсказания основаны. Именно поэтому такая модель называется регрессией к среднему. Чем выше исходные данные, тем сильнее ожидаемое сокращение, поскольку чрезвычайно хороший результат предполагает очень счастливый день. Регрессивное предсказание разумно, но его точность не гарантируется. Некоторые гольфисты, набравшие 66 в первый день, во второй справятся еще лучше, если им повезет еще больше. Большинство игроков справятся хуже, поскольку их удача уже не будет выше средней. Теперь давайте взглянем в прошлое. Отсортируйте игроков по результатам второго дня и посмотрите на их результаты в первый день: обнаружится точно такая же регрессия к среднему. Лучшим гольфистам второго дня, вероятнее всего, сопутствовала удача, и надежнее всего предположить, что в первый день им везло меньше и их результат был хуже. Тот факт, что регрессия наблюдается и при попытках предсказать более раннее событие по более позднему, должен убедить вас в том, что у нее нет каузального объяснения. Эффекты регрессии встречаются везде, а вместе с ними — и ошибочные объяснения их причин. Известный пример — «проклятие Sports Illustrated». Утверждают, что спортсмен, чей портрет опубликован на обложке журнала, обречен на плохие результаты в следующем сезоне. В качестве причины часто называют излишнюю самоуверенность и боязнь не соответствовать ожиданиям, однако существует и более простое объяснение. Спортсмен попадает на обложку Sports Illustrated в том случае, если он добился исключительных результатов в предыдущем сезоне, в том числе, вероятно, и при помощи удачи — а она непостоянна. По странному совпадению, когда мы с Амосом писали об интуитивных предсказаниях, я смотрел зимние Олимпийские игры — соревнования мужчин по прыжкам на лыжах с трамплина. У каждого участника есть две попытки, которые объединяются в окончательный результат. Я с удивлением слушал заявления комментатора во время подготовки ко второму прыжку: «Норвежец отлично выполнил первый прыжок, теперь спортсмен напряжен, постарается защитить свою позицию и, вероятнее всего, прыгнет хуже» или «Шведский спортсмен плохо выполнил первый прыжок, он знает, что ему нечего терять, будет расслаблен, и это поможет ему прыгнуть лучше». Комментатор заметил регрессию к среднему и придумал совершенно безосновательные объяснения, которые тем не менее вполне могли соответствовать действительности. Если бы мы измерили пульс спортсменов перед каждым прыжком, то, возможно, обнаружили бы, что они более расслаблены после первой неудачи. Или не обнаружили бы. Важно помнить о том, что не следует искать объяснений изменению результатов между двумя попытками. Это — математически неизбежное следствие того факта, что на исход первого прыжка влияла удача. История не слишком удовлетворительная — нам всем больше понравилось бы каузальное объяснение, — но другой нет. Понимание регрессии к среднему Независимо от того, не замечают ли его или неправильно объясняют, феномен регрессии чужд человеческому разуму. Регрессию впервые опознали и поняли на двести лет позже, чем теорию гравитации и дифференциальное исчисление. Более того, для объяснения регрессии потребовался один из лучших британских умов XIX века. Впервые это явление описал сэр Фрэнсис Гальтон, троюродный брат Чарльза Дарвина, обладавший поистине энциклопедическими знаниями. В статье под названием «Регрессия к среднему при наследовании», опубликованной в 1886 году, он сообщил об измерениях нескольких последовательных поколений семян и о сравнении роста детей с ростом их родителей. О семенах он пишет так: «Исследования дали интересный результат, и на их основании 9 февраля 1877 года я прочитал лекцию в Королевской ассоциации. Эксперименты показали, что потомство не походило на родителей размером, но всегда оказывалось более заурядным, то есть меньше крупных родителей или больше мелких… Эксперименты показали также, что в среднем регрессия потомства прямо пропорциональна отклонению родителей от среднего». Гальтон, очевидно, ожидал, что ученая аудитория в Королевской ассоциации, старейшей независимой исследовательской организации мира, так же удивится его «интересным результатам», как и он сам. Но самое интересное состоит в том, что его удивила обычная статистическая закономерность. Регрессия распространена повсеместно, но мы её не узнаём. Она прячется на виду. За несколько лет, с помощью выдающихся статистиков того времени, Гальтон проделал путь от открытия наследственной регрессии размеров до более широкого понимания того, что регрессия неизбежно возникает при неполной корреляции между двумя величинами. Среди препятствий, которые пришлось преодолеть исследователю, оказалась и проблема измерения регрессии между величинами, выражающимися в разных единицах: например, весом и умением играть на пианино. Их измеряют, беря в качестве эталона для сравнения все население. Представьте, что у 100 детей из всех классов начальной школы измерили вес и умение играть и расположили результаты по порядку, от максимальной до минимальной величины каждого показателя. Если Джейн на третьем месте по музыке и на двадцать седьмом по весу, можно сказать, что игра на пианино у нее лучше, чем рост. Давайте для простоты сделаем несколько допущений. В любом возрасте: • Успехи в игре на пианино зависят только от количества часов занятий в неделю. • Вес зависит исключительно от количества потребляемого мороженого. • Поедание мороженого и количество часов занятий музыкой в неделю — независимые величины. Теперь мы можем написать некоторые уравнения с использованием позиций в списке (или стандартных оценок, как их называют статистики): вес = возраст + потребление мороженого игра на пианино = возраст + количество часов занятий в неделю Очевидно, что при попытках предсказать уровень игры на пианино по весу или наоборот, будет появляться регрессия к среднему. Если о Томе известно лишь то, что он по весу двенадцатый (намного выше среднего), можно сделать статистический вывод, что Том, вероятно, старше среднего и, возможно, потребляет больше мороженого, чем другие. Если о Барбаре известно лишь то, что она восемьдесят пятая по пианино (намного ниже среднего по группе), можно сделать вывод, что Барбара, скорее всего, еще маленькая и, наверное, занимается меньше других. Коэффициент корреляции между двумя величинами, варьирующийся от 0 до 1, — это мера относительного веса факторов, влияющих на обе из них. Например, у всех нас половина генов — общая с каждым из родителей, и у черт, на которые внешние факторы влияют мало (например, у роста), корреляция между показателями родителя и ребенка близка к 0,5. Чтобы оценить значение меры корреляции, приведу несколько примеров коэффициентов: • Корреляция между размерами объектов, точно измеренных в метрических или в имперских единицах, составляет 1. Все определяющие факторы влияют на оба измерения. • Корреляция между весом и ростом, сообщенными респондентами, для взрослых американских мужчин составляет 0,41. Если включить в группу женщин и детей, то корреляция будет намного выше, поскольку пол и возраст индивида влияют на их оценку своего роста и веса, что увеличивает относительные значения общих факторов. • Корреляция между школьными тестами на определение академических способностей и средним баллом в колледже равна примерно 0,60. Однако корреляция между тестами на проверку способностей и успехами в магистратуре намного ниже — в основном потому, что уровень способностей в этой группе не слишком различается. Если способности у всех примерно одинаковы, то разница в этом параметре вряд ли сильно повлияет на меру успеха. • Корреляция между доходом и уровнем образования в США составляет примерно 0,40. • Корреляция между доходом семьи и последними четырьмя цифрами номера их телефона равна 0. Фрэнсису Гальтону потребовалось несколько лет, чтобы понять, что корреляция и регрессия — это не две разные концепции, а две точки зрения на одну. Общее правило довольно простое, но у него удивительные следствия: в случаях, когда корреляция не идеальна, наблюдается регрессия к среднему. Чтобы проиллюстрировать открытие Гальтона, возьмем предположение, которое многие находят довольно любопытным: Умные женщины часто выходят замуж за менее умных мужчин. Если на вечеринке попросить ваших приятелей найти объяснение этому факту, то интересный разговор вам обеспечен. Даже знакомые со статистикой люди проинтерпретируют это утверждение в каузальных терминах. Кто-то решит, что умные женщины стремятся избежать конкуренции умных мужчин; кто-то предположит, что они вынуждены идти на компромиссы при выборе супруга из-за того, что умные мужчины не хотят соревноваться с умными женщинами; другие предложат более надуманные объяснения. А теперь подумайте над следующим утверждением: Корреляция между оценками интеллекта супругов не идеальна. Разумеется, это утверждение верно — и совершенно неинтересно. В этом случае никто не ожидает идеальной корреляции. Объяснять здесь нечего. Тем не менее с алгебраической точки зрения эти два утверждения эквивалентны. Если корреляция между оценками интеллекта супругов не идеальна (и если женщины и мужчины в среднем не различаются по интеллекту), то математически неизбежно, что умные женщины выйдут замуж за мужчин, которые в среднем будут менее умными (и наоборот). Наблюдаемая регрессия к среднему не может быть более интересна или более объяснима, чем неидеальная корреляция. Гальтону можно посочувствовать — попытки понять и объяснить феномен регрессии даются нелегко. По ироническому замечанию статистика Дэвида Фридмана, если вопрос о регрессии возникает в ходе судебного разбирательства, та сторона, которой приходится объяснять его суть присяжным, обязательно проигрывает. Почему это так сложно? Главная причина трудностей регулярно упоминается в этой книге: наш разум склонен к каузальным объяснениям и плохо справляется с «простой статистикой». Если какое-то событие привлекает наше внимание, ассоциативная память начинает искать его причину, а точнее, активируется любая причина, уже хранящаяся в памяти. При обнаружении регрессии подыскиваются каузальные объяснения, но они будут неверными, потому что на самом деле у регрессии к среднему объяснение есть, а причин нет. Во время турниров по гольфу наше внимание привлекает тот факт, что спортсмены, хорошо игравшие в первый день, потом зачастую играют хуже. Наилучшее объяснение состоит в том, что этим гольфистам в первый день необычно повезло, но такому объяснению не хватает силы каузальности, которую предпочитают наши разумы. Мы неплохо платим тем, кто придумывает для нас интересные объяснения эффектов регрессии. Комментатор на канале деловых новостей, который верно заметит, что «для бизнеса этот год был лучше, потому что прошлый год был неудачным», скорее всего, недолго продержится в эфире. Наши трудности с пониманием регрессии возникают и из-за Системы 1, и из-за Системы 2. Без дополнительных инструкций (а во многих случаях — даже после некоторого знакомства со статистикой) отношение между корреляцией и регрессией остается неясным. Системе 2 трудно его понять и усвоить. Частично это происходит из-за настойчивых требований Системы 1 давать каузальные объяснения. Трехмесячное применение энергетических напитков для лечения депрессии у детей дает значительные улучшения состояния. Я выдумал этот заголовок, но описанный в нем факт — правда: если какое-то время поить энергетическими напитками детей, страдающих депрессией, наблюдается клинически значимое улучшение. Аналогичным образом дети с депрессией, которые будут ежедневно по пять минут стоять на голове или по двадцать минут гладить кошек, также покажут улучшение состояния. Большинство читателей таких заголовков автоматически заключат, что улучшение наступило из-за энергетического напитка или поглаживания кошки, но это — совершенно необоснованный вывод. Дети в депрессии — это экстремальная группа, а такие группы с течением времени регрессируют к среднему. Корреляция между уровнями депрессии во время последовательных проверок неидеальна, так что регрессия к среднему неизбежна: детям с депрессией со временем станет чуть легче, даже если они не будут гладить кошек и пить «Ред Булл». Для вывода об эффективности энергетического напитка — или любого другого способа лечения — необходимо сравнить группу пациентов, получающих его, с контрольной группой, не получающей лечения совсем (или, еще лучше, получающей плацебо). Ожидается, что контрольная группа покажет улучшение только за счет регрессии, а цель эксперимента состоит в выяснении, улучшается ли состояние пациентов, получающих лечение, больше, чем объясняется регрессией. Неверное каузальное определение эффекта регрессии свойственно не только читателям популярной прессы. Статистик Говард Вейнер составил длинный список выдающихся исследователей, допустивших такую же ошибку, то есть спутавших корреляцию с каузальностью. Эффект регрессии — частый источник проблем в исследованиях, и у опытных ученых развивается здоровая боязнь ловушек, то ест ь необоснованных каузальных выводов. Один из моих любимых примеров ошибки в интуитивных предсказаниях взят из замечательной книги Макса Базермана «Оценочные суждения при принятии управленческих решений» и адаптирован: Вы прогнозируете продажи в сети магазинов. Все магазины сети сходны по размеру и ассортименту, но объем продаж у них разный из-за расположения, конкуренции и различных случайных факторов. Вам представили результаты за 2011 год и попросили определить продажи в 2012-м. У вас есть указания придерживаться общего прогноза экономистов о том, что рост продаж в целом составит 10 %. Как бы вы заполнили следующую таблицу? Прочитав эту главу, вы знаете, что очевидное решение прибавить по 10 % к продажам каждого из магазинов неправильно. Прогноз должен быть регрессивным, то есть для магазинов с плохими результатами следует добавить больше 10 %, а к остальным — меньше, а то и вычесть что-то. Однако у большинства людей это задание вызывает недоумение: зачем спрашивать об очевидном? Как обнаружил еще Гальтон, понятие регрессии неочевидно. Разговоры о регрессии к среднему «По ее словам, она по опыту знает, что критика эффективнее похвалы. Но она не понимает, что все это — просто результат регрессии к среднему». «Возможно, второе собеседование впечатлило нас меньше потому, что кандидат боялся нас разочаровать. Однако, скорее всего, первое собеседование прошло необычайно хорошо». «Процедура отбора хороша, но неидеальна, так что вероятна регрессия. Не стоит удивляться, что даже самые лучшие кандидаты часто не соответствуют нашим ожиданиям». 18 Как справляться с интуитивными предсказаниями Жизнь дает нам много возможностей предсказывать. Экономисты прогнозируют инфляцию и безработицу, финансовые аналитики прогнозируют доходы, военные эксперты прогнозируют количество жертв, венчурные капиталисты оценивают прибыльность новых компаний, издатели и продюсеры предсказывают целевые аудитории, подрядчики оценивают время на выполнение проекта, шеф-повара предугадывают спрос на блюда в меню, инженеры вычисляют количество бетона, необходимое для строительства здания, начальники пожарных команд определяют число машин, требуемое для тушения пожара. В личной жизни мы предсказываем реакцию супруга на предлагаемый переезд или свою способность освоиться на новом рабочем месте. Некоторые предсказательные оценки, например те, что дают инженеры, в основном полагаются на данные таблиц, точные вычисления и подробный анализ результатов, наблюдавшихся в подобных случаях. Для других предсказаний в действие вступают интуиция и Система 1, в двух основных формах. Бывают предчувствия, основанные в первую очередь на навыках и экспертизе, полученных повторением некоторого опыта. Быстрые автоматические оценки и выборы, совершаемые гроссмейстерами, пожарными и врачами, которые описал Гэри Кляйн в «Источниках силы» и других работах, иллюстрируют профессиональную интуицию: решение текущей проблемы быстро приходит в голову, поскольку обусловлено знакомыми подсказками. Другие предчувствия, иногда субъективно неотличимые от первых, возникают в ходе эвристических процедур, которые часто заменяют заданный трудный вопрос более легким. Интуитивные суждения выносятся уверенно, даже если они основаны на нерегрессивных оценках слабых доказательств. Конечно, многие оценки, особенно в профессиональных областях, рождаются из сочетания анализа и интуиции. Нерегрессивные предчувствия Давайте вспомним старую знакомую: Джули оканчивает университет штата. Она бегло читала в четыре года. Какой у нее средний балл? Люди, знакомые с американской системой образования, быстро выдают число, зачастую близкое к 3,7 или 3,8. Как это происходит? Через несколько операций Системы 1. • Ищется каузальная связь между исходными данными (умением Джули читать) и целью прогноза (средним баллом). Связь может быть непрямой. В данном случае и раннее умение читать, и высокий средний балл отражают хорошие способности, а значит, должна существовать какая-то связь. Вы (то есть ваша Система 2), скорее всего, посчитаете неважной информацию о том, что Джули выиграла соревнования рыболовов-любителей или успешно занималась тяжелой атлетикой в старших классах. Процесс, по сути, дихотомический: можно отбросить то, что заведомо неверно или неважно, но Система 1 не умеет принимать во внимание более мелкие недостатки данных. В результате интуитивные предсказания почти совершенно не учитывают реальные предсказывающие свойства информации. Если найдена связь, как в случае с ранним чтением Джули, срабатывает принцип «что ты видишь, то и есть»: ассоциативная память быстро и автоматически составляет наилучшую возможную при имеющейся информации историю. • Затем данные оцениваются по отношению к соответствующей норме. Насколько необычно для четырехлетнего ребенка беглое чтение? Какая относительная позиция соответствует такому достижению? Ребенка сравнивают с некоторой группой (мы называем ее референтной), которая также не вполне определена, но в обычной речи так и бывает — если выпускника колледжа описывают как «довольно умного», вам редко приходится спрашивать: «Какую референтную группу вы имеете в виду, говоря „довольно умный“?» • Далее происходит подстановка и соразмерение интенсивности. Вместо ответа на вопрос о среднем балле в колледже подставляется оценка ненадежных свидетельств детских когнитивных способностей. В процентном выражении Джули получит один и тот же результат и за средний балл, и за достижения по чтению в раннем возрасте. • В вопросе оговаривалось, что ответ следует представить по шкале среднего балла, то есть требуется еще одно действие по сопоставлению интенсивности общего впечатления от учебных достижений Джули со средним баллом в колледже, подходящим к доказательствам ее таланта. Последний шаг — перевод впечатления об относительном положении Джули по успеваемости в соответствующий средний балл. Сопоставление интенсивности рождает настолько же крайние предсказания, как и данные, на которых они основаны, и ведет к тому, что люди дают одни и те же ответы на два совершенно разных вопроса: Каков процентильный балл Джули по раннему чтению? Каков процентильный балл Джули по среднему баллу? Сейчас вы легко определите все эти действия как функцию Системы 1. Я перечислил их здесь по порядку, но, разумеется, распространение активации в ассоциативной памяти происходит по-другому. Представьте, что процесс изначально запускается информацией и вопросом, сам себя подпитывает и в конечном итоге останавливается на самом когерентном из возможных решений. Однажды мы с Амосом предложили участникам нашего исследования оценить описания восьми первокурсников колледжа, якобы составленные консультантом-психологом на основании собеседований, проведенных при зачислении. В каждом описании было пять прилагательных, как в этом примере: умный, уверенный в себе, начитанный, прилежный, любознательный Некоторых участников просили ответить на два вопроса: Что вы думаете об их способностях к учебе, исходя из этого описания? Какой процент описаний первокурсников, по вашему мнению, произвел бы на вас большее впечатление? Вопросы требуют оценить данные, сравнивая эти описания с вашими нормами описаний студентов, составляемых психологами. Само существование таких норм удивительно. Вы наверняка не знаете, как вы их приобрели, но довольно отчетливо чувствуете уровень энтузиазма в этом описании: психолог считает, что студент хорош, но не потрясающе хорош. Можно употребить более сильные прилагательные, чем «умный» (например, выдающийся, творческий), «начитанный» (ученый, эрудированный, удивительно знающий) и «прилежный» (увлеченный, склонный к перфекционизму). Вердикт следующий: очень вероятно, что описываемый студент входит в 15 % лучших, но вряд ли входит в 3 % самых-самых. В таких оценках наблюдается удивительное единодушие — по крайней мере, внутри одной культуры. Другим участникам нашего эксперимента задавали другие вопросы: По вашему мнению, какой средний балл получит этот студент? Каков процент первокурсников, которые получат более высокий средний балл? Между этими парами вопросов существует трудноуловимая разница. Она должна бы быть очевидной, но это не так. В первой паре требуется оценить данные, а во второй много неопределенности. Вопрос касается реальных результатов в конце первого курса. Что случилось за год, прошедший со времени собеседования? Насколько точно можно предсказать реальные достижения студента на первом курсе колледжа по пяти прилагательным? Способен ли психолог совершенно точно предсказать средний балл по результатам собеседования? Цель нашего исследования заключалась в том, чтобы сравнить процентильные оценки испытуемых, в одном случае сделанные по имеющимся данным, а в другом — при предсказании конечного результата. Итоги подвести легко: оценки оказались идентичны. Хотя пары вопросов различаются (одни — про описание, другие — про будущие результаты), участники воспринимают их как одинаковые. Как и в случае с Джули, предсказание будущего не отличается от оценки имеющихся данных, оно ей соответствует. Это лучшее из имеющихся у нас свидетельств роли подстановки. Испытуемых просят о предсказании, но они подставляют вместо него оценку данных, не замечая, что отвечают на вопрос, отличный от заданного. Такой процесс гарантированно ведет к получению систематически искаженных предсказаний, которые совершенно не учитывают регрессию к среднему. Во время службы в Армии обороны Израиля я некоторое время провел в подразделении, где отбор кандидатов в офицеры проводился на основании серии собеседований и полевых испытаний. Критерием успешного предсказания считалась оценка курсанта при выпуске из школы офицеров. Надежность рейтингов была довольно низкой (об этом я расскажу подробнее в следующей части книги). Подразделение существовало и тогда, когда я уже стал профессором и вместе с Амосом изучал интуитивные оценочные суждения. Связи с подразделением у меня сохранились, и я попросил командование, чтобы, в дополнение к своим обычным оценкам кандидатов, они попробовали предсказать, какую оценку каждый из будущих курсантов получит в школе офицеров. Мы изучили несколько сотен таких предсказаний. Офицерам, делавшим предсказания, была известна «буквенная» система оценки, применяемая к курсантам школы, и примерное соотношение оценок «A», «B» и так далее. Выяснилось, что относительная частота «A» и «B» в предсказаниях была почти идентична их частоте в заключительных оценках школы. Это — убедительный пример и подстановки, и сопоставления интенсивности. Офицеры, дававшие предсказания, абсолютно не смогли различить две задачи: • привычное задание — оценка того, как кандидаты функционируют в подразделении; • задание, которое дал им я, то есть предсказание будущей оценки кандидата в школе. Командиры подразделения перевели свои оценки в шкалу, используемую в школе офицеров, с помощью сопоставления интенсивности. И вновь неспособность справиться с (существенной) неопределенностью своих предсказаний привела к тому, что их прогнозы оказались совершенно нерегрессивными. Коррекция интуитивных предсказаний Вернемся к Джули, нашей одаренной читательнице. Метод правильного предсказания ее среднего балла описан в предыдущей главе. Как и ранее — для гольфа несколько дней подряд или для веса и игры на пианино, — я приведу схематическую формулу для факторов, определяющих оценку навыков чтения и оценки в колледже: оценка навыков чтения = общие факторы + факторы, важные для оценки навыков чтения = 100% средний балл = общие факторы + факторы, важные для среднего балла = 100% К общим факторам относятся генетические способности, то, насколько семья поддерживает интерес к учебе, и все то, из-за чего одни и те же люди в детстве рано начинают читать, а в юности успешно учатся. Конечно, есть множество факторов, которые повлияют только на одно из этих событий: возможно, слишком требовательные родители научили Джули читать в раннем возрасте, или ее оценки в колледже пострадали из-за несчастной любви, или подростком, катаясь на лыжах, она получила травму, вызвавшую задержку в развитии, и так далее. Вспомните, что корреляция между двумя величинами — в данном случае между оценкой навыков чтения и средним баллом — равна доле совпадающих определяющих факторов в их общем числе. По-вашему, как велика эта доля? По моим самым оптимистичным оценкам — примерно 30 %. Если взять за основу эту цифру, то мы получим все исходные данные для того, чтобы сделать неискаженное предсказание, производя следующие четыре действия: 1. Начните с оценки типичного среднего балла. 2. Определите средний балл, соответствующий вашим впечатлениям от имеющихся сведений. 3. Оцените корреляцию между вашими данными и средним баллом. 4. Если корреляция составляет 0,30, переместитесь от типичного среднего балла на 30 % расстояния в сторону среднего балла, соответствующего впечатлениям. Первый пункт дает вам точку отсчета, средний балл, который вы предсказали бы для Джули, если бы ничего о ней не знали. В отсутствие информации вы бы предсказали типичный средний балл. (Это похоже на то, как без других данных о Томе В. ему приписывают априорную вероятность студента по специальности «управление бизнесом».) Второй пункт — интуитивное предсказание, соответствующее вашей оценке данных. Третий пункт перемещает вас от точки отсчета в сторону интуиции на расстояние, зависящее от вашей оценки корреляции. В четвертом пункте вы получаете предсказание, учитывающее вашу интуицию, но гораздо более умеренное. Это — общий подход, который можно применять при любой необходимости прогнозировать количественную переменную: например, средний балл, или доход от инвестиций, или рост компании. Он основывается на интуиции, но умеряет ее, сдвигает к среднему. Если существует веская причина доверять точности интуитивных предсказаний (то есть сильная корреляция между предсказанием и данными), такая поправка будет небольшой. Интуитивные прогнозы необходимо корректировать, поскольку они нерегрессивны, а потому искажены. Предположим, я предскажу, что у каждого гольфиста на второй день турнира будет то же число очков, что и в первый. Эта оценка не учитывает регрессию к среднему: те, кто в первый день играл хорошо, в среднем на следующий день справятся хуже, а те, кто играл плохо, в основном станут играть лучше. Нерегрессивные предсказания всегда будут искаженными в сравнении с реальными результатами. В среднем они слишком оптимистичны для тех, кто хорошо играл вначале, и слишком мрачны для тех, кто плохо стартовал. Экстремальность прогноза соответствует экстремальности данных. Сходным образом, если использовать детские успехи для предсказания оценок в колледже без регрессии к среднему, то юношеские достижения ранних чтецов разочаровывают, а успехи тех, кто стал читать относительно поздно, приятно удивляют. Скорректированные интуитивные предсказания избавляются от этих искажений, так что и высокие, и низкие прогнозы примерно одинаково переоценивают и недооценивают истинное значение. Разумеется, даже неискаженные предсказания бывают ошибочны, но в таких случаях ошибки меньше и не склоняются в сторону завышенного или заниженного результата. Защита экстремальных предсказаний? Ранее мы познакомились с Томом В. для иллюстрации предсказаний дискретных результатов, например области специализации или успеха на экзамене, которые выражаются присвоением вероятности определенному событию (или, в случае с Томом, расположением результатов от наиболее до наименее вероятного). Я также описал процесс противодействия распространенным искажениям дискретных предсказаний: пренебрежению априорными вероятностями и нечувствительности к качеству информации. Искажения в прогнозах, выражающихся в шкале, как, например, средний балл или доход фирмы, сходны с искажениями, наблюдающимися при оценке вероятностей исходов. Процедуры коррекции также схожи: • Обе содержат исходное предсказание, которое бы вы сделали при отсутствии информации. В случае с категориями это были априорные вероятности, в случае с цифрами — средний результат в соответствующей категории. • Обе оценки содержат интуитивное предсказание, выражающее пришедшее в голову число, независимо от того, вероятность это или средний балл. • В обоих случаях ваша цель — дать прогноз, находящийся посередине между исходным предсказанием и вашим интуитивным ответом. • В случае, когда нет никаких данных, вы придерживаетесь исходного прогноза. • В другом крайнем случае вы придерживаетесь своего интуитивного прогноза. Разумеется, это произойдет, если вы останетесь в нем уверены, критически пересмотре в данные в его пользу. • Чаще всего вы найдете причины сомневаться в существовании идеальной корреляции между истиной и вашим интуитивным прогнозом и в итоге окажетесь где-то посередине. Эта процедура — аппроксимация вероятных результатов надлежащего статистического анализа. В случае успеха она приведет вас к неискаженным прогнозам, разумным оценкам вероятности и умеренным предсказаниям численных результатов. Обе процедуры направлены на устранение одного и того же искажения: интуитивные прогнозы, как правило, отличаются чрезмерной уверенностью и экстремальностью. Коррекция интуитивных предсказаний — задача для Системы 2. Для поиска соответствующей референтной категории, а также для оценки исходного прогноза и качества данных требуются значительные усилия. Они оправданы лишь в случае, когда ставки высоки, а вы усиленно стремитесь не допустить ошибки. Более того, необходимо помнить, что коррекция предсказаний может осложнить вам жизнь. Неискаженные прогнозы отличаются тем, что позволяют предсказывать редкие или экстремальные события лишь при наличии очень хорошей информации. Если вы ждете от своих предсказаний умеренной надежности, вы никогда не угадаете редкий или далекий от среднего результат. Если вы даете неискаженные прогнозы, вам никогда не испытать удовольствия правильно назвать редкий случай. Вы никогда не сможете сказать: «Я так и думал!», когда ваш студент-юрист станет верховным судьей или когда новая компания, казавшаяся вам очень перспективной, в итоге добьется огромного коммерческого успеха. С учетом ограничений данных вы никогда не предскажете, что способный старшеклассник будет учиться на «отлично» в Принстоне. По тем же причинам венчурному капиталисту никогда не скажут, что в начале развития у новой компании «очень высокая» вероятность успеха. Возражения относительно принципа смягчения интуитивных прогнозов следует воспринимать всерьез, потому что отсутствие искажений — не всегда важнее всего. Неискаженные прогнозы предпочтительны, если все ошибки равнозначны, независимо от их направления. Однако встречаются ситуации, в которых один тип ошибок намного хуже другого. Когда венчурный капиталист ищет новый проект, риск упустить новый Google или Facebook намного важнее, чем риск вложить скромную сумму в заурядную новую компанию. Цель венчурных капиталистов — выявить особые случаи, даже если из-за этого они переоценят перспективы многих других предприятий. Для консервативного банкира, дающего большие займы, риск банкротства одного заемщика может перевесить риск отказа нескольким потенциальным клиентам, которые выполнили бы свои обязательства. В таких случаях использование категоричных выражений («отличные перспективы», «серьезный риск неплатежеспособности») может быть оправдано ради успокоения, даже если информация, на которой они основаны, всего лишь умеренно надежна. Для разумного человека неискаженные умеренные предсказания не представляют проблемы. В конце концов, разумные венчурные капиталисты знают, что даже у самых многообещающих новых компаний шансы на успех весьма ограничены. Их работа — выбрать лучшие из имеющихся, и они не чувствуют потребности обманывать себя относительно перспектив проекта, в который собираются вложить деньги. Соответственно, рациональные индивиды, предсказывающие доход фирмы, не будут привязываться к одному числу, а рассмотрят диапазон неопределенности вокруг самого вероятного результата. Разумный человек, оценив предприятие, которое, скорее всего, потерпит неудачу, может вложить в него крупную сумму, если награда за успех будет достаточно велика, — но при этом не будет питать иллюзий насчет шансов на подобный исход. Однако не все мы рациональны, и многим необходимо ощущать себя защищенными от искаженных оценок, иначе способность принимать решения будет парализована. Если вы решите обманывать себя, принимая экстремальные прогнозы, не забывайте о том, что вы потакаете собственным желаниям. Мои корректирующие процедуры ценны тем, что заставляют думать об объеме известной вам информации. Рассмотрим следующий, распространенный в научном мире пример, вызывающий прямые аналогии с другими сферами жизни: факультет собирается нанять молодого преподавателя и хочет выбрать кандидата с наилучшим потенциалом для научной работы. Выбор свелся к двоим. Ким недавно закончила дипломный проект. У нее отличные рекомендации, она замечательно выступила и произвела на всех прекрасное впечатление во время собеседований. Серьезной истории научных исследований у нее нет. Джейн последние три года занимала должность постдокторанта. Она очень эффективно работала, провела множество исследований, но доклад и собеседования были не такими яркими, как у Ким. Интуитивно хочется выбрать Ким, потому что она произвела более сильное впечатление, а что ты видишь, то и есть. Однако информации о Ким гораздо меньше, чем о Джейн. Мы вернулись к закону малых чисел. По сути, выборка информации о Ким меньше, чем о Джейн, а в маленьких выборках намного чаще наблюдаются экстремальные результаты. В них большую роль играет удача, а значит, предсказания результатов Ким необходимо сильнее сместить к среднему. Допустив, что Ким регрессирует сильнее, чем Джейн, вполне можно выбрать Джейн, хотя она произвела на вас более слабое впечатление. Делая выбор в научной среде, я бы голосовал за Джейн, хотя и приложил бы некоторые усилия для преодоления интуитивного впечатления о большей перспективности Ким. Следовать предчувствиям естественнее и приятнее, чем действовать вопреки им. Легко представить себе похожие проблемы в других ситуациях, например, когда венчурному капиталисту необходимо выбрать, в какую из двух новых компаний, работающих на разных рынках, вложить деньги. У одной компании есть продукт, спрос на который можно довольно точно оценить. Другая фирма привлекательна и — с точки зрения интуиции — кажется многообещающей, но ее перспективы менее надежны. Следует задуматься о том, сохранит ли прогноз возможностей второй компании свою большую привлекательность после учета неопределенности. Взгляд на регрессию с точки зрения двух систем Экстремальные предсказания и желание предсказывать маловероятные события по недостаточным доказательствам — это выражения Системы 1. Ассоциативным механизмам естественно приводить экстремальность прогнозов к экстремальности данных, на которых они основаны, — именно так и работает подстановка. Для Системы 1 естественно генерировать слишком уверенные оценки, поскольку уверенность определяется связностью лучшей истории, которую можно составить на основании имеющихся доказательств. Имейте в виду, интуиция склонна создавать чрезвычайно экстремальные прогнозы, а вы склонны им верить. Регрессия также представляет трудность для Системы 2. Сама идея регрессии к среднему затруднительна для объяснения и осознания. Гальтон понял ее с большим трудом. Многие преподаватели статистики не любят читать лекции на эту тему, а у студентов зачастую остается лишь смутное представление об этом важнейшем понятии. Для оценки регрессии Системе 2 необходима специальная тренировка. Мы не просто интуитивно приводим прогнозы в соответствие с исходными данными, это еще и кажется разумным. Понять регрессию, исходя из личного опыта, невозможно. Даже если ее опознают, как в случае с летчиками- инструкторами, ей дают каузальную интерпретацию, которая почти всегда неверна. Разговоры об интуитивных предсказаниях «Эта новая компания добилась отличного подтверждения концепции, но не стоит ожидать, что и в будущем у них все будет так же хорошо. Выходить на рынок им рано, вполне возможна регрессия». «Наше интуитивное предсказание благоприятно, но, скорее всего, завышено. Давайте оценим надежность наших данных и скорректируем предсказание в сторону среднего». «Инвестиции в этот проект — неплохая мысль, даже если предположительно он провалится. Давайте не будем говорить, что мы вправду считаем, будто это — новый Google». «Я читал всего лишь один обзор об этом бренде. Обзор хвалебный, но это еще ничего не значит. Давайте рассмотрим только те бренды, на которые много отзывов, и выберем тот, что выглядит лучше всех». |