Думай медленно... решай быстро
Шрифт:
В ходе исследований он опросил 284 человек, зарабатывающих на жизнь предоставлением «комментариев или рекомендаций на политические и экономические темы». Тетлок попросил испытуемых оценить вероятность некоторых событий ближайшего будущего, как в сфере их специализации, так и в других сферах, о которых они имели общее представление. Удастся ли путчистам свергнуть Горбачева? Будут ли США воевать в Персидском заливе? Какая страна станет новым развивающимся рынком? Тетлок собрал более 80 тысяч подобных предсказаний. Вдобавок он спрашивал экспертов, на основании чего они пришли к своим выводам, какой была их реакция, когда предсказания не сбылись, каким образом они оценивали факты, не подтвердившие их мнение. Респондентов также просили оценит ь вероятности трех альтернативных исходов каждого события: сохранения статус-кво, некоторого роста (к примеру, политической свободы или экономики) или снижения.
Результаты всех ошеломили: эксперты выступили бы лучше, если бы отдали равные доли
Тот, кто знает больше, предсказывает чуть успешнее того, кто знает меньше. Но и на самого сведущего знатока нельзя положиться. Причина заключается в том, что человек, накопивший больше знаний, в некотором роде слепнет из-за иллюзии умения и связанной с ней самоуверенности. «Мы стремительно достигли той точки, когда ценность предсказаний, основанных на знаниях, становится крайне мала, – пишет Тетлок. – В век чрезмерной специализации науки нет смысла полагать, что те, кто публикуется в ведущих изданиях – выдающиеся политологи, регионоведы, экономисты и так далее, – хоть сколько-нибудь превосходят обычных журналистов или просто вдумчивых читателей New York Times в том, что касается вимдения назревающих ситуаций». Как выяснил Тетлок, чем известнее прогнозист, тем вычурнее его прогнозы. «Востребованные эксперты, – пишет он, – ведут себя более самоуверенно в сравнении с коллегами, на которых вовсе не падает свет рампы».
Тетлок также выяснил, что эксперты отказываются признавать собственные ошибки, а когда их вынуждают к этому, находят массу оправданий (случилось непредвиденное, просчет касался лишь времени события, была веская причина ошибаться и так далее). В конце концов, эксперты тоже люди. Им кружит голову собственная слава, они ненавидят признавать свою неправоту. Их уводит прочь не вера, а образ мыслей, как пишет Тетлок. Он пользуется образами из эссе Исайи Берлина о Толстом, озаглавленном «Еж и лиса». Согласно древнегреческой поговорке, «лисица знает многое, а ёж знает главное». Ежам в человеческом мире свойственно иметь одну крупную теорию вселенского устройства; они объясняют частные события в когерентных рамках этой теории и ощетинивают иглы, если кто-то не разделяет их взглядов или если в их прогнозах сомневаются. Ежи особенно неохотно признают свои ошибки. Если предсказание не сбылось, для них это «всего лишь вопрос времени», «небольшой просчет». Они категоричны и резки, что делает их любимцами телепродюсеров. И верно, два ежа-оппонента, критикующие и высмеивающие друг друга в прямом эфире, – отличное зрелище.
В отличие от них, лисы мыслят шире. Они не верят, что историей движет нечто одно (например, они вряд ли согласятся с тем, что Рональд Рейган единолично прекратил холодную войну, выступив против Советского Союза). Нет, лисы понимают, что действительность рождается при взаимодействии многих сил и факторов, включая слепой слу чай, и это взаимодействие часто приводит к крупным и непредсказуемым последствиям. В исследованиях Тетлока победили именно лисы, хотя даже их прогнозы оказались неважными. По сравнению с ежами, лис редко приглашают выступать в теледебатах.
Эксперт не виноват – просто мир сложно устроен
Главная мысль этой главы заключается не в том, что люди совершают множество ошибок, пытаясь предугадать будущее, – это и так ясно. Следует осознать, что, во-первых, ошибки предвидения неизбежны, поскольку жизнь непредсказуема. И во-вторых, излишнюю субъективную уверенность не стоит считать индикатором точности предсказаний (неуверенность даст лучший результат).
Можно предвидеть лишь кратковременные изменения; поступки и успехи довольно точно предсказываются, исходя из предшествующего поведения и прошлых успехов. Однако напрасно ожидать, что поведение кадета на полосе препятствий покажет, каким он будет в офицерской школе и в бою, – слишком много особых факторов действует в каждой из ситуаций. Удалите самого напористого из восьми кандидатов в группе, и остальные проявят себя с новой стороны. Стоит пуле снайпера пролететь у офицера над ухом, и его действия изменятся. Я не отрицаю значимость всех тестов, какие есть, – если какой-либо позволяет предсказывать важный итог с достоверностью 0,20 или 0,30, его следует использовать. Но не стоит ждать большего. Аналитики с Уолл-стрит, которые надеются превзойти рынок в предсказании цен на будущее, ошибаются почти всегда. Также не рассчитывайте на экспертов, выдающих долгосрочные прогнозы, хотя они и могут поделиться ценным советом относительно ближайшего будущего. Граница, которая отделила бы предсказуемое будущее от непредсказуемого, пока еще не установлена.
Разговоры об иллюзии умения
«Он знает, что, исходя из данных обследования, предсказать развитие болезни практически невозможно. Откуда же такая уверенность? Это похоже на иллюзию значимости».
«Она связала
все, что знала, в стройную систему, и когерентность помогает ей чувствовать себя на высоте».«Почему он думает, что сможет перехитрить рынок? Это иллюзия умения?»
«Она – „еж“ по натуре. У нее есть теория, которая все объясняет. Отсюда возникает иллюзия понимания мира».
«Проблема не в том, насколько сведущи эти эксперты, а в том, насколько предсказуема жизнь».
21. Интуиция и формулы – кто кого?
Пол Мил – удивительный и необычный человек, один из самых разносторонних психологов ХХ века. В Миннесотском университете он в разное время занимал преподавательские должности на факультетах психологии, юриспруденции, психиатрии, неврологии и философии. Его работы также касались вопросов религии, политологии и способности крыс к обучению. Он был не только исследователем, глубоко понимающим статистику и критикующим голословные утверждения клинических психологов, но и практикующим психоаналитиком. Мил написал несколько глубоких статей о философских основах психологических исследований – в годы аспирантуры я выучил их наизусть. Мы ни разу не встречались лично, но он стал одним из моих кумиров с тех пор, как я прочел его «Клинический и статистический прогнозы: теоретический анализ и фактологический обзор».
В этой небольшой работе, которую Мил позже называл своей «подрывающей основы книжечкой», он рассмотрел результаты двадцати исследований, анализирующих, что точнее: клинические прогнозы, основанные на субъективных представлениях врачей-профессионалов, или статистические прогнозы, полученные по строгой формуле, объединяющей оценки и данные. В типичном эксперименте социальные педагоги после сорокапятиминутного опроса каждого студента предсказывали оценки первокурсников к концу учебного года. Интервьюерам также предоставлялся доступ к результатам обучения в старшей школе и итогам тестов на интеллект и способности, а также к четырехстраничному эссе абитуриента, необходимому для поступления в университет. Статистическая формула использовала только часть всей этой информации, а именно отметки старшей школы и результаты одного теста на выявление способностей. Тем не менее формула оказалась точнее в прогнозах, чем 11 из 14 педагогов. Сходные результаты были получены при изучении ряда других предсказаний, в частности вероятности нарушения режима условно-досрочного освобождения, успешного прохождения программы подготовки пилотов или криминального рецидива.
Неудивительно, что «книжечка» Мила вызвала у многих психологов-клиницистов оторопь и недоверие, а начатая в ней полемика дала начало потоку исследований, который не иссякает до сих пор, спустя полвека после публикации. Число исследований, сравнивающих клинические и статистические прогнозы, возросло до двух сотен, но счет в и гре «человек против формулы» с тех пор не изменился. Примерно 60% исследований доказали перевес в пользу формулы (то есть статистические прогнозы оказались гораздо точнее). Другие сравнения показали равные по точности результаты, но по статистическим законам ничья равносильна победе, а использовать статистику дешевле, чем нанимать экспертов. Никаких убедительных исключений из правила замечено не было.
С тех пор статистическое прогнозирование стало использоваться и в медицине – для определения продолжительности жизни раковых больных, сроков госпитализации, выявления кардиологических заболеваний и вероятности возникновения синдрома внезапной смерти новорожденных. В экономике с его помощью рассчитывают перспективы успеха новых компаний, оценивают риски кредитования в банках и возможность профессионального «выгорания». Статистические прогнозы применяются и в государственных учреждениях – для отбора кандидатов в приемные родители, определения вероятности рецидива у малолетних правонарушителей, а также возможности совершения ими других форм насилия. Статистические прогнозы проводятся во многих областях – с целью оценки научных презентаций, для поиска победителей в футбольном чемпионате и предсказания будущих цен на вина. Каждая из этих областей содержит значительную меру неопределенности и непредсказуемости. Мы называем их «малодостоверными областями». В каждом случае результативность экспертов не уступает или даже проигрывает точности формулы.
Как с законной гордостью заметил Мил через тридцать лет после выхода книги, «еще ни одному противоречию в общественных науках не посвящали такого множества качественно разнородных исследований, движущихся в одном направлении».
Принстонский экономист и знаток вин Орли Ашенфельтер подготовил убедительную демонстрацию превосходства простой статистики над мнением всемирно известных экспертов. Ашенфельтер хотел предсказать изменение цен на бордо по информации, доступной в год урожая. Это – важный момент, поскольку вину требуется несколько лет, чтобы созреть. К тому же цены сильно варьируют в зависимости от выдержки – цены на вина из одного и того же виноградника, разлитые с интервалом 12 месяцев, могут отличаться в десятки раз, а то и больше. Способность предсказывать эти изменения очень важна, поскольку инвесторы вкладывают средства в марочные вина как в произведения искусства, в надежде, что с годами они будут дорожать.