Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
Как мы узнали из главы 9, во время игры в шахматы люди обычно сосредоточиваются на одном или двух потенциальных ходах, игнорируя другие, которые могут быть эффективнее. Компьютеры, анализирующие все возможности, меньше подвержены этой ошибке, и ходы, которые могли бы считаться гениальными, будь они сделаны Бобби Фишером или Гарри Каспаровым, часто просчитываются на ноутбуке всего за несколько секунд. Компьютеры не анализируют каждый из этих ходов так же глубоко, как и мы. Однако они рассматривают альтернативы иначе. Компьютеры широко раскидывают сети вместо того, чтобы искать идеальное решение.
Если ожидать от мира, что он поделится на детерминистские линии возможного и невозможного с минимумом пространства для маневра, окажется, что, с одной стороны, наши предсказания чересчур самоуверенны, а с другой – мы останемся с неизвестными неизвестными. Мы не так уж сильны в предсказаниях, и нам стоит перестраховываться, вместо того чтобы, подобно ежам Фила Тэтлока, делать ставку на одну-единственную гипотезу.
Вероятно, ни в одной другой сфере эти навыки
992
Schneier, «Beyond Security Theater», Kindle locations 1321–1322.
Некоторые из типов мышления, к которым я призываю в этой книге, могут оказаться полезными в сфере национальной безопасности {993} . Например, байесовский подход к вероятностям, скорее всего, можно сопоставить с принятием решений в условиях сильной неопределенности. Он призывает нас одновременно держать в уме большое количество гипотез, давать им вероятностную оценку и часто обновлять значение вероятности при появлении новой более-менее подходящей информации.
993
Harvey E. Lapan and Todd Sandler, «Terrorism and Signalling», European Journal of Political Economy, 9, 3 (August 1993), pp. 383–397;
Ближе всего мы подобрались к разгрому Аль-Каиды в преддверии 11 сентября, когда арестовали Закариаса Муссауи, исламского экстремиста, проявившего странный интерес к управлению «Боингом-747». Мог ли он объяснить свое желание безобидным интересом? Думаю, он вполне мог оказаться каким-нибудь летчиком с кучей свободного времени. Однако если бы мы серьезно задумались о гипотетической возможности угона самолета террористами, чтобы врезаться на них в здания, то новая информация помогла бы значительно повысить оцениваемую вероятность этого события. Мы же не стали даже рассматривать эту гипотезу – она была для нас неизвестным неизвестным. Комиссия по расследованию событий 11 сентября пришла к заключению, что «система не была настроена воспринимать потенциальную значимость этой информации», следовательно, арест Муссауи ничем не помог нам в раскрытии замысла заговорщиков {994} .
994
The 9/11 Commission Report, Kindle locations 9286–9287.
Это не означает, что сотрудники нашей разведки все поняли неправильно. Если обвинять кого-нибудь в провалившейся попытке обнаружить атаку 11 сентября, то следовало бы даже похвалить администрации как Буша, так и Обамы за то, что с тех пор терактов не было. 11 лет назад я бы не предрек подобный итог. Подобно судье в бейсболе, аналитик разведки рискует оказаться виноватым, когда что-то идет не так, но никто не замечает его, когда он хорошо делает свою работу. Я не считаю, что в этой области предсказания полностью проваливаются, как в некоторых других сферах, описываемых мной в этой книге. Если брать в расчет степень серьезности испытаний, то можно считать, что мы смогли достичь немалых успехов.
Кроме этого, комиссия постановила, что самой главной первопричиной неудачи был недостаток воображения. Создавая прогнозы, мы должны сохранять баланс между любопытством и скептицизмом {995} . Их вполне можно совмещать между собой. Чем более критически мы изучаем и проверяем наши теории, тем более охотно признаём, что наши знания о мире неполные, а идеальные предсказания невозможны, А это значит, что мы будем меньше бояться неудач и станем свободнее мыслить. Зная больше о том, чего мы не знаем, мы сможем достичь успеха в большем количестве предсказаний.
995
Michael A. Babyak, «What You See May Not Be What You Get: A Brief, Nontechnical Introduction to Overfitting in Regression-Type Models», Psychosomatic Medicine, 66 (2004), pp. 411– .421; 2004. http://os1.amc.nl/mediawiki/images/Babyak_-_overfitting.pdf.
Заключение
Всегда есть такие комбинации, которые шорт-стоп высшей бейсбольной
лиги может разыграть, есть и такие, которые ни за что не сможет, а для осуществления некоторых из них ему придется бросаться за мячом. Броски шорт-стопа невероятно впечатляют и привлекают внимание. Однако они же могут привести и к близорукой оценке его способностей.Легендарного шорт-стопа Дерека Джитера часто обсуждали в эпоху «Moneyball». Телерепортеры и скауты замечали, что Джитер особенно часто делает рывки за мячом, и на этом основании решили, что он исключительный шорт-стоп, но, как показала статистическая обработка его результатов, это мнение было ошибочным {996} . Хотя Джитер и был потрясающим спортсменом, он часто долго готовился к броску и делал рывок только потому, что пытался нагнать упущенное время. Цифры показывали, что Джитер был довольно посредственным шорт-стопом, несмотря на то что выиграл пять Золотых перчаток. На самом деле великий шорт-стоп вроде Оззи Смита с легкостью поймал бы мячи, за которыми Джитеру приходилось нырять, – возможно, его хвалили меньше как раз потому, что в его исполнении это выглядело обычным делом (рис. З .1).
996
Brian Cartwright, «That Great Derek Jeter Conspiracy», FanGraphs, January 17, 2009. http://www.fangraphs.com/blogs/index.php/the-great-derek-jeter-conspiracy/.
Рис. З .1. Диапазон бросков шорт-стопов
Какие бы способности мы ни имели, перед нами всегда будут вставать задачи, для решения которых потребуется применение их на пределе возможностей. Если судить себя только по тому, что дается нам с трудом, мы будем воспринимать как должное все то, что удалось сделать с легкостью.
Одно из самых впечатляющих и правильных предсказаний в истории человечества было сделано английским астрономом Эдмундом Галлеем. В 1705 г. он предсказал, что гигантская комета вернется к Земле в 1758 г. И хотя многие сомневались в правильности этого предсказания, но комета вернулась как раз в указанное время {997} . В древности кометы считались абсолютно непредсказуемыми божественными знамениями {998} , сейчас же они для нас зловеще регулярны и предсказуемы.
997
Halley’s Comet was first sited on Christmas Day in 1758. See Peter Lancaster Brown, Halley and His Comet (Suffolk, England: Blandford Press, 1985).
998
Mary Frances Williams, «The Sidus Iulium, the Divinity of Men, and the Golden Age in Virgil’s Aeneid», Leeds International Classical Studies, vol. 2, issue 1, 2003. http://lics.leeds.ac.uk/2003/200301.pdf.
Астрономы предсказывают, что в следующий раз комета Галлея приблизится к земле 28 июля 2061 г. К этому времени решение многих проблем, с которыми мы сталкиваемся на этом свете и которые досаждают нам, мешая делать прогнозы, будет нам доступно. Законы природы меняются не столь явно. По мере того как человеческие знания продолжают расширяться (а это происходит со времен изобретения печатного станка Гутенбергом), мы постепенно начинаем понимать сигналы природы лучше, пусть и не знаем всех ее секретов.
Герои этой книги – наука и технология, но не стоит забывать, что в эпоху Больших данных человечество рискует начать мечтать о том, чего оно не в состоянии достичь.
Однако нет причин полагать, что дела людские становятся более предсказуемыми. Скорее, происходит обратное. Та же самая наука, что открывает законы природы, усложняет устройство общества. Технология существенно влияет на наше отношение друг к другу. Интернет «полностью меняет контекст, расчеты, динамику распространения информации», – поведал мне Тим Бернерс-Ли, человек, который в 1990 г. изобрел Всемирную паутину {999} .
999
Точная дата изобретения Всемирной паутины является предметом споров, однако в 1990 г. Бернерсу-Ли удалось впервые установить успешное соединение между HTTP-клиентом и интернетом. Набор гипертекстовых документов, известных как Всемирная паутина, не стоит путать с интернетом, сетью, с помощью которой происходит соединение с сайтами Всемирной паутины (которая, как все знают, была изобретена Алом Гором).
Объем информации растет в геометрической прогрессии. Однако сравнительно небольшая ее часть полезна – соотношение сигнала к шуму падает. Нам нужно научиться лучше их различать.
Эта книга не о том, что мы знаем, она скорее о различии между тем, что мы знаем, и тем, о чем думаем, что знаем. Она предлагает стратегию, позволяющую уменьшить этот пробел. Стратегия требует совершить один гигантский скачок и нескольких маленьких шажков вперед. Нам нужно всего лишь сделать шаг в байесовский образ мыслей о предсказаниях вероятности.