Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
Возможно, следующий байесовский принцип применять проще всего: делайте много прогнозов. Вероятно, вы не захотите ставить на кон свой бизнес или жизнь, особенно поначалу [179] , но это единственный способ стать лучше.
Теорема Байеса утверждает, что нам следует каждый раз при появлении новой информации обновлять прогнозы. С менее буквальной версией этой идеи мы все знакомы: это обычный метод проб и ошибок. Такие компании, как Google, у которых действительно есть Большие данные, не уделят моделированию слишком много времени [180] . Ежегодно они проводят тысячи экспериментов и тестируют свои идеи на реальных потребителях.
179
Вы даже можете отточить свои навыки в таких областях, как различные виды спорта, в которых имеются большие массивы данных и большие возможности для тестирования различных техник. Даже при анализе игр Национальной ассоциации студенческого спорта можно найти немало интересного,
180
Верным признаком того, что вы тратите слишком много времени в стране моделей, будет тот факт, что вы начинаете использовать слово «предсказание» для описания связи вашей модели с данными из прошлого. Как показано в главе 5, нет ничего сложного в наполнении модели оверфиттингом и при этом считать, что вы улавливаете сигнал, хотя на самом деле всего лишь описываете шум. Если вы будете придерживаться простого и разумного определения «предсказания» как высказывания, которое относится исключительно к будущим событиям, сможете снизить риск таких ошибок. – Прим. авт.
Теорема Байеса призывает нас быть дисциплинированными в том, как мы «взвешиваем» новую информацию. Если наши идеи чего-то стоят, мы должны быть готовы проверять их, выдвигая гипотезы, которые можно опровергнуть, и прогнозы, которые можно проверить временем. Как правило, мы не способны осознавать, как много шума в данных, и предвзято делаем ставку на новейшую информацию. Политические обозреватели часто забывают, что в опубликованных результатах опросов перед выборами всегда надо учитывать предел погрешности, а финансовые репортеры далеко не каждый раз могут донести до читателей, насколько неточными бывают порой данные экономической статистики. И в новостях достаточно часто встречаются так называемые выбросы [181] .
181
Выбросы – резко выделяющиеся значения экспериментальных величин, в экономике – выпадающие показатели.
Но мы можем размышлять и совершенно по-другому, когда слишком вкладываемся в проблему, как в личном, так и в профессиональном плане, и нам бывает тяжело изменить свое мнение, когда факты этого требуют. Если эксперт – один из тэтлоковских «ежей», то гордость может помешать ему изменить прогноз, даже когда данные расходятся с его картиной мира. Фанатиков, ожидающих, что любую идею можно уместить на бамперной наклейке, ждут все стадии разочарования, пока они не примут тот факт, что слишком упрощают реальность.
Чем чаще вы будете готовы проверять свои идеи на практике, тем скорее вы научитесь на своих ошибках и сможете избегать подобных проблем в будущем. Только герои кинофильмов могут долго смотреть в океан, ожидая озарения. В реальном мире идеи редко приходят, когда вы стоите на месте {1008} . «Большие» идеи тоже совсем необязательно появляются таким образом. Куда чаще мы идем по пути прогресса маленькими, незначительными шажками.
1008
Это всего-навсего личное размышление, а не эмпирическое наблюдение. Однако в данном случае я бы хотел, чтобы мои слова звучали буквально. Когда я, работая над этой книгой, сталкивался со сложной проблемой, не поддававшейся мгновенному решению, то предпочитал пройтись и подумать о каких-то случайных вещах, а не таращиться на экран компьютера или сидеть в кофейне. Одно из преимуществ жизни в Нью-Йорке состоит в том, что он обеспечивает восьми миллионам человеческих существ возможность вести себя спонтанно в режиме 24/7, взбадривая их фантазию или память.
Наше восприятие предсказуемости
Нам сложно предсказывать как раз потому, что это очень важно: именно здесь пересекаются объективная и субъективная реальности. Чтобы отличить сигнал от шума, необходимы как научное знание, так и знание себя самого, а также спокойствие, чтобы принять то, что мы не можем предсказать, смелость, чтобы предсказать то, что можем, и мудрость, чтобы понять разницу между ними {1009} .
Наше мнение о том, насколько предсказуем мир, не раз изменялось с годами. И оценить его можно по количеству упоминаний слов «предсказуемо» и «непредсказуемо» в научных журналах {1010} . В начале XX в. оба слова использовались почти так же часто, как и каждое в отдельности. Великая депрессия и Вторая мировая война отвели «непредсказуемости» господствующее положение. По мере того как мир исцелялся от последствий кризисов, слово «предсказуемость» снова стало популярным, и пик его использования пришелся на 1970-е гг. В последнее время частота упоминания слова «непредсказуемость» снова растет (рис. З .2).
1009
Взято из Reinhold Niebuhr, Serenity Prayer. http://www.cptryon.org/prayer/special/serenity.html
1010
Данные, показанные на рис. 3.2, основаны на результатах поиска, проведенного по каталогу печатных журналов JSTOR. Я нашел случаи, в которых слова «предсказуемое» или «непредсказуемое» появляются в журнальной статье хотя бы один раз (но не оба слова в одной статье), а затем разбил результаты по десятилетиям, в которые они публиковались. Значения процентов, отображенные
на рис. 3.2, представляют соответствующую долю упоминаний слов «предсказуемый» и «непредсказуемый» по отношению к общему количеству.Подобное восприятие предсказуемости больше подвержено влиянию научных тенденций {1011} и недолговечности нашей памяти (случалось ли недавно что-нибудь плохое?), чем прорывам в нашей способности делать прогнозы. Наше мнение о себе как об успешных предсказателях и реальность часто не соответствуют друг другу. И 1950-е гг., время, когда мир все еще отходил от потрясений, связанных с войной, и считался относительно непредсказуемым, были более продуктивны и в сфере экономики {1012} , и в науке {1013} , чем 1970-е, когда мы думали, что можем предсказать все, но на самом деле не могли.
1011
Michel Foucault, The Order of Things (New York: Vintage, 1994).
1012
Глобальный рост среднедушевого ВВП составлял в среднем 3,4 % в год в 1950-е гг., но 2,6 % в 1970-е гг. См.: J. Bradford DeLong, Estimating World GDP, One Million B. C. – Present; (Berkeley: University of California, 1988). http://econ161.berkeley.edu/TCEH/1998_Draft/World_GDP/Estimating_World_GDP.html.
1013
Количество патентных заявок, поданных в США, выросло на 18 % за десять лет в 1950-е гг., но только на 1 % в 1970-х. См.: «U.S. Patent Activity Calendar Years 1790 to the Present», U. S. Patent and Trade Office. http://www.uspto.gov/web/ofices/ac/ido/oeip/taf/h_counts.htm.
Эти изменения нашли отражение не только в научных журналах. Если нарисовать тот же график, основанный на использовании слов «предсказуемое» и «непредсказуемое» в англоязычной художественной литературе, он будет выглядеть так же, как рис. З .2 {1014} . Непредсказанные катастрофы, даже если они не оказали на нас воздействия, лишают нас уверенности в том, что мы сами управляем своей судьбой.
Однако мы предвзято считаем, что способность делать предсказания у нас лучше, чем на самом деле. Первые 12 лет нового тысячелетия были ухабистыми – одна непредсказуемая катастрофа следовала за другой. И пусть мы всегда будем возрождаться из пепла – побитыми, но не побежденными, чуть более скромными, когда дело касается наших способностей к прогнозам, и чуть менее склонными к повторению своих ошибок.
1014
Google Books’ Ngram Viewer. http://books.google.com/ngrams/graph?content=predictable%2Cunpredictable&year_start=1800&year_end=2000&corpus=4&smoothing=3.
Рис. З .2. Изменение соотношения упоминаний слов «предсказуемость» и «непредсказуемость» в научных трудах, 1900–012 гг.
Благодарности
Как сказал писатель Джозеф Эпштейн, на самом деле написать книгу куда лучше, чем писать. Создание книги требует невероятного терпения, организации и дисциплины. Должен признаться: в работе над блогом я далеко не всегда проявляю эти качества.
И поэтому я многим обязан другим людям, обладавшим этими качествами в значительно большей степени, чем я, людям, чья мудрость помогла придать этой книге нужную форму и учесть множество важных и второстепенных аспектов.
Я хочу сказать спасибо своим родителям, Брайану Дэвиду Сильверу и Салли Тран Сильвер, которым посвящена эта книга, и моей сестре Ребекке Сильвер.
Благодарю потрясающего редактора Вирджинию Смит. Как и Лора Стикни, Энн Годофф и Скотт Мойерс, она верила в мое видение этой книги. Эти люди пошли на некоторые компромиссы при создании книги, реализовавшей его. Они довольно терпеливо воспринимали ситуации, когда мне требовалось дополнительное время для более точного самовыражения.
Спасибо моему литературному агенту Сидель Крамер за помощь при создании и продаже этого проекта. Она дала совершенно правильный совет – спокойно, но без излишней самоуспокоенности относиться к ситуациям, когда мне казалось, что книга сходит с накатанного пути.
Спасибо моей ассистентке-исследователю Арикии Милликан, проявившей безграничный энтузиазм и глубокую заинтересованность в изучении различных научных и технических аспектов, необходимых при создании этой книги. Благодарю Юлию Камин, чьи организационные навыки помогали указать правильный путь, когда развитие книги оказалось на критической стадии. Спасибо Джейн Каволина и Эллен Каволина Портер, создавших высококачественные расшифровки моих интервью в крайне сжатые сроки.
Спасибо Эмили Вотруба, Веронике Виндхольц, Кэйтлин Флинн, Аманде Дьюи и Джону Шарпу за организацию производства в условиях огромного дефицита времени и за понимание того, что мое «сегодня» обычно значит «до конца сегодняшнего дня», а «до конца сегодняшнего дня» может означать «пять часов утра уже дня завтрашнего».
Спасибо Роберту Голдину за любовь и поддержку. Спасибо вам, Шашанк Пател, Ким Бэйлин, Брайан Джойнер, Кэти Халпер, Джейсон Маклин, Мариям Салех и Джессика Клейн, за спокойное отношение к тому, что я то по многу часов надоедал вам, приставая с расспросами, касающимися книги, то порой неделями прятался от вас. Спасибо Майке Коэн из New York Times, помощь которой оказалась значительно больше, чем я мог рассчитывать.