Здравый смысл врет. Почему не надо слушать свой внутренний голос
Шрифт:
На практике, однако, рынки предсказаний гораздо сложнее, чем в теории. Во время президентской кампании 2008 года, например, на одной из наиболее популярных таких площадок — InTrade — наблюдалась серия странных колебаний, когда некто начал делать очень большие ставки на Джона Маккейна. Это привело к возникновению резких скачков в прогнозировании победы последнего. Никто не знал, кто за этим стоял, но подозревали, что это был сторонник Маккейна или даже член его команды. Манипулированием рыночными ценами он или она пытались создать впечатление, будто надежный источник указывал на избрание Маккейна, таким образом пытаясь повлиять на общественность с целью создания самовыполняющегося пророчества. Но это не сработало. Резкие скачки были быстро снивелированы другими трейдерами, и таинственный игрок в итоге потерял деньги. Следовательно, рынок функционировал, по сути, так, как и должен был. Тем не менее этот случай позволил выявить потенциальное слабое место теории, предполагающей, будто рациональные трейдеры не станут терять деньги специально. Если же цель участника заключается в манипулировании восприятием людей вне рынка (например, средств массовой информации) и если суммы относительно
Все эти проблемы вынудили ряд скептиков утверждать, будто рынки предсказаний не обязательно должны превосходить другие, менее сложные методы — такие, как опросы общественного мнения, которыми на практике труднее манипулировать. Впрочем, оценке относительной эффективности последних было уделено так мало внимания, что наверняка ничего утверждать нельзя{176}. Чтобы решить этот вопрос, мои коллеги из Yahoo! Research провели систематическое сравнение различных методов прогнозирования. Рассматриваемые предсказания касались результатов матчей Национальной футбольной лиги. Сперва мы провели опрос общественного мнения по каждой из 14–16 игр, проходивших в выходные в течение сезона 2009 года. В его рамках респондентов просили указать, во-первых, вероятность победы принимающей команды, а во-вторых, степень уверенности в своем прогнозе. Кроме того, те же вопросы мы предложили посетителям Probability Sports — веб-сайта, где участники выигрывают денежные призы, правильно предсказав исход спортивных соревнований. Затем мы сравнили результаты этих двух опросов с прогнозами Vegas sports betting market — одного из старейших и наиболее популярных рынков пари в мире, — а также другой известной площадки предсказаний под названием Tradesports . И, наконец, мы сопоставили прогнозы рынков и опросов с вычислениями двух простых статистических моделей. Первая опиралась исключительно на статистическую вероятность победы принимающей команды (та выигрывала в 58 % матчей), тогда как вторая учитывала статистику побед и поражений обеих клубов. Таким образом, мы провели шестистороннее сравнение различных методов прогнозирования — двух статистических моделей, двух рынков и двух опросов общественного мнения{177}.
Учитывая то, насколько разными были эти методы, полученные данные поражали: качество прогнозов оказалось одинаковым! Справедливости ради, два рынка дали чуть более точные прогнозы, чем другие методы, что согласуется с вышеприведенным теоретическим аргументом. При этом наилучший из них — рынок Vegas Market — дал примерно на 3 % более верное предсказание, чем наихудший — модель, всегда ставящую на 58 %-ную вероятность победы принимающей команды. Остальные методы заняли места где-то посередине. Кстати, модель, учитывавшая статистику побед и поражений обеих команд, оказалась весьма близка к Vegas Market : в случае использования обоих методов прогнозирования фактического расхождения в количестве очков, набранных этими клубами, величина средней ошибки их прогнозов отличалась бы менее чем на одну десятую. С одной стороны, если вы ставите на результаты сотен или тысяч игр, такие крошечные различия — это различия между выигрышем и проигрышем энной суммы денег. А с другой — агрегированная мудрость тысяч участников рынка, коллективно посвящающих бесчисленное количество часов анализу грядущих матчей в стремлении найти хоть какую-нибудь полезную информацию, лишь немногим лучше простой статистической модели, опирающейся на средние статистические показатели.
Когда мы впервые рассказали о полученных результатах специалистам по рынкам предсказаний, они решили, что эти данные, должно быть, отражают некую специфическую особенность американского футбола. Мол, в Национальной футбольной лиге есть множество правил — «потолок» зарплат, драфты и прочее, — обеспечивающих максимально возможное равенство команд. Да и американский футбол — такая игра, в которой результат подчас зависит от случайных действий. Например, ресивер кончиками пальцев ловит отчаянный пас защитника и в последние секунды добывает своей команде победу. Футбольные матчи, другими словами, включают немалую долю непредсказуемости — пожалуй, это и делает их столь захватывающими. В таком случае, наверное, не стоит удивляться тому, что вся информация и «анализ», генерируемые специалистами по американскому футболу, каждую неделю заваливающими болельщиков прогнозами, не очень-то помогают (хотя сами-то знатоки, должно быть, этому удивляются). Чтобы их убедить, настаивали наши коллеги, следует обнаружить похожие результаты в другой области, в которой соотношение сигнал-шум гораздо выше, чем в футболе.
Ладно, что насчет бейсбола? Любители этой игры гордятся своим почти фанатичным вниманием к каждой измеряемой ее детали — от среднего процента отбитых мячей до ротации питчеров. На самом деле вся область исследования — «сабер-метрика» — развилась специально для анализа бейсбольной статистики. Появился даже особый журнал — Baseball Research Journal. Можно подумать, в бейсболе по сравнению с американским футболом рынки предсказаний — с их гораздо большим потенциалом учета различных типов информации — обязательно с большим отрывом превзойдут чрезмерно упрощенные статистические модели. Но и это, оказывается, тоже неправда. Мы сравнили прогнозы результатов почти 20 тысяч игр Большой лиги с 1999 по 2006 год, сделанные лас-вегасскими рынками спортивных пари, с предсказаниями простой статистической модели, основанной лишь на преимуществе принимающей команды и статистике недавних побед и поражений обоих клубов. На этот раз различие между ними оказалось еще меньшим — практически незаметным. Другими словами, несмотря на всю статистику и анализы, на отсутствие значимых потолков зарплат и результирующей концентрации суперзвезд в таких командах, как New York Yankees и Boston Red Sox, исходы бейсбольных баталий еще более случайны, чем футбольные матчи.
Со
временем выяснилось, что точно так же обстоят дела и с другими типами событий, которые, как утверждается, прогнозируют рынки предсказаний, — от кассовых сборов художественных фильмов в дни премьеры до результатов президентских выборов. Они происходят без каких-либо правил или условий, делающих спорт конкурентным и, следовательно, непредсказуемым. Существует уйма релевантной информации, использование которой позволило бы рынкам предсказаний добиться результатов, во много раз превосходящих данные простой модели или опроса мнений относительно несведущих респондентов. И тем не менее, когда мы сравнили Hollywood Stock Exchange — один из наиболее популярных рынков предсказаний, знаменитый своими точными прогнозами{178}, — с простой статистической моделью, предсказания первого оказались лишь немногим вернее{179}. В отдельном исследовании результатов пяти президентских выборов в Соединенных Штатах в период с 1988 по 2004 год{180} политологи Роберт Эриксон и Кристофер Лизен обнаружили, что простая статистическая коррекция обыкновенных опросов общественного мнения по эффективности превосходила даже хваленый Iowa Election Market .Не доверяй никому, особенно себе
Что же происходит? Мы не совсем уверены, но подозреваем: удивительно схожие результаты применения разных методов представляют собой обратную сторону головоломки с прогнозированием из предыдущей главы. С одной стороны, когда дело доходит до сложных систем — включают они спортивные соревнования, выборы или кино-аудиторию, — существуют строгие границы того, насколько точно мы можем предсказать будущие события. С другой, кажется, что даже относительно простые методы позволяют достаточно близко подобраться к границе возможного. По аналогии, если вам дали игральную кость со смещенным центром тяжести, за несколько дюжин бросков вы догадаетесь, какой стороной она падает чаще всего, — после чего можете смело на это спорить. В остальных случаях даже наиболее совершенные методы (например, изучение кости под микроскопом для выявления всех крошечных трещинок и неровностей на ее поверхности или построение сложной компьютерной симуляции) улучшить прогноз не очень-то помогут.
То же, как мы обнаружили, касается и футбольных матчей: одного-единственного фрагмента информации — принимающая команда выигрывает в 58 % случаев — достаточно, чтобы повысить точность прогнозирования результата по сравнению со случайной догадкой. Существенно помогает и второе простое соображение: команда с лучшей статистикой побед и поражений должна иметь небольшое преимущество. Все же прочие дополнительные данные — как себя вел защитник в предыдущем матче, травмы, проблемы с подружкой у фулбэка — в лучшем случае улучшат прогноз на йоту. Почему? Потому что в сложных системах существует некий предел в предсказании результатов, и первые два фрагмента информации — это фактически все, что нужно для его достижения. Прогнозы в сложных системах, другими словами, подчиняются закону убывающей отдачи.
Разумеется, существуют обстоятельства, при которых важны даже очень незначительные улучшения в точности прогноза. Например, в сфере онлайн-рекламы или торговли акциями с высокой периодичностью можно выдавать миллионы и даже миллиарды прогнозов каждый день — и ставкой будут крупные суммы денег. В этих случаях усилия и затраты, связанные с использованием наиболее совершенных методов, позволяющих учитывать даже самые незаметные тенденции, скорее всего, оправданы. Во всех же других сферах бизнеса (от съемки фильмов до издания книг и разработки новых технологий), где в год делаются несколько дюжин — максимум сотен — прогнозов и где они обычно являются лишь одним из многочисленных аспектов процесса принятия решения, добиться той же степени точности удается с помощью относительно простых методов.
Исключение здесь, которым пользоваться не следует, — руководствоваться мнением одного-единственного человека. Особенно своим собственным. Дело в том, что мы отлично вычленяем факторы, релевантные для данной конкретной проблемы, но совершенно не умеем оценивать их важность друг относительно друга. Например, прогнозируя кассовые сборы в дни премьеры фильма, вы можете счесть крайне релевантными такие переменные, как общий и маркетинговый бюджеты, количество экранов, на которых этот фильм будет показан, а также предварительные рейтинги критиков, — и будете правы{181}. Но какой вес будет иметь плохая рецензия по сравнению с дополнительными 10 миллионами долларов маркетингового бюджета? Неясно. Неясна и роль интернет — и печатной рекламы по сравнению с мнением друзей.
Думаете, в таких типах суждений должны быть хороши эксперты? Как показал в своем эксперименте Тетлок, количественные прогнозы они делали не лучше неспециалистов — а то и хуже{182}. Основная проблема с опорой на экспертов, однако, состоит не в том, что они заметно хуже не-экспертов, а в том, что, поскольку они специалисты, мы склонны консультироваться только с одним из них за раз{183}. Гораздо разумнее узнать многие отдельные мнения — экспертов или не-экспертов — и вычислить среднее{184}. Грубо говоря, это и позволяют делать рынки предсказаний — равно как и опросы общественного мнения. При всех своих «прибамбасах» первые дают прогнозы чуть точнее вторых, но разница между ними гораздо менее существенна, чем польза от простого усреднения множества мнений. И наоборот, на основе статистических данных можно непосредственно оценить относительную важность различных предикторов — что и делает статистическая модель. Искусная, конечно, работает чуть лучше простой, но различие, опять-таки, незначительно{185}. В конце концов, как модели, так и толпа выполняют, по сути, одно и то же. Во-первых, для выявления релевантных прогнозу факторов они опираются на некую версию человеческого суждения, а во-вторых, оценивают и взвешивают относительную важность каждого из этих факторов. Как сказал однажды психолог Робин Дауэс, «весь фокус в том, чтобы знать, на какие переменные смотреть, и уметь их складывать»{186}.