Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет

Например, коммерческие синоптики редко предсказывают, что вероятность дождя составляет именно 50 %. С точки зрения потребителей, это может свидетельствовать об определенной нерешительности и желании избежать конкретики {277} . Вместо этого они бросают монетку и округляют цифру до 60 или 40 %, хотя это делает прогнозы менее точными и менее честными {278} .

Флер также обнаружил еще один вопиющий пример фальсификации цифр, описывающий, пожалуй, один из самых главных секретов в прогнозной отрасли. Большинство коммерческих прогнозов погоды искажено, и, возможно, сознательно. В частности, прогнозы чаще говорят об осадках, чем они выпадают на самом деле {279} . Метеорологи называют это «сдвигом в сторону осадков»». Чем дальше вы отклоняетесь от исходных данных, предоставленных правительством, и чем больше потребителей изучают ваши прогнозы, тем сильнее становятся искажения. Прогнозы «добавляют ценность», уменьшая при этом правильность.

277

В сущности, прогнозирование дождя с вероятностью 50 % можно считать достаточно смелым прогнозом, поскольку в среднем в США дождь идет примерно 20 % дней в году.

278

В какой-то момент в преддверии президентских выборов 2012 г. я сообщил группе руководителей о том, что получил приглашение выступить на тему наиболее популярного на тот момент варианта исхода противостояния между Бараком Обамой и Митом Ромни (шансы на победу каждого составляли чуть меньше 50 %). Они потребовали, чтобы я перестал ходить вокруг да около и дал им ответ, который сам считаю истинным.

279

Выявленное Флером искажение в отношении прогноза осадков в реальности возникает значительно реже. Это не обязательно означает, что синоптики предсказывают слишком небольшое количество осадков в зависимости от частоты возникновения дождей. На самом деле Флер также обнаружил, что синоптики склонны недооценивать величину осадков даже в случае самых суровых зимних метелей типа «Сноупокалиписа» в Нью-Йорке в 2012 г.

Как понять, что ваш прогноз неверен

Один из самых важных тестов любого прогноза – и я бы даже сказал, что самый важный {280} , – носит название калибровки. Насколько часто сбывались ваши прогнозы о том, что вероятность выпадения осадков составляет 40 %? Если в долгосрочной перспективе дождь действительно шел примерно в 40 % случаев, это значит, что ваши прогнозы хорошо откалиброваны. Если на самом деле дождь шел в 20 или 60 % случаев, о хорошей калибровке говорить не приходится.

280

Хотя калибровка представляет собой очень важный способ оценки прогноза, она не сможет сказать вам всего. Например, в долгосрочной перспективе в любом случайно выбранном регионе США дождь идет в среднем 20 % дней. Поэтому вы можете создать хорошо откалиброванный прогноз, просто взяв за данность, что вероятность выпадения осадков – 20 %. Однако для создания подобного прогноза не нужны никакие навыки – вы просто следуете законам климатологии. Обратным свойством калибровки выступает «дискриминация» или «разрешение», то есть показатель изменчивости прогнозов от одного случая к другому. Синоптик, часто предсказывающий нулевую или 100 %-ную вероятность дождя, покажет более высокие результаты с точки зрения дискриминации, чем человек, пытающийся нащупать какое-то значение посередине. Хорошая оценка прогнозов учитывает и первое, и второе – как индивидуально, так и в составе статистических показателей типа показателя Бриера, пытающегося учесть оба этих свойства одновременно. Причина, по которой я считаю калибровку лучшим методом прогноза, достаточно прагматична – большинство экспертов в области прогнозирования не имеет никаких проблем с использованием дискриминации. Более того, они даже ей злоупотребляют – иными словами, их прогнозы слишком самонадеянны.

Во многих областях добиться хорошей калибровки непросто. Для ее применения требуется, чтобы вы думали в понятиях вероятности, а это не очень хорошо получается у большинства из нас (включая и большинство «экспертов»-прогнозистов). По сути, такой подход предполагает борьбу с чрезмерной уверенностью в себе, которая в немалых дозах присутствует у большинства прогнозистов. Помимо этого, оценка предполагает изучение большого объема данных, то есть сотен созданных прогнозов [70] .

70

Выявить плохо откалиброванный прогноз можно значительно быстрее. Если бы вы сказали, что некое событие имеет 100 %-ный шанс сбыться, однако этого не происходит (или, наоборот, мы наблюдаем то событие, вероятность которого, по вашему мнению, лишь 0 %), нам не нужно никаких дополнительных данных, чтобы понять, что прогноз оказался неверным. – Прим. авт.

Метеорологи вполне соответствуют этому стандарту. Они ежедневно прогнозируют температуру и вероятность дождя и других осадков в сотнях городов. В течение любого года они создают десятки тысяч прогнозов.

Подобная высокая частота прогнозов невероятно полезна не только в тех случаях, когда мы хотим оценить прогноз, но также и для самих прогнозистов – они будут получать заметную обратную связь, если делают что-то не так, а следовательно, и изменить свой курс. Например, некоторым компьютерным моделям свойственно проявлять небольшое искажение {281} – они прогнозируют дождь чаще, чем тот идет на самом деле. Однако как только вам становится известно об этом искажении, вы можете его скорректировать. Аналогичным образом вы можете довольно быстро понять, что ваши прогнозы чересчур оптимистичны.

281

«Performance Characteristics and Biases of the Operational Forecast Models», National Weather Service Weather Forecast Office, Louisville, KY; National Weather Service, National Oceanic and Atmospheric Association; May 23, 2004. http://www.crh.noaa.gov/lmk/soo/docu/models.php.

Оказалось, что прогнозы Национальной службы погоды на удивление хорошо откалиброваны {282} (рис. 4.7). Когда в ее прогнозе говорится, что вероятность дождя составляет 20 %, он действительно идет в 20 % случаев. Эта служба хорошо воспользовалась обратной связью, и ее прогнозы достаточно точны и честны.

Рис. 4.7. Оценка калибровки прогнозов Национальной службы погоды – расхождение между прогнозируемым и реальным выпадением осадков

282

Sarah Lichtenstein, Baruch Fischhoff, and Lawrence D. Phillips, «Calibration of Probabilities: The State of the Art to 1980», Decision Research, Perceptronics, for Office of Naval Research, 1986. http://www.dtic.mil/cgi-bin/GetTRDoc?AD=ADA101986.

Метеорологи Weather Channel немного лукавят, но при определенных условиях. Например, исторически сложилось так, что, когда они говорят о том, что вероятность дождя – 20 %, в реальности в эти дни дождь идет лишь в 5 % случаев {283} . Это делается сознательно, и Weather Channel даже согласен это признать. Все дело в экономических стимулах.

Люди замечают один тип ошибки – неспособность предсказать дождь – значительно чаще, чем другой – ложную тревогу. Если дождь начинается, когда не должен, они проклинают синоптиков за то, что им приходится отменять пикник, а неожиданный солнечный день воспринимается ими как приятный сюрприз. С научной точки зрения это не очень хорошо, однако как призналась мне доктор Роуз из Weather Channel: «Если бы прогноз был объективным и обладал нулевым искажением с точки зрения частоты и осадков, у нас возникли бы немалые проблемы».

283

J. Eric Bickel and Seong Dae Kim, «Verification of the Weather Channel Probability of Precipitation Forecasts», American Meteorological Society 136 (December 2008): pp. 4867–4881. http://faculty.engr.utexas.edu/bickel/Papers/TWC_Calibration.pdf.

При этом Weather Channel – достаточно консервативная организация (многие зрители даже ошибочно принимают ее за правительственную), и чаще всего она умело соответствует этой роли. Прогнозируемый ею «сдвиг в сторону осадков» ограничен небольшим преувеличением вероятности дождя даже в случае, когда его возникновение почти нереально – например, они говорят о 20 %-ной вероятности, когда ее реальное значение составляет 5 или 10 %. Таким образом она пытается обезопасить себя на всякий неблагоприятный случай. Во всех остальных случаях ее прогнозы хорошо откалиброваны (рис. 4.8). Когда ее сотрудники говорят, например, о 70 %-ной вероятности дождя, этим данным можно верить.

Рис. 4.8. Оценка калибровки прогнозов Weather Channel – расхождение между прогнозируемым и реальным выпадением осадков

Но когда речь заходит о прогнозах погоды на местных телевизионных каналах, можно и голову потерять. Здесь искажение начинает проявляться в полную силу, и правильность и честность страдают сильнее всего.

Канзас-Сити можно считать отличным рынком для прогнозов погоды – тут бывает и палящее жаркое лето, и холодные зимы, торнадо и засухи, а кроме этого, он достаточно велик, и в нем ведется трансляция всех основных кабельных каналов. Житель города по имени Дж. Д. Эгглстон начал отслеживать содержание прогнозов погоды на местных каналах, желая помочь своей дочери-пятикласснице с выполнением домашнего задания. Он посчитал этот анализ крайне интересным делом и занимался им в течение семи месяцев, публикуя результаты своего исследования в блоге Freakonomics {284} .

284

J. D. Eggleston, «How Valid Are TV Weather Forecasts?» Freakonomics.com, Apr. 21, 2008. http://www.freakonomics.com/2008/04/21/how-valid-are-tv-weather-forecasts/comment-page-6/#comments.

Телевизионные синоптики обычно не уделяют особого внимания правильности. Напротив, их прогнозы были значительно хуже, чем прогнозы Национальной службы погоды, которые они могли бы бесплатно брать с сайта и транслировать в своих программах. Помимо всего прочего, они были ужасно откалиброваны. Согласно исследованию Эгглстона, в тех случаях, когда метеоролог из Канзас-Сити говорил о том, вероятность дождя составляет 100 %, обещанный дождь так и не начинался в трети случаев (рис. 4.9).

Рис. 4.9. Оценка калибровки прогнозов, передаваемых на местном ТВ-канале, – расхождение между прогнозируемым и реальным выпадением осадков

Синоптики даже не считали нужным за это извиняться. «Точность не входит в число критериев при найме метеорологов на работу. Главное – это не правильность прогноза, а то, как она презентуется», – сказал один из них Эгглстону. «Правильность не особенно важна для зрителей», – говорил другой. Судя по всему, они относятся к своей работе как к милому развлечению: кого волнует небольшое изменение прогноза – «сдвиг в сторону осадков», – если оно идет на пользу телекомпании? А поскольку публика в любом случае не думает, что наши прогнозы достаточно хороши, к чему нам беспокоиться из-за точности?

Эта логика начинает напоминать замкнутый круг. Синоптики на телевидении говорят, что им нет нужды делать точные прогнозы, поскольку, по их мнению, зрители все равно им не поверят. Однако у публики нет оснований им верить, поскольку их прогнозы неточны.

Проблема становится куда более масштабной, когда возникает некое не терпящее отлагательств событие – например, ураган «Катрина». Очень многие американцы получают информацию о погоде из местных источников {285} , а не напрямую от Центра прогнозирования ураганов, поэтому они все равно будут надеяться, что люди с телевизионных каналов станут снабжать их точной информацией. При условии взаимного недоверия между синоптиками и общественностью последняя никогда не будет слушать, даже когда это оказывается самым важным.

285

По данным интервью с Максом Мэйфилдом.