Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
Шрифт:
Суть идеи Байеса и Прайса состоит не в том, что мир всегда оценивается в вероятностях или степенях неопределенности. Байес верил в небесное совершенство; он также выступал сторонником взглядов Исаака Ньютона, согласно которым природа следует регулярным и предсказуемым законам. Скорее, Байес говорил – с математической и философской точек зрения – о том, как нам следует изучать Вселенную. Мы учимся новым представлениям о ней с помощью аппроксимаций, оказываясь ближе и ближе к истине по мере того, как мы собираем все больше свидетельств.
Это заключение прямо противоположно более скептичной точке зрения шотландского философа Дэвида Юма {562} , который считал, что, поскольку мы не можем быть уверены в том, что солнце взойдет, наш прогноз относительно этого события не может считаться более рациональным, чем обратное заключение {563} . Напротив, байесовская точка зрения рассматривает
562
Donald A. Gillies, «Was Bayes a Bayesian?», Historia Mathematica, 14, no. 4, pp. 325–346, November 1987. http://www.sciencedirect.com/science/article/pii/0315086087900656.
563
David Hume, «Cause and Effect” in An Enquiry Concerning Human Understanding (1772) (Hackett Publishing Company, 1993). http://www.marxists.org/reference/subject/philosophy/works/en/hume.htm.
Вероятность и прогресс
Стоит отметить, насколько это утверждение напоминает слова Байеса, приведенные в трактате «Божественная доброта» («Divine Benevolence»), где утверждалось, что нам не стоит относить собственное несовершенство на ошибки Бога. Однако в философии Байеса, по сути, нет ничего религиозного {564} .
Нужно отметить, что самое точное математическое выражение того, что в наши дни считается теоремой Байеса, было разработано человеком, который с высокой долей вероятности был атеистом {565} , – французским математиком и астрономом Пьером-Симоном Лапласом.
564
Некоторые христиане считают, что байесовская вероятность более совместима с их мировоззрением. Согласно теореме Байеса, если вы присвоите 100 %-ную априорную вероятность гипотезе о существовании христианского бога, то никакие доказательства в мире не заставят вас отступить от своих позиций. Вполне возможно, что Байес это понимал. В своем вступлении к эссе Байеса Ричард Прайс упоминал, что, по его мнению, теорема Байеса помогает подтвердить «существование Божества». Дополнительную информацию по этой теме можно найти: Steve Bishop, «Christian Mathematicians – Bayes, God & Math: Thinking Christianly About Mathematics», Education, March 22, 2012 г. http://godandmath.com/2012/03/22/christian-mathematicians-bayes/.
565
«Fundamental Atheism», Free Atheist Church. https://sites.google.com/site/freeatheistchurch/fundamental-atheism.
Лаплас, как вы, возможно, помните из главы 4, был ярким представителем человека, стоящего на позициях научного детерминизма. Он считал, что мы могли бы идеально спрогнозировать нашу Вселенную, если бы знали положение каждой частицы в ней и могли бы достаточно быстро рассчитать ее движение. Так почему же Лаплас так увлекся теорией, основанной на вероятности?
Причина заключается в разрыве между совершенством природы и нашим человеческим несовершенством в измерении и понимании ее. Лапласа изрядно расстраивали астрономические наблюдения, свидетельствовавшие об аномалиях в орбитах Юпитера и Сатурн – по их предсказаниям, Юпитер должен был врезаться в Солнце, а Сатурн – вылететь за края Солнечной системы {566} .
566
Sharon Bertsch McGrayne, The Theory That Would Not Die: How Bayes’ Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy (New Haven, CT: Yale University Press, Kindle edition), 427–436.
Разумеется, эти предсказания были в корне неверными, Лаплас посвятил значительную часть своей жизни тому, чтобы более точно определить орбиты этих планет {567} . Уточнения, которые внес Лаплас, были основаны на вероятностных заключениях {568} , а не на результатах более точных измерений, поскольку инструменты того времени (например, телескопы) были достаточно грубыми. Лаплас начал рассматривать вероятность как срединную точку между невежеством и знанием. Ему казалось очевидным, что для достижения научного прогресса важно уделять вопросам вероятности значительно больше внимания {569} .
567
E. O. Lovett, «The Great Inequality of Jupiter and Saturn», Astronomical Journal, 15, 351 (1895), pp. 113–127.
568
McGrayne, The Theory That Would Not Die, Kindle location 19.
569
Pierre-Simon Laplace,
«A Philosophical Essay on Probabilities» (1902), pp. 6–8.Таким образом, Байес и Лаплас уже в XVIII в. отлично понимали, что существует некая тонкая связь между вероятностью, предсказанием и научным прогрессом. И это было еще в тот период, когда человечество только начало сталкиваться с взрывообразным ростом объемов информации, ставшим возможным благодаря изобретению печатного пресса несколькими столетиями ранее и способствовавшим развитию устойчивого научного, технического и экономического прогресса. Эта связь крайне важна – как для предсказания орбит планет, так и для угадывания победителя в матче с участием Lakers. Как мы увидим ниже, наука зашла в тупик позже, когда в XX в. начала доминировать иная статистическая парадигма, лишившая предсказание былой значимости и пытавшаяся рассматривать неопределенность как результат несовершенства наших измерений, а не как ошибку наших суждений.
Простая математика теоремы Байеса
Если философская подоплека теоремы Байеса удивительно глубока, то ее математика потрясающе проста. В своей базовой форме это всего лишь алгебраическое выражение с тремя известными переменными и одной неизвестной. Однако эта простая формула способна привести к инсайтам в предсказаниях.
Теорема Байеса прямо связана с условной вероятностью. Иными словами, она позволяет рассчитать вероятность какой-либо теории или гипотезы, если произойдет какое-либо событие. Представьте себе, что вы живете с партнером и, вернувшись домой из командировки, обнаруживаете незнакомую пару нижнего белья в своем гардеробе. Возможно, вы зададитесь вопросом: какова вероятность того, что ваш партнер вас обманывает? Условие состоит в том, вы найдете белье; гипотеза состоит в том, что вы заинтересованы оценить вероятность того, что вас обманывают. Хотите – верьте, хотите – нет, но теорема Байеса способна дать вам ответ на вопрос такого рода – при условии того, что вы знаете (или хотите оценить) три качества.
• Прежде всего вы должны оценить вероятность появления белья как условие правильности гипотезы – то есть при условии того, что вам изменяют.
Для решения этой проблемы давайте предположим, что вы женщина, а ваш партнер – мужчина, а предметом спора выступает пара трусиков. Если он вам изменяет, то несложно представить себе, как в ваш гардероб могли попасть чужие трусики. Но, даже если (или даже особенно в том случае если) он вам изменяет, вы можете ожидать, что он ведет себя достаточно осторожно. Давайте скажем, что вероятность появления трусиков при условии того, что он вас обманывает, составляет 50 %.
• Во-вторых, вы должны оценить вероятность появления белья при условии того, что гипотеза неверна.
Если муж вам не изменяет, должны быть другие, более невинные объяснения появления трусиков в вашем гардеробе. Некоторые из них могут оказаться довольно неприятными (например, это могли бы быть его собственные трусики). Возможно, что его багаж был по ошибке перепутан с чужим. Возможно, что в его доме по каким-то причинам вполне невинно заночевала какая-то ваша подруга, которой вы доверяете. Трусики могли бы быть подарком вам, который он забыл упаковать. Ни одна из этих теорий не лишена изъянов, хотя порой объяснения в стиле «мое домашнее задание съела собака» действительно оказываются правдой. Вы оцениваете их совокупную вероятность в 5 %.
• Третье и самое важное, что вам нужно, – это то, что байесовцы называют априорной вероятностью (или просто априори). Как вы оценивали вероятность его измены до того, как нашли белье? Разумеется, вам сложно сохранять объективность оценки сейчас, после того как эти трусики появились в поле вашего зрения (в идеале вы оцениваете эту вероятность до того, как начинаете изучать свидетельства). Но иногда оценивать вероятность подобных событий можно эмпирически. Например, в ряде исследований было показано, что в течение любого случайным образом взятого года своим супругам изменяет около 4 % женатых партнеров {570} , так что мы возьмем эту цифру за априорную вероятность.
570
Bret Schulte, «How Common Are Cheating Spouses?» U. S. News & World Report, March 27, 2008. http://www.usnews.com/news/national/articles/2008/03/27/how-common-are-cheating-spouses.
Если вы произвели оценку всех этих значений, то можете применить теорему Байеса для оценки апостериорной вероятности [107] . Именно в этой цифре мы и заинтересованы больше всего – насколько велика вероятность того, что нам изменяют, при условии что мы нашли чужое белье?
Расчет и простая алгебраическая формула, позволяющая его сделать, приведены в табл. 8.2.
Таблица 8.2. Пример расчета вероятности измены по теореме Байеса
107
Апостериорная вероятность (вероятность a posteriori) какого-либо события – условная вероятность события (переменной), которая назначается после принятого во внимание нового свидетельства, имеющего отношение к данной переменной.