Это злая разумная опухоль
Шрифт:
Экстраординарные утверждения
(Блог, январь 2011 года)
Я симпатизировал Дэрилу Бему еще с 1994 года, когда в Psychological Bulletin появилась его соавторская работа: метаанализ, предположительно демонстрировавший воспроизводимые доказательства экстрасенсорных феноменов. Я воспользовался ей в «Морских звездах», когда искал какой-нибудь способ оправдать ограниченную телепатию, проявлявшуюся у рифтеров в обедненной среде. Бем и Хонортон подарили мне надежду, что нет вещей, безумных настолько, что нельзя найти в рецензируемом журнале статью для их подтверждения, если хорошенько поискать.
Вдобавок они подарили мне надежду, что экстрасенсорика может на самом деле существовать. Есть до хренища вещей, в которые я бы с удовольствием поверил, найдись им доказательства, но не могу, потому что считаю себя эмпириком. Однако если бы обнаружилось доказательство существования телепатии? Предвидения будущего? Телекинеза? Разве это было бы не круто? А Бем не был чудаком: он был (и остается) почитаемым специалистом в сфере общественных наук (оставим пока этот оксюморон в стороне)
Но из этого ничего не вышло. Были ворчанье и возражения насчет стандартизации исследований и того, насколько обоснована трактовка статистики, – типичные жалобы, всплывающие всякий раз, когда анализ переходит на метауровень. Больше всего мне тогда запомнилась точка зрения (упомянутая в обсуждении), будто эти результаты, что о них ни думай, как минимум настолько же убедительны, как те, на основе которых запускаются в продажу новые лекарства. Мне она понравилась. Она давала перспективу (хотя по прошествии лет ясно, что она скорее говорила о плачевном состоянии контроля качества в фарме, чем о вероятности того, что Кэрри Уайт поубивает своих одноклассников на выпускном).
В общем, Бем вернулся и на этот раз наделал куда больше шуму: Journal of Personality and Social Psychology опубликует результаты девяти экспериментов, восемь из которых должны продемонстрировать статистически значимые доказательства не только существования экстрасенсорики, но и настоящего предвидения будущего. В New York Times среагировали раньше всех; [17] остальные, от Time до Huffington Post, встрепенулись и побежали следом. [18] Большая часть реакций в непрофильных СМИ была предсказуема и довольно бестолкова: Time ошибочно принимает объяснение Бемом того, как он учитывал артефакты исследования, за своего рода признание, что эти артефакты он вообще не учитывал; [19] Winnipeg Free Press попросту упоминает его исследования как один из нескольких примеров во время продолжительных стенаний об упадке рецензируемой науки. [20] Возможно, самую обоснованную критику предлагают Вагенмакерс и др. (в статье, которая должна появиться в одном выпуске с работой Бема) и Джеймс Олкок в тексте, опубликованном на сайте Skeptical Inquirer [21] (который стал причиной своего рода трехстороннего обмена пощечинами [22] с Бемом [23] и одним из его соратников [24] ). И хотя я ни в коем случае не отметаю все контраргументы, даже заявления некоторых наиболее эрудированных скептиков кажутся немного подозрительными – а то и недобросовестными – тому, кто на самом деле прочитал исходный материал.
17
https://www.nytimes.com/2011/01/06/science/06esp.html
18
https://www.huffpost.com/entry/do-we-have-one-extra-sens_b_808417
19
http://healthland.time.com/2011/01/12/wait-esp-is-real/
20
http://www.winnipegfreepress.com/opinion/westview/science-journals-in-decline-113189344.html
21
http://www.csicop.org/specialarticles/show/back_from_the_future
22
http://www.csicop.org/specialarticles/show/response_to_bems_comments
23
http://www.csicop.org/specialarticles/show/response_to_alcocks_back_from_the_future_comments_on_bem
24
http://deanradin.blogspot.com/2010/12/my-comments-on-alcocks-comments-on-bems.html
Я не буду закапываться в подробности; почитайте источники, если вам интересны практические моменты. Но, говоря в общем, мне нравится то, что задумал сделать Бем. Он взял классические, давно испытанные психологические тесты – и просто провел их задом наперед. Например, наши воспоминания о каких-то предметах обычно сильнее, если нам довелось с этими предметами взаимодействовать. Если кто-то покажет вам кучу картинок, а потом попросит, скажем, систематизировать часть из них по цвету, вам будет легче вспомнить те, что вы систематизировали, чем остальные, когда впоследствии вам снова продемонстрируют весь набор (это называется «прайминг»). Так что будет, задался вопросом Бем, если вас протестируют на этих картинках до того, как попросят с ними взаимодействовать? Если вы отреагируете преимущественно на те, с которыми еще не имели дела, однако будете иметь дело когда-нибудь в будущем, значит, вы создали некий обратный поток информации. Разумеется, как только ученый узнает, что выбрали его подопытные, у него появится искушение, условно говоря, помочь пророчеству исполниться; однако это можно обойти, полностью устранив людей из процесса и доверив программам и генераторам случайных чисел решать, какие изображения использовать для прайминга.
Я оставлю конкретные протоколы каждого эксперимента на самостоятельное чтение тем, кто хочет полазать по ссылкам, однако в целом подход был простым. Взять
устоявшийся причинно-следственный тест; провести его задом наперед; если показатели предпрайминга выше случайных, засчитать это как победу. Бем также заявил, что с эволюционной точки зрения секс и смерть должны быть мощными мотиваторами. В саваннах плейстоцена редко попадались казино и фондовые биржи, а вот знание (пусть и безотчетное), что через десять минут кто-то попытается тебя сожрать – или что в ближайшем будущем тебе встретится потенциальный половой партнер, – что ж, оно определенно предоставило бы тебе эволюционное преимущество над тем, кто не был экстрасенсом. Поэтому Бем использовал пугающие или эротические картинки, надеясь повысить вероятность значимых результатов.Заметим также, что тысяча-или-около-того участников его эксперимента изначально не знали, что делают. Не было никаких явных испытаний на экстрасенсорику, никаких карточек со звездами или волнистыми линиями. Эти люди знали только, что должны догадаться, в какой части скрытого от них монитора находится картинка. Им не говорили, что на ней изображено.
Когда картинка была нейтральной, их выбор был чисто случайным. А вот когда она была порнографической или страшной, они угадывали чаще, чем промахивались. Результат был незначительным: мы говорим о примерно 53 % попаданий вместо ожидаемых 50 %. Однако, согласно статистике, результат наблюдался в восьми из девяти экспериментов.
Конечно, сейчас все кому не лень выискивают в экспериментах дыры. Это нормально; это наша обязанность – так все и работает. Возможно, самая серьезная претензия, та единственная, что имеет значение, – никто пока не смог повторить результаты Бема. Это гораздо важнее, чем отдельные придирки, звучавшие в последние несколько дней, – отчасти хотя бы потому, что некоторые из этих придирок выглядят, ну, довольно глупо. (Сам Бем отвечает на некоторые нападки Олкока.) [25]
25
http://www.csicop.org/specialarticles/show/response_to_alcocks_back_from_the_future_comments_on_bem
Давайте по-быстрому пройдемся по некоторым методологическим обвинениям, которые выдвигали люди: «Методология Бема не была последовательной. Бем логарифмически преобразовывал данные; о-о-о, наверное, он это делал потому, что непреобразованные данные не давали ему нужные результаты. Бем провел несколько тестов, не делая поправку на то, что чем больше тестов ты проводишь на одной выборке, тем выше шанс случайно получить значимые результаты». Вот лишь несколько.
Может быть, моя подготовка полевого биолога заставляет меня быть более снисходительным к таким вещам, но я не считаю корректировку методов особенно возмутительной, когда это делается, чтобы адаптироваться под новые данные. Например, Бем обнаружил, что мужчины слабее, чем женщины, реагируют на уровень эротики в его изначальной подборке порно (чему, будучи мужчиной, я охотно верю: обложки любовных романов из серии Harlequin меня вообще не возбуждают). Поэтому для участников-мужчин он поднял рейтинг изображений с R до XXX. Полагаю, он мог бы и дальше использовать нестимулирующие изображения, даже осознав, что они не работают, точно так же, как ихтиолог мог бы продолжать использовать ту же самую сеть, даже обнаружив, что ячейки в ней слишком крупные для поимки того вида, который он изучает. В обоих случаях методология была бы «последовательной». А еще это была бы пустая трата времени.
Также Бема критиковали за использование тестов на статистическую значимость (т. е. он задавал вопрос «какова вероятность, что эти результаты – всего лишь случайность?»), а не байесовских методов (т. е. «если наша гипотеза верна, каковы шансы получить эти конкретные результаты?»). (Кэри приводит хорошую сравнительную графику для этих двух подходов в New York Times) [26] . Подозреваю, что этот упрек может быть справедлив. Мои претензии к байесовским методам в том, что они берут за отправную точку твое собственное предвзятое мнение: ты с самого начала можешь выбрать вероятность того, что телепатия существует, и вероятность того, что это не так. Если данные будут противоречить выбранной вероятности, теорема чуть подправит ее, чтобы при следующем повторении эксперимента она больше соответствовала полученным данным; но очевидно, что если, по вашему изначальному предположению, есть 99,9999999999 % вероятности, что предвидение – это чушь собачья, то потребуется гораздо больше данных, чтобы изменить это число, чем если вы начинаете с чушевероятности всего в 80 %. Вагенмакерс и др. привязывают это к знаменитому высказыванию Лапласа: «Экстраординарные утверждения требуют экстраординарных доказательств» (к которому мы вернемся под конец поста), однако это можно сформулировать и иначе – чем сильнее предрассудок, тем сложнее от него избавиться. А Байес по определению использует предрассудок в качестве стартовой площадки.
26
http://www.nytimes.com/2011/01/11/science/11esp.html
Вагенмакерс и др. прогнали цифры Бема через байесовские техники, начиная со стандартных «базовых» значений изначальных вероятностей (какие именно это были значения, они не сказали, хотя и сослались на источник). Они нашли «значимые» подтверждения предвидения (Гипотезы1) лишь в одном из девяти экспериментов Бема и «значимые» подтверждения его отсутствия еще в двух (они утверждают, что в трех, но, кажется, почему-то рассмотрели шестой эксперимент Бема дважды). Потом они прогнали те же данные повторно, используя различные стартовые значения, отличавшиеся от «базовых», просто чтобы убедиться, и заключили, что их выводы обоснованны. За деталями этого анализа они отсылают читателя к выложенному онлайн приложению. Я не могу показать вам график, который там можно найти (по остающимся неясными причинам Tachyon до странного неохотно соглашается нарушать закон об авторском праве), но подпись к нему в том числе гласит: