Лягушка в кипятке и еще 300 популярных инструментов мышления, которые сделают вас умнее

При идеальном раскладе вы найдете блок из большого числа исследований, которые сотрут все сомнения по поводу случайности результата эксперимента. Если повезет, кто-то уже написал систематический обзор вашего вопроса к исследованию. Систематические обзоры – это организованный способ оценки вопроса с использованием всего объема исследований по определенной теме. Они описывают подробный и всесторонний (систематический) план для обзора результатов исследований в определенной области, включая поиск соответствующих исследований, чтобы исключить систематические ошибки в процессе.

Некоторые, но не все систематические обзоры включают в себя метаанализ, где используются статистические методы для объединения данных из нескольких исследований. Хороший пример – сайт FiveThirtyEight, который специализируется на метаанализе данных из опросов, чтобы лучше прогнозировать развитие событий в политике.

Помимо преимуществ, таких как точность и достоверность оценок, у метаанализа есть и недостатки. Например, сложно комбинировать данные из исследований, где слишком сильно отличаются планы или популяция выборок. Они также не могут самостоятельно устранять искажения из оригинальных исследований. Кроме того, и систематические обзоры, и метаанализ подвержены искажению публикации, потому что включают в себя только общедоступные результаты исследований.

Всякий раз, рассматривая обоснованность утверждения, вначале мы проверяем, проводился ли всеобъемлющий систематический обзор, и, если это так, начинаем с него. В конце концов систематические обзоры и метаанализы часто используются при принятии решений, например при разработке медицинских инструкций.

Если в этой главе и есть одна основная мысль, то это то, что разработать хороший эксперимент сложно! Мы надеемся, что вы также почерпнули отсюда, что вероятность и статистика – это полезные инструменты для понимания проблем, связанных с неопределенностью. Но этот раздел также призван объяснить, что статистика – это не панацея от неопределенности.

Как предложил статистик Эндрю Гельман в статье для журнала The American Statistician, мы должны «стремиться смириться с неопределенностью и отклонениями».

В целом имейте в виду, что хотя статистика помогает получить уверенные прогнозы в различных обстоятельствах, она не может точно предсказать, что произойдет в отдельно взятом случае.

Например, вы знаете, что в среднем летом на вашем любимом пляже тепло и солнечно, но это не гарантирует, что, когда вы пойдете в отпуск, погода не станет дождливой и не по сезону прохладной.

Точно так же медицинские исследования утверждают, что риск заработать рак легких возрастает, если вы курите, и хотя вы можете вычислить доверительный интервал, что средний курильщик за свою жизнь столкнется с раком легких, вероятность и статистика не могут сказать, что произойдет с отдельно взятым курильщиком.

Хотя вероятность и статистика – это не магия, они все же помогают лучше описать уверенность в вероятности различных результатов. Конечно, есть много подводных камней, на которые нужно обратить внимание, но мы надеемся, что вы почерпнете отсюда тот факт, что исследования и данные намного полезнее для преодоления неопределенности, чем догадки и предположения.

Основные идеи

• Не поддавайтесь ошибке игрока или ошибке базового процента.

Единичные случаи и корреляции, которые вы видите в данных, – хорошие генераторы гипотез, но корреляция не подразумевает причинно-следственной связи – вам все равно нужно основывать надежные выводы на хорошо спланированных экспериментах.

• Ищите проверенные планы экспериментов, такие как рандомизированные контролируемые эксперименты или А/В-тестирование, которые демонстрируют статистическую значимость.

Нормальное распределение особенно важно в экспериментальном анализе из-за центральной предельной теоремы. Помните, что при нормальном распределении около 68 % значений попадет в одно стандартное отклонение и 95 % – в два.

• Любой изолированный эксперимент может привести к ложноположительным или ложноотрицательным результатам и обусловлен множеством факторов, чаще всего систематической ошибкой отбора, искажением ответа и систематической ошибкой выжившего.

• Воспроизведение повышает уверенность в результатах, так что начните с поиска систематического обзора и/или метаанализа при исследовании определенной сферы.

• Никогда не забывайте, что при работе с неопределенностью значения, которые вы видите в отчетах или рассчитываете самостоятельно, сами по себе неопределенны и что вы должны искать и указывать значения с «усами»!

Глава 6

Решения, решения…

Как легко было бы принимать решения, если бы мы знали, чем они для нас обернутся.

Но это трудно, потому что выбор приходится делать с несовершенной информацией.

Предположим, вы хотите построить карьеру. Вам нужно рассмотреть различные варианты.

• Поискать такую же работу, что и сейчас, только с лучшими условиями (соцпакет, месторасположение, миссия организации и т. д.).

• Попытаться продвинуться по служебной лестнице на нынешней работе.

• Перейти в аналогичную организацию на более высокую должность.

• Полностью сменить карьеру и учиться чему-то новому.

Конечно, вариантов еще больше. Когда вы перекопаете их все, выбор покажется бесконечным. И вы не сможете испробовать все, чтобы в конце концов остановиться на одном. Такова жизнь.

Как же извлечь из этого всего смысл? Чаще всего люди в такой ситуации составляют список «за» и «против», где перечисляют списком все положительные последствия принятого решения (за) и сравнивают их со всеми отрицательными последствиями (против).

Хоть иногда это и полезно, у базовой методики сравнения всех «за» и «против» есть существенные недостатки. Во-первых, список подразумевает, что есть только два варианта, хотя вы уже и сами видели, что обычно их намного больше. Во-вторых, все плюсы и минусы в нем кажутся равноценными. В-третьих, в списке все пункты стоят по отдельности, хотя они наверняка взаимосвязаны. В-четвертых, так как плюсы бывают намного очевиднее, чем минусы, вам может показаться, что хорошо там, где нас нет, – вы мысленно будете ставить акцент на плюсах и игнорировать минусы.