Лягушка в кипятке и еще 300 популярных инструментов мышления, которые сделают вас умнее
Шрифт:
Подобные опросы также редко учитывают мнение бывших сотрудников, а это тоже искажает результаты. Это искажение называется систематической ошибкой выжившего. Возможно, несчастные сотрудники уже уволились, но вы не учтете их мнение, если опросите только тех, кто остался в компании. Таким образом, результаты будут искажены, ведь вы опросили только «выживших».
Получается, что на опросы нельзя полагаться из-за этих искажений? Не всегда. Почти у каждого метода есть недостатки, и редко можно избежать искажений в том или ином виде. Нужно только знать потенциальные проблемы исследования и учитывать их в своих выводах. Например, если вы знаете о систематической ошибке выжившего, можно изучить данные собеседований перед увольнением, чтобы проверить, не
Еще несколько примеров демонстрируют, какой незаметной бывает ошибка выжившего. Во время Второй мировой войны исследователи военно-морского флота изучили повреждения самолетов, вернувшихся с операций, чтобы улучшить их оборону в будущих миссиях. Глядя на пробоины в самолетах, они решили оснастить дополнительной защитой места, которые пострадали сильнее всего.
Систематическая ошибка выжившего
Адаптировано из изображения Creative Commons. Макгеддон «Иллюстрация гипотетической картины повреждений бомбардировщика Второй мировой войны». Wikimedia Commons, 12 ноября 2016 года,Survivorship-bias.png.
Но статистик Авраам Уолд заметил, что в исследовании участвовали только самолеты, вернувшиеся с операций, а не то множество самолетов, которые были сбиты. Таким образом, он сделал противоположный вывод, который оказался верным: пробоины были в тех местах, попадание в которые самолет может выдержать и вернуться невредимым, а вот попадание туда, где не было дырок, скорее всего, приводило к падению.
История жизни Билла Гейтса и Марка Цукерберга может подтолкнуть вас к выводу, что надо бросить учебу и погнаться за своей мечтой. Однако вы смотрите только на «выживших».
Вы не замечаете всех тех недоучек, которые не смогли выбиться в люди. Более повседневный пример можно увидеть в архитектуре: старые здания обычно кажутся красивее, чем их современные аналоги. Но эти здания пережили эпохи. В те времена была построена масса уродливых домов, которые уже снесли.
Когда вы критически оцениваете исследование (или проводите его самостоятельно), нужно спросить себя: кого не хватает в выборке? Почему ваша выборка может оказаться неслучайной по сравнению с остальным населением? Например, если вы хотите нарастить клиентскую базу компании, вы не должны проверять исключительно существующих клиентов. Скорее всего, в такую выборку вообще не войдет большая часть потенциальных клиентов. Они могут вести себя совершенно иначе, чем существующие (как ранние пользователи и раннее большинство). Еще одним типом незаметной ошибки является искажение ответа. Искажение ответа появляется, когда множественные когнитивные искажения мешают дать точный или правдивый ответ респондентам. Например, в опросе о мотивации сотрудников люди могут солгать (или умолчать о чем-то), опасаясь наказания.
В общем и целом искажение ответа влияет на результаты опросов множеством способов, включая следующие:
• формулировка вопросов (например, наводящие или провокационные вопросы);
• порядок вопросов, где один вопрос влияет на последующие ответы;
• плохая или неточная память респондентов;
• сложности с отображением чувств в виде чисел, например в рейтингах от 1 до 10;
• попытки респондентов выставить себя в лучшем свете.
Стоит попытаться учесть все эти скрытые искажения (систематическую ошибку отбора, искажение неответа, искажение ответа, систематическую ошибку выжившего), потому что после этого вы станете еще увереннее в своих выводах.
Остерегайтесь закона малых чисел
Интерпретируя данные, остерегайтесь распространенной ошибки, которая приводит к самым разным проблемам: завышения результатов, полученных от слишком маленькой выборки.
Даже в хорошо проведенном эксперименте (типа политического голосования) нельзя рассчитывать, что ваша оценка, основанная на небольшой выборке, будет верна.
Такая ошибка иногда называется законом малых чисел, и в этом разделе мы подробно ее рассмотрим. Название происходит от настоящей статистической концепции под названием закон больших чисел, которая гласит, что чем больше выборка, тем ближе ваш средний результат к истинному среднему значению.
График ниже демонстрирует это в действии. Каждая линия представляет собой серию бросков монетки и показывает, как процент выброшенных «решек» меняется с первого до пятисотого броска в каждой серии. Обратите внимание, что кривые могут довольно сильно отклоняться от отметки 50 % в начале, но приближаются к этому числу все сильнее и сильнее по мере увеличения числа бросков. И даже после пятисотого броска некоторые числовые данные все еще далеки от 50 %.
Закон больших чисел
Скорость сходимости для данного эксперимента зависит от ситуации. В следующем разделе мы объясним, как определить достаточный размер выборки. А сейчас мы хотим сосредоточиться на том, что пойдет не так, если ваша выборка слишком мала.
Для начала рассмотрим ошибку игрока, названную в честь игроков в рулетку, которые считают, что последовательность черных и красных результатов на колесе рулетки в следующий раз скорее закончится, чем продолжится. Допустим, вам десять раз подряд выпадало черное. Жертвы этой ошибки ждут, что в следующий раз выше вероятность получить красное, тогда как на самом деле вероятность для каждого вращения не меняется. Чтобы эта идея перестала быть ошибочной, рулеткой должна управлять некая корректирующая сила, уравновешивающая результаты. Но это не тот случай.
Иногда это также называют ложным выводом Монте-Карло, потому что в широко известном случае 18 августа 1913 года в казино в Монте-Карло выпала невероятная череда из 26 черных! Вероятность такого результата составляет всего 1 на 137 млн для любой последовательности из 26 вращений. Но все остальные последовательности из 26 результатов точно так же редки. Просто они не такие крутые. Ошибка игрока действует для любой последовательности решений, включая судебные, кредитные и даже решения бейсбольных рефери. В обзоре Чикагского университета для «Ежеквартального экономического журнала»[64], посвященном рассмотрению дел о предоставлении политического убежища с 1985 по 2013 год, отмечается, что
судьи были менее склонны предоставлять политические убежища, если уже одобрили предыдущие два дела. Это также объясняет то неприятное чувство на школьном экзамене, когда вы заметили, что выбрали ответ «б» четыре раза подряд.
В случайных данных часто обнаруживаются последовательности и кластеры. Вы удивитесь, если узнаете, что есть шанс 50/50 выбросить четыре «решки» подряд в любой серии из двадцати бросков? Такие последовательности часто неправильно интерпретируют как свидетельства неслучайного поведения, ошибки интуиции, которые называются иллюзией кластеров.
Посмотрите на пару картинок ниже. Какая из них сгенерирована случайным образом?
Иллюзия кластеров
Стивен Пинкер. Лучшие ангелы нашей природы. New York: Viking Books, 2011.
Эти картинки взяты из книги психолога Стивена Пинкера «Удачные ракурсы нашей натуры». Левая картинка, на которой очевидны кластеры, на самом деле случайная. Правая картинка, которая интуитивно кажется случайной, на самом деле такой не является. Это фотография светлячков на своде пещеры в Вайтомо, Новая Зеландия. Светлячки специально рассаживаются подальше друг от друга в борьбе за еду.