Лягушка в кипятке и еще 300 популярных инструментов мышления, которые сделают вас умнее

Принимая участие в опросе, вы получаете лишь приблизительную оценку общего рейтинга одобрения (как приблизительные 24 %, упомянутые ранее). Когда вы так делаете, вы берете выборку из всего населения (например, опрашиваете 1 000 человек) и находите средний результат, чтобы сделать приблизительный подсчет. Эта норма также имеет распределение, которое называется распределением выборки и описывает шансы получить каждый возможный рейтинг одобрения из нее. Представим это распределение в виде графиков разных рейтингов одобрения (норм выборки), полученных из большого количества опросов.

Во второй строке показан график примера этого распределения выборки для рейтинга одобрения на основании опроса двух случайно выбранных людей. График отличается от изначального распределения, но все же совершенно не похож на нормальное, поскольку у него может быть только три результата: два одобрения (пик на 1), два неодобрения (пик на 0) либо одно одобрение и одно неодобрение (пик на 0,5).

Если вы опросите 5 человек, распределение выборки станет уже больше похоже на колокол с шестью возможными результатами (третья строка). Если опросить тридцать человек (31 результат, 4 строка), график начнет приобретать характерную форму кривой нормального распределения.

Чем больше людей вы опросите, тем больше распределение выборки будет походить на нормальное распределение с нормой в 25 % – тем самым рейтингом одобрения из распределения населения. Как и в случае с температурой тела или ростом, пока эта величина остается самой вероятной по результатам опроса. Величины, близкие к ней, будут также оставаться вероятными, например 24 %. Величины дальше и дальше от нее будут все менее вероятны, и их вероятности будут распределяться нормально.

Но насколько точна эта меньшая вероятность? Зависит от того, сколько человек вы опросите.

Чем больше будет опрошенных, тем выше будет распределение. Чтобы передать эту информацию, такие опросы обычно указывают погрешность.

Статья, описывающая результаты опроса, может включать подобный текст: «Рейтинг одобрения Конгресса составляет 24 % с погрешностью ±3 %»^[66]. Эти «±3 %» и есть предел погрешности, но откуда берется эта погрешность и что это вообще такое, редко объясняют. Теперь вы знаете!

На самом деле допустимая погрешность – это тип доверительного интервала, приблизительного ряда чисел, которые, по вашему мнению, включают в себя истинное значение изучаемого параметра, например рейтинга одобрения. Этот диапазон обладает соответствующим уровнем доверия тому, что истинное значение параметра входит в интервал, который вы приблизительно вычислили. Например, уровень доверия 95 % подразумевает, что если вы проведете опрос много раз и подсчитаете много уровней доверия (по одному для каждого опроса), в среднем 95 % из них будет включать себя истинный рейтинг одобрения (то есть 25 %).

В большинстве сообщений СМИ не упоминают уровень доверия для вычисления погрешности, но обычно можно предположить 95 %. Напротив, в научных публикациях куда яснее пишут, какой уровень доверия был взят, чтобы показать неопределенность подсчетов (опять же, как правило, хоть и не всегда, это 95 %).

Для оценки рейтинга одобрения этот диапазон вычисляется с учетом центральной предельной теоремы: норма выборки приблизительно нормально распределена, поэтому следует ожидать, что 95 % возможных значений окажется в пределах двух отклонений от стандарта истинной нормы (то есть истинного рейтинга одобрения).

До сих пор мы не объяснили, что отклонение от стандарта в этом распределении, которое также называется стандартной ошибкой, не равно отклонению от стандарта выборки, о котором мы говорили ранее. Однако эти две величины напрямую связаны. В частности, стандартная ошибка равна отклонению от стандарта выборки, поделенному на квадратный корень размера выборки.

Это означает, что если вы хотите уменьшить погрешность в два раза, вам нужно увеличить размер выборки в четыре.

Для опроса «да/нет», как в рейтинге одобрения, погрешность 10 % при опросе 96 человек, 5 % – 384 человек, 3 % – 1067 человек и 2 % – 2401 человека. Поскольку предел погрешности выражает уверенность организаторов опроса в их подсчетах, логично, что он напрямую связан с размером выборки.

Иллюстрация ниже показывает, как доверительные интервалы работают для повторных экспериментов. На ней изображены 100 доверительных интервалов со значением 95 % для вероятности выбросить решку. Каждый был рассчитан из эксперимента, который включал симуляцию броска симметричной монеты сто раз. Эти доверительные интервалы графически представлены в виде «усов», которые визуально отображают показатель неопределенности при подсчетах.

«Усы» не всегда являются доверительными интервалами. Их можно получить и из других расчетов погрешности. Точка по центру «уса» – это приблизительное вычисление параметра, в данном случае норма выборки, а линии на его концах обозначают максимум и минимум числового диапазона, в данном случае доверительный интервал.

«Усы» на графике варьируются в зависимости от того, что показали разные эксперименты, но каждый охватывает диапазон около 20 %, что соответствует ±10 %, упомянутым выше (когда размер выборки – одна сотня бросков). Учитывая уровень доверия 50 %, можно ожидать, что 95 этих доверительных интервалов будут включать в себя истинную норму в размере 50 %. В данном случае 93 интервала включают в себя 50 % (7 интервалов, не включившие в себя эту величину, выделены черным).

Доверительный интервал со значением 95 % для 100 бросков симметричной монеты

Такие доверительные интервалы часто используются для вычисления разумных значений параметра, такого как вероятность выбросить решку. Но, как вы только что видели, истинная норма параметра (в данном случае 50 %) иногда выходит за рамки доверительного интервала. Нужно понимать, что доверительный интервал – это не диапазон всех возможных величин и истинная величина необязательно будет входить в него.

Нас очень беспокоит, когда статистические данные публикуются в СМИ без упоминания погрешностей или доверительных интервалов. Не забывайте искать их, когда читаете отчеты, и включайте их в собственную работу. Без оценки погрешности вы не поймете, насколько можно верить этому числу – будет ли истинная величина действительно близка к нему или, может быть, очень от него далека? Это вам подскажет доверительный интервал!

Все относительно

В предыдущем разделе мы написали, что средний рост женщины составляет 5 футов 4 дюйма. Если вам нужно угадать рост случайного незнакомца, но вы не знаете наверняка, что это женщина, не стоит называть 5 футов 4 дюйма, потому что средний мужской рост ближе к 5 футам 9 дюймам (175 см) и лучше брать число ближе к середине. Но если у вас есть дополнительная информация о том, что этот человек – женщина, то 5 футов 4 дюйма – это самая удачная догадка. Дополнительные данные влияют на вероятность.

Это пример модели, которая называется условной вероятностью – вероятностью наступления одного события при условии, что другое событие уже произошло. Условная вероятность помогает лучше оценивать вероятности, используя дополнительную информацию.

Условные вероятности широко распространены в повседневной жизни. Например, тарифы страхования жилья привязаны к различным условиям вероятности страховых требований (например, на побережье Флориды надбавки выше, так как и угроза разрушения от урагана там выше, чем в Пенсильвании).