Лягушка в кипятке и еще 300 популярных инструментов мышления, которые сделают вас умнее
Шрифт:
Распределение семейных доходов в США (2016)
Бюро переписей США «HINC-06. Распределение дохода до 250 000 долларов США и более для домохозяйств», www.census.gov/data/tables/time-series/demo/income-poverty/cps-hinc/hinc-06.2016.html.
Минимальный и максимальный диапазон в данном случае менее информативны. Дисперсию лучше передает межквартильный диапазон, который определяет 25-й процентиль к 75-му процентилю данных, охватывающий средние 50 % доходов, от 27 300 до 102 350 долларов США.
Наиболее распространенными статистическими
Дисперсия случайной величины и стандартный разброс
Поскольку стандартный разброс – это всего лишь квадратный корень дисперсии случайной величины, если вы знаете последнюю, то вам легко будет рассчитать его. Более высокие величины каждого из них означают, что точки данных часто сильно отклоняются от нормы, как показано на мишенях ниже.
Дисперсия случайной величины
Наборы данных о температуре тела, изображенные ранее, отклоняются от стандарта на 0,73 °F. Чуть более двух третей их значений находятся в пределах одного отклонения от нормы (97,52–98,8 °F), 95 % – в двух отклонения от нормы (96,79–99,71 °F). Как видите, эта закономерность является обычной для множества наборов измерительных данных (например, рост, артериальное давление, стандартизированные тесты).
Гистограммы такого типа имеют похожую форму колокола с кластером значений в центре ближе к норме и все меньшим и меньшим числом результатов по мере удаления от нормы. Когда набор данных имеет такую форму, предполагается, что он поступает из нормального распределения.
Нормальное распределение – это особый тип распределения вероятностей, математической функции, которая описывает, как распределены вероятности всех возможных исходов случайного явления.
Например, если вы измерите температуру случайного человека, любой конкретный результат будет иметь определенную вероятность, при этом наиболее вероятным результатом является норма – 98,2 °F, а величины, сильно отклоняющиеся от этой нормы, все менее вероятны. Учитывая, что распределение вероятностей описывает все возможные результаты, все вероятности в распределении сводятся к 100 % (или к единице).
Чтобы лучше это понять, давайте рассмотрим еще один пример. Как мы уже упоминали, рост людей также примерно соответствует нормальному распределению. На графике ниже представлено распределение роста мужчин и женщин на основании данных Центров США по контролю и профилактике заболеваний. Оба распределения имеют типичную форму колокола, несмотря на то что стандарты роста для мужчин и женщин отличаются.
Нормальное распределение
Центр по контролю за заболеваниями «Антропометрические справочные данные для детей и взрослых: Соединенные Штаты, 2011–2014 годы». Vital and Health Statistics серия 3, № 39 (август 2016 года).
В подобных нормальных распределениях (как мы уже видели на примере температуры тела) около 68 % всех значений должны попадать в одно отклонение от нормы, около 95 % – в два и почти все (99,7 %) в три. Таким образом, нормальное распределение можно однозначно описать только его нормой и стандартным разбросом. Знание этих фактов особенно полезно, так как очень много явлений можно описать нормальным распределением.
Стандартный разброс при нормальном распределении
Таким образом, если вы остановите на улице случайную женщину, можно использовать эти факты, чтобы довольно точно угадать ее рост. Вариант 5 футов 4 дюйма (162 сантиметра) подойдет лучше всего, потому что это норма. Кроме того, вы можете с вероятностью приблизительно 2: 1 угадать, что ее рост будет от 5 футов 1 дюйма (156 см) до 5 футов 7 дюймов (170 см). Это связано с тем, что стандартный разброс для женского роста составляет чуть меньше 3 дюймов (8 см), поэтому около двух третей женщин будут примерно такого роста (в пределах одного отклонения от стандарта). Напротив, женщины ниже 4 футов 10 дюймов (147 см) или выше 5 футов 10 дюймов (178 см) составляют менее 5 % всех женщин (за пределами двух отклонений от стандарта).
Распределение вероятностей
Распределение вероятностей, блог Cloudera Engineering, Шон Оуэн, 3 декабря 2015 года.
Существует много других распределений вероятности помимо нормального распределения, которые используются в различных обстоятельствах. Некоторые из них изображены выше.
Но мы назвали этот раздел «Кривая нормального распределения», поскольку нормальное распределение особенно полезно благодаря одному из самых практичных результатов во всей статистике, который называется центральной предельной теоремой. Эта теорема утверждает, что когда числа взяты из одного и того же распределения, а затем усреднены, полученный средний результат примерно соответствует нормальному распределению. Так получается даже тогда, когда изначальные числа взяты из совершенно иного распределения.
Чтобы понять эту теорему и ее пользу, вспомните известный опрос о рейтинге одобрения[65]. Механика проведения таких опросов очень проста – человека спрашивают, одобряет он, например, политическую партию или нет. Это значит, что каждая точка данных сводится всего лишь к «да» и «нет».
Такой тип данных совершенно не похож на нормальное распределение, потому что каждая точка может иметь лишь одно из двух возможных значений. Подобные бинарные данные часто анализируются через другое распределение вероятностей, которое называется распределением Бернулли. Оно представляет собой результат одного эксперимента или вопроса типа да/нет, например в анкете. Такое распределение полезно в самых разных ситуациях, например при анализе рекламных кампаний (купили ли товар), в клинических испытаниях (подействовало ли лечение) и в А/В-тестировании (нажали ли кнопку).
Оценочный рейтинг одобрения – это среднее значение всех отдельных ответов (1 – одобрение, 0 – нет). Например, если было опрошено 1 000 человек и 240 ответили одобрительно, то рейтинг одобрения будет 24,0 %. Центральная предельная теорема сообщает, что это среднее статистическое значение (норма выборки) приблизительно нормально распределено (при условии, что в опросе приняло участие достаточно людей). График ниже наглядно показывает, как это работает с распределением Бернулли и двумя другими, которые тоже изначально совершенно не похожи на нормальное распределение.
Центральная предельная теорема
Марк Л. Беренсон, Дэвид М. Левин и Тимоти К. Кребиэль. Базовая бизнес-статистика: концепции и приложения. Upper Saddle River, N.J.: Prentice Hall, 2006.
Центральный столбец показывает, что распределение нормы выборки из распределения Бернулли представляет собой серию единиц и нулей и в конце концов принимает вид колокола. Первая строка показывает распределение с 75 % шансом неодобрения (пик на 0 слева) и 25 % шансом одобрения (пик на 1 справа). Этот 25 % шанс основан на рейтинге одобрения по всей стране, если бы опросили всех до единого. Каждый человек в опросе входит в распределение населения.