Как понимать стандартное отклонение
Для приближённо нормальных (колоколообразных) данных эмпирическое правило показывает, какая доля данных попадает в заданное число стандартных отклонений от среднего.
| Интервал вокруг среднего | Примерная доля данных (нормальное распределение) |
|---|---|
| В пределах 1 стандартного отклонения | Около 68 % |
| В пределах 2 стандартных отклонений | Около 95 % |
| В пределах 3 стандартных отклонений | Около 99,7 % |
- Эмпирическое правило 68-95-99,7 применимо к приближённо нормальным распределениям; для сильно скошенных данных или данных с тяжёлыми хвостами эти доли могут заметно отличаться.
- Используйте выборочную форму (n - 1), когда данные — выборка, по которой делают выводы о более крупной совокупности; генеральную форму (n) применяйте только тогда, когда набор данных и есть вся интересующая совокупность.
- Стандартное отклонение чувствительно к выбросам, поскольку отклонения возводятся в квадрат: одно экстремальное значение способно заметно его увеличить.
- Калькулятору нужно минимум два значения: по одному наблюдению разброс оценить невозможно.
Что такое стандартное отклонение?
Стандартное отклонение измеряет типичное расстояние значений от их среднего. Малое стандартное отклонение означает, что значения плотно сгруппированы вокруг среднего; большое — что они сильно разбросаны. Оно выражается в тех же единицах, что и данные, поэтому интерпретировать его проще, чем дисперсию (его квадрат).
Ключевой момент — различие между выборочной и генеральной формой. Стандартное отклонение генеральной совокупности (sigma) делит сумму квадратов отклонений на n и применимо только тогда, когда набор данных охватывает всю интересующую совокупность, например экзаменационные баллы всех учеников одного конкретного класса. Выборочное стандартное отклонение (s) делит ту же сумму на n - 1 и применяется, когда данные — это выборка, по которой оценивают разброс в более крупной совокупности.
Деление на n - 1 называют поправкой Бесселя. Поскольку выборочное среднее вычислено по тем же данным, отклонения от него систематически чуть меньше отклонений от истинного (неизвестного) среднего генеральной совокупности; деление на n - 1 вместо n компенсирует это и делает выборочную дисперсию несмещённой оценкой дисперсии совокупности. Поправка наиболее существенна для малых выборок и становится пренебрежимо малой при больших n.
Как пользоваться калькулятором стандартного отклонения
- Введите не менее двух чисел через точку с запятой, например: 10; 12; 23; 23; 16; 23; 21; 16.
- Смотрите выборочное стандартное отклонение (s), если ваши данные — выборка из более крупной совокупности: так обычно бывает в опросах, экспериментах и контроле качества.
- Смотрите стандартное отклонение совокупности (sigma), если ваши данные охватывают всю интересующую совокупность целиком.
- Используйте среднее, выборочную дисперсию и количество значений, чтобы проверить расчёт или перейти к дальнейшему анализу — доверительным интервалам и z-оценкам.
Формулы стандартного отклонения
Обе формы начинаются одинаково: вычислите среднее, вычтите его из каждого значения, возведите каждое отклонение в квадрат и сложите квадраты. Генеральная форма делит эту сумму на n и извлекает квадратный корень; выборочная делит на n - 1 и тоже извлекает корень.
Разобранный пример: значения 2, 4, 4, 4, 5, 5, 7, 9. Шаг 1 — среднее: (2 + 4 + 4 + 4 + 5 + 5 + 7 + 9) / 8 = 40 / 8 = 5. Шаг 2 — квадраты отклонений: 9, 1, 1, 1, 0, 0, 4, 16, их сумма равна 32. Шаг 3 (совокупность) — 32 / 8 = 4, и sqrt(4) = 2. Шаг 4 (выборка) — 32 / 7 = 4,571429 (выборочная дисперсия), и sqrt(4,571429) = 2,13809 (округлённо).
Для одних и тех же данных выборочное значение всегда немного больше генерального, потому что делится на меньшее число; исключение — случай, когда все значения одинаковы: тогда оба равны нулю. С ростом объёма выборки разрыв сокращается.
Типичные ошибки
- Применение генеральной формулы (деление на n) к выборочным данным: это систематически занижает разброс в совокупности, из которой взята выборка; для выборок делите на n - 1.
- Путаница дисперсии и стандартного отклонения: дисперсия — это квадрат стандартного отклонения, и выражается она в квадратах единиц измерения.
- Применение правила 68-95-99,7 к явно скошенным данным или данным с тяжёлыми хвостами, где оно не работает.
- Сравнение стандартных отклонений наборов данных, измеренных в разных единицах или в очень разных масштабах, без приведения к общему виду (для относительного разброса используют коэффициент вариации — отношение к среднему).
Часто задаваемые вопросы
Чем выборочное стандартное отклонение отличается от генерального?
Стандартное отклонение генеральной совокупности делит сумму квадратов отклонений на n и применяется, когда ваши данные охватывают всю совокупность. Выборочное стандартное отклонение делит эту сумму на n - 1 (поправка Бесселя) и применяется, когда данные — выборка, по которой оценивают разброс в более крупной совокупности. Для одних и тех же данных выборочное значение всегда немного больше (если все значения одинаковы, оба равны нулю), и с ростом объёма выборки разница стирается.
Почему делят на n - 1, а не на n?
Поскольку выборочное среднее вычисляется по тем же данным, наблюдаемые отклонения от него систематически чуть меньше отклонений от истинного среднего совокупности. Деление на n - 1 вместо n компенсирует это смещение и делает выборочную дисперсию несмещённой оценкой дисперсии совокупности. Такую поправку называют поправкой Бесселя.
Как вычислить стандартное отклонение вручную?
Сначала найдите среднее. Затем вычтите его из каждого значения, возведите каждый результат в квадрат и сложите квадраты. Для выборки разделите полученную сумму на n - 1, для совокупности — на n. Наконец извлеките квадратный корень. Пример: для 2, 4, 4, 4, 5, 5, 7, 9 среднее равно 5, сумма квадратов отклонений равна 32, а выборочное стандартное отклонение — sqrt(32 / 7) = 2,138 (округлённо).
Что означает стандартное отклонение, равное 0?
Это значит, что все значения набора одинаковы — разброса нет вовсе. Чем больше стандартное отклонение, тем сильнее значения в среднем отличаются от среднего. Отрицательным стандартное отклонение быть не может.
Что такое правило 68-95-99,7?
Для приближённо нормальных (колоколообразных) данных около 68 % значений лежат в пределах одного стандартного отклонения от среднего, около 95 % — в пределах двух и около 99,7 % — в пределах трёх. Правило позволяет быстро оценить, необычно ли наблюдение, но надёжно только тогда, когда распределение близко к нормальному.
Дисперсия и стандартное отклонение — это одно и то же?
Нет. Дисперсия — это среднее квадратов отклонений от среднего, а стандартное отклонение — квадратный корень из неё. Дисперсия выражается в квадратах единиц измерения (например, cm^2 для данных в сантиметрах), поэтому при описании разброса обычно приводят именно стандартное отклонение — в исходных единицах.
Источники
- National Institute of Standards and Technology (NIST). NIST/SEMATECH e-Handbook of Statistical Methods, Section 1.3.5.6: Measures of Scale. nist.gov.
- Moore DS, McCabe GP, Craig BA. Introduction to the Practice of Statistics. W. H. Freeman (sample vs population standard deviation).
- Weisstein, Eric W. "Standard Deviation" and "Bessel's Correction." MathWorld — A Wolfram Web Resource. mathworld.wolfram.com.