Что на самом деле означает доверительный интервал
Доверительный интервал -- это диапазон значений, рассчитанный по данным выборки с помощью метода, который, как ожидается, охватывает истинный параметр генеральной совокупности в заданной доле повторных выборок -- чаще всего в 95% случаев. 95%-ный доверительный интервал не означает, что существует 95%-ная вероятность того, что истинное значение генеральной совокупности лежит именно в этом одном конкретно рассчитанном интервале; истинное значение либо находится, либо не находится в любом заданном интервале, а вероятность относится к долгосрочной работе метода при повторной выборке, а не к одному уже зафиксированному интервалу после его расчёта.
Хукстра и коллеги (2014), опубликовавшие своё исследование в Psychonomic Bulletin and Review, задокументировали, что это различие широко неправильно понимается, в том числе среди исследователей и студентов, изучающих статистику, многие из которых трактовали 95%-ный доверительный интервал так, будто он напрямую описывает вероятность того, что истинное значение попадает именно в этот интервал. Технически верная трактовка -- это утверждение о надёжности метода, использованного для построения интервала, применительно ко многим гипотетическим повторным выборкам, а не вероятностное утверждение об одном уже наблюдаемом интервале.
Что определяет ширину доверительного интервала
Ширина доверительного интервала определяется в первую очередь тремя факторами: желаемым уровнем доверия (обычно 90%, 95% или 99%), изменчивостью исходных данных (как правило, измеряемой стандартным отклонением или, для долей, оценённой долей p) и размером выборки. Повышение уровня доверия расширяет интервал, поскольку для более надёжного охвата истинного значения при повторных выборках требуется более широкий диапазон. Увеличение размера выборки сужает интервал, поскольку большие выборки дают более точные оценки значения в генеральной совокупности.
Для доли предел погрешности доверительного интервала рассчитывается как z x sqrt[p(1-p)/n], где z -- z-оценка, соответствующая желаемому уровню доверия (1,96 для доверия 95%), p -- оценённая доля (используется значение 0,5, когда истинная доля неизвестна, поскольку оно даёт наибольший, самый консервативный предел погрешности), а n -- размер выборки. Поскольку размер выборки в этой формуле стоит под корнем, уменьшение предела погрешности вдвое требует увеличения выборки примерно в четыре раза, а не просто вдвое.
Формула Кохрана для размера выборки
Формула Кохрана, опубликованная статистиком Уильямом Кохраном в книге Sampling Techniques, даёт метод оценки минимального размера выборки, необходимого для опроса или исследования, рассчитываемого как n0 = (z^2 x p(1-p)) / e^2, где z -- z-оценка для желаемого уровня доверия, p -- оценённая доля (0,5, если неизвестна), а e -- желаемый предел погрешности, выраженный в виде десятичной дроби. Для уровня доверия 95% (z = 1,96), предела погрешности 5% (e = 0,05) и максимальной изменчивости (p = 0,5) формула даёт n0 = (1,96^2 x 0,5 x 0,5) / 0,05^2 = 384,16, что округляется в большую сторону до 385 респондентов.
При выборке из известной конечной генеральной совокупности, а не из практически бесконечной, формула Кохрана включает поправку на конечность совокупности: n = n0 / (1 + (n0 - 1) / N), где N -- общий размер генеральной совокупности. Например, применение этой поправки к совокупности из 2 000 человек снижает требуемый размер выборки с 385 до примерно 323, поскольку меньшая по размеру совокупность требует пропорционально меньше респондентов для достижения того же предела погрешности.
Размер выборки, уровень доверия и предел погрешности: сравнение на примерах
В таблице ниже показано, как требуемый размер выборки, рассчитанный по формуле Кохрана при p = 0,5 для большой или бесконечной генеральной совокупности, меняется в зависимости от желаемого уровня доверия и предела погрешности. Более высокий уровень доверия и меньший предел погрешности оба увеличивают требуемый размер выборки, причём предел погрешности влияет особенно сильно, поскольку в знаменателе формулы он стоит в квадрате.
| Уровень доверия | Предел погрешности | z-оценка | Требуемый размер выборки (p = 0,5) |
|---|---|---|---|
| 90% | 5% | 1,645 | 271 |
| 95% | 5% | 1,96 | 385 |
| 95% | 3% | 1,96 | 1 068 |
| 99% | 5% | 2,576 | 664 |
Типичные неверные трактовки «доверия 95%»
Помимо основной ошибочной трактовки вероятности, описанной выше, в научных публикациях и публичной коммуникации часто встречаются и другие, связанные с этим неверные толкования доверительных интервалов. Одна из распространённых ошибок -- считать, что 95%-ный доверительный интервал означает, что 95% отдельных значений в выборке попадают в этот диапазон; доверительный интервал описывает неопределённость относительно параметра генеральной совокупности, такого как среднее или доля, а не разброс отдельных наблюдений, который вместо этого описывается стандартным отклонением или интервалом предсказания.
Ещё одна распространённая ошибка -- считать, что более узкий доверительный интервал всегда указывает на более важный или более надёжный результат, не учитывая величину эффекта или практическую значимость самой оценки; очень большая выборка может дать узкий доверительный интервал вокруг эффекта, который статистически точен, но практически незначим. Третья распространённая ошибка -- сравнивать два пересекающихся доверительных интервала и предполагать, что лежащие в их основе значения не различаются значимо, либо считать, что непересекающиеся интервалы всегда подтверждают значимое различие; формальная проверка различия между двумя оценками обычно требует специального статистического теста, а не одного лишь визуального сравнения перекрытия интервалов.
Практические рекомендации по выбору размера выборки
Исследователи и разработчики опросов, как правило, выбирают целевой уровень доверия и предел погрешности исходя из точности, необходимой для решения, которое будут обосновывать данные, а затем используют такую формулу, как формула Кохрана, чтобы рассчитать соответствующий минимальный размер выборки ещё до начала сбора данных. Уровень доверия 95% с пределом погрешности 5% -- это распространённое значение по умолчанию в опросных исследованиях и изучении общественного мнения, уравновешивающее достаточно точную оценку с практически достижимым размером выборки.
Когда оценённая доля (p) заранее неизвестна, использование p = 0,5 даёт наиболее консервативную, самую большую оценку размера выборки, поскольку p(1-p) достигает максимума именно при p = 0,5; использование более конкретной оценки p, если она доступна по результатам предыдущих исследований или пилотного исследования, может снизить требуемый размер выборки, если ожидается, что истинная доля далека от 50%. Такие организации, как Американская ассоциация исследователей общественного мнения (AAPOR), публикуют подробные рекомендации по планированию размера выборки для опросов и отчётности о методологии для исследователей, разрабатывающих новые исследования.
Часто задаваемые вопросы
Что на самом деле означает 95%-ный доверительный интервал?
95%-ный доверительный интервал означает, что если один и тот же процесс выборки и расчёта повторить много раз, примерно 95% получившихся интервалов будут содержать истинное значение генеральной совокупности. Это не означает, что существует 95%-ная вероятность того, что истинное значение попадает именно в этот один конкретный, уже рассчитанный интервал. Это различие, задокументированное как широко распространённое заблуждение Хукстрой и коллегами (2014) в Psychonomic Bulletin and Review, -- одна из самых частых неверных трактовок доверительных интервалов как в исследованиях, так и в публичной коммуникации.
Сколько человек нужно опросить для уровня доверия 95%?
По формуле Кохрана при уровне доверия 95% (z = 1,96), пределе погрешности 5% и максимальной изменчивости (p = 0,5) требуемый размер выборки для большой или практически бесконечной генеральной совокупности составляет примерно 385 респондентов. При выборке из меньшей, известной совокупности поправка на конечность совокупности снижает эту цифру; например, совокупность из 2 000 человек требует примерно 323 респондентов для достижения того же уровня доверия и предела погрешности.
Уменьшает ли удвоение размера выборки предел погрешности вдвое?
Нет. Поскольку размер выборки в формуле предела погрешности z x sqrt[p(1-p)/n] стоит под корнем, уменьшение предела погрешности вдвое требует увеличения выборки примерно в четыре раза, а не вдвое. Эта зависимость с убывающей отдачей означает, что для относительно небольшого повышения точности требуется очень большое увеличение размера выборки, если в исследовании уже используется достаточно большая выборка.
Для чего используется формула Кохрана?
Формула Кохрана из книги Уильяма Кохрана Sampling Techniques оценивает минимальный размер выборки, необходимый для достижения желаемого уровня доверия и предела погрешности при оценке доли в генеральной совокупности. Она рассчитывается как n0 = (z^2 x p(1-p)) / e^2 и широко используется в опросных исследованиях, маркетинговых исследованиях и исследованиях в области общественного здравоохранения для определения того, сколько респондентов или участников требуется ещё до начала сбора данных.
Означает ли узкий доверительный интервал, что результат более важен?
Не обязательно. Узкий доверительный интервал указывает на более высокую статистическую точность, часто достигаемую за счёт большего размера выборки, но точность -- не то же самое, что практическая значимость. Очень крупное исследование может дать узкий, статистически точный доверительный интервал вокруг эффекта, слишком малого, чтобы иметь практическое значение, тогда как менее крупное исследование может дать более широкий интервал вокруг эффекта, который велик и практически важен. Интерпретация доверительного интервала требует учитывать одновременно и его ширину, и величину оценки, которую он охватывает.
Источники
- Cochran WG. Sampling Techniques. 3rd ed. Wiley, 1977.
- Hoekstra R, Morey RD, Rouder JN, Wagenmakers EJ. "Robust misinterpretation of confidence intervals." Psychonomic Bulletin and Review, 2014;21(5):1157-1164.
- Kalton G. Introduction to Survey Sampling. Sage Publications, 1983.
- Moore DS, McCabe GP, Craig BA. Introduction to the Practice of Statistics. 9th ed. W.H. Freeman, 2017.
- American Association for Public Opinion Research. "Best Practices for Survey Research." AAPOR.org.