Как понимать результат по теореме Байеса
При фиксированной чувствительности 95 % и доле ложноположительных результатов 5 % таблица ниже показывает, насколько резко апостериорная вероятность меняется вместе с априорной, — это и есть эффект базовой частоты, лежащий в основе теоремы Байеса.
| Априорная P(A) | Апостериорная P(A | B) при чувствительности 95 % и доле ложноположительных 5 % |
|---|---|
| 0,1 % | ≈ 1,87 % |
| 1 % | ≈ 16,10 % |
| 10 % | ≈ 67,86 % |
| 50 % | ≈ 95,00 % |
- Апостериорная вероятность очень чувствительна к априорной, особенно когда та мала: именно поэтому базовые частоты нельзя игнорировать при интерпретации положительного результата теста или любых других новых данных.
- Формула калькулятора рассчитана на бинарное разбиение: событие A и его дополнение ¬A. Ситуации с более чем двумя взаимоисключающими возможностями (например, несколько конкурирующих диагнозов) требуют полной формы формулы полной вероятности по всем вариантам.
- Доля ложноположительных результатов, P(B | ¬A), — это не специфичность: она равна 1 минус специфичность, поэтому у теста со специфичностью 95 % доля ложноположительных результатов составляет 5 %.
- Округление промежуточных вероятностей до их перемножения способно заметно исказить итоговую апостериорную вероятность, особенно при малой априорной; по возможности ведите расчёт с полной точностью.
Что такое теорема Байеса?
Теорема Байеса — это формула пересчёта вероятности события (A) после получения новых данных (B): она объединяет априорную вероятность с тем, насколько вероятны эти данные при разных сценариях. Записывается она как P(A | B) = P(B | A) × P(A) / P(B) и превращает «прямую» вероятность — например, насколько вероятен положительный результат теста при наличии заболевания — в «обратную», которая обычно и представляет практический интерес: насколько вероятно заболевание при положительном результате.
Калькулятор использует привычную постановку диагностического тестирования: P(A) — априорная вероятность (базовая частота) состояния в соответствующей популяции до проведения теста, P(B | A) — чувствительность, то есть вероятность положительного результата при наличии состояния, а P(B | ¬A) — доля ложноположительных результатов, то есть вероятность положительного результата при отсутствии состояния (она равна 1 минус специфичность).
Ошибка базовой частоты — распространённое заблуждение, при котором внимание сосредоточено на чувствительности теста, а априорная вероятность игнорируется. Тест может обладать высокой чувствительностью и низкой долей ложноположительных результатов и всё равно давать апостериорную вероятность гораздо ниже интуитивных ожиданий, если проверяемое состояние в популяции редко.
Как пользоваться калькулятором теоремы Байеса
- Введите априорную вероятность P(A) — базовую частоту события или состояния в соответствующей популяции, в процентах.
- Введите P(B | A), чувствительность — вероятность наблюдать данные при условии, что событие произошло.
- Введите P(B | ¬A), долю ложноположительных результатов — вероятность наблюдать те же данные при условии, что событие не произошло.
- Считайте апостериорную вероятность P(A | B), полную вероятность свидетельства P(B) и отношение правдоподобия (фактор Байеса), которое показывает, во сколько раз данные вероятнее при A, чем при ¬A.
Формула теоремы Байеса
В теореме Байеса знаменатель P(B) раскрывается по формуле полной вероятности для двух возможностей, A и ¬A: P(A | B) = [P(B | A) × P(A)] / [P(B | A) × P(A) + P(B | ¬A) × (1 − P(A))].
Разбор примера: априорная вероятность P(A) = 1 %, чувствительность P(B | A) = 95 %, доля ложноположительных P(B | ¬A) = 5 %. Числитель: 0,95 × 0,01 = 0,0095. Полная вероятность положительного результата: P(B) = 0,95 × 0,01 + 0,05 × 0,99 = 0,0095 + 0,0495 = 0,059. Апостериорная вероятность: P(A | B) = 0,0095 / 0,059 ≈ 0,1610, то есть примерно 16,10 % — и это при том, что тест верно выявляет 95 % истинных случаев: большинство положительных результатов в этом сценарии приходит из куда более многочисленной группы людей без данного состояния.
Отношение правдоподобия (фактор Байеса) равно P(B | A) / P(B | ¬A). В разобранном примере 0,95 / 0,05 = 19: положительный результат в 19 раз вероятнее, если A истинно, чем если A ложно.
Типичные ошибки
- Путать P(B | A), чувствительность, с P(A | B), апостериорной вероятностью: вывод, будто положительный результат высокочувствительного теста означает высокую вероятность действительно иметь это состояние, при игнорировании базовой частоты и есть классическая ошибка базовой частоты.
- Полностью игнорировать априорную вероятность: тест с чувствительностью 95 % и долей ложноположительных 5 % при априорной вероятности 1 % даёт апостериорную всего около 16 %, потому что большинство положительных результатов приходит из куда более многочисленной группы истинно отрицательных.
- Считать специфичность и долю ложноположительных результатов взаимозаменяемыми без пересчёта: калькулятор запрашивает P(B | ¬A), долю ложноположительных, которая равна 1 минус специфичность.
- Применять формулу с двумя слагаемыми, когда взаимоисключающих возможностей больше двух: простой вариант «A против ¬A» справедлив только для бинарного разбиения исходов.
- Округлять промежуточные вероятности до их объединения, что накапливает ошибку в расчёте, особенно чувствительном к малым изменениям априорной вероятности при низких базовых частотах.
Часто задаваемые вопросы
Почему тест с точностью 95 % может чаще всего ошибаться при положительном результате?
Когда искомое состояние встречается редко, большинство положительных результатов приходит не из небольшой группы действительно больных, а из куда более многочисленной группы здоровых, у которых результат оказался ложноположительным. При априорной вероятности 1 %, чувствительности 95 % и доле ложноположительных 5 % апостериорная вероятность после положительного результата составляет всего около 16,10 %, хотя тест верно распознаёт 95 % истинных случаев.
Что такое ошибка базовой частоты?
Ошибка базовой частоты — распространённое заблуждение, при котором вероятность события по имеющимся данным (например, по положительному тесту) оценивают в основном по точности самих данных, не учитывая, насколько это событие редкое или частое. Теорема Байеса исправляет это, явно включая в расчёт априорную вероятность.
Чем различаются чувствительность, специфичность и доля ложноположительных результатов?
Чувствительность — вероятность положительного результата при наличии состояния, P(B | A). Специфичность — вероятность отрицательного результата при отсутствии состояния. Доля ложноположительных результатов дополняет специфичность до единицы: это вероятность положительного результата при отсутствии состояния, P(B | ¬A) = 1 − специфичность.
Что такое фактор Байеса (отношение правдоподобия)?
Фактор Байеса, или отношение правдоподобия, — это P(B | A), делённое на P(B | ¬A): во сколько раз наблюдаемые данные вероятнее при A, чем при ¬A. В разобранном на этой странице примере (чувствительность 95 %, доля ложноположительных 5 %) фактор Байеса равен 19, то есть положительный результат в 19 раз вероятнее при наличии состояния, чем при его отсутствии.
Как априорная вероятность влияет на апостериорную?
Очень сильно. При фиксированных чувствительности и доле ложноположительных результатов чем ниже априорная вероятность, тем ниже апостериорная, поскольку большая часть положительных результатов приходится на ложные срабатывания среди многочисленных истинно отрицательных. Повышение априорной вероятности с 1 % до 10 % (при неизменных чувствительности 95 % и доле ложноположительных 5 %) поднимает апостериорную примерно с 16,10 % до примерно 67,86 %.
Должны ли априорная вероятность, чувствительность и доля ложноположительных в сумме давать 100 %?
Нет. Это три отдельные вероятности, описывающие разные вещи — базовую частоту события и две условные вероятности данных при каждом из сценариев, — и ни одна из них не обязана складываться с другими в какую-либо определённую сумму.
Источники
- Bayes T, Price R. An Essay towards Solving a Problem in the Doctrine of Chances. Philosophical Transactions of the Royal Society of London 1763; 53: 370-418.
- Kahneman D, Tversky A. On the psychology of prediction. Psychological Review 1973; 80(4): 237-251 (base-rate neglect in probability judgment).
- National Institute of Standards and Technology (NIST). NIST/SEMATECH e-Handbook of Statistical Methods — probability rules and Bayes' theorem. nist.gov.
- Moore DS, McCabe GP, Craig BA. Introduction to the Practice of Statistics. W. H. Freeman (conditional probability and Bayes' rule).
- Casella G, Berger RL. Statistical Inference (2nd ed). Duxbury, 2002 (Bayes' theorem and conditional probability).