Was ein Konfidenzintervall tatsächlich bedeutet
Ein Konfidenzintervall ist ein Wertebereich, der aus Stichprobendaten berechnet und mit einer Methode konstruiert wird, von der erwartet wird, dass sie den wahren Parameter der Grundgesamtheit in einem bestimmten Prozentsatz wiederholter Stichproben erfasst -- am häufigsten 95%. Ein 95%-Konfidenzintervall bedeutet nicht, dass eine Wahrscheinlichkeit von 95% besteht, dass der wahre Wert der Grundgesamtheit innerhalb dieses einen konkreten berechneten Intervalls liegt; der wahre Wert liegt in einem gegebenen Intervall entweder oder eben nicht, und die Wahrscheinlichkeit bezieht sich auf das langfristige Verhalten der Methode über wiederholte Stichproben hinweg, nicht auf ein einzelnes festes Intervall, nachdem es berechnet wurde.
Hoekstra und Kollegen (2014) dokumentierten in der Zeitschrift Psychonomic Bulletin and Review, dass diese Unterscheidung weithin missverstanden wird, auch unter Forschenden und Statistikstudierenden, von denen viele ein 95%-Konfidenzintervall so interpretierten, als beschriebe es unmittelbar die Wahrscheinlichkeit, dass der wahre Wert innerhalb dieses konkreten Intervalls liegt. Die fachlich korrekte Interpretation ist eine Aussage über die Zuverlässigkeit der zur Konstruktion des Intervalls verwendeten Methode über viele hypothetische wiederholte Stichproben hinweg, nicht eine Wahrscheinlichkeitsaussage über ein bereits beobachtetes Intervall.
Was die Breite eines Konfidenzintervalls bestimmt
Die Breite eines Konfidenzintervalls wird in erster Linie durch drei Faktoren bestimmt: das gewünschte Konfidenzniveau (üblicherweise 90%, 95% oder 99%), die Streuung der zugrunde liegenden Daten (typischerweise gemessen durch die Standardabweichung oder, bei Anteilen, durch p, den geschätzten Anteil) und den Stichprobenumfang. Ein höheres Konfidenzniveau verbreitert das Intervall, weil das zuverlässigere Erfassen des wahren Werts über wiederholte Stichproben hinweg einen breiteren Bereich erfordert. Ein größerer Stichprobenumfang verengt das Intervall, weil größere Stichproben präzisere Schätzungen des Werts der Grundgesamtheit liefern.
Bei einem Anteil wird die Fehlermarge eines Konfidenzintervalls als z x sqrt[p(1-p)/n] berechnet, wobei z der mit dem gewünschten Konfidenzniveau verbundene z-Wert ist (1,96 für 95% Konfidenz), p der geschätzte Anteil (0,5 wird verwendet, wenn der wahre Anteil unbekannt ist, da er die größte, konservativste Fehlermarge erzeugt) und n der Stichprobenumfang. Da der Stichprobenumfang in dieser Formel unter einer Wurzel steht, erfordert die Halbierung der Fehlermarge etwa eine Vervierfachung des Stichprobenumfangs und nicht bloß eine Verdopplung.
Die Cochran-Formel für den Stichprobenumfang
Die von dem Statistiker William Cochran in Sampling Techniques veröffentlichte Cochran-Formel bietet eine Methode zur Schätzung des minimalen Stichprobenumfangs, der für eine Umfrage oder Studie benötigt wird, berechnet als n0 = (z^2 x p(1-p)) / e^2, wobei z der z-Wert für das gewünschte Konfidenzniveau ist, p der geschätzte Anteil (0,5, falls unbekannt) und e die gewünschte Fehlermarge, als Dezimalzahl ausgedrückt. Für ein Konfidenzniveau von 95% (z = 1,96), eine Fehlermarge von 5% (e = 0,05) und maximale Streuung (p = 0,5) ergibt die Formel n0 = (1,96^2 x 0,5 x 0,5) / 0,05^2 = 384,16, aufgerundet auf 385 Befragte.
Bei einer Stichprobe aus einer bekannten, endlichen Grundgesamtheit statt aus einer praktisch unendlichen enthält die Cochran-Formel eine Endlichkeitskorrektur: n = n0 / (1 + (n0 - 1) / N), wobei N die Gesamtgröße der Grundgesamtheit ist. Wendet man diese Korrektur beispielsweise auf eine Grundgesamtheit von 2.000 an, verringert sich der erforderliche Stichprobenumfang von 385 auf etwa 323, da eine kleinere Gesamtgrundgesamtheit anteilig weniger Befragte erfordert, um dieselbe Fehlermarge zu erreichen.
Stichprobenumfang, Konfidenzniveau und Fehlermarge: durchgerechneter Vergleich
Die folgende Tabelle zeigt, wie sich der erforderliche Stichprobenumfang, berechnet mit der Cochran-Formel und p = 0,5 für eine große oder unendliche Grundgesamtheit, ändert, wenn sich das gewünschte Konfidenzniveau und die Fehlermarge ändern. Höhere Konfidenzniveaus und kleinere Fehlermargen erhöhen beide den erforderlichen Stichprobenumfang, wobei die Fehlermarge einen besonders großen Effekt hat, weil sie im Nenner der Formel im Quadrat erscheint.
| Konfidenzniveau | Fehlermarge | z-Wert | Erforderlicher Stichprobenumfang (p = 0,5) |
|---|---|---|---|
| 90% | 5% | 1,645 | 271 |
| 95% | 5% | 1,96 | 385 |
| 95% | 3% | 1,96 | 1.068 |
| 99% | 5% | 2,576 | 664 |
Häufige Fehldeutungen von »95% Konfidenz«
Über die oben beschriebene grundlegende Fehldeutung der Wahrscheinlichkeit hinaus tauchen mehrere verwandte Fehldeutungen von Konfidenzintervallen häufig in der Forschungsberichterstattung und öffentlichen Kommunikation auf. Ein häufiger Fehler ist die Annahme, ein 95%-Konfidenzintervall bedeute, dass 95% der einzelnen Datenpunkte in der Stichprobe innerhalb dieses Bereichs liegen; ein Konfidenzintervall beschreibt die Unsicherheit über einen Parameter der Grundgesamtheit, etwa einen Mittelwert oder Anteil, nicht die Streuung einzelner Beobachtungen, die stattdessen durch die Standardabweichung oder ein Prognoseintervall beschrieben wird.
Ein weiterer häufiger Fehler ist die Annahme, ein engeres Konfidenzintervall weise stets auf einen wichtigeren oder zuverlässigeren Befund hin, ohne die Effektstärke oder praktische Bedeutsamkeit der Schätzung selbst zu berücksichtigen; eine sehr große Stichprobe kann ein enges Konfidenzintervall um einen Effekt erzeugen, der statistisch präzise, aber praktisch vernachlässigbar ist. Ein dritter häufiger Fehler ist der Vergleich zweier sich überschneidender Konfidenzintervalle und die Annahme, ihre zugrunde liegenden Werte unterschieden sich nicht signifikant, oder dass sich nicht überschneidende Intervalle stets einen signifikanten Unterschied bestätigen; die formale Prüfung des Unterschieds zwischen zwei Schätzungen erfordert im Allgemeinen einen eigens dafür bestimmten statistischen Test statt eines bloßen visuellen Vergleichs der Intervallüberschneidung.
Praktische Hinweise zur Wahl eines Stichprobenumfangs
Forschende und Umfrageplaner wählen typischerweise ein angestrebtes Konfidenzniveau und eine Fehlermarge auf Grundlage der Präzision, die für die durch die Daten zu treffende Entscheidung erforderlich ist, und verwenden dann eine Formel wie die von Cochran, um den entsprechenden minimalen Stichprobenumfang vor Beginn der Datenerhebung zu berechnen. Ein Konfidenzniveau von 95% mit einer Fehlermarge von 5% ist ein üblicher Standard in der Umfrageforschung und Meinungsforschung und wägt eine hinreichend präzise Schätzung gegen einen praktischen, erreichbaren Stichprobenumfang ab.
Ist der geschätzte Anteil (p) nicht im Voraus bekannt, erzeugt die Verwendung von p = 0,5 die konservativste, größte Schätzung des Stichprobenumfangs, da p(1-p) bei p = 0,5 maximal wird; die Verwendung einer spezifischeren Schätzung von p, sofern eine aus früherer Forschung oder einer Pilotstudie verfügbar ist, kann den erforderlichen Stichprobenumfang verringern, wenn der wahre Anteil weit von 50% entfernt erwartet wird. Organisationen wie die American Association for Public Opinion Research veröffentlichen ausführliche Leitlinien zur Planung von Umfrage-Stichprobenumfängen und zur Methodenberichterstattung für Forschende, die neue Studien entwerfen.
Häufig gestellte Fragen
Was bedeutet ein 95%-Konfidenzintervall tatsächlich?
Ein 95%-Konfidenzintervall bedeutet, dass, wenn derselbe Stichproben- und Berechnungsprozess viele Male wiederholt würde, etwa 95% der resultierenden Intervalle den wahren Wert der Grundgesamtheit enthalten würden. Es bedeutet nicht, dass eine Wahrscheinlichkeit von 95% besteht, dass der wahre Wert innerhalb dieses einen konkreten, bereits berechneten Intervalls liegt. Diese Unterscheidung, von Hoekstra und Kollegen (2014) in Psychonomic Bulletin and Review als weitverbreitetes Missverständnis dokumentiert, ist eine der häufigsten Fehldeutungen von Konfidenzintervallen sowohl in der Forschung als auch in der öffentlichen Kommunikation.
Wie viele Personen muss ich für ein Konfidenzniveau von 95% befragen?
Mit der Cochran-Formel und einem Konfidenzniveau von 95% (z = 1,96), einer Fehlermarge von 5% und maximaler Streuung (p = 0,5) beträgt der erforderliche Stichprobenumfang für eine große oder praktisch unendliche Grundgesamtheit etwa 385 Befragte. Bei einer Stichprobe aus einer kleineren, bekannten Grundgesamtheit verringert eine Endlichkeitskorrektur diese Zahl; eine Grundgesamtheit von 2.000 erfordert beispielsweise etwa 323 Befragte, um dasselbe Konfidenzniveau und dieselbe Fehlermarge zu erreichen.
Halbiert eine Verdopplung des Stichprobenumfangs die Fehlermarge?
Nein. Da der Stichprobenumfang in der Formel für die Fehlermarge, z x sqrt[p(1-p)/n], unter einer Wurzel steht, erfordert die Halbierung der Fehlermarge etwa eine Vervierfachung des Stichprobenumfangs und nicht eine Verdopplung. Dieser Zusammenhang mit abnehmendem Ertrag bedeutet, dass sehr große Erhöhungen des Stichprobenumfangs nötig sind, um relativ kleine Verbesserungen der Präzision zu erreichen, sobald eine Studie bereits über eine hinreichend große Stichprobe verfügt.
Wofür wird die Cochran-Formel verwendet?
Die Cochran-Formel aus William Cochrans Sampling Techniques schätzt den minimalen Stichprobenumfang, der nötig ist, um ein gewünschtes Konfidenzniveau und eine gewünschte Fehlermarge bei der Schätzung eines Anteils einer Grundgesamtheit zu erreichen. Sie wird als n0 = (z^2 x p(1-p)) / e^2 berechnet und wird in der Umfrageforschung, Marktforschung und in Studien des öffentlichen Gesundheitswesens weithin verwendet, um zu bestimmen, wie viele Befragte oder Teilnehmer vor Beginn der Datenerhebung benötigt werden.
Bedeutet ein enges Konfidenzintervall, dass ein Ergebnis wichtiger ist?
Nicht unbedingt. Ein enges Konfidenzintervall weist auf eine größere statistische Präzision hin, die häufig durch einen größeren Stichprobenumfang erreicht wird, doch Präzision ist nicht dasselbe wie praktische Bedeutsamkeit. Eine sehr große Studie kann ein enges, statistisch präzises Konfidenzintervall um einen Effekt erzeugen, der zu klein ist, um praktisch bedeutsam zu sein, während eine kleinere Studie ein breiteres Intervall um einen Effekt erzeugen könnte, der groß und praktisch bedeutsam ist. Die Interpretation eines Konfidenzintervalls erfordert die Berücksichtigung sowohl seiner Breite als auch der Größe der Schätzung, die es umgibt.
Quellenangaben
- Cochran WG. Sampling Techniques. 3rd ed. Wiley, 1977.
- Hoekstra R, Morey RD, Rouder JN, Wagenmakers EJ. "Robust misinterpretation of confidence intervals." Psychonomic Bulletin and Review, 2014;21(5):1157-1164.
- Kalton G. Introduction to Survey Sampling. Sage Publications, 1983.
- Moore DS, McCabe GP, Craig BA. Introduction to the Practice of Statistics. 9th ed. W.H. Freeman, 2017.
- American Association for Public Opinion Research. "Best Practices for Survey Research." AAPOR.org.