Ce que signifie réellement un intervalle de confiance
Un intervalle de confiance est une plage de valeurs, calculée à partir de données d'échantillon, construite à l'aide d'une méthode censée capturer le vrai paramètre de la population dans un pourcentage donné d'échantillons répétés -- le plus souvent 95 %. Un intervalle de confiance à 95 % ne signifie pas qu'il y a 95 % de probabilité que la vraie valeur de la population se situe dans cet intervalle précis calculé une fois ; la vraie valeur est ou n'est pas dans un intervalle donné, et la probabilité s'applique à la performance à long terme de la méthode sur des échantillonnages répétés, et non à un intervalle unique et fixe une fois qu'il a été calculé.
Hoekstra et ses collègues (2014), publiant dans Psychonomic Bulletin and Review, ont documenté que cette distinction est largement mal comprise, y compris parmi les chercheurs et les étudiants en statistiques, dont beaucoup interprétaient un intervalle de confiance à 95 % comme décrivant directement la probabilité que la vraie valeur se situe dans cet intervalle précis. L'interprétation techniquement correcte est un énoncé sur la fiabilité de la méthode utilisée pour construire l'intervalle à travers de nombreux échantillons hypothétiques répétés, et non un énoncé de probabilité sur un intervalle déjà observé.
Qu'est-ce qui détermine la largeur d'un intervalle de confiance ?
La largeur d'un intervalle de confiance est déterminée principalement par trois facteurs : le niveau de confiance souhaité (couramment 90 %, 95 % ou 99 %), la variabilité des données sous-jacentes (généralement mesurée par l'écart type ou, pour les proportions, par p, la proportion estimée), et la taille de l'échantillon. Augmenter le niveau de confiance élargit l'intervalle, car capturer la vraie valeur de façon plus fiable sur des échantillons répétés exige une plage plus large. Augmenter la taille de l'échantillon rétrécit l'intervalle, car des échantillons plus grands fournissent des estimations plus précises de la valeur de la population.
Pour une proportion, la marge d'erreur d'un intervalle de confiance se calcule comme z x racine carrée[p(1-p)/n], où z est le score z associé au niveau de confiance souhaité (1,96 pour une confiance de 95 %), p est la proportion estimée (0,5 est utilisé lorsque la vraie proportion est inconnue, car cela produit la marge d'erreur la plus grande et la plus prudente), et n est la taille de l'échantillon. Comme la taille de l'échantillon apparaît sous une racine carrée dans cette formule, réduire de moitié la marge d'erreur nécessite d'à peu près quadrupler la taille de l'échantillon, et non simplement de la doubler.
La formule de Cochran pour la taille d'échantillon
La formule de Cochran, publiée par le statisticien William Cochran dans Sampling Techniques, fournit une méthode pour estimer la taille d'échantillon minimale nécessaire pour une enquête ou une étude, calculée comme n0 = (z^2 x p(1-p)) / e^2, où z est le score z pour le niveau de confiance souhaité, p est la proportion estimée (0,5 si inconnue), et e est la marge d'erreur souhaitée, exprimée en décimale. Pour un niveau de confiance de 95 % (z = 1,96), une marge d'erreur de 5 % (e = 0,05), et une variabilité maximale (p = 0,5), la formule donne n0 = (1,96^2 x 0,5 x 0,5) / 0,05^2 = 384,16, arrondi à 385 répondants.
Lors d'un échantillonnage à partir d'une population connue et finie plutôt que d'une population effectivement infinie, la formule de Cochran inclut une correction pour population finie : n = n0 / (1 + (n0 - 1) / N), où N est la taille totale de la population. Par exemple, appliquer cette correction à une population de 2 000 réduit la taille d'échantillon nécessaire de 385 à environ 323, car une population totale plus petite nécessite proportionnellement moins de répondants pour atteindre la même marge d'erreur.
Taille d'échantillon, niveau de confiance et marge d'erreur : comparaison chiffrée
Le tableau ci-dessous montre comment la taille d'échantillon requise, calculée à l'aide de la formule de Cochran avec p = 0,5 pour une population large ou infinie, change à mesure que le niveau de confiance souhaité et la marge d'erreur varient. Des niveaux de confiance plus élevés et des marges d'erreur plus petites augmentent tous deux la taille d'échantillon requise, la marge d'erreur ayant un effet particulièrement important car elle apparaît au carré au dénominateur de la formule.
| Niveau de confiance | Marge d'erreur | Score z | Taille d'échantillon requise (p = 0,5) |
|---|---|---|---|
| 90 % | 5 % | 1,645 | 271 |
| 95 % | 5 % | 1,96 | 385 |
| 95 % | 3 % | 1,96 | 1 068 |
| 99 % | 5 % | 2,576 | 664 |
Erreurs courantes d'interprétation de « 95 % de confiance »
Au-delà de l'erreur d'interprétation de probabilité fondamentale décrite plus haut, plusieurs autres erreurs liées aux intervalles de confiance apparaissent fréquemment dans les rapports de recherche et la communication publique. Une erreur courante consiste à interpréter un intervalle de confiance à 95 % comme signifiant que 95 % des points de données individuels de l'échantillon se situent dans cette plage ; un intervalle de confiance décrit l'incertitude sur un paramètre de population, comme une moyenne ou une proportion, et non la dispersion des observations individuelles, qui est plutôt décrite par l'écart type ou un intervalle de prédiction.
Une autre erreur courante consiste à supposer qu'un intervalle de confiance plus étroit indique toujours un résultat plus important ou plus fiable, sans tenir compte de la taille de l'effet ou de la signification pratique de l'estimation elle-même ; un très grand échantillon peut produire un intervalle de confiance étroit autour d'un effet statistiquement précis mais négligeable en pratique. Une troisième erreur courante consiste à comparer deux intervalles de confiance qui se chevauchent en supposant que les valeurs sous-jacentes ne sont pas significativement différentes, ou que des intervalles qui ne se chevauchent pas confirment toujours une différence significative ; tester formellement la différence entre deux estimations nécessite généralement un test statistique dédié plutôt qu'une simple comparaison visuelle du chevauchement des intervalles.
Conseils pratiques pour choisir une taille d'échantillon
Les chercheurs et les concepteurs d'enquêtes choisissent généralement un niveau de confiance cible et une marge d'erreur en fonction de la précision requise pour la décision que les données doivent éclairer, puis utilisent une formule telle que celle de Cochran pour calculer la taille d'échantillon minimale correspondante avant le début de la collecte des données. Un niveau de confiance de 95 % avec une marge d'erreur de 5 % est une valeur par défaut courante dans la recherche par enquête et les sondages d'opinion, équilibrant une estimation raisonnablement précise avec une taille d'échantillon pratique et réalisable.
Lorsque la proportion estimée (p) n'est pas connue à l'avance, utiliser p = 0,5 produit l'estimation de taille d'échantillon la plus prudente et la plus grande, car p(1-p) est maximisé à p = 0,5 ; utiliser une estimation plus spécifique de p, si elle est disponible grâce à des recherches antérieures ou une étude pilote, peut réduire la taille d'échantillon requise lorsque la vraie proportion est censée être éloignée de 50 %. Des organisations telles que l'American Association for Public Opinion Research publient des recommandations détaillées sur la planification de la taille d'échantillon des enquêtes et le reporting méthodologique pour les chercheurs concevant de nouvelles études.
Questions fréquentes
Que signifie réellement un intervalle de confiance à 95 % ?
Un intervalle de confiance à 95 % signifie que si le même processus d'échantillonnage et de calcul était répété de nombreuses fois, environ 95 % des intervalles obtenus contiendraient la vraie valeur de la population. Cela ne signifie pas qu'il y a 95 % de probabilité que la vraie valeur se situe dans cet intervalle précis, déjà calculé. Cette distinction, documentée comme une méprise répandue par Hoekstra et ses collègues (2014) dans Psychonomic Bulletin and Review, est l'une des erreurs d'interprétation les plus courantes des intervalles de confiance, tant dans la recherche que dans la communication publique.
Combien de personnes dois-je sonder pour un niveau de confiance de 95 % ?
En utilisant la formule de Cochran avec un niveau de confiance de 95 % (z = 1,96), une marge d'erreur de 5 %, et une variabilité maximale (p = 0,5), la taille d'échantillon requise pour une population large ou effectivement infinie est d'environ 385 répondants. Lors d'un échantillonnage à partir d'une population plus petite et connue, une correction pour population finie réduit ce chiffre ; par exemple, une population de 2 000 nécessite environ 323 répondants pour atteindre le même niveau de confiance et la même marge d'erreur.
Doubler la taille de l'échantillon réduit-il de moitié la marge d'erreur ?
Non. Comme la taille de l'échantillon apparaît sous une racine carrée dans la formule de la marge d'erreur, z x racine carrée[p(1-p)/n], réduire de moitié la marge d'erreur nécessite d'à peu près quadrupler la taille de l'échantillon, et non de la doubler. Cette relation de rendements décroissants signifie que des augmentations très importantes de la taille de l'échantillon sont nécessaires pour obtenir des améliorations relativement modestes de la précision une fois qu'une étude dispose déjà d'un échantillon raisonnablement grand.
À quoi sert la formule de Cochran ?
La formule de Cochran, tirée de l'ouvrage Sampling Techniques de William Cochran, estime la taille d'échantillon minimale nécessaire pour atteindre un niveau de confiance et une marge d'erreur souhaités lors de l'estimation d'une proportion de population. Elle se calcule comme n0 = (z^2 x p(1-p)) / e^2, et est largement utilisée dans la recherche par enquête, les études de marché et les études de santé publique pour déterminer combien de répondants ou de participants sont nécessaires avant le début de la collecte de données.
Un intervalle de confiance étroit signifie-t-il qu'un résultat est plus important ?
Pas nécessairement. Un intervalle de confiance étroit indique une plus grande précision statistique, souvent obtenue grâce à un échantillon plus grand, mais la précision n'est pas la même chose que la signification pratique. Une très grande étude peut produire un intervalle de confiance étroit et statistiquement précis autour d'un effet trop petit pour être significatif en pratique, tandis qu'une étude plus petite pourrait produire un intervalle plus large autour d'un effet important et pertinent en pratique. Interpréter un intervalle de confiance nécessite de prendre en compte à la fois sa largeur et l'ampleur de l'estimation qu'il entoure.
Références
- Cochran WG. Sampling Techniques. 3rd ed. Wiley, 1977.
- Hoekstra R, Morey RD, Rouder JN, Wagenmakers EJ. "Robust misinterpretation of confidence intervals." Psychonomic Bulletin and Review, 2014;21(5):1157-1164.
- Kalton G. Introduction to Survey Sampling. Sage Publications, 1983.
- Moore DS, McCabe GP, Craig BA. Introduction to the Practice of Statistics. 9th ed. W.H. Freeman, 2017.
- American Association for Public Opinion Research. "Best Practices for Survey Research." AAPOR.org.