Dos fórmulas, una diferencia pequeña pero importante
Ambas fórmulas de desviación estándar comienzan de forma idéntica: se calcula la media de los datos, se resta de cada valor, se eleva al cuadrado cada desviación y se suman los cuadrados. Donde divergen es en el paso final de la división. La desviación estándar poblacional, denotada con la letra griega sigma, divide esa suma de desviaciones al cuadrado entre n, el número total de valores, y luego saca la raíz cuadrada. La desviación estándar muestral, denotada s, divide la misma suma entre n - 1 en su lugar, y luego saca la raíz cuadrada -- un cambio conocido como la corrección de Bessel.
Como n - 1 siempre es un divisor más pequeño que n (para n mayor que 1), la desviación estándar muestral siempre es ligeramente mayor que la desviación estándar poblacional calculada a partir de los mismos números exactos. Las dos fórmulas no son métodos que compitan para responder la misma pregunta; responden dos preguntas distintas sobre los mismos datos, y elegir la incorrecta produce una respuesta sistemáticamente sesgada a la pregunta que en realidad se quería plantear.
Ejemplo práctico: los mismos ocho números, dos respuestas
Toma el conjunto de datos 2, 4, 4, 4, 5, 5, 7, 9 (n = 8). Paso 1: la media es (2 + 4 + 4 + 4 + 5 + 5 + 7 + 9) / 8 = 40 / 8 = 5. Paso 2: las desviaciones respecto a la media son -3, -1, -1, -1, 0, 0, 2, 4, y al elevarlas al cuadrado se obtiene 9, 1, 1, 1, 0, 0, 4, 16, que suman 32. A partir de esta única suma de desviaciones al cuadrado, las dos fórmulas divergen solo en la división final.
Desviación estándar poblacional: divide 32 entre n = 8, lo que da una varianza poblacional de 4, y la raíz cuadrada de 4 es exactamente 2. Desviación estándar muestral: divide el mismo 32 entre n - 1 = 7, lo que da una varianza muestral de 32 / 7 = 4,571429 (redondeado a seis decimales), y la raíz cuadrada de 4,571429 es aproximadamente 2,13809. La siguiente tabla presenta ambos cálculos lado a lado a partir de la misma suma inicial.
| Paso | Forma poblacional (dividir entre n) | Forma muestral (dividir entre n - 1) |
|---|---|---|
| Suma de desviaciones al cuadrado | 32 | 32 |
| Divisor | n = 8 | n - 1 = 7 |
| Varianza | 32 / 8 = 4 | 32 / 7 = 4,571429 |
| Desviación estándar | sqrt(4) = 2 | sqrt(4,571429) = 2,13809 |
¿Por qué dividir entre n - 1? La corrección de Bessel explicada
La media muestral usada dentro del cálculo de las desviaciones se calcula a partir de los mismos datos cuya dispersión se está midiendo, y matemáticamente está garantizado que es el valor que minimiza la suma de desviaciones al cuadrado para esa muestra específica. Esto significa que las desviaciones al cuadrado medidas alrededor de una media muestral son, en promedio, ligeramente más pequeñas que las desviaciones al cuadrado que se medirían alrededor de la verdadera media poblacional desconocida -- por lo que dividir solo entre n subestima sistemáticamente la varianza poblacional cuando se trabaja a partir de una muestra.
Dividir entre n - 1 en lugar de n infla el resultado justo lo suficiente para corregir este sesgo a la baja en promedio, haciendo que la varianza muestral sea un estimador insesgado de la varianza poblacional a través de muestreos repetidos. La corrección lleva el nombre de corrección de Bessel, en honor al astrónomo y matemático del siglo XIX Friedrich Bessel. Su efecto es mayor en muestras pequeñas -- para n = 8 los divisores 8 y 7 difieren en un 12,5% -- y se vuelve prácticamente insignificante a medida que n crece hacia los cientos o miles, ya que n y n - 1 convergen proporcionalmente.
¿Tienes una población o una muestra?
Usa la desviación estándar poblacional (dividir entre n) solo cuando tu conjunto de datos es todo el grupo que te interesa, sin intención de generalizar más allá de él -- por ejemplo, las edades de todos los jugadores actuales de un equipo deportivo específico, o las calificaciones de examen de todos los estudiantes de una clase específica, cuando la pregunta se refiere únicamente a ese equipo o esa clase y nada más amplio.
Usa la desviación estándar muestral (dividir entre n - 1) siempre que tus datos sean un subconjunto extraído de, o que pretenda representar, una población más amplia sobre la que quieres sacar conclusiones -- por ejemplo, una encuesta de 500 clientes usada para estimar la satisfacción de todos los clientes, los participantes de un ensayo clínico usados para estimar un efecto en la población de pacientes más amplia, o un lote de mediciones de control de calidad usado para caracterizar toda una línea de producción. Esta es la situación mucho más común en estadística aplicada, razón por la cual la mayoría del software estadístico usa por defecto la fórmula muestral (n - 1) a menos que se indique lo contrario.
¿Cuánto importa realmente la elección?
Para muestras muy pequeñas, la brecha entre las dos fórmulas es proporcionalmente grande, y elegir incorrectamente puede distorsionar de forma significativa resultados posteriores, incluyendo intervalos de confianza y puntuaciones Z que se construyen directamente sobre la desviación estándar. Para el ejemplo de n = 8 anterior, el valor muestral (2,13809) es aproximadamente un 6,9% mayor que el valor poblacional (2), una brecha lo bastante grande como para desplazar el ancho de un intervalo de confianza en un margen similar.
A medida que aumenta el tamaño de la muestra, n y n - 1 se vuelven proporcionalmente más cercanos, y las dos desviaciones estándar convergen: para una muestra de 1.000, dividir entre 999 en lugar de 1.000 cambia el resultado en solo alrededor de un 0,05%. En entornos de muestras grandes, la elección rara vez cambia las conclusiones prácticas, pero la convención correcta debe aplicarse de todos modos, tanto por consistencia con la práctica estadística estándar como porque los casos de muestras pequeñas -- donde la diferencia más importa -- son precisamente cuando acertar cuenta más.
Preguntas frecuentes
¿Cuál es la diferencia entre la desviación estándar muestral y la poblacional?
La desviación estándar poblacional divide la suma de las desviaciones al cuadrado respecto a la media entre n (el número de valores) y es correcta cuando el conjunto de datos es toda la población de interés. La desviación estándar muestral divide la misma suma entre n - 1 en su lugar y es correcta cuando los datos son una muestra usada para estimar una población más amplia. Para datos idénticos, el valor muestral siempre es ligeramente mayor que el valor poblacional, porque divide entre un número más pequeño.
¿Por qué dividimos entre n - 1 en una muestra?
Porque la media muestral se calcula a partir de los mismos datos usados para medir la dispersión, matemáticamente es el valor que minimiza la suma de desviaciones al cuadrado para esa muestra, lo que hace que esas desviaciones sean sistemáticamente un poco más pequeñas que las desviaciones alrededor de la verdadera media poblacional. Dividir entre n - 1 en lugar de n, una corrección conocida como la corrección de Bessel, compensa esto y hace que la varianza muestral sea un estimador insesgado de la varianza poblacional.
¿Cuál debo usar para una encuesta o un experimento?
Usa la desviación estándar muestral (n - 1) siempre que tus datos sean un subconjunto que pretende representar una población más amplia -- lo cual cubre la gran mayoría de las encuestas, experimentos y muestras de control de calidad. Usa la desviación estándar poblacional (n) solo cuando tu conjunto de datos es el grupo completo que estás estudiando, sin intención de generalizar más allá de él.
¿Qué tan diferentes son las dos respuestas en la práctica?
Para el ejemplo práctico (2, 4, 4, 4, 5, 5, 7, 9; n = 8), la desviación estándar poblacional es exactamente 2 y la desviación estándar muestral es aproximadamente 2,13809, una diferencia de alrededor del 6,9%. La brecha se reduce a medida que crece el tamaño de la muestra: para n = 1.000, dividir entre 999 en lugar de 1.000 cambia el resultado en aproximadamente un 0,05%, lo que hace que la elección sea mucho menos determinante en muestras grandes.
¿La corrección de n - 1 también afecta a la media?
No. La media siempre es la simple suma de los valores dividida entre el número de datos, n, sin importar si los datos representan una muestra o una población; la corrección de Bessel se aplica únicamente a los cálculos de desviación estándar y varianza, no a la media misma.
Referencias
- National Institute of Standards and Technology (NIST). NIST/SEMATECH e-Handbook of Statistical Methods, Section 1.3.5.6: Measures of Scale. nist.gov.
- Moore DS, McCabe GP, Craig BA. Introduction to the Practice of Statistics. W. H. Freeman (sample vs population standard deviation).
- Weisstein, Eric W. "Standard Deviation" and "Bessel's Correction." MathWorld — A Wolfram Web Resource. mathworld.wolfram.com.