Duas fórmulas, uma diferença pequena mas importante
As duas fórmulas de desvio padrão começam de forma idêntica: calcula-se a média dos dados, subtrai-se dela cada valor, eleva-se cada desvio ao quadrado e somam-se os quadrados. A divergência ocorre na etapa final de divisão. O desvio padrão populacional, indicado pela letra grega sigma, divide essa soma dos desvios quadráticos por n, o total de valores, e então extrai a raiz quadrada. O desvio padrão amostral, indicado por s, divide a mesma soma por n - 1, e então extrai a raiz quadrada -- uma mudança conhecida como correção de Bessel.
Como n - 1 é sempre um divisor menor do que n (para n maior que 1), o desvio padrão amostral é sempre ligeiramente maior do que o desvio padrão populacional calculado a partir dos mesmos números exatos. As duas fórmulas não são métodos concorrentes para a mesma pergunta; elas respondem a duas perguntas diferentes sobre os mesmos dados, e escolher a errada produz uma resposta sistematicamente enviesada para a pergunta que de fato se pretendia fazer.
Exemplo prático: os mesmos oito números, duas respostas
Tome o conjunto de dados 2, 4, 4, 4, 5, 5, 7, 9 (n = 8). Passo 1: a média é (2 + 4 + 4 + 4 + 5 + 5 + 7 + 9) / 8 = 40 / 8 = 5. Passo 2: os desvios em relação à média são -3, -1, -1, -1, 0, 0, 2, 4, e elevando cada um ao quadrado obtém-se 9, 1, 1, 1, 0, 0, 4, 16, que somam 32. A partir dessa única soma de desvios quadráticos, as duas fórmulas divergem apenas na divisão final.
Desvio padrão populacional: divide-se 32 por n = 8, obtendo uma variância populacional de 4, e a raiz quadrada de 4 é exatamente 2. Desvio padrão amostral: divide-se o mesmo 32 por n - 1 = 7, obtendo uma variância amostral de 32 / 7 = 4,571429 (arredondado a seis casas), e a raiz quadrada de 4,571429 é aproximadamente 2,13809. A tabela abaixo apresenta os dois cálculos lado a lado, partindo da mesma soma inicial.
| Etapa | Forma populacional (divide por n) | Forma amostral (divide por n - 1) |
|---|---|---|
| Soma dos desvios quadráticos | 32 | 32 |
| Divisor | n = 8 | n - 1 = 7 |
| Variância | 32 / 8 = 4 | 32 / 7 = 4,571429 |
| Desvio padrão | sqrt(4) = 2 | sqrt(4,571429) = 2,13809 |
Por que dividir por n - 1? A correção de Bessel explicada
A média amostral usada dentro do cálculo dos desvios é ela própria calculada a partir dos mesmos dados cuja dispersão está sendo medida, e é matematicamente garantido que ela é o valor que minimiza a soma dos desvios quadráticos para aquela amostra específica. Isso significa que os desvios quadráticos medidos em torno de uma média amostral são, em média, ligeiramente menores do que os desvios quadráticos que seriam medidos em torno da verdadeira média populacional, desconhecida -- por isso dividir apenas por n subestima sistematicamente a variância populacional ao trabalhar a partir de uma amostra.
Dividir por n - 1 em vez de n infla o resultado o suficiente para corrigir esse viés para baixo, em média, tornando a variância amostral um estimador não enviesado da variância populacional ao longo de amostragens repetidas. A correção é chamada de correção de Bessel, em homenagem ao astrônomo e matemático do século XIX Friedrich Bessel. Seu efeito é maior em amostras pequenas -- para n = 8, os divisores 8 e 7 diferem em 12,5% -- e diminui até se tornar desprezível à medida que n cresce para centenas ou milhares, já que n e n - 1 convergem proporcionalmente.
Você tem uma população ou uma amostra?
Use o desvio padrão populacional (divisão por n) apenas quando o conjunto de dados for o grupo inteiro que interessa, sem qualquer intenção de generalizar além dele -- por exemplo, as idades de todos os jogadores atualmente em uma equipe esportiva específica, ou as notas de todos os alunos de uma turma específica, quando a pergunta se refere apenas àquela equipe ou àquela turma e a nada mais amplo.
Use o desvio padrão amostral (divisão por n - 1) sempre que os dados forem um subconjunto extraído de, ou pretendendo representar, uma população maior sobre a qual se deseja tirar conclusões -- por exemplo, uma pesquisa com 500 clientes usada para estimar a satisfação de todos os clientes, os participantes de um ensaio clínico usados para estimar um efeito na população de pacientes mais ampla, ou um lote de medições de controle de qualidade usado para caracterizar uma linha de produção inteira. Essa é a situação muito mais comum na estatística aplicada, razão pela qual a maioria dos softwares estatísticos usa por padrão a fórmula amostral (n - 1), a menos que instruído de outra forma.
O quanto essa escolha realmente importa?
Para amostras muito pequenas, a diferença entre as duas fórmulas é proporcionalmente grande, e escolher incorretamente pode distorcer de forma significativa resultados subsequentes, incluindo intervalos de confiança e escores Z construídos diretamente sobre o desvio padrão. No exemplo com n = 8 acima, o valor amostral (2,13809) é cerca de 6,9% maior do que o valor populacional (2), uma diferença grande o suficiente para alterar a largura de um intervalo de confiança em uma margem semelhante.
À medida que o tamanho da amostra aumenta, n e n - 1 ficam proporcionalmente mais próximos, e os dois desvios padrão convergem: para uma amostra de 1.000, dividir por 999 em vez de 1.000 altera o resultado em apenas cerca de 0,05%. Em contextos com amostras grandes, a escolha raramente muda conclusões práticas, mas a convenção correta ainda deve ser aplicada, tanto por consistência com a prática estatística padrão quanto porque os casos de amostra pequena -- em que a diferença mais importa -- são exatamente aqueles em que acertar realmente conta.
Perguntas frequentes
Qual é a diferença entre desvio padrão amostral e populacional?
O desvio padrão populacional divide a soma dos desvios quadráticos em relação à média por n (o total de valores) e é correto quando o conjunto de dados é a população inteira de interesse. O desvio padrão amostral divide a mesma soma por n - 1 e é correto quando os dados são uma amostra usada para estimar uma população maior. Para dados idênticos, o valor amostral é sempre ligeiramente maior do que o valor populacional, porque divide por um número menor.
Por que dividimos por n - 1 em uma amostra?
Como a média amostral é calculada a partir dos mesmos dados usados para medir a dispersão, ela é matematicamente o valor que minimiza a soma dos desvios quadráticos para aquela amostra, tornando esses desvios sistematicamente um pouco menores do que os desvios em torno da verdadeira média populacional. Dividir por n - 1 em vez de n, correção conhecida como correção de Bessel, compensa isso e torna a variância amostral um estimador não enviesado da variância populacional.
Qual devo usar em uma pesquisa ou experimento?
Use o desvio padrão amostral (n - 1) sempre que os dados forem um subconjunto que pretende representar uma população maior -- o que cobre a grande maioria de pesquisas, experimentos e amostras de controle de qualidade. Use o desvio padrão populacional (n) apenas quando o conjunto de dados for o grupo completo que está sendo estudado, sem intenção de generalizar para além dele.
Quão diferentes são as duas respostas na prática?
No exemplo prático (2, 4, 4, 4, 5, 5, 7, 9; n = 8), o desvio padrão populacional é exatamente 2 e o desvio padrão amostral é aproximadamente 2,13809, uma diferença de cerca de 6,9%. A diferença diminui à medida que o tamanho da amostra cresce: para n = 1.000, dividir por 999 em vez de 1.000 altera o resultado em cerca de 0,05%, tornando a escolha muito menos relevante para amostras grandes.
A correção n - 1 afeta também a média?
Não. A média é sempre a soma simples dos valores dividida pela contagem, n, independentemente de os dados representarem uma amostra ou uma população; a correção de Bessel se aplica apenas aos cálculos de desvio padrão e variância, não à média em si.
Referências
- National Institute of Standards and Technology (NIST). NIST/SEMATECH e-Handbook of Statistical Methods, Section 1.3.5.6: Measures of Scale. nist.gov.
- Moore DS, McCabe GP, Craig BA. Introduction to the Practice of Statistics. W. H. Freeman (sample vs population standard deviation).
- Weisstein, Eric W. "Standard Deviation" and "Bessel's Correction." MathWorld — A Wolfram Web Resource. mathworld.wolfram.com.