Due formule, una differenza piccola ma importante
Entrambe le formule della deviazione standard iniziano allo stesso modo: si calcola la media dei dati, la si sottrae da ogni valore, si eleva al quadrato ogni scarto e si sommano i quadrati. Dove divergono è nel passaggio finale della divisione. La deviazione standard di popolazione, indicata con la lettera greca sigma, divide quella somma degli scarti al quadrato per n, il numero totale di valori, e poi estrae la radice quadrata. La deviazione standard campionaria, indicata con s, divide la stessa somma per n - 1, e poi estrae la radice quadrata -- una modifica nota come correzione di Bessel.
Poiché n - 1 è sempre un divisore più piccolo di n (per n maggiore di 1), la deviazione standard campionaria è sempre leggermente maggiore di quella di popolazione calcolata sugli stessi identici numeri. Le due formule non sono metodi concorrenti per rispondere alla stessa domanda; rispondono a due domande diverse sugli stessi dati, e scegliere quella sbagliata produce una risposta sistematicamente distorta rispetto a quella che si intendeva effettivamente porre.
Esempio pratico: gli stessi otto numeri, due risposte
Si consideri il set di dati 2, 4, 4, 4, 5, 5, 7, 9 (n = 8). Passo 1: la media è (2 + 4 + 4 + 4 + 5 + 5 + 7 + 9) / 8 = 40 / 8 = 5. Passo 2: gli scarti dalla media sono -3, -1, -1, -1, 0, 0, 2, 4, e elevando ciascuno al quadrato si ottiene 9, 1, 1, 1, 0, 0, 4, 16, la cui somma è 32. Da questa unica somma degli scarti al quadrato, le due formule divergono solo nella divisione finale.
Deviazione standard di popolazione: dividere 32 per n = 8, ottenendo una varianza di popolazione di 4, e la radice quadrata di 4 è esattamente 2. Deviazione standard campionaria: dividere lo stesso 32 per n - 1 = 7, ottenendo una varianza campionaria di 32 / 7 = 4,571429 (arrotondata a sei cifre), e la radice quadrata di 4,571429 è circa 2,13809. La tabella seguente affianca entrambi i calcoli a partire dalla stessa somma iniziale.
| Passaggio | Forma di popolazione (dividi per n) | Forma campionaria (dividi per n - 1) |
|---|---|---|
| Somma degli scarti al quadrato | 32 | 32 |
| Divisore | n = 8 | n - 1 = 7 |
| Varianza | 32 / 8 = 4 | 32 / 7 = 4,571429 |
| Deviazione standard | sqrt(4) = 2 | sqrt(4,571429) = 2,13809 |
Perché dividere per n - 1? La correzione di Bessel spiegata
La media campionaria usata all'interno del calcolo degli scarti è essa stessa calcolata sugli stessi dati di cui si sta misurando la dispersione, ed è matematicamente garantito che sia il valore che minimizza la somma degli scarti al quadrato per quello specifico campione. Questo significa che gli scarti al quadrato misurati attorno a una media campionaria sono, in media, leggermente più piccoli degli scarti al quadrato che si misurerebbero attorno alla vera media di popolazione, sconosciuta -- quindi dividere solo per n sottostima sistematicamente la varianza di popolazione quando si lavora a partire da un campione.
Dividere per n - 1 anziché per n gonfia il risultato quel tanto che basta da correggere questa distorsione verso il basso in media, rendendo la varianza campionaria uno stimatore non distorto della varianza di popolazione su ripetuti campionamenti. La correzione prende il nome di correzione di Bessel, dall'astronomo e matematico ottocentesco Friedrich Bessel. Il suo effetto è massimo per campioni piccoli -- per n = 8 i divisori 8 e 7 differiscono del 12,5% -- e diventa trascurabile man mano che n cresce nelle centinaia o migliaia, poiché n e n - 1 convergono proporzionalmente.
Hai una popolazione o un campione?
Usa la deviazione standard di popolazione (dividi per n) solo quando il tuo set di dati è l'intero gruppo che ti interessa, senza alcuna intenzione di generalizzare oltre -- per esempio, le età di ogni giocatore attualmente in una specifica squadra sportiva, o i voti d'esame di ogni studente in una specifica classe, quando la domanda riguarda solo quella squadra o quella classe e nient'altro di più ampio.
Usa la deviazione standard campionaria (dividi per n - 1) ogni volta che i tuoi dati sono un sottoinsieme estratto da, o destinato a rappresentare, una popolazione più ampia su cui vuoi trarre conclusioni -- per esempio, un sondaggio su 500 clienti usato per stimare la soddisfazione su tutta la clientela, i partecipanti di uno studio clinico usati per stimare un effetto nella popolazione più ampia di pazienti, o un lotto di misurazioni di controllo qualità usato per caratterizzare un'intera linea di produzione. Questa è la situazione di gran lunga più comune nella statistica applicata, motivo per cui la maggior parte dei software statistici usa di default la formula campionaria (n - 1) salvo indicazione contraria.
Quanto conta davvero questa scelta?
Per campioni molto piccoli, il divario tra le due formule è proporzionalmente ampio e scegliere in modo errato può distorcere in modo significativo i risultati a valle, compresi gli intervalli di confidenza e i punteggi Z costruiti direttamente sulla deviazione standard. Per l'esempio con n = 8 sopra riportato, il valore campionario (2,13809) è circa il 6,9% più grande del valore di popolazione (2), un divario abbastanza ampio da spostare l'ampiezza di un intervallo di confidenza di un margine simile.
All'aumentare della dimensione del campione, n e n - 1 diventano proporzionalmente più vicini, e le due deviazioni standard convergono: per un campione di 1.000, dividere per 999 anziché per 1.000 cambia il risultato solo di circa lo 0,05%. In contesti con campioni ampi la scelta raramente cambia le conclusioni pratiche, ma la convenzione corretta va comunque applicata, sia per coerenza con la pratica statistica standard sia perché i casi con campioni piccoli -- dove la differenza conta di più -- sono esattamente quelli in cui fare la scelta giusta è importante.
Domande frequenti
Qual è la differenza tra deviazione standard campionaria e di popolazione?
La deviazione standard di popolazione divide la somma degli scarti al quadrato dalla media per n (il numero di valori) ed è corretta quando il set di dati è l'intera popolazione di interesse. La deviazione standard campionaria divide la stessa somma per n - 1 ed è corretta quando i dati sono un campione usato per stimare una popolazione più ampia. Per dati identici, il valore campionario è sempre leggermente maggiore di quello di popolazione, perché divide per un numero più piccolo.
Perché dividiamo per n - 1 nel caso di un campione?
Perché la media campionaria è calcolata sugli stessi dati usati per misurare la dispersione, ed è matematicamente il valore che minimizza la somma degli scarti al quadrato per quel campione, rendendo quegli scarti sistematicamente un po' più piccoli degli scarti attorno alla vera media di popolazione. Dividere per n - 1 anziché per n, una correzione nota come correzione di Bessel, compensa questo effetto e rende la varianza campionaria uno stimatore non distorto della varianza di popolazione.
Quale dovrei usare per un sondaggio o un esperimento?
Usa la deviazione standard campionaria (n - 1) ogni volta che i tuoi dati sono un sottoinsieme destinato a rappresentare una popolazione più ampia -- il che copre la grande maggioranza dei sondaggi, degli esperimenti e dei campioni di controllo qualità. Usa la deviazione standard di popolazione (n) solo quando il tuo set di dati è l'intero gruppo che stai studiando, senza intenzione di generalizzare oltre.
Quanto sono diverse le due risposte in pratica?
Per l'esempio pratico (2, 4, 4, 4, 5, 5, 7, 9; n = 8), la deviazione standard di popolazione è esattamente 2 e quella campionaria è circa 2,13809, una differenza di circa il 6,9%. Il divario si riduce all'aumentare della dimensione del campione: per n = 1.000, dividere per 999 anziché per 1.000 cambia il risultato di circa lo 0,05%, rendendo la scelta molto meno rilevante per campioni ampi.
La correzione n - 1 influisce anche sulla media?
No. La media è sempre la semplice somma dei valori divisa per il conteggio, n, indipendentemente dal fatto che i dati rappresentino un campione o una popolazione; la correzione di Bessel si applica solo ai calcoli della deviazione standard e della varianza, non alla media stessa.
Fonti
- National Institute of Standards and Technology (NIST). NIST/SEMATECH e-Handbook of Statistical Methods, Section 1.3.5.6: Measures of Scale. nist.gov.
- Moore DS, McCabe GP, Craig BA. Introduction to the Practice of Statistics. W. H. Freeman (sample vs population standard deviation).
- Weisstein, Eric W. "Standard Deviation" and "Bessel's Correction." MathWorld — A Wolfram Web Resource. mathworld.wolfram.com.