Come non farsi ingannare dal caso: che cos’è la significatività statistica

La significatività statistica ci aiuta a capire quando il caso si sta prendendo gioco di noi, oppure se possiamo fidarci di quello che sta accadendo. Quando facciamo testa o croce, per esempio, sappiamo che scegliere una o l'altra delle facce è indifferente: la probabilità è di 50/50. Ma vi è mai capitato di pensare, quando una moneta sembra mostrare sempre la stessa faccia, che la moneta sia truccata? A volte notiamo qualcosa di così insolito da farci pensare: “È solo il caso che si sta prendendo gioco di noi, oppure c'è davvero qualcosa che non va?”.

Dolo quando la probabilità che un risultato sia dovuto al caso scende sotto una certa soglia – di solito il 5% –  possiamo iniziare a ipotizzare che ciò che osserviamo non sia una coincidenza.

Testa o croce: quanti lanci servono per capire se una moneta è truccata?

Immaginiamo di lanciare una moneta quattro volte e ottenere sempre testa. Sospetto? Forse. Ma potrebbe anche essere solo fortuna. Vediamo cosa dicono i numeri: se la moneta è regolare, ad ogni lancio abbiamo il 50% di probabilità di fare testa. Se effettuiamo 4 lanci, dobbiamo moltiplicare questa probabilità per quattro volte:

0,5*0,5*0,5*0,5 = 0,0625 = 6,25%

Quindi la probabilità di ottenere 4 teste di fila è di poco più del 6%. Raro, ma statisticamente non abbastanza per dire che la moneta sia truccata quando l'evento testa-testa-testa-testa avviene. Cosa succede però se aggiungiamo un quinto lancio?

0,5*0,5*0,5*0,5*0,5 = 0,03125 = 3,125%

Ora la probabilità di ottenere 5 teste in 5 lanci scende sotto il 5%, la principale soglia usata dai ricercatori per dire “attenzione, qui è plausibile che non sia solo più una coincidenza”. Per la statistica, siamo entrati nel regno della significatività: il risultato è talmente estremo da essere improbabile che sia solo frutto del caso. Ma come mai è stato scelta proprio la soglia del 5% di probabilità?

La soglia del 5% nella significatività statistica: una scelta di convenienza

La significatività statistica ci aiuta a distinguere un effetto è reale da uno dovuto solo al caso. Ma non esiste una soglia di significatività universale valida in ogni contesto. Quella del 5% è semplicemente la più diffusa!

A introdurla è stato lo statistico britannico Ronald A. Fisher nel 1925, nel suo libro Statistical Methods for Research Workers. La sua proposta era concreta: tracciare una linea al 5%, cioè accettare un errore massimo nell’interpretazione di 1 volta su 20. Questa scelta era motivata anche dalle limitazioni pratiche dell’epoca: i calcoli si facevano tutti a mano, e un riferimento fisso come lo 0,05 facilitava il lavoro.

Col tempo, però, questa soglia è stata oggetto di critiche: lo stesso Fisher, in una pubblicazione del 1956, affermò che non esiste un livello fisso di significatività valido per ogni situazione. Serve buon senso. Ad esempio, gli scienziati del CERN utilizzano soglie ancora più severe. Nel 2012, per confermare la scoperta del bosone di Higgs furono utilizzati test statistici in cui la soglia era di 5 sigma, ovvero una probabilità di circa 1 su 3,5 milioni. Questo livello di significatività è lo standard per dichiarare una scoperta in fisica delle particelle.

Il tè della signora Bristol: l'esperimento che ha rivoluzionato la statistica

La necessità di stabilire una soglia di significatività statistica nasce in seguito alla definizione dei cosiddetti test d’ipotesi: esperimenti costituiti da un’ipotesi nulla (che assume che l'effetto osservato sia solo una coincidenza) ed un’ipotesi alternativa (ovvero l’evidenza contro il caso).

L’ideazione di questi test statistici nasce da un esperimento statistico molto particolare. Agli inizi degli anni ’20 del Novecento, Fisher si trovò a discutere con la biologa inglese Muriel Bristol, che sosteneva di saper distinguere se il latte fosse stato versato prima o dopo il tè.

Da buon statistico, Fisher non si limitò a sorridere della stranezza della collega, ma progettò un test rigoroso per verificare l’affermazione, tuttora noto come test esatto di Fisher. Prese otto tazze di tè, quattro con il latte versato prima e quattro dopo, e le posizionò su un tavolo in ordine casuale. In queste condizioni, ci sono 70 modi diversi di dividere le tazze in due insiemi e quindi, la signora Bristol aveva solo una probabilità pari a 1/70, ovvero all’1,4%, di indovinare la corretta preparazione di tutte le 8 tazze per sola fortuna. Ma così fece: la probabilità che fosse solo un caso era così bassa che costrinse Fisher a rifiutare l’ipotesi nulla ed a accettare che la signora Bristol possedeva effettivamente l'abilità che dichiarava. In altre parole, il risultato era statisticamente significativo.

Da allora,  la significatività statistica ci aiuta a capire se un risultato di un test d'ipotesi è così improbabile da non poter essere attribuito al caso. Ci permette quindi di evitare che l’intuizione o la prima impressione ci facciano prendere per vere quelle che sono solo coincidenze.

Un risultato significativo non garantisce però la certezza che un effetto esista davvero: ad esempio, una soglia del 5% comporta 1 errore su 20 anche quando non c’è un effetto reale. Così come un risultato non statisticamente significativo non implica la certezza che sia tutta opera del caso. Per avere maggiori conferme, bisogna ripetere più volte gli esperimenti e controllare eventuali errori. Insomma, un solo esperimento non basta. Per non farci ingannare dal caso, serve metodo. E pazienza. Perché nella scienza, anche il colpo di fortuna va sempre verificato.

non perderti questo articolo

Qual è la differenza tra probabilità e statistica? Una parte dalla teoria, l’altra dai dati