Test di significatività statistica A/B test

Metodo di analisi statistica utilizzato per determinare se i risultati osservati in un test (come un A/B test) sono sufficientemente affidabili per essere attribuiti a un effetto reale piuttosto che al caso o a una fluttuazione casuale. È uno strumento fondamentale per convalidare o respingere un’ipotesi, basandosi su dati quantitativi.

🎯 Obiettivo:

Valutare se la differenza tra due (o più) varianti è statisticamente significativa, ovvero se ha poche probabilità di essere dovuta al caso. Questo permette di prendere decisioni fondate e di ridurre al minimo i falsi positivi (concludere erroneamente che una variazione sia migliore).

🔍 Funzionamento:

Il test si basa su due ipotesi:

• Ipotesi nulla (H₀): non c’è alcuna differenza reale tra le varianti testate.
• Ipotesi alternativa (H₁): c’è una differenza significativa.

Si calcola quindi una p-value: la probabilità di ottenere uno scarto almeno pari a quello osservato, se l’ipotesi nulla fosse vera.

→ Se la p-value è inferiore alla soglia di significatività (generalmente 0,05), si respinge l’ipotesi nulla → la differenza è considerata statisticamente significativa.

📊 Indicatori associati:

• P-value: misura della sorpresa; più è bassa, più l’effetto è potenzialmente reale.
• Livello di confidenza (spesso 95%): probabilità di non sbagliare concludendo per una differenza.
• Potenza statistica: capacità del test di rilevare un effetto reale se esiste, spesso fissata all’80% o più.
• Minimum Detectable Effect (MDE): più piccolo è l’effetto atteso, più traffico serve per trarre conclusioni.

🧪 Applicazione nel CRO:

In un A/B test o in un test multivariato, il test di significatività statistica è indispensabile per:

• convalidare una variazione come “vincente” o meno,
• evitare errori di interpretazione dovuti a effetti di rumore o a test interrotti troppo presto (p-hacking),
• assicurarsi che i risultati siano generalizzabili, non semplicemente legati a un periodo o a un segmento particolare.