Potenza Statistica

Anticipare la capacità di un A/B test di rilevare un effetto reale

📌 Definizione di potenza statistica in A/B testing

La potenza statistica è la probabilità che un A/B test rilevi un effetto reale, se effettivamente esiste.
In altre parole, valuta la capacità del test di evitare un falso negativo – ovvero di non concludere erroneamente che una variazione sia inefficace quando invece produce un impatto reale.

In un contesto di ottimizzazione del tasso di conversione (CRO), una potenza sufficiente garantisce che le decisioni derivanti da un test siano fondate e sfruttabili.

🎯 Livello consigliato

Nella maggior parte dei casi, una potenza statistica dell'80% è considerata il minimo accettabile.
Ciò significa che il test ha l'80% di probabilità di rilevare un effetto reale, e solo il 20% di rischio di non rilevarlo (errore di tipo II).

⚖️ Elementi che influenzano la potenza

La potenza dipende da tre parametri chiave:

1. Dimensione del campione
   → Più traffico o conversioni hai, più piccoli sono gli effetti che puoi rilevare.
2. Minimum Detectable Effect (MDE)
   → È l'ampiezza minima dell'effetto che vuoi poter rilevare (es.: +5% di conversione).
   → Più piccolo è l'effetto atteso, più traffico è necessario per rilevarlo con potenza adeguata.
3. Livello di confidenza (es.: 95%)
   → Determina la soglia a partire dalla quale un risultato è considerato statisticamente significativo.
   → Più il livello è esigente, più la potenza diminuisce (a parità di dimensione del campione).

❗ Perché è cruciale nell'A/B testing

Senza potenza sufficiente:

• Rischi di scartare una variazione vincente per mancanza di prove sufficienti,
• Il tuo test può essere qualificato come “neutro” quando invece l'effetto esiste ma è mascherato da una mancanza di dati,
• Perdi tempo, traffico e opportunità di ottimizzazione.

💡 Al contrario, una buona potenza rafforza l'affidabilità degli apprendimenti, anche in caso di risultato non significativo.

🧪 Esempi concreti

SituazionePotenza bassaRischioStai testando una variazione con un MDE del 3% ma poco traffico40%Hai il 60% di probabilità di perdere un effetto realeStai puntando a una variazione del +10% su 20.000 sessioni85%Buona potenza → conclusione affidabile in caso di successo o fallimento

✅ Best practice nel CRO

• Calcolare la potenza prima del test, utilizzando uno strumento (Optimizely, AB Tasty, Evan Miller) o un modello personalizzato (BigQuery, R),
• Definire un MDE realistico in base agli obiettivi di business (es.: 2% su una homepage ≠ 10% su una scheda prodotto),
• Allungare la durata del test o raggruppare il traffico per raggiungere una potenza sufficiente,
• Non interpretare mai un test “neutro” senza aver verificato la sua potenza reale.