Affidabilità statistica

Livello di certezza che si ha nei risultati di un test statistico. Viene generalmente espresso in percentuale, ad esempio 95 %, il che significa che se si ripetesse il test un gran numero di volte nelle stesse condizioni, il 95 % dei test porterebbe alla stessa conclusione. È una nozione centrale nelle analisi frequentiste, utilizzate nella maggior parte degli strumenti di A/B testing classici.

Nell'approccio frequentista:

• La confidenza statistica è legata alla probabilità di rigettare erroneamente l'ipotesi nulla (rischio di errore di tipo I).
• Un livello di confidenza del 95 % corrisponde a una soglia di significatività (p-value) di 0,05.
• Questo indica che si accetta al massimo un 5 % di probabilità che la differenza osservata sia dovuta al caso.

Esempio: Se la variazione B ha una confidenza statistica del 96 %, si considera che sovraperformi significativamente la versione A con un margine di errore inferiore al 4 %.

Nell'approccio bayesiano:

• Si parla piuttosto di probabilità che una variazione sia migliore dell'altra (es.: "la variazione B ha il 92 % di probabilità di essere superiore ad A").
• Non si tratta di un test di rigetto, ma di una stima diretta della probabilità di un guadagno reale.
• Questo approccio è spesso più intuitivo per i team di business, ma dipende più fortemente dai priors (ipotesi di partenza).

Nel CRO:

Qualunque sia il quadro scelto, la confidenza statistica è essenziale per:

• validare i risultati di un A/B test,
• limitare i falsi positivi (effetti dovuti al caso),
• prendere decisioni informate basate su dati affidabili.

Attenzione: una confidenza statistica elevata non garantisce un impatto business significativo. Deve essere incrociata con altri indicatori (uplift, dimensione del campione, valore incrementale) per guidare una decisione di implementazione.