p-value

Misura statistica utilizzata nell'approccio frequentista per indicare la probabilità di osservare i risultati ottenuti (o risultati ancora più estremi) se l'ipotesi nulla fosse vera. In altre parole, quantifica il grado di sorpresa dell'osservazione rispetto a una situazione in cui non vi sarebbe alcuna differenza reale tra le varianti testate.

Nel contesto del CRO / A/B testing:

In un test A/B, l'ipotesi nulla stabilisce che la variante B non ha alcun effetto rispetto ad A.
➡️ Una p-value bassa (es.: 0,03) indica che i risultati osservati sono poco compatibili con questa ipotesi, il che rafforza l'idea che esista un effetto reale.

Da ricordare:

• Una p-value inferiore a 0,05 (soglia classica) è spesso considerata statisticamente significativa → si rigetta l'ipotesi nulla.
• Una p-value superiore a 0,05 non dimostra che non ci sia un effetto, ma che non si hanno prove sufficienti per trarre una conclusione.
• La p-value non misura la probabilità che la variante sia migliore, né l'ampiezza dell'effetto. Per questo, si considera l'uplift, gli intervalli di confidenza o l'impatto business stimato.

Insidie frequenti nel CRO:

• Interpretare una p-value isolatamente senza tenere conto del volume di dati, del MDE o del contesto business.
• "P-hacking": interrompere un test non appena si raggiunge 0,049 può portare a falsi positivi (risultati ingannevoli).
• Dimenticare che la p-value non dice nulla sulla significatività pratica: un effetto minimo può essere significativo ma inutile.