p-value

Mesure statistique utilisée en approche fréquentiste pour indiquer la probabilité d’observer les résultats obtenus (ou des résultats encore plus extrêmes) si l’hypothèse nulle était vraie. Autrement dit, elle quantifie le degré de surprise de l’observation par rapport à une situation où il n’y aurait aucune différence réelle entre les variantes testées.

En contexte CRO / A/B testing :

Dans un test A/B, l’hypothèse nulle stipule que la variation B n’a aucun effet par rapport à A.
➡️ Une p-value faible (ex. : 0,03) indique que les résultats observés sont peu compatibles avec cette hypothèse, ce qui renforce l’idée qu’un effet réel existe.

À retenir :

• Une p-value inférieure à 0,05 (seuil classique) est souvent considérée comme statistiquement significative → on rejette l’hypothèse nulle.
• Une p-value supérieure à 0,05 ne prouve pas qu’il n’y a pas d’effet, mais que l’on n’a pas suffisamment de preuves pour conclure.
• La p-value ne mesure pas la probabilité que la variation soit meilleure, ni l’ampleur de l’effet. Pour cela, on regarde l’uplift, les intervales de confiance ou l’impact business estimé.

Pièges fréquents en CRO :

• Interpréter une p-value isolément sans tenir compte du volume de données, du MDE ou du contexte business.
• "P-hacking" : arrêter un test dès qu’on atteint 0,049 peut conduire à des faux positifs (résultats trompeurs).
• Oublier que la p-value ne dit rien sur la significativité pratique : un effet minime peut être significatif mais inutile.