.avif)
Confiance statistique
.webp)
Niveau de certitude que l’on a dans les résultats d’un test statistique. Elle est généralement exprimée en pourcentage, par exemple 95 %, ce qui signifie que si l’on répétait le test un grand nombre de fois dans les mêmes conditions, 95 % des tests mèneraient à la même conclusion. C’est une notion centrale dans les analyses fréquentistes, utilisées dans la majorité des outils d’A/B testing classiques.
En approche fréquentiste :
- La confiance statistique est liée à la probabilité de rejeter à tort l’hypothèse nulle (risque d’erreur de type I).
- Un niveau de confiance de 95 % correspond à un seuil de signification (p-value) de 0,05.
- Cela indique qu’on accepte au maximum 5 % de chances que la différence observée soit due au hasard.
Exemple : Si la variation B a une confiance statistique de 96 %, on considère qu’elle surperforme significativement la version A avec une marge d’erreur inférieure à 4 %.
En approche bayésienne :
- On parle plutôt de probabilité qu’une variation soit meilleure que l’autre (ex. : "la variation B a 92 % de chances d’être supérieure à A").
- Il ne s’agit pas d’un test de rejet, mais d’une estimation directe de la probabilité d’un gain réel.
- Cette approche est souvent plus intuitive pour les équipes métier, mais dépend plus fortement des priors (hypothèses de départ).
En CRO :
Quel que soit le cadre choisi, la confiance statistique est essentielle pour :
- valider les résultats d’un test A/B,
- limiter les faux positifs (effets dus au hasard),
- prendre des décisions éclairées sur la base de données fiables.
Attention : une confiance statistique élevée ne garantit pas un impact business significatif. Elle doit être croisée avec d’autres indicateurs (uplift, taille d’échantillon, valeur incrémentale) pour guider une décision d’implémentation.
Définitions similaires
MDE (Minimum Detectable Effect)
La plus petite différence qui, si elle existe, peut être détectée de manière fiable dans un test statistique.
Puissance Statistique
La probabilité qu'un test détecte un effet réel, si cet effet existe. Une puissance élevée réduit le risque de faux négatifs.
Uplift
L'augmentation des conversions ou de la valeur engendrée par une action spécifique, souvent mesurée dans les tests A/B.
Mann-Whitney U Test
Un test non paramétrique utilisé pour comparer deux échantillons indépendants afin de déterminer s'ils proviennent de la même distribution.
p-value
Une mesure statistique qui indique la probabilité d'observer les données collectées (ou quelque chose de plus extrême) sous l'hypothèse nulle.
Frequentist
Une approche statistique qui estime les paramètres du modèle en se basant uniquement sur les données observées, sans utiliser d'informations a priori.
.svg){kind=small}
