.avif)
Puissance Statistique
.webp)
Anticiper la capacité d’un test A/B à détecter un effet réel
📌 Définition de puissance statistique en A/B test
La puissance statistique est la probabilité qu’un test A/B détecte un effet réel s’il existe réellement.
Autrement dit, elle évalue la capacité du test à éviter un faux négatif – c’est-à-dire à ne pas conclure, à tort, qu’une variation est inefficace alors qu’elle produit un véritable impact.
Dans un contexte d’optimisation du taux de conversion (CRO), une puissance suffisante garantit que les décisions issues d’un test sont fondées et exploitables.
🎯 Niveau recommandé
Dans la majorité des cas, une puissance statistique de 80 % est considérée comme le minimum acceptable.
Cela signifie que le test a 80 % de chances de détecter un effet réel, et seulement 20 % de risque de passer à côté (erreur de type II).
⚖️ Éléments qui influencent la puissance
La puissance dépend de trois paramètres clés :
- Taille de l’échantillon
→ Plus tu as de trafic ou de conversions, plus tu peux détecter de petits effets. - Minimum Detectable Effect (MDE)
→ C’est l’amplitude minimale d’effet que tu veux pouvoir détecter (ex. : +5 % de conversion).
→ Plus l’effet attendu est petit, plus il faut de trafic pour le détecter avec puissance. - Niveau de confiance (ex. : 95 %)
→ Il détermine le seuil à partir duquel un résultat est considéré comme statistiquement significatif.
→ Plus le niveau est exigeant, plus la puissance diminue (à taille d’échantillon constante).
❗ Pourquoi c’est crucial en A/B testing
Sans puissance suffisante :
- Tu risques de rejeter une variation gagnante faute de preuve suffisante,
- Ton test peut être qualifié de “neutre” alors que l’effet existe mais est masqué par un manque de données,
- Tu perds du temps, du trafic et des opportunités d’optimisation.
💡 À l’inverse, une bonne puissance renforce la fiabilité des apprentissages, même en cas de résultat non significatif.
🧪 Exemples concrets
SituationPuissance faibleRisqueTu testes une variation avec un MDE de 3 % mais peu de trafic40 %Tu as 60 % de chance de passer à côté d’un effet réelTu cibles une variation à +10 % sur 20 000 sessions85 %Bonne puissance → conclusion fiable en cas de succès ou d’échec
✅ Bonnes pratiques en CRO
- Calculer la puissance en amont du test, à l’aide d’un outil (Optimizely, AB Tasty, Evan Miller) ou d’un modèle personnalisé (BigQuery, R),
- Définir un MDE réaliste selon les enjeux business (ex. : 2 % sur une homepage ≠ 10 % sur une fiche produit),
- Allonger la durée du test ou regrouper le trafic pour atteindre une puissance suffisante,
- Ne jamais interpréter un test “neutre” sans avoir vérifié sa puissance réelle.
Définitions similaires
MDE (Minimum Detectable Effect)
La plus petite différence qui, si elle existe, peut être détectée de manière fiable dans un test statistique.
Uplift
L'augmentation des conversions ou de la valeur engendrée par une action spécifique, souvent mesurée dans les tests A/B.
Mann-Whitney U Test
Un test non paramétrique utilisé pour comparer deux échantillons indépendants afin de déterminer s'ils proviennent de la même distribution.
p-value
Une mesure statistique qui indique la probabilité d'observer les données collectées (ou quelque chose de plus extrême) sous l'hypothèse nulle.
Frequentist
Une approche statistique qui estime les paramètres du modèle en se basant uniquement sur les données observées, sans utiliser d'informations a priori.
.svg){kind=small}
