Anticiper la capacité d’un test A/B à détecter un effet réel

📌 Définition de puissance statistique en A/B test

La puissance statistique est la probabilité qu’un test A/B détecte un effet réel s’il existe réellement.
Autrement dit, elle évalue la capacité du test à éviter un faux négatif – c’est-à-dire à ne pas conclure, à tort, qu’une variation est inefficace alors qu’elle produit un véritable impact.

Dans un contexte d’optimisation du taux de conversion (CRO), une puissance suffisante garantit que les décisions issues d’un test sont fondées et exploitables.

🎯 Niveau recommandé

Dans la majorité des cas, une puissance statistique de 80 % est considérée comme le minimum acceptable.
Cela signifie que le test a 80 % de chances de détecter un effet réel, et seulement 20 % de risque de passer à côté (erreur de type II).

⚖️ Éléments qui influencent la puissance

La puissance dépend de trois paramètres clés :

1. Taille de l’échantillon
   → Plus tu as de trafic ou de conversions, plus tu peux détecter de petits effets.
2. Minimum Detectable Effect (MDE)
   → C’est l’amplitude minimale d’effet que tu veux pouvoir détecter (ex. : +5 % de conversion).
   → Plus l’effet attendu est petit, plus il faut de trafic pour le détecter avec puissance.
3. Niveau de confiance (ex. : 95 %)
   → Il détermine le seuil à partir duquel un résultat est considéré comme statistiquement significatif.
   → Plus le niveau est exigeant, plus la puissance diminue (à taille d’échantillon constante).

❗ Pourquoi c’est crucial en A/B testing

Sans puissance suffisante :

• Tu risques de rejeter une variation gagnante faute de preuve suffisante,
• Ton test peut être qualifié de “neutre” alors que l’effet existe mais est masqué par un manque de données,
• Tu perds du temps, du trafic et des opportunités d’optimisation.

💡 À l’inverse, une bonne puissance renforce la fiabilité des apprentissages, même en cas de résultat non significatif.

🧪 Exemples concrets

SituationPuissance faibleRisqueTu testes une variation avec un MDE de 3 % mais peu de trafic40 %Tu as 60 % de chance de passer à côté d’un effet réelTu cibles une variation à +10 % sur 20 000 sessions85 %Bonne puissance → conclusion fiable en cas de succès ou d’échec

✅ Bonnes pratiques en CRO

• Calculer la puissance en amont du test, à l’aide d’un outil (Optimizely, AB Tasty, Evan Miller) ou d’un modèle personnalisé (BigQuery, R),
• Définir un MDE réaliste selon les enjeux business (ex. : 2 % sur une homepage ≠ 10 % sur une fiche produit),
• Allonger la durée du test ou regrouper le trafic pour atteindre une puissance suffisante,
• Ne jamais interpréter un test “neutre” sans avoir vérifié sa puissance réelle.

‍