Calculateur de confiance statistique A/B testing
Vérifiez si l'écart entre vos variantes est statistiquement significatif : p-value, intervalle de confiance et impact estimé, en fréquentiste ou en bayésien.
Méthode de calcul
Calculateur Post-Test - fréquentiste
Test z de comparaison de deux proportions à variance poolée sous H0 : SE = √(p̄(1−p̄)(1/nA + 1/nB)), z = (pB − pA) / SE, avec p̄ le taux poolé. p-value unilatérale ou bilatérale selon le réglage, alpha corrigé par Bonferroni sur le nombre de comparaisons. L'intervalle de confiance porte sur la différence absolue de taux.
Limite : cette p-value n'est valide que pour UNE seule analyse, sur un effectif décidé avant le lancement. Consultée plusieurs fois en cours de test, elle sous-estime le risque de faux positif. C'est précisément ce que corrigent les onglets mSPRT et GST.
Calculateur Post-Test - bayésien
Modèle beta-binomial. Prior non informatif Beta(1, 1) sur chaque taux, postérieurs Beta(1 + conversions, 1 + non-conversions). 100 000 tirages Monte Carlo pour estimer P(B > A) et l'intervalle crédible sur la différence de taux. Le seuil de décision est ajusté par Bonferroni sur le nombre de comparaisons.
À noter : la probabilité affichée est une probabilité a posteriori, elle ne s'interprète pas comme une p-value et ne contrôle pas un taux d'erreur fréquentiste.
FAQ
Questions fréquentes sur la confiance statistique en A/B testing
- Un calculateur de confiance statistique permet d'évaluer si la différence observée entre deux variantes (par exemple, dans un test A/B) est statistiquement significative ou simplement due au hasard. Il vous aide à prendre des décisions basées sur les données, en identifiant la version la plus performante avec un certain niveau de certitude.
Dites-nous en plus de votre projet
Nous savons comment augmenter la performance de vos canaux digitaux.
- Expérimentation
- UX & Expérience
- Perso & CRM
- Data & Analytics
- Formation
- Commerce agentique
