統計検定の結果、実際には存在する効果の検出に失敗し、2つのバリアント間に有意な差がないと誤って結論づけてしまうことを指します。CROやA/B testingの文脈では、偽陰性によって、単にテストの検出力が不足していた(例:サンプルサイズが小さすぎる、期間が不十分、MDEが低すぎるなど)という理由だけで、実際には成果を上げているバリエーションを却下してしまうことがあります。
偽陰性は、実際には有意ではない効果を誤って有意であると示す偽陽性としばしば対比されます。この2つの誤りのバランスは、選択する統計パラメータ(信頼水準、検出力)に左右されるため、最適化テストにおいて誤った意思決定を避けるために、慎重に調整する必要があります。
Autres termes : Statistiques
用語集をすべて見る- Approche Frequentist (A/B test)Une approche statistique qui estime les paramètres du modèle en se basant uniquement sur les données observées, sans utiliser d'informations a priori.Statistiques
- Bayesian (A/B test)Une approche statistique qui utilise la probabilité pour représenter l'incertitude sur les paramètres du modèle.Statistiques
- Confiance statistiqueNiveau de certitude que l'on a dans les résultats d'un test statistique.Statistiques
- Faux PositifsRésultats indiquant à tort qu'un effet est présent alors qu'il ne l'est pas.Statistiques
- Mann-Whitney U TestUn test non paramétrique utilisé pour comparer deux échantillons indépendants afin de déterminer s'ils proviennent de la même distribution.Statistiques
- MDE (Minimum Detectable Effect)La plus petite différence qui, si elle existe, peut être détectée de manière fiable dans un test statistique.Statistiques




