統計検定の結果、実際には存在する効果の検出に失敗し、2つのバリアント間に有意な差がないと誤って結論づけてしまうことを指します。CROやA/B testingの文脈では、偽陰性によって、単にテストの検出力が不足していた(例:サンプルサイズが小さすぎる、期間が不十分、MDEが低すぎるなど)という理由だけで、実際には成果を上げているバリエーションを却下してしまうことがあります。
偽陰性は、実際には有意ではない効果を誤って有意であると示す偽陽性としばしば対比されます。この2つの誤りのバランスは、選択する統計パラメータ(信頼水準、検出力)に左右されるため、最適化テストにおいて誤った意思決定を避けるために、慎重に調整する必要があります。
Autres termes : Statistiques
用語集をすべて見る- Frequentistアプローチ(A/B test)事前情報を使用せず、観測データのみに基づいてモデルのパラメータを推定する統計的アプローチです。Statistiques
- Bayesian (A/B test)モデルのパラメータに関する不確実性を表現するために確率を用いる統計的アプローチです。Statistiques
- 統計的信頼性統計検定の結果に対して持つ確信度のレベル。Statistiques
- 偽陽性効果が実際には存在しないにもかかわらず、存在すると誤って示す結果。Statistiques
- Mann-Whitney U Test2つの独立したサンプルが同じ分布から得られているかどうかを判断するために使用される、ノンパラメトリック検定です。Statistiques
- MDE(最小検出効果)統計テストにおいて、存在する場合に確実に検出できる最小の差異。Statistiques




