統計的信頼性

統計検定の結果に対して持つ確信度のレベルです。一般的にパーセンテージで表され、例えば95%という場合、同じ条件で検定を何度も繰り返した場合に、95%の検定が同じ結論に至ることを意味します。これは頻度主義分析における中心的な概念であり、多くの従来型A/B testingツールで使用されています。

頻度主義アプローチでは：

• 統計的信頼度は帰無仮説を誤って棄却する確率（第一種過誤のリスク）に関連しています。
• 95%の信頼水準は、有意水準（p値）0.05に相当します。
• これは、観測された差が偶然によるものである可能性を最大5%まで許容することを示しています。

例：バリエーションBの統計的信頼度が96%である場合、バージョンAに対して誤差4%未満で有意に優れていると見なされます。

ベイズ主義アプローチでは：

• むしろあるバリエーションが他方より優れている確率について語られます（例：「バリエーションBがAより優れている確率は92%である」）。
• これは棄却検定ではなく、実際の利得の確率を直接推定するものです。
• このアプローチは事業部門にとってより直感的であることが多いですが、事前分布（prior）（最初の仮定）により強く依存します。

CROにおいて：

どちらの枠組みを選択するにしても、統計的信頼度は以下の点で不可欠です：

• A/Bテストの結果を検証すること、
• 偽陽性を抑制すること（偶然による効果）、
• 信頼できるデータに基づいて的確な意思決定を行うこと。

注意：統計的信頼度が高いからといって、ビジネス上の重大なインパクトが保証されるわけではありません。実装の意思決定を導くためには、他の指標（uplift、サンプルサイズ、増分価値）と照らし合わせる必要があります。