統計的検出力

A/B testがどの程度、実際の効果を検出できるかを見積もる

📌 A/B testにおける統計的検出力の定義

統計的検出力とは、効果が実際に存在する場合に、A/B testがその効果を検出できる確率です。
つまり、偽陰性を避ける能力――実際には効果があるバリエーションを誤って「効果なし」と結論づけてしまわない能力――を評価する指標です。

コンバージョン率最適化（CRO）の文脈では、十分な検出力があることで、テストから得られる意思決定が根拠に基づき、活用可能なものになります。

🎯 推奨されるレベル

多くの場合、80％の統計的検出力が許容できる最低ラインとされています。
これは、テストが実際の効果を検出できる確率が80％であり、見逃す（第二種過誤）リスクが20％であることを意味します。

⚖️ 検出力に影響する要素

検出力は主に3つのパラメータに依存します：

1. サンプルサイズ
   → トラフィックやコンバージョン数が多いほど、小さな効果も検出しやすくなります。
2. Minimum Detectable Effect（MDE）
   → これは検出したい最小の効果量です（例：コンバージョン率+5％）。
   → 期待する効果が小さいほど、十分な検出力で検出するために必要なトラフィック量が増えます。
3. 信頼水準（例：95％）
   → 結果が統計的に有意とみなされる基準を決定します。
   → 水準が厳しくなるほど（サンプルサイズが一定の場合）、検出力は低下します。

❗ A/B testingにおいて重要な理由

検出力が不十分な場合：

• 勝っているバリエーションを十分な根拠がないまま棄却してしまうリスクがあります。
• テストが「中立」と判定されても、実際には効果は存在するのにデータ不足によって隠れている場合があります。
• 時間、トラフィック、最適化の機会を失うことになります。

💡 逆に、十分な検出力があれば、結果が有意でない場合でも学びの信頼性が高まります。

🧪 具体例

状況検出力リスクトラフィックが少ない状態でMDE 3%のバリエーションをテストする40%実際の効果を見逃す可能性が60%あります20,000セッションで+10%のバリエーションを狙う85%良好な検出力 → 成功・失敗いずれの場合も信頼できる結論

✅ CROにおけるベストプラクティス

• Optimizely、AB Tastyなどのツールや、Evan Millerの計算式、またはカスタムモデル(BigQuery、R)を使ってテスト実施前に検出力を計算すること。
• ビジネス上の課題に応じて現実的なMDEを設定すること(例:ホームページでの2%とは商品ページでの10%とは異なる)。
• 十分な検出力を得るために、テスト期間を延ばす、またはトラフィックを統合すること。
• 実際の検出力を確認せずに「有意差なし」というテスト結果を絶対に解釈しないこと。