A/B テストの統計的有意性検定

テスト（A/B テストなど）で観察された結果が、偶然やランダムな変動ではなく実際の効果によるものであると判断するのに十分な信頼性があるかどうかを判断するために使用される統計分析手法です。これは、定量的データに基づいて仮説を検証または棄却するための基本的なツールです。

🎯 目的:

2つ（またはそれ以上）のバリエーション間の差が統計的に有意であるかどうか、つまり偶然による可能性が低いかどうかを評価します。これにより、根拠のある意思決定が可能になり、偽陽性（あるバリエーションが優れていると誤って結論づけること）を最小限に抑えることができます。

🔍 仕組み：

このテストは2つの仮説に基づいています：

• 帰無仮説（H₀）：テストされたバリエーション間に実際の差はない。
• 対立仮説（H₁）：有意な差がある。

そこでp値を計算します。これは、帰無仮説が真であると仮定した場合に、観察された差以上の差が得られる確率です。

→ p値が有意水準（通常0.05）を下回る場合、帰無仮説を棄却します → その差は統計的に有意であるとみなされます。

📊 関連指標：

• P値：驚きの度合いを測る指標。値が小さいほど、その効果が実際のものである可能性が高い。
• 信頼水準（多くの場合95%）：差があると結論づけた際に、間違っていない確率。
• 統計的検出力：実際に効果が存在する場合にそれを検出するテストの能力。通常80%以上に設定される。
• 最小検出効果（MDE）：期待される効果が小さいほど、結論を出すためにより多くのトラフィックが必要になる。

🧪 CROにおける活用：

A/B テストまたは多変量テストにおいて、統計的有意性検定は以下のために不可欠です：

• あるバリエーションを「勝者」として検証する、またはしない、
• ノイズの影響やテストを早く打ち切りすぎたこと（p-hacking）による解釈の誤りを避ける、
• 結果が一般化可能であることを確認する。特定の期間やセグメントに限定されたものではないことを確認します。