A/B test サンプルサイズ計算ツール
テスト開始前にテストの規模を設計できます:コンバージョン率に応じた必要トラフィック、期間(週単位)、検出可能な最小効果を算出します。
計算方法
事前テスト計算ツール
2つの比率の差の正規近似。相対MDE = (zα + zβ) × √(2p(1−p)/n) / p。pは基準となるコンバージョン率、nはバリアントごとの訪問者数です。zαは設定に応じて片側または両側となり、zβは目標検出力(デフォルト80%)に対応します。αは比較数で割られます(ボンフェローニ補正)。
前提条件:訪問者が独立していること、バリアント間の配分が均等であること、期間中のコンバージョン率が安定していること、事前に定めたサンプルサイズで1回のみ分析を行うこと。
よくある質問
A/B test の規模設計に関するよくある質問
- サンプルサイズは4つのパラメータに依存します:基準となるコンバージョン率、検出したい最小効果(MDE)、信頼水準、そして統計的検出力です。計算ツールはこれらを2つの比率の差の正規近似と組み合わせ、バリアントごとに必要な訪問者数を算出し、そこからトラフィックに応じた期間を導き出します。
プロジェクトについて詳しく教えてください
デジタルチャネルのパフォーマンス向上の方法を熟知しています。
- 実験
- UX・エクスペリエンス
- パーソナライゼーション & CRM
- データ＆アナリティクス
- 研修
- エージェント型コマース
