A/B testing 統計的信頼度計算ツール
バリアント間の差が統計的に有意かどうかを確認できます:p値、信頼区間、推定インパクトを、頻度論またはベイズ統計で算出します。
計算方法
事後計算ツール - 頻度論的
H0のもとでのプール分散を用いた2比率比較のz検定:SE = √(p̄(1−p̄)(1/nA + 1/nB))、z = (pB − pA) / SE、p̄はプールされた率です。設定に応じて片側または両側p値を使用し、比較数に基づきBonferroni補正されたalphaを適用します。信頼区間は率の絶対差に関するものです。
制限事項:このp値は、開始前に決定されたサンプルサイズに基づく、たった1回の分析にのみ有効です。テスト期間中に複数回確認すると、偽陽性のリスクを過小評価してしまいます。mSPRTタブとGSTタブは、まさにこの点を補正するものです。
事後テスト計算機 - ベイズ型
ベータ二項モデル。各比率に対して非情報的事前分布Beta(1, 1)を設定し、事後分布はBeta(1 + コンバージョン数, 1 + 非コンバージョン数)となります。P(B > A)および比率差の信用区間を推定するために100,000回のモンテカルロ試行を実施します。決定閾値は比較数に応じてBonferroni補正されます。
注記:表示される確率は事後確率であり、p値として解釈することはできず、頻度論的な誤り率を制御するものではありません。
よくある質問
A/B testingにおける統計的信頼度に関するよくある質問
- 統計的信頼度計算ツールは、2つのバリエーション間(例えばA/Bテストにおいて)で観測された差が統計的に有意なものか、単なる偶然によるものかを評価するために使用します。一定の確実性のレベルでより成果の高いバージョンを特定し、データに基づいた意思決定を支援します。
プロジェクトについて詳しく教えてください
デジタルチャネルのパフォーマンス向上の方法を熟知しています。
- 実験
- UX・エクスペリエンス
- パーソナライゼーション & CRM
- データ&アナリティクス
- 研修
- エージェント型コマース









