コンテンツへ移動

A/B testing 統計的信頼度計算ツール

バリアント間の差が統計的に有意かどうかを確認できます:p値、信頼区間、推定インパクトを、頻度論またはベイズ統計で算出します。

計算方法

事後計算ツール - 頻度論的

H0のもとでのプール分散を用いた2比率比較のz検定:SE = √(p̄(1−p̄)(1/nA + 1/nB))、z = (pB − pA) / SE、p̄はプールされた率です。設定に応じて片側または両側p値を使用し、比較数に基づきBonferroni補正されたalphaを適用します。信頼区間は率の絶対差に関するものです。

制限事項:このp値は、開始前に決定されたサンプルサイズに基づく、たった1回の分析にのみ有効です。テスト期間中に複数回確認すると、偽陽性のリスクを過小評価してしまいます。mSPRTタブとGSTタブは、まさにこの点を補正するものです。

事後テスト計算機 - ベイズ型

ベータ二項モデル。各比率に対して非情報的事前分布Beta(1, 1)を設定し、事後分布はBeta(1 + コンバージョン数, 1 + 非コンバージョン数)となります。P(B > A)および比率差の信用区間を推定するために100,000回のモンテカルロ試行を実施します。決定閾値は比較数に応じてBonferroni補正されます。

注記:表示される確率は事後確率であり、p値として解釈することはできず、頻度論的な誤り率を制御するものではありません。

よくある質問

A/B testingにおける統計的信頼度に関するよくある質問

  • 統計的信頼度計算ツールは、2つのバリエーション間(例えばA/Bテストにおいて)で観測された差が統計的に有意なものか、単なる偶然によるものかを評価するために使用します。一定の確実性のレベルでより成果の高いバージョンを特定し、データに基づいた意思決定を支援します。

プロジェクトについて詳しく教えてください

デジタルチャネルのパフォーマンス向上の方法を熟知しています。

  • 実験
  • UX・エクスペリエンス
  • パーソナライゼーション & CRM
  • データ&アナリティクス
  • 研修
  • エージェント型コマース
お問い合わせ
Laurine Perris, Consultante confirméeChéryl Chauvin, Consultante confirméeLaurent Colin, Client PartnerRomain Berger, Team LeadGrégoire Masson, Consultant confirmé