ベイジアン

モデルのパラメータに関する不確実性を確率でモデル化することに基づいた統計的アプローチです。頻度論的アプローチとは異なり、観測データに加えて、利用可能な場合には事前情報(priorsと呼ばれる)も取り入れ、新しいデータが収集されるたびに仮説の確率を更新します。

CRO / A/B testingの文脈では:

ベイジアンアプローチは、次のような具体的な問いに答えることができます:

「バリエーションBがバリエーションAより優れている確率はどれくらいか?」

帰無仮説を棄却するかどうかを判断するのではなく、直接的で実行可能な確率を提供するため、ビジネスチームにとってより直感的です。

CROにおけるメリット:

• 事前に定めたサンプルサイズを待つことなく、継続的に活用可能な結果が得られる,
• テストの進行に応じて動的に適応する,
• 例えば「バリエーションBがAより優れている確率は92%」といった明確な確率的推定を提供する,
• 迅速かつ段階的な意思決定を容易にする,
• 早期停止(peeking)に関連するバイアスの影響を受けにくい,
• 高度なパーソナライゼーションやマルチバリアントテストの文脈にも対応可能。

ベイジアンアプローチを採用しているツール:

• Optimizely(Stats Engine)
• VWO(Bayesian Engine)
• AB Tasty(ベイジアンオプション)
• Convert.com、Google Ads(実験機能)など。

Points de vigilance :

• Le choix et l’interprétation des priors peuvent influencer les résultats si mal calibrés,
• Moins familière pour les équipes purement data/scientifiques habituées aux tests traditionnels.