Frequentist

モデルのパラメータ（平均値、コンバージョン率など）を観測データのみに基づいて推定する統計的アプローチであり、事前情報を使用しません。このアプローチは帰無仮説、有意性検定、p値、信頼区間といった概念に基づいており、統計分析における伝統的な手法です。

A/B testingとCROにおいて：

Frequentistアプローチは、バリエーションが有意な効果をもたらすかどうかを判定するために、多くのA/B testingの信頼度計算ツールで従来から使用されてきました。

このアプローチは次の問いに答えようとします：

「テストしたバリエーションに実際には効果がない場合、偶然このような結果が得られる確率はどれくらいか？」

しかし、このアプローチには大きな制約があります：

• 十分なサンプルサイズが必要であること、
• テスト期間を守る必要があること（早期終了によるリスク）、
• 結果の解釈が専門的であること（p値はBがより優れている確率ではありません）。

CROの文脈における限界：

• 事前に定めたサンプルサイズに達する必要があるため、テスト期間が長くなりがち、
• 非技術系チームには直感的に理解しにくい、
• 読み取りミスやp-hackingのようなリスクのある手法に対して脆弱、
• あるバリエーションがより優れている確率を直接示さない。

現在の傾向：ベイズアプローチへの移行

CROの分野では、Frequentistアプローチはベイズ統計に取って代わられつつあります。ベイズ統計には次のような利点があります：

• より迅速に活用可能な結果が得られる、
• サンプルサイズに応じて動的に適応し、
• ある変化が優れた成果を上げる確率を直接推定でき、
• プロダクトチームやマーケティングチームの意思決定を容易にします。

VWO、Convert、Optimizely（新バージョン）、AB Tasty（ベイズモード）などのプラットフォームは、分析を高速化し解釈ミスを減らすため、ベイズ統計エンジンを今や搭載しています。