ベイジアン vs 頻度論：A/Bテストにはどちらの手法を選ぶべきか？

Data Analyst、Product Manager、あるいはGrowth Marketerであれば、こんな経験をしたことがあるかもしれません。有望なA/B testを開始し、数週間待って結果を得たものの…結局は有意ではなかった。あるいはもっと悪いことに、ある計算方法では数値が横ばいに見えるのに、統計的アプローチを変えた途端に突然有意になる。その間、あなたは貴重なコンバージョンを失っている可能性があり、あるいはパフォーマンスの低いバリアントが売上を悪化させ続けているかもしれません。

現在、市場のほとんどのA/B Testツール（Kameleoon、AB Tasty、VWO、Optimizelyなど）は、従来の頻度論的手法に加えてベイジアンアプローチを提供しています。中には逆の道をたどったツールもあり、例えばAB Tastyは以前は完全にベイジアンでしたが、レポートに頻度論を再び取り入れました。では、なぜこうした変化が起きているのでしょうか？CROの専門エージェンシーであるWelyftでは、チームがどちらの統計手法を選ぶべきか判断に苦しんでいる様子をよく目にします。

この記事では、数式で皆さんを圧倒するつもりはありません。私たちの目的は、両方の手法のメカニズムを理解していただき、自社のコンテキスト、トラフィック、ビジネス目標に合った手法を選べるようにお手伝いすることです。

頻度論的アプローチとベイジアンアプローチの本当の違いとは？

何が問題になっているかを正しく理解するには、2つの主要な統計学派の背後にある哲学を把握する必要があります。

‍
「頻度論」アプローチ

頻度論的手法は、学校で学ぶ従来型のアプローチです。その名は「頻度」という概念に由来し、ある事象の確率は、実験を無限に繰り返した場合にその事象が発生する頻度に対応するとされます。

A/B Testでは、いわば「逆から考える」ことになります。この手法は「帰無仮説」と呼ばれる原則から出発します。つまり、バージョンA（「オリジナル」または「コントロール」と呼ばれる）とバージョンB（バリエーション）の間には全く差がないと仮定するのです。その後の目的は、あらかじめ定められたデータ量を積み上げてこの仮説が誤りであることを証明し、加えられた変更が統計的に有意であることを示すことです。ご安心ください、この計算は手作業で行う必要はなく、そのためのツールが数多く存在します。最良の計算ツールについてはこちらの専用記事でまとめています。

主要な指標はp値（観測された差が偶然によるものである確率を測る）と信頼区間（このテストを何度も繰り返した場合、その90%の区間が真の上昇幅を含むことを意味する）です。結局のところ、これは二者択一的な手法であり、観測された差は単なる偶然であるか、あるいは検証されたものであるかのいずれかです。

裁判の比喩：これは裁判のようなものです。バージョンBは、優位性を示す十分な証拠の山が積み上がるまでは、優位性において「無罪」とみなされます。

「ベイジアン」アプローチ 

ベイジアンアプローチ（イギリスの数学者トーマス・ベイズの定理に由来）は、人間が意思決定を行う際のように機能します。既存の知識を取り込み、新しいユーザーがテストと接触するたびにリアルタイムで確率を更新していきます。絶対的な真実を証明しようとするのではなく、この手法は直感的かつ具体的な答えを与えてくれます。「バリアントBがAより優れている確率はどのくらいか？」というものです。

主要な指標は勝率（BがAを上回る確率としてパーセンテージで直接表現される）と信用区間（「上昇幅が+1%から+3%の間に収まる確率が90%です」と具体的に教えてくれる）です。

スポーツ賭博の比喩：テニスの試合に賭けていると想像してください。セットが進み、選手がポイントを獲得するたびに、最終的な勝者についての確信度を調整していきます。試合の終わりまで待って誰が優勢かを理解するのではなく、コート上の出来事に応じて自分の「確信」を継続的に更新していくのです。

2つの手法は同じ問いに答えているわけではありません。頻度論は、AとBの間に実際の差が存在するかどうかを判定しようとするもので、これは「存在」に関する問いです。一方ベイジアンは、バリアントBがAより優れているかどうか、そしてどのくらいの確率でそうなのかを直接示すもので、これは「意思決定」に関する問いです。チームがしばしば見落とすのはこのニュアンスであり、それが結果の誤った解釈につながります。

頻度論的手法とベイジアン手法の主要な指標は何か？

通常、ここで物事が複雑になり、専門用語が先行しがちです。簡単に言えば、頻度論統計とベイズ統計は単純に異なる問いに答えているのです。

実際に何を読んでいるのかを理解するための、明確な比較をご紹介します。 

結局のところ、頻度論的な用語(有名なP値など)は誰にとっても直感に反する場合があり、チームが結果を誤って解釈してしまうことがよくあります。しかし、その厳格さには利点もあります。解釈の余地を一切残さないという点です。設定された信頼水準を下回れば、結論は明白で、テストは非決定的なままで終わりです。
この規律性は準備段階にも及びます。テストを開始する前にその期間を計算することで、実験のロードマップを自然に構築でき、同じ範囲でのテストの重複を避け、次のテストをいつ開始できるかを常に把握できます。

逆に、ベイズ的な用語は私たちの業務の現実と合致しており、リスクを定量化し財務的な利益を見積もるため、会議での意思決定が大幅に容易になります。しかし、この柔軟性には代償も伴います。まだ不安定な勝利確率に基づいてバリアントを勝者と宣言することを防ぐ歯止めはありません。このリスクは、確信区間が広く安定するまでに時間がかかる小さな効果において特に顕著で、勝利確率が既に魅力的に見える場合でも注意が必要です。

本当にリアルタイムで結果を読み取ることはできるのか?

頻度論的アプローチの大きな欠点は、その厳格さにあります。テストの途中で結果を確認し(いわゆる「Data Peeking」)、事前に計算されたサンプリングの閾値に達する前に判断を下すと、分析が歪んでしまいます。

一方、ベイズ的アプローチは意思決定を大きく加速させる可能性がありますが、この柔軟性は性急な判断の言い訳にはなりません。テストを打ち切る前には、観測された傾向が数日間にわたって明確かつ確認されたものであることを必ず確認してください。新規性効果、季節性、あるいは単なる一時的な変動が、特に確信区間がまだ不安定な場合に、誤った警告を発することがあります。これらの条件が整えば、売上が落ち込んでいるテストを打ち切ったり、固定サンプリングによる数週間の待機なしに、安心できる成功確率と狭まった確信区間が得られ次第、勝者バージョンを展開したりすることができます。

どの文脈にどの手法を使うべきか?

「悪い」手法というものは存在せず、特定の文脈に誤って適用された手法があるだけです。Eコマースやリードジェネレーションの課題において、それぞれの手法をどのように使うべきかをご紹介します。

頻度論的手法をいつ使うべきか? 

大規模な構造変更や、判断ミスのコストが非常に大きいハイリスクなテストに取り組む際に優先すべき手法です。リスクを最大限に抑えるため、テスト終了まで結論を待つという「科学的な厳密さ」が必要になります。

• 例1: 購入ファネル全体の刷新。チェックアウトの全ステップのデザインを変更する場合を想像してください。もし失敗すれば、売上の損失は甚大なものになります。そのため、1か月にわたる開発作業を開発者に着手させる前に、統計的有意性を100%確実にするための頻度論的な厳密さが必要になります。
  
  
• 例2: 非常にトラフィックの多いサイトでは、必要なサンプル数がわずか数日で得られます。このデータ量により、通常の待機時間を伴うことなく頻度論モデルの厳密さを活用でき、ベイズ的手法と同等の反応速度を実現できます。

頻度論的手法に推奨されるツール:Welyft計算機

ベイズ的手法をいつ使うべきか? 

日々の機敏性や反復的なテストに理想的な手法です。あるバリアントが明らかに優れた成果を出した場合に早期に終了でき、結果をより直感的に解釈することができます。

• 例1: トラフィックの少ないページ(例えば、B2Bやニッチ市場)の場合。この場合、頻度論的手法で必要なサンプルサイズを得るには6か月かかってしまいます。ベイズ的手法を使えば、はるかに早く信頼できる成功確率を導き出すことができます。
   
• 例2: マイクロ最適化(例えば、文言や安心材料の追加など)の場合。この場合、実装コストが低いためです。確信区間が+1%から+3%の潜在的な利益を示している場合、絶対的な検証を待たずに反復・展開することができます。

• 例3: 短期間のプロモーションキャンペーン(例えば、セールやブラックフライデーなど)の場合。ここでは時間が限られており、ベイズ的手法を使えば、強い傾向が見え始めた時点で勝者バリアントに切り替えることができ、即座の利益を最大化できます。

ベイズ的手法に推奨されるツール:Welyft計算機

その中で本当のCRO専門性とは何でしょうか?

適切なタイミングで適切なツールを使うこと、それこそが真のCRO専門性です。しかし、この選択の柔軟性が方法論の曖昧さに変わってはいけません。手法はテストを開始する前に決定すべきであり、途中で変更してはいけません。実験の最中に統計的アプローチを変更したり、都合の良い結果に応じて両者を使い分けたりすることは、結果の履歴管理を著しく複雑にし、結論の信頼性を損ないます。

要点を押さえておきましょう。頻度論的アプローチは厳密さをもたらし、重要度の高い意思決定に最適です。ベイズ的アプローチは俊敏性を提供し、素早く反復し、リアルタイムで意思決定するのに適しています。ただし、非劣性試験には適していません。あるバリエーションが別のものより優れているかどうかを示すだけで、有意に劣っていないことを確認することはできないためです。

Welyftでは、CROの専門家として、流行っている手法ではなく、常に結果に資する手法を選択しています。なぜなら、優れたCROの意思決定とは、何よりもまず、状況、トラフィック、そしてビジネス目標に応じた適切なアプローチだからです。