A/B Testing

ウェブページ、アプリケーション、アルゴリズム、広告バナー、メールなど、デジタル要素の2つ以上のバージョン(A、B、Cなど)を比較し、定義された1つ以上の指標(コンバージョン率、クリック数、収益、エンゲージメントなど)に基づいてどのバージョンが最も優れているかを判断する実験的手法です。

各バリエーションはユーザーにランダムに提示され、その後厳密な統計的手法(頻度論的またはベイズ的)によって分析され、観測された結果が有意かつ信頼できるものであることが保証されます。

相関分析や事後分析とは異なり、A/Bテストでは因果関係を確立することができます。外部要因をコントロールしながら、変更がユーザー行動に与える影響を正確に切り分けて特定します。

A/B(n)アプローチはコンバージョン率最適化(CRO)戦略の中核をなすものであり、次のことを可能にします。

• サイトや製品のパフォーマンスを継続的に改善すること、
• 未検証の展開に伴うリスクを抑えること、
• 測定可能な価値をもたらす改善施策に優先順位をつけること、
• 実証的かつ数値的な根拠に基づいて意思決定を検証すること。

実際には:

• A/Bテストは2つのバリエーション(AとB)を比較します。
• A/B/nテストでは、ランダムな振り分けと一貫した統計分析を維持しながら、3つ以上のバージョン(A、B、Cなど)を比較することができます。

この手法は、Eコマース、SaaS、メディア、モバイルアプリなどの分野で広く利用されており、AB Tasty、Optimizely、VWO、Google Optimize (旧)、Dynamic Yieldなどのツールに組み込まれています。