AAテスト

2つのグループに全く同じエクスペリエンス(同じページ、同じコンテンツ、同じ条件)を提供し、テストシステムの信頼性を検証することを目的としたテストの種類です。CRO(Conversion Rate Optimization)の文脈では、A/Aテストにより以下を確認できます。

• バリアント間のトラフィック配分が適切に均衡していること、
コンバージョンのトラッキングが正しく機能していること、
• テストツールに技術的または行動的なバイアスがないこと、
• 実際の条件下でバリアント間に見られる差異が、偶然や設定ミスによるものではないこと。

このタイプのテストは、特に以下のような場合に、重要なA/Bテストを開始する前によく利用されます。

• 新しいテストツールを導入した場合(例:Dynamic Yield、AB Tasty、Optimizely)、
• 新しいセグメンテーションやターゲティングのロジックを導入した場合、
• サーバーサイドのバリエーションを使用しており、検証が必要な場合。

💡 知っておくと良いこと:A/Aテストにおいて小さな統計的差異が現れるのは正常ですが、有意な差異は生じないはずです。あるバリアントが高い信頼水準で他方を上回る結果となった場合、それは設定上のバイアス、トラッキングの不具合、またはランダム化の問題を示している可能性があります。