Mann-Whitney U Test

ノンパラメトリックな統計検定であり、2つの独立したサンプルを比較して、それらが同じ分布から得られているかどうかを判断するために使用されます。パラメトリック検定(Studentのt検定など)とは異なり、データの正規性を一切仮定しないため、データが非対称、ノイズが多い、または外れ値の影響を受けやすい場合に特に有用です。

CRO / A/B testingにおける活用:

Conversion Rate Optimizationの取り組みにおいて、この検定は以下のような場合に非二値の指標(例:平均注文額(AOV)、セッションあたりの収益、ページ滞在時間)を分析するのに最適です:

• 分布が大きく偏っている場合、
• 外れ値が頻繁に発生する場合(例:非常に高額な注文)、
• またはグループ間で分散が不均一な場合。

例:

あるA/Bテストでは、2つのバリアント間で平均カート金額を比較することを目的としています。データは非常に非対称な分布を示しており、いくつかの非常に高額なカートが平均値を歪めています。
➡️ t検定を使用する代わりに、Mann-Whitney検定を用いることで、これらの極端な値に左右されることなく実際の中心傾向(値の相対的な位置)を比較することができます。

利点:

• 非正規分布に対して頑健である、
• 外れ値の影響を受けにくい、
• 率に変換できない連続または順序指標に適している。

注記:

この検定が判定するのは分布の違いであり、必ずしも平均値の違いではありません。そのため、他の指標やビジュアライゼーションと併せて、全体的な分析の中で解釈することが重要です。