Mann-Whitney U Test

Test statistique non paramétrique utilisé pour comparer deux échantillons indépendants, dans le but de déterminer s’ils proviennent de la même distribution. Contrairement aux tests paramétriques (comme le test t de Student), il ne suppose aucune normalité des données, ce qui le rend particulièrement utile dans les contextes où les données sont asymétriques, bruitées, ou influencées par des valeurs extrêmes.

Application en CRO / A/B testing :

Dans une démarche de Conversion Rate Optimization, ce test est idéal pour analyser des métriques non binaires (ex. : valeur moyenne de commande (AOV), revenu par session, temps passé sur une page) lorsque :

• la distribution est fortement biaisée,
• les outliers sont fréquents (ex. : très gros paniers),
• ou les variances sont inégales entre les groupes.

Exemple :

Un test A/B vise à comparer la valeur moyenne du panier entre deux variantes. Les données montrent une distribution très asymétrique avec quelques très gros paniers qui faussent la moyenne.
➡️ Plutôt que d’utiliser un test t, le test de Mann-Whitney permet de comparer la tendance centrale réelle (position relative des valeurs) sans être biaisé par ces extrêmes.

Avantages :

• Robuste face aux distributions non normales,
• Moins sensible aux outliers,
• Approprié pour les métriques continues ou ordonnées non transformables en taux.

À noter :

Il teste les différences de distribution, pas forcément les moyennes. Il est donc utile de l’interpréter dans une analyse globale, en complément d’autres métriques et visualisations.

‍