Test der statistischen Signifikanz A/B test

Statistische Analysemethode, mit der bestimmt wird, ob die in einem Test (wie einem A/B test) beobachteten Ergebnisse ausreichend zuverlässig sind, um einem tatsächlichen Effekt zugeschrieben zu werden, statt dem Zufall oder einer zufälligen Schwankung. Dies ist ein grundlegendes Werkzeug, um eine Hypothese zu bestätigen oder zu verwerfen, gestützt auf quantitative Daten.

🎯 Ziel:

Bewerten, ob der Unterschied zwischen zwei (oder mehreren) Varianten statistisch signifikant ist, das heißt, dass er mit geringer Wahrscheinlichkeit auf dem Zufall beruht. Dies ermöglicht es, fundierte Entscheidungen zu treffen und Fehlalarme zu minimieren (fälschlicherweise schließen, dass eine Variante besser ist).

🔍 Funktionsweise:

Der Test basiert auf zwei Hypothesen:

• Nullhypothese (H₀): Es gibt keinen tatsächlichen Unterschied zwischen den getesteten Varianten.
• Alternativhypothese (H₁): Es besteht ein signifikanter Unterschied.

Man berechnet dann einen p-Wert: die Wahrscheinlichkeit, eine Abweichung zu erhalten, die mindestens so groß ist wie die beobachtete, wenn die Nullhypothese wahr wäre.

→ Liegt der p-Wert unter dem Signifikanzniveau (in der Regel 0,05), verwirft man die Nullhypothese → der Unterschied gilt als statistisch signifikant.

📊 Zugehörige Kennzahlen:

• P-Wert: Maß für die Überraschung; je niedriger er ist, desto eher ist der Effekt real.
• Konfidenzniveau (häufig 95 %): Wahrscheinlichkeit, sich beim Schluss auf einen Unterschied nicht zu irren.
• Statistische Power: Fähigkeit des Tests, einen tatsächlichen Effekt zu erkennen, falls vorhanden, meist auf 80 % oder mehr festgelegt.
• Minimum Detectable Effect (MDE): Je kleiner der erwartete Effekt, desto mehr Traffic ist für eine Schlussfolgerung nötig.

🧪 Anwendung im CRO:

In einem A/B test oder multivariaten Test ist der Test der statistischen Signifikanz unerlässlich, um:

• eine Variante als „Gewinner“ zu bestätigen oder nicht,
• Interpretationsfehler zu vermeiden, die durch Rauscheffekte oder zu früh abgebrochene Tests entstehen (p-hacking),
• sicherstellen, dass die Ergebnisse verallgemeinerbar sind, und nicht nur an einen bestimmten Zeitraum oder ein bestimmtes Segment gebunden sind.