p-Wert

Statistisches Maß, das im frequentistischen Ansatz verwendet wird, um die Wahrscheinlichkeit anzugeben, die erhaltenen Ergebnisse (oder noch extremere Ergebnisse) zu beobachten , wenn die Nullhypothese wahr wäre. Mit anderen Worten, es quantifiziert den Grad der Überraschung der Beobachtung im Vergleich zu einer Situation, in der kein tatsächlicher Unterschied zwischen den getesteten Varianten bestünde.

Im CRO- / A/B-Testing-Kontext:

Bei einem A/B-Test besagt die Nullhypothese, dass Variante B keine Auswirkung im Vergleich zu A hat.
➡️ Ein niedriger p-Wert (z. B. 0,03) zeigt an, dass die beobachteten Ergebnisse wenig mit dieser Hypothese vereinbar sind, was die Annahme stärkt, dass ein tatsächlicher Effekt besteht.

Zu merken:

• Ein p-Wert unter 0,05 (klassischer Schwellenwert) wird oft als statistisch signifikant betrachtet → die Nullhypothese wird verworfen.
• Ein p-Wert über 0,05 beweist nicht, dass es keinen Effekt gibt, sondern dass man nicht genügend Nachweise hat, um eine Schlussfolgerung zu ziehen.
• Der p-Wert misst nicht die Wahrscheinlichkeit, dass die Variante besser ist, noch das Ausmaß des Effekts. Dafür betrachtet man den uplift, die Konfidenzintervalle oder die geschätzte geschäftliche Auswirkung.

Häufige Fallstricke im CRO:

• Einen p-Wert isoliert interpretieren, ohne das Datenvolumen, die MDE oder den geschäftlichen Kontext zu berücksichtigen.
• „P-Hacking“: Einen Test zu beenden, sobald 0,049 erreicht ist, kann zu falsch positiven Ergebnissen (irreführenden Resultaten) führen.
• Vergessen, dass der p-Wert nichts über die praktische Signifikanz aussagt: Ein minimaler Effekt kann signifikant, aber nutzlos sein.