Statistische Konfidenz

Grad der Sicherheit, den man bei den Ergebnissen eines statistischen Tests hat. Sie wird üblicherweise in Prozent ausgedrückt, zum Beispiel 95 %, was bedeutet, dass bei Wiederholung des Tests unter den gleichen Bedingungen eine große Anzahl von Malen, 95 % der Tests zur gleichen Schlussfolgerung führen würden. Dies ist ein zentraler Begriff in frequentistischen Analysen, die in den meisten klassischen A/B-Testing-Tools verwendet werden.

Im frequentistischen Ansatz:

• Die statistische Konfidenz hängt mit der Wahrscheinlichkeit zusammen, die Nullhypothese fälschlicherweise abzulehnen (Risiko eines Fehlers 1. Art).
• Ein Konfidenzniveau von 95 % entspricht einem Signifikanzniveau (p-Wert) von 0,05.
• Das bedeutet, dass man maximal 5 % Wahrscheinlichkeit akzeptiert, dass der beobachtete Unterschied auf Zufall beruht.

Beispiel: Wenn Variante B eine statistische Konfidenz von 96 % aufweist, geht man davon aus, dass sie Version A signifikant übertrifft, mit einer Fehlermarge von weniger als 4 %.

Im bayesianischen Ansatz:

• Man spricht eher von der Wahrscheinlichkeit, dass eine Variante besser ist als die andere (z. B.: „Variante B hat eine 92%ige Chance, besser zu sein als A“).
• Es handelt sich nicht um einen Ablehnungstest, sondern um eine direkte Schätzung der Wahrscheinlichkeit eines tatsächlichen Gewinns.
• Dieser Ansatz ist oft intuitiver für Fachteams, hängt aber stärker von den Priors (Ausgangsannahmen) ab.

Im CRO:

Unabhängig vom gewählten Rahmen ist die statistische Konfidenz essenziell, um:

• die Ergebnisse eines A/B-Tests zu validieren,
• Falsch-Positive zu begrenzen (durch Zufall bedingte Effekte),
• fundierte Entscheidungen auf Basis zuverlässiger Daten zu treffen.

Achtung: Eine hohe statistische Konfidenz garantiert keine signifikante geschäftliche Auswirkung. Sie sollte mit anderen Kennzahlen kombiniert werden (uplift, Stichprobengröße, inkrementeller Wert), um eine Umsetzungsentscheidung zu treffen.