Falsch-positive Ergebnisse

Ergebnis eines statistischen Tests, das fälschlicherweise anzeigt, dass ein Effekt signifikant ist, obwohl dies tatsächlich nicht der Fall ist. Im Rahmen von CRO und A/B testing kann ein falsch-positives Ergebnis dazu führen, dass eine unwirksame Variante validiert wird, was kontraproduktive Entscheidungen zur Folge haben kann (z. B.: die Verallgemeinerung einer Version, die keinen echten Mehrwert bringt).

Falsch-positive Ergebnisse hängen vom für einen Test gewählten Konfidenzniveau ab (oft 95 %): Es besteht immer eine Wahrscheinlichkeit (z. B.: 5 %), auf einen Unterschied zu schließen, der lediglich auf Zufall beruht. Dieses Phänomen ist umso kritischer, wenn zahlreiche Tests gleichzeitig durchgeführt werden, ohne die Falsch-Positiv-Rate zu kontrollieren (z. B.: mittels Bonferroni-Korrektur oder False-Discovery-Test).

Falsch-positive Ergebnisse sind das Gegenteil von falsch-negativen Ergebnissen, bei denen ein tatsächlich vorhandener Effekt übersehen wird. Das richtige Gleichgewicht zwischen diesen beiden Fehlertypen zu finden, ist für zuverlässige Experimente und eine solide CRO-Strategie unerlässlich.