Frequentist

Statistischer Ansatz, bei dem die Parameter eines Modells (Mittelwert, Konversionsrate usw.) ausschließlich anhand der beobachteten Daten geschätzt werden, ohne Vorabinformationen zu verwenden. Er basiert auf Konzepten wie der Nullhypothese, Signifikanztests, p-Werten und Konfidenzintervallen und stellt den traditionellen Ansatz der statistischen Analyse dar.

Im A/B-Testing und CRO:

Der frequentistische Ansatz wird historisch in vielen Konfidenzrechnern für A/B-Tests verwendet, um festzustellen, ob eine Variation einen signifikanten Effekt erzielt oder nicht.

Er versucht, folgende Frage zu beantworten:

„Wenn die getestete Variation keinen echten Effekt hat, wie hoch ist die Wahrscheinlichkeit, ein solches Ergebnis zufällig zu erhalten?“

Dieser Ansatz unterliegt jedoch strengen Einschränkungen:

• Ausreichende Stichprobengröße,
• Eingehaltene Testdauer (Risiken durch vorzeitigen Abbruch),
• Technische Interpretation der Ergebnisse (p-Wert ≠ Wahrscheinlichkeit, dass B besser ist).

Grenzen im CRO-Kontext:

• Oft längere Tests aufgrund der Notwendigkeit, eine vordefinierte Stichprobengröße zu erreichen,
• Weniger intuitiv für nicht-technische Teams,
• Anfälliger für Fehlinterpretationen oder riskante Praktiken wie p-hacking,
• Gibt nicht direkt die Wahrscheinlichkeit an, dass eine Variation besser ist.

Aktueller Trend: Übergang zum bayesianischen Ansatz

Im Bereich CRO wird der frequentistische Ansatz zunehmend zugunsten der bayesianischen Statistik aufgegeben, die:

• schneller verwertbare Ergebnisse liefert,
• sich dynamisch an die Stichprobengröße anpasst,
• es ermöglicht, direkt die Wahrscheinlichkeit zu schätzen, dass eine Variante besser abschneidet,
• die Entscheidungsfindung für Produkt- und Marketingteams erleichtert.

Plattformen wie VWO, Convert, Optimizely (neue Version) oder AB Tasty (Bayes-Modus) integrieren mittlerweile bayessche Statistik-Engines, um die Analyse zu beschleunigen und Interpretationsfehler zu reduzieren.