Statistischer Konfidenzrechner für A/B testing

Z-Test zum Vergleich zweier Anteile mit gepoolter Varianz unter H0: SE = √(p̄(1−p̄)(1/nA + 1/nB)), z = (pB − pA) / SE, wobei p̄ die gepoolte Rate ist. Einseitiger oder zweiseitiger p-Wert je nach Einstellung, Alpha nach Bonferroni für die Anzahl der Vergleiche korrigiert. Das Konfidenzintervall bezieht sich auf die absolute Ratendifferenz.

Einschränkung: Dieser p-Wert ist nur für EINE einzige Analyse gültig, bei einer vor dem Start festgelegten Stichprobengröße. Wird er während des Tests mehrfach abgerufen, unterschätzt er das Risiko falsch-positiver Ergebnisse. Genau das korrigieren die Tabs mSPRT und GST.

Beta-Binomial-Modell. Nicht-informativer Prior Beta(1, 1) für jede Rate, Posterior Beta(1 + Conversions, 1 + Nicht-Conversions). 100.000 Monte-Carlo-Ziehungen zur Schätzung von P(B > A) und des Glaubwürdigkeitsintervalls für die Ratendifferenz. Die Entscheidungsschwelle wird per Bonferroni-Korrektur auf die Anzahl der Vergleiche angepasst.

Hinweis: Die angezeigte Wahrscheinlichkeit ist eine A-posteriori-Wahrscheinlichkeit, sie ist nicht als p-Wert zu interpretieren und kontrolliert keine frequentistische Fehlerrate.