Statistische Power

Die Fähigkeit eines A/B-Tests, einen realen Effekt zu erkennen, vorab einschätzen

📌 Definition der statistischen Power beim A/B-Test

Die statistische Power ist die Wahrscheinlichkeit, dass ein A/B-Test einen tatsächlich vorhandenen Effekt erkennt, sofern dieser real existiert.
Mit anderen Worten: Sie bewertet die Fähigkeit des Tests, ein falsch-negatives Ergebnis zu vermeiden – also nicht fälschlicherweise zu dem Schluss zu kommen, dass eine Variante wirkungslos ist, obwohl sie tatsächlich eine echte Auswirkung hat.

Im Kontext der Conversion-Rate-Optimierung (CRO) stellt eine ausreichende Power sicher, dass die aus einem Test resultierenden Entscheidungen fundiert und verwertbar sind.

🎯 Empfohlenes Niveau

In den meisten Fällen gilt eine statistische Power von 80 % als akzeptables Minimum.
Das bedeutet, dass der Test eine 80%ige Chance hat, einen tatsächlich vorhandenen Effekt zu erkennen, und nur ein 20%iges Risiko besteht, ihn zu übersehen (Fehler zweiter Art).

⚖️ Einflussfaktoren auf die Power

Die Power hängt von drei zentralen Parametern ab:

1. Stichprobengröße
   → Je mehr Traffic oder Conversions du hast, desto kleinere Effekte kannst du erkennen.
2. Minimum Detectable Effect (MDE)
   → Das ist die minimale Effektgröße, die du erkennen können möchtest (z. B.: +5 % Conversion).
   → Je kleiner der erwartete Effekt, desto mehr Traffic ist nötig, um ihn mit ausreichender Power zu erkennen.
3. Konfidenzniveau (z. B.: 95 %)
   → Es bestimmt die Schwelle, ab der ein Ergebnis als statistisch signifikant gilt.
   → Je strenger das Niveau, desto geringer die Power (bei gleichbleibender Stichprobengröße).

❗ Warum das beim A/B-Testing entscheidend ist

Ohne ausreichende Power:

• Riskierst du, eine gewinnende Variante abzulehnen, weil der Nachweis fehlt,
• Kann dein Test als „neutral“ eingestuft werden, obwohl der Effekt existiert, aber durch fehlende Daten verdeckt wird,
• Verlierst du Zeit, Traffic und Optimierungschancen.

💡 Umgekehrt stärkt eine gute Power die Zuverlässigkeit der gewonnenen Erkenntnisse, selbst bei einem nicht signifikanten Ergebnis.

🧪 Konkrete Beispiele

SituationStärkeRisikoDu testest eine Variante mit einem MDE von 3 %, aber wenig Traffic40 %Du hast eine 60%ige Wahrscheinlichkeit, einen echten Effekt zu übersehenDu zielst auf eine Variante mit +10 % bei 20.000 Sitzungen85 %Gute Power → zuverlässiges Ergebnis bei Erfolg oder Misserfolg

✅ Best Practices im CRO

• Die Power im Vorfeld des Tests berechnen, mithilfe eines Tools (Optimizely, AB Tasty, Evan Miller) oder eines eigenen Modells (BigQuery, R),
• Einen realistischen MDE festlegen entsprechend der geschäftlichen Herausforderungen (z. B.: 2 % auf einer Homepage ≠ 10 % auf einer Produktseite),
• Die Testdauer verlängern oder den Traffic bündeln, um eine ausreichende Power zu erreichen,
• Niemals ein „neutrales“ Testergebnis interpretieren, ohne dessen tatsächliche Power überprüft zu haben.