Statistische Power

Het vermogen van een A/B test om een reëel effect te detecteren vooraf inschatten

📌 Definitie van statistische power bij A/B testing

De statistische power is de waarschijnlijkheid dat een A/B test een reëel effect detecteert als dit daadwerkelijk bestaat.
Met andere woorden, het meet het vermogen van de test om een fout-negatief te vermijden – oftewel om niet ten onrechte te concluderen dat een variant niet effectief is, terwijl deze wél een echte impact heeft.

In het kader van conversieoptimalisatie (CRO) zorgt voldoende power ervoor dat de beslissingen op basis van een test gefundeerd en bruikbaar zijn.

🎯 Aanbevolen niveau

In de meeste gevallen wordt een statistische power van 80% beschouwd als het minimaal aanvaardbare niveau.
Dit betekent dat de test 80% kans heeft om een reëel effect te detecteren, en slechts 20% kans heeft dit te missen (type II-fout).

⚖️ Factoren die de power beïnvloeden

De power hangt af van drie belangrijke parameters:

1. Steekproefgrootte
   → Hoe meer traffic of conversies je hebt, hoe kleinere effecten je kunt detecteren.
2. Minimum Detectable Effect (MDE)
   → Dit is de minimale effectgrootte die je wilt kunnen detecteren (bijv.: +5% conversie).
   → Hoe kleiner het verwachte effect, hoe meer traffic nodig is om het met voldoende power te detecteren.
3. Betrouwbaarheidsniveau (bijv.: 95%)
   → Dit bepaalt de drempel vanaf wanneer een resultaat als statistisch significant wordt beschouwd.
   → Hoe strenger het niveau, hoe lager de power (bij een gelijkblijvende steekproefgrootte).

❗ Waarom dit cruciaal is bij A/B testing

Zonder voldoende power:

• Loop je het risico om een winnende variant af te wijzen bij gebrek aan voldoende bewijs,
• Kan je test als “neutraal” worden bestempeld, terwijl het effect wél bestaat maar verborgen blijft door een gebrek aan data,
• Verlies je tijd, traffic en optimalisatiekansen.

💡 Omgekeerd versterkt een goede power de betrouwbaarheid van je inzichten, zelfs bij een niet-significant resultaat.

🧪 Concrete voorbeelden

SituatieLage powerRisicoJe test een variant met een MDE van 3% maar weinig traffic40%Je hebt 60% kans dat je een echt effect mislooptJe richt je op een variant van +10% over 20.000 sessies85%Goede power → betrouwbare conclusie bij succes of mislukking

✅ Best practices in CRO

• Bereken de power vooraf, met behulp van een tool (Optimizely, AB Tasty, Evan Miller) of een eigen model (BigQuery, R),
• Bepaal een realistische MDE op basis van de business belangen (bijv.: 2% op een homepage ≠ 10% op een productpagina),
• Verleng de testduur of bundel traffic om voldoende power te bereiken,
• Interpreteer een “neutrale” test nooit zonder de werkelijke power te hebben gecontroleerd.