Statistische betrouwbaarheid

Mate van zekerheid die je hebt in de resultaten van een statistische test. Dit wordt doorgaans uitgedrukt in een percentage, bijvoorbeeld 95%, wat betekent dat als je de test een groot aantal keren onder dezelfde omstandigheden zou herhalen, 95% van de tests tot dezelfde conclusie zou leiden. Dit is een centraal begrip binnen frequentistische analyses, die in de meeste klassieke A/B testing-tools worden gebruikt.

Binnen de frequentistische benadering:

• De statistische betrouwbaarheid hangt samen met de kans om de nulhypothese ten onrechte te verwerpen (type I-foutrisico).
• Een betrouwbaarheidsniveau van 95% komt overeen met een significantiedrempel (p-waarde) van 0,05.
• Dit betekent dat je maximaal 5% kans accepteert dat het waargenomen verschil op toeval berust.

Voorbeeld: Als variatie B een statistische betrouwbaarheid van 96% heeft, ga je ervan uit dat deze significant beter presteert dan versie A, met een foutmarge van minder dan 4%.

Binnen de bayesiaanse benadering:

• Hier spreek je eerder van de kans dat een variatie beter is dan de andere (bijv.: "variatie B heeft 92% kans om beter te zijn dan A").
• Het gaat niet om een verwerpingstest, maar om een directe schatting van de kans op een echte winst.
• Deze benadering is vaak intuïtiever voor businessteams, maar hangt sterker af van de priors (uitgangspunten).

Binnen CRO:

Ongeacht het gekozen kader is statistische betrouwbaarheid essentieel om:

• de resultaten van een A/B test te valideren,
• valse positieven te beperken (effecten door toeval),
• weloverwogen beslissingen te nemen op basis van betrouwbare data.

Let op: een hoge statistische betrouwbaarheid garandeert geen significante business-impact. Je moet dit combineren met andere indicatoren (uplift, steekproefgrootte, incrementele waarde) om een implementatiebeslissing te onderbouwen.