Test voor statistische significantie A/B test

Statistische analysemethode die wordt gebruikt om te bepalen of de waargenomen resultaten in een test (zoals een A/B test) betrouwbaar genoeg zijn om toegeschreven te worden aan een werkelijk effect in plaats van aan toeval of een willekeurige schommeling. Het is een fundamenteel instrument om een hypothese te valideren of te verwerpen, op basis van kwantitatieve gegevens.

🎯 Doel:

Beoordelen of het verschil tussen twee (of meer) varianten statistisch significant is, dat wil zeggen dat de kans klein is dat het door toeval komt. Dit maakt het mogelijk om onderbouwde beslissingen te nemen en het aantal valse positieven te minimaliseren (ten onrechte concluderen dat een variant beter is).

🔍 Werking:

De test is gebaseerd op twee hypothesen:

• Nulhypothese (H₀): er is geen werkelijk verschil tussen de geteste varianten.
• Alternatieve hypothese (H₁): er is een significant verschil.

Vervolgens wordt een p-waarde berekend: de kans om een verschil te krijgen dat minstens zo groot is als het waargenomen verschil, als de nulhypothese waar zou zijn.

→ Als de p-waarde lager is dan de significantiedrempel (meestal 0,05), verwerp je de nulhypothese → het verschil wordt als statistisch significant beschouwd.

📊 Bijbehorende indicatoren:

• P-waarde: een maat voor verrassing; hoe lager, hoe groter de kans dat het effect reëel is.
• Betrouwbaarheidsniveau (vaak 95%): de kans dat je het niet mis hebt wanneer je concludeert dat er een verschil is.
• Statistische power: het vermogen van de test om een werkelijk effect te detecteren als dit bestaat, vaak vastgesteld op 80% of meer.
• Minimum Detectable Effect (MDE): hoe kleiner het verwachte effect, hoe meer verkeer er nodig is om een conclusie te trekken.

🧪 Toepassing in CRO:

Bij een A/B test of multivariate test is de test voor statistische significantie onmisbaar om:

• te bepalen of een variant “winnend” is of niet,
• interpretatiefouten te voorkomen die worden veroorzaakt door ruis of door tests die te vroeg zijn stopgezet (p-hacking),
• ervoor zorgen dat de resultaten generaliseerbaar zijn, en niet enkel gekoppeld aan een bepaalde periode of segment.