p-waarde

Statistische maatstaf die wordt gebruikt in de frequentistische aanpak om de kans aan te geven dat de verkregen resultaten (of nog extremere resultaten) worden waargenomen als de nulhypothese waar zou zijn. Met andere woorden, het kwantificeert de mate van verrassing van de waarneming ten opzichte van een situatie waarin er geen werkelijk verschil zou zijn tussen de geteste varianten.

In de context van CRO / A/B testing:

In een A/B test stelt de nulhypothese dat variant B geen enkel effect heeft ten opzichte van A.
➡️ Een lage p-waarde (bijv. 0,03) geeft aan dat de waargenomen resultaten weinig verenigbaar zijn met deze hypothese, wat het idee versterkt dat er een werkelijk effect bestaat.

Om te onthouden:

• Een p-waarde lager dan 0,05 (klassieke drempel) wordt vaak beschouwd als statistisch significant → de nulhypothese wordt verworpen.
• Een p-waarde hoger dan 0,05 bewijst niet dat er geen effect is, maar dat je onvoldoende bewijs hebt om een conclusie te trekken.
• De p-waarde meet niet de kans dat de variant beter is, noch de omvang van het effect. Daarvoor kijk je naar de uplift, de betrouwbaarheidsintervallen of de geschatte business impact.

Veelvoorkomende valkuilen in CRO:

• Een p-waarde geïsoleerd interpreteren zonder rekening te houden met het datavolume, de MDE of de business context.
• "P-hacking": een test stopzetten zodra je 0,049 bereikt, kan leiden tot valse positieven (misleidende resultaten).
• Vergeten dat de p-waarde niets zegt over de praktische significantie: een minimaal effect kan significant maar nutteloos zijn.