Bayesian

Statistische benadering die gebaseerd is op het gebruik van waarschijnlijkheid om onzekerheid rond de parameters van een model te modelleren. In tegenstelling tot de frequentistische benadering combineert deze methode zowel de geobserveerde data als, indien beschikbaar, voorafgaande informatie (ook wel priors genoemd) om de waarschijnlijkheid van een hypothese bij te werken naarmate er nieuwe data wordt verzameld.

In de context van CRO / A/B testing:

De bayesiaanse benadering maakt het mogelijk om concrete vragen te beantwoorden, zoals:

“Hoe groot is de kans dat variatie B beter presteert dan variatie A?”

In plaats van een nulhypothese te verwerpen of niet, levert deze aanpak een directe en bruikbare waarschijnlijkheid op, die veel intuïtiever is voor business teams.

Voordelen voor CRO:

• Levert continu bruikbare resultaten op, zonder te hoeven wachten op een vooraf bepaalde steekproefgrootte,
• Past zich dynamisch aan het verloop van de test aan,
• Biedt duidelijke probabilistische schattingen: bijvoorbeeld, “er is 92% kans dat variatie B beter is dan A”,
• Vergemakkelijkt snelle en geleidelijke besluitvorming,
• Minder gevoelig voor vertekening door vroegtijdig stoppen (peeking),
• Compatibel met contexten van geavanceerde personalisatie of multi-variantentests.

Tools die de bayesiaanse benadering gebruiken:

• Optimizely (Stats Engine)
• VWO (Bayesian Engine)
• AB Tasty (Bayesiaanse optie)
• Convert.com, Google Ads (Experimenten), enz.

Aandachtspunten:

• De keuze en interpretatie van priors kunnen de resultaten beïnvloeden als ze slecht gekalibreerd zijn,
• Minder vertrouwd voor teams die puur data/wetenschappelijk zijn en gewend zijn aan traditionele tests.