Frequentist

Statistische aanpak waarbij je de parameters van een model (gemiddelde, conversiepercentage, enz.) uitsluitend schat op basis van de geobserveerde data, zonder gebruik te maken van voorafgaande informatie. Deze aanpak is gebaseerd op concepten zoals de nulhypothese, significantietests, p-waarden en betrouwbaarheidsintervallen, en vormt de traditionele benadering van statistische analyse.

In A/B testing en CRO:

De frequentistische aanpak wordt van oudsher gebruikt in veel betrouwbaarheidscalculators voor A/B testing om te bepalen of een variatie al dan niet een significant effect heeft.

Deze aanpak probeert de volgende vraag te beantwoorden:

“Als de geteste variatie geen enkel reëel effect heeft, hoe groot is dan de kans om zo'n resultaat toevallig te behalen?”

Maar deze aanpak is gebonden aan strenge voorwaarden:

• Voldoende steekproefgrootte,
• Naleving van de testduur (risico's bij vroegtijdige stopzetting),
• Technische interpretatie van de resultaten (p-waarde ≠ kans dat B beter is).

Beperkingen in een CRO-context:

• Vaak langere tests doordat een vooraf bepaalde steekproefgrootte bereikt moet worden,
• Minder intuïtief voor niet-technische teams,
• Gevoeliger voor interpretatiefouten of risicovolle praktijken zoals p-hacking,
• Geeft niet direct de kans dat een variatie beter is.

Huidige trend: overgang naar de bayesiaanse aanpak

In de wereld van CRO wordt de frequentistische aanpak steeds vaker losgelaten ten gunste van bayesiaanse statistiek, die:

• sneller bruikbare resultaten oplevert,
• past zich dynamisch aan de steekproefgrootte aan,
• maakt het mogelijk om de kans dat een variatie beter presteert direct te schatten,
• vergemakkelijkt de besluitvorming voor product- en marketingteams.

Platforms zoals VWO, Convert, Optimizely (nieuwe versie) of AB Tasty (Bayesiaanse modus) integreren inmiddels Bayesiaanse statistische engines om de analyse te versnellen en interpretatiefouten te verminderen.