Vals-positieven

Resultaat van een statistische test die ten onrechte aangeeft dat een effect significant is, terwijl dat in werkelijkheid niet het geval is. Binnen CRO en A/B testing kan een vals-positief ertoe leiden dat je een ineffectieve variant valideert, wat kan resulteren in contraproductieve beslissingen (bijv. het uitrollen van een versie die geen enkele echte winst oplevert).

Vals-positieven hangen samen met het betrouwbaarheidsniveau dat je voor een test kiest (vaak 95%): er is altijd een kans (bijv. 5%) dat je concludeert dat er een verschil is, terwijl dit puur toeval is. Dit fenomeen is des te kritischer wanneer je veel tests tegelijk uitvoert, zonder controle over het percentage vals-positieven (bijv. via Bonferroni-correctie of false discovery rate-test).

Vals-positieven zijn het tegenovergestelde van vals-negatieven, die juist een daadwerkelijk aanwezig effect missen. De juiste balans vinden tussen deze twee soorten fouten is essentieel voor betrouwbare experimenten en een solide CRO-strategie.