Calculator voor sequentiële test (mSPRT)

Mixture Sequential Probability Ratio Test, volgens Johari, Pekelis en Walsh, 'Always Valid Inference: Bringing Sequential Analysis to A/B Testing'. Mengprior N(0, τ²) op het ABSOLUTE effect θ = pB − pA. Met z = (pB − pA)/SE en ρ = τ²/SE²: Λ = √(1/(1+ρ)) × exp((z²/2) × ρ/(1+ρ)), en p_av = min(1, 1/Λ).

SE² neemt af met 1/n, ρ neemt toe met de steekproefgrootte: de penalty voor herhaalde metingen neemt toe naarmate er meer informatie is verzameld. De verkregen p-waarde is op elk moment geldig, ongeacht het tijdstip of het aantal keer dat ernaar is gekeken.

τ standaard = referentiepercentage × 5% verwachte relatieve uplift. τ bepaalt de gevoeligheid, niet de validiteit: een verkeerd gekalibreerde τ kost power, niet risicobeheersing.

Beperking: conservatiever dan een test met vaste looptijd bij dezelfde steekproefomvang. Dat is de expliciete prijs voor de vrijheid om te kijken wanneer je wilt.