逐次検定計算ツール(mSPRT)

Johari、Pekelis、Walshの「Always Valid Inference: Bringing Sequential Analysis to A/B Testing」に基づくMixture Sequential Probability Ratio Test。絶対効果θ = pB − pAに対する混合事前分布N(0, τ²)。z = (pB − pA)/SE、ρ = τ²/SE²として：Λ = √(1/(1+ρ)) × exp((z²/2) × ρ/(1+ρ))、p_av = min(1, 1/Λ)。

SE²は1/nで減少し、ρはサンプルサイズとともに増加します。繰り返し確認することによるペナルティは、蓄積される情報量とともに大きくなります。得られたp値は、確認のタイミングや回数に関わらず、常に有効です。

デフォルトのτ = 基準率 × 期待される相対upliftの5%。τは感度を調整するものであり、妥当性には影響しません。τの較正が不適切な場合、検出力が低下しますが、リスク管理には影響しません。

制限事項:同じサンプルサイズの固定期間テストより保守的になります。これは、いつでも確認できる自由のための明確な代償です。