偽陽性

統計検定の結果、実際には効果が有意でないにもかかわらず、誤って有意であると示すこと。CROやA/B testingの文脈では、偽陽性は効果のないバリエーションを採用してしまうことにつながり、非生産的な意思決定を招くリスクがあります(例:実際には何の成果ももたらさないバージョンを全体に展開してしまうなど)。

偽陽性は、テストで選択される信頼水準(多くの場合95%)と関係しています。単なる偶然による差を「差がある」と結論づけてしまう確率(例:5%)は常に存在します。この現象は、多数のテストを同時に実施し、偽陽性率を管理しない場合(例:Bonferroni補正や偽発見率による検定を用いない場合)に、さらに深刻になります。

偽陽性は偽陰性の逆であり、偽陰性は実際に存在する効果を見逃してしまうものです。信頼性の高い実験と強固なCRO戦略のためには、この2種類の誤りの適切なバランスを見極めることが不可欠です。