p値

頻度論的アプローチで用いられる統計的指標で、帰無仮説が真であると仮定した場合に、得られた結果(またはそれ以上に極端な結果)が観測される確率を示します。言い換えると、テストされたバリアント間に実際の差が全くない状況と比較して、観測結果がどれだけ意外であるかを数値化したものです。

CRO / A/B testingの文脈では:

A/B testにおいて、帰無仮説はバリエーションBがAに対して何の効果もないことを前提とします。
➡️ p値が低い場合(例:0.03)、観測された結果はこの仮説とは整合しにくいことを示し、実際に効果が存在するという考えを裏付けます。

覚えておくべきポイント:

• p値が0.05未満(一般的な閾値)の場合、多くの場合統計的に有意とみなされます → 帰無仮説を棄却します。
• p値が0.05を超える場合、効果がないことを証明するのではなく、結論を出すための十分な証拠がないことを意味します。
• p値はバリエーションがより優れている確率を測るものではなく、効果の大きさを示すものでもありません。そのためには、uplift、信頼区間、または推定ビジネスインパクトを確認する必要があります。

CROにおけるよくある落とし穴:

• データ量、MDE、ビジネスの文脈を考慮せずにp値を単独で解釈すること。
• 「P-hacking」:0.049に達した時点でテストを止めると、誤検知(偽陽性)(誤解を招く結果)につながる可能性があります。
• p値は実務的な有意性については何も語らないことを忘れてはいけません:わずかな効果でも統計的に有意になり得ますが、実用的には無意味な場合があります。