p-value

مقياس إحصائي يُستخدم في المنهج التكراري (fréquentiste) للإشارة إلى احتمال ملاحظة النتائج التي تم الحصول عليها (أو نتائج أكثر تطرفًا) إذا كانت الفرضية الصفرية صحيحة. بعبارة أخرى، تُحدد درجة المفاجأة في الملاحظة مقارنة بوضع لا يوجد فيه أي فرق حقيقي بين النسخ التي تم اختبارها.

في سياق CRO / A/B testing:

في اختبار A/B، تنص الفرضية الصفرية على أن النسخة B ليس لها أي تأثير مقارنة بـ A.
➡️ تشير p-value منخفضة (مثال: 0.03) إلى أن النتائج الملاحظة غير متوافقة إلى حد كبير مع هذه الفرضية، مما يعزز فكرة وجود تأثير حقيقي.

للتذكير:

• تُعتبر p-value أقل من 0.05 (العتبة التقليدية) غالبًا ذات دلالة إحصائية ← يتم رفض الفرضية الصفرية.
• لا تُثبت p-value أعلى من 0.05 عدم وجود تأثير، بل تعني أنه لا توجد أدلة كافية للخروج باستنتاج.
• لا تقيس p-value احتمال أن تكون النسخة أفضل، ولا حجم التأثير. لهذا الغرض، يُنظر إلى uplift، وفترات الثقة أو الأثر التجاري المقدر.

الأخطاء الشائعة في CRO:

• تفسير p-value بمعزل عن حجم البيانات أو MDE أو السياق التجاري.
• "P-hacking": التوقف عن الاختبار بمجرد الوصول إلى 0.049 قد يؤدي إلى نتائج إيجابية كاذبة (نتائج مضللة).
• نسيان أن p-value لا تقول شيئًا عن الدلالة العملية: فقد يكون التأثير الطفيف ذا دلالة إحصائية لكنه غير مفيد عمليًا.