الثقة الإحصائية

مستوى اليقين الذي نملكه في نتائج اختبار إحصائي. يُعبَّر عنها عادةً بـنسبة مئوية، على سبيل المثال 95%، وهو ما يعني أنه لو كرّرنا الاختبار عددًا كبيرًا من المرات في نفس الظروف، فإن 95% من الاختبارات ستؤدي إلى نفس النتيجة. وهذا مفهوم أساسي في التحليلات التكرارية (fréquentiste)، المستخدمة في غالبية أدوات A/B testing التقليدية.

في المقاربة التكرارية:

• ترتبط الثقة الإحصائية بـاحتمال رفض الفرضية الصفرية خطأً (خطر الخطأ من النوع الأول).
• مستوى ثقة بنسبة 95% يقابل عتبة دلالة (p-value) تبلغ 0.05.
• وهذا يعني أننا نقبل بحد أقصى 5% من احتمال أن يكون الفرق الملاحَظ ناتجًا عن الصدفة.

مثال: إذا كانت النسخة B تتمتع بثقة إحصائية تبلغ 96%، فإننا نعتبر أنها تتفوق بشكل ملحوظ على النسخة A بهامش خطأ أقل من 4%.

في المقاربة البايزية:

• نتحدث هنا عن احتمال أن تكون نسخة أفضل من أخرى (مثال: "النسخة B لديها احتمال 92% بأن تكون أفضل من A").
• لا يتعلق الأمر باختبار رفض، بل بـتقدير مباشر لاحتمال وجود مكسب حقيقي.
• غالبًا ما تكون هذه المقاربة أكثر سهولة للفهم بالنسبة لفرق العمل، لكنها تعتمد بشكل أكبر على الاحتمالات المسبقة (priors) (الفرضيات الأولية).

في مجال CRO:

أيًا كان الإطار المُعتمد، تُعد الثقة الإحصائية أساسية من أجل:

• التحقق من صحة نتائج اختبار A/B،
• الحد من النتائج الإيجابية الكاذبة (التأثيرات الناتجة عن الصدفة)،
• اتخاذ قرارات مدروسة بالاستناد إلى بيانات موثوقة.

تنبيه: الثقة الإحصائية المرتفعة لا تضمن تأثيرًا تجاريًا ملموسًا. يجب مقارنتها بمؤشرات أخرى (uplift، حجم العينة، القيمة التراكمية) لتوجيه قرار التنفيذ.