القوة الإحصائية

توقّع قدرة اختبار A/B على اكتشاف تأثير حقيقي

📌 تعريف القوة الإحصائية في A/B test

القوة الإحصائية هي احتمال أن يكتشف اختبار A/B تأثيرًا حقيقيًا إذا كان موجودًا فعلًا.
بعبارة أخرى، تُقيّم قدرة الاختبار على تجنب النتيجة السلبية الخاطئة – أي عدم الاستنتاج خطأً بأن نسخة ما غير فعالة في حين أنها تُحدث تأثيرًا حقيقيًا.

في سياق تحسين معدل التحويل (CRO)، تضمن القوة الكافية أن القرارات المستخلصة من الاختبار مبنية على أسس سليمة وقابلة للاستغلال.

🎯 المستوى الموصى به

في غالبية الحالات، تُعتبر قوة إحصائية بنسبة 80٪ الحد الأدنى المقبول.
وهذا يعني أن الاختبار لديه فرصة بنسبة 80٪ لاكتشاف تأثير حقيقي، وخطر بنسبة 20٪ فقط بأن يفوته (خطأ من النوع الثاني).

⚖️ العوامل المؤثرة في القوة

تعتمد القوة على ثلاثة معايير أساسية:

1. حجم العينة
   → كلما زادت الزيارات أو التحويلات، زادت قدرتك على اكتشاف التأثيرات الصغيرة.
2. Minimum Detectable Effect (MDE)
   → وهو أصغر حجم تأثير تريد أن تكون قادرًا على اكتشافه (مثلًا: +5٪ في التحويل).
   → كلما كان التأثير المتوقع أصغر، احتجت إلى زيارات أكثر لاكتشافه بقوة كافية.
3. مستوى الثقة (مثلًا: 95٪)
   → يحدد العتبة التي يُعتبر عندها النتيجة ذات دلالة إحصائية.
   → كلما كان المستوى أكثر صرامة، انخفضت القوة (مع ثبات حجم العينة).

❗ لماذا هذا الأمر بالغ الأهمية في A/B testing

بدون قوة كافية:

• قد ترفض نسخة فائزة بسبب نقص الأدلة الكافية،
• قد يُصنَّف اختبارك على أنه "محايد" في حين أن التأثير موجود فعليًا لكنه مخفي بسبب نقص البيانات،
• تخسر الوقت والزيارات وفرص التحسين.

💡 في المقابل، تعزّز القوة الجيدة موثوقية النتائج المستخلصة، حتى في حال كانت النتيجة غير ذات دلالة إحصائية.

🧪 أمثلة ملموسة

الموقفالقوة الإحصائيةالمخاطرةأنت تختبر نسخة بـ MDE بنسبة 3% ولكن بحركة مرور قليلة40%لديك احتمال 60% بأن تفوتك نتيجة حقيقيةأنت تستهدف نسخة بنسبة +10% على 20,000 جلسة85%قوة إحصائية جيدة ← استنتاج موثوق في حال النجاح أو الفشل

✅ أفضل الممارسات في CRO

• احسب القوة الإحصائية قبل بدء الاختبار، باستخدام أداة (Optimizely أو AB Tasty أو Evan Miller) أو نموذج مخصص (BigQuery، R)،
• حدّد MDE واقعي حسب الأهداف التجارية (مثال: 2% على الصفحة الرئيسية ≠ 10% على صفحة منتج)،
• مدّد مدة الاختبار أو اجمع حركة المرور للوصول إلى قوة إحصائية كافية،
• لا تفسّر أبدًا اختبارًا "محايدًا" دون التحقق من قوته الإحصائية الفعلية.