إذا كنت Data Analyst أو Product Manager أو حتى Growth Marketer، فربما سبق أن مررت بهذا الموقف؛ تطلق A/B test واعدًا وتنتظر أسابيع للحصول على نتائج… تتبين في النهاية أنها غير دالة إحصائيًا. أو الأسوأ من ذلك، تلاحظ أرقامًا تبدو مسطحة وفق طريقة حساب معينة، لكنها تصبح فجأة دالة عند تغيير المنهج الإحصائي. وخلال هذا الوقت، قد تخسر تحويلات (conversions) ثمينة، أو تترك نسخة أقل أداءً تضر بإيراداتك.
اليوم، تقدّم معظم أدوات A/B Test في السوق (مثل Kameleoon وAB Tasty وVWO أو Optimizely) منهجًا بايزيًا (bayésien) إلى جانب المنهج التكراري (fréquentiste) الكلاسيكي، بل إن بعضها سلك المسار المعاكس، مثل AB Tasty، الذي كان بايزيًا حصريًا قبل أن يعيد إدماج المنهج التكراري في تقاريره. لكن لماذا كل هذه التطورات؟ في Welyft، وبصفتنا وكالة متخصصة في CRO، نلاحظ غالبًا أن الفرق تجد صعوبة في تبرير اختيار منهجية إحصائية دون أخرى.
في هذا المقال، لن نثقل عليكم بالصيغ الرياضية. هدفنا هو مساعدتكم على فهم آليات المنهجيتين لاختيار الأنسب لسياقكم وحركة المرور لديكم وأهدافكم التجارية.
ما الذي يميز فعليًا المنهج التكراري (fréquentiste) عن المنهج البايزي (bayésien)؟
لفهم ما يجري بشكل جيد، لا بد من استيعاب الفلسفة الكامنة وراء المدرستين الإحصائيتين الكبيرتين.
المنهج "التكراري" (Fréquentiste)
المنهج التكراري (fréquentiste) هو المنهج التقليدي، ذاك الذي نتعلمه في المدرسة. يستمد اسمه من مفهوم "التكرار"، حيث يتوافق احتمال وقوع حدث ما مع التواتر الذي يحدث به لو كررنا التجربة إلى ما لا نهاية.
في A/B Test، نفكر "بالمقلوب". تنطلق الطريقة من مبدأ يسمى "الفرضية الصفرية" (hypothèse nulle). أي أننا نفترض عدم وجود أي فرق إطلاقًا بين النسخة A (تسمى "الأصلية" أو "الضابطة") والنسخة B (المتغيرة). هدفها بعد ذلك هو تجميع حجم بيانات محدد مسبقًا لإثبات خطأ هذه الفرضية، وبالتالي إظهار أن التغيير المُدخل دالّ إحصائيًا. لا داعي للقلق، فهذا الحساب لا يتم يدويًا، إذ توجد العديد من الأدوات لذلك، وقد أدرجنا أفضل أدوات الحساب في هذا المقال المخصص.
مؤشراتها الرئيسية هي p-value (التي تقيس احتمال أن يكون الفرق الملاحظ ناتجًا عن الصدفة) وفاصل الثقة (الذي يعني أنه لو كررت هذا الاختبار عدة مرات، فإن 90% من هذه الفواصل ستحتوي على المكسب الحقيقي). إنها في النهاية طريقة ثنائية: إما أن الفرق الملاحظ مجرد صدفة، أو أنه معتمد.
تشبيه المحكمة: الأمر أشبه بمحاكمة. تبقى النسخة B "بريئة" من أي تفوق ما لم تجمع كمًا كافيًا من الأدلة لإثبات العكس.
المنهج "البايزي" (Bayésien)
المنهج البايزي (bayésien) (المستمد من نظرية عالم الرياضيات البريطاني Thomas Bayes) يعمل كما يتصرف الإنسان عند اتخاذ قرار. فهو يدمج المعارف الموجودة ويحدّث احتمالاته في الوقت الفعلي في كل مرة يتفاعل فيها مستخدم جديد مع اختبارك. وبدلًا من السعي لإثبات حقيقة مطلقة، تمنحك هذه الطريقة إجابة بديهية وملموسة: "ما احتمال أن تكون النسخة B أفضل من A؟"
مؤشراتها الرئيسية هي احتمال الفوز (معبّرًا عنه مباشرة بنسبة مئوية لفرص تفوق B على A) وفاصل المصداقية (الذي يخبرك بشكل ملموس: "هناك احتمال 90% أن يتراوح مكسبك بين +1% و+3%").
تشبيه الرهان الرياضي: تخيل أنك تراهن على مباراة تنس. مع تقدم الأشواط وتسجيل اللاعبين للنقاط، تُعدّل ثقتك بشأن الفائز النهائي. أنت لا تنتظر نهاية المباراة لتفهم من المتفوق، بل تُحدّث "قناعتك" باستمرار وفق أحداث الملعب.
لا تجيب المنهجيتان عن السؤال نفسه. يسعى المنهج التكراري إلى تحديد ما إذا كان هناك فرق حقيقي بين A وB، وهي مسألة وجود. أما المنهج البايزي فيشير مباشرة إلى ما إذا كانت النسخة B أفضل من A وبأي احتمال، وهي مسألة قرار. وغالبًا ما تفوت هذه الفروقة الدقيقة على الفرق، مما يؤدي إلى تفسيرات خاطئة للنتائج.
ما هي المؤشرات الرئيسية للمنهجين التكراري والبايزي؟
عادة ما تتعقد الأمور هنا وتطغى المصطلحات التقنية. ببساطة، الإحصاء التكراري والإحصاء البايزي لا يجيبان ببساطة عن السؤال نفسه.
إليكم مقارنة واضحة لفهم ما تقرؤونه فعليًا:
| ما تسعى لمعرفته | المنهج التكراري (Fréquentiste) | المنهج البايزي (Bayésien) |
|---|---|---|
| السؤال الذي تجيب عنه الخوارزمية | «هل الفرق الملاحظ بين A و B ناتج عن الصدفة؟» | «ما احتمال أن يكون النسخة B أفضل من A؟» |
| مؤشر النجاح الرئيسي |
القيمة P (P-value) خلافاً للاعتقاد الشائع، هي ليست احتمال النجاح، بل احتمال الحصول على نتائج بنفس درجة الوضوح على الأقل مقارنة بالنتائج الملاحظة. تُستخدم لقياس وزن الصدفة؛ فكلما انخفضت القيمة P، كلما تراجعت فرضية التساوي بين A و B لصالح وجود فرق حقيقي. لهذا السبب غالباً ما تُعرض على شكل «1 - Pvalue»، لتحويل مؤشر إحصائي إلى نسبة ثقة أكثر وضوحاً وبديهية. |
احتمال الفوز باختصار: الأمر مباشر وبديهي. الأداة تخبرك حرفياً: «هناك احتمال 95% بأن صفحة المنتج الجديدة تحقق تحويلاً أفضل من الحالية» |
| تقدير المكاسب المحتملة |
فاصل الثقة (Intervalle de confiance) احذر الفخ! هذا المؤشر لا يعطيك احتمال وقوع مكسبك ضمن هذا الفاصل. بل يقيّم الموثوقية على المدى الطويل. فمثلاً، فاصل ثقة بنسبة 90% يعني أنه لو كررت هذه العملية بأكملها (جمع البيانات وحساب الفاصل) عدداً كبيراً من المرات، فإن 90% من هذه الفواصل ستحتوي على المعدل الحقيقي. |
فاصل المصداقية (Intervalle de crédibilité) هذا تقدير مباشر وسهل الفهم لأعمالك. فمثلاً، فاصل مصداقية بنسبة 90% يعني أن هناك احتمال 90% بأن المكسب الحقيقي يقع ضمن هذا الفاصل. |
| قاعدة حجم العينة |
حجم ثابت يجب عليك حساب عدد الزوار المطلوب قبل إطلاق الاختبار وعدم التدخل حتى يتم بلوغ هذا الرقم |
حجم مرن تُحدَّث الخوارزمية باستمرار مع كل زيارة جديدة. لا يوجد حجم عينة ثابت يجب الالتزام به مسبقاً |
| المراقبة أثناء سير الاختبار (Data peeking) |
ممنوعة منعاً باتاً اتخاذ قرار قبل انتهاء الاختبار يشوّه التحليل ويضاعف خطر اعتماد فائز زائف |
مسموحة يمكنك مراقبة الاتجاهات يوماً بيوم. مثالية لإيقاف نسخة فوراً إذا تبيّن أنها تضرّ بمبيعاتك. |
في النهاية، قد تبدو مفاهيم المنهج التكراري (مثل القيمة P-value الشهيرة P-value) غير بديهية لأي شخص، وغالباً ما تدفع الفرق إلى إساءة تفسير النتائج. لكن صرامته لها ميزة، فهي لا تترك أي مجال للتأويل. فتحت عتبة الثقة المحددة، يكون الحكم قاطعاً: يبقى الاختبار غير حاسم، وهذا كل ما في الأمر.
تمتد هذه الصرامة حتى إلى مرحلة التحضير. فمن خلال حساب مدة الاختبار قبل إطلاقه، تنظّم خارطة طريق تجاربك بشكل طبيعي، وتتجنب التداخل بين اختبارات تستهدف نفس النطاق، وتعرف دائماً متى يمكنك إطلاق الاختبار التالي.
على العكس من ذلك، تتماشى مفاهيم المنهج البايزي مع واقع أعمالنا، فهو يُقيّم مخاطرة ويقدّر مكسباً مالياً، ما يسهّل كثيراً اتخاذ القرار في الاجتماعات. لكن هذه المرونة لها ثمن. فلا يوجد ضابط يمنعك من إعلان نسخة فائزة بناءً على احتمال فوز لا يزال هشاً. ويزداد هذا الخطر وضوحاً عند التأثيرات الصغيرة، حيث يبقى فاصل المصداقية واسعاً ويستغرق وقتاً ليستقر، حتى عندما يبدو احتمال الفوز واعداً بالفعل.
هل يمكن حقاً قراءة النتائج في الوقت الفعلي؟
العيب الكبير في المنهج التكراري هو صرامته. فإذا راقبت نتائجك أثناء سير الاختبار (وهو ما يُعرف بـ«Data Peeking») واتخذت قراراً قبل بلوغ عتبة حجم العينة المحسوبة مسبقاً، فإنك تشوّه تحليلك.
أما المنهج البايزي، فيمكن أن يكون معجّلاً حقيقياً لاتخاذ القرارات، لكن هذه المرونة لا تبرر التسرع. قبل إيقاف أي اختبار، تأكد دائماً من أن الاتجاه الملاحظ واضح ومؤكد على مدى عدة أيام. فأثر الجدة، أو الموسمية، أو مجرد تذبذب عابر، يمكن أن يعطي بسهولة إنذاراً كاذباً، خاصة عندما يكون فاصل المصداقية لا يزال غير مستقر. وبمجرد توفر هذه الشروط، يمكنك إيقاف اختبار إذا كان يتسبب في انخفاض مبيعاتك، أو نشر النسخة الفائزة دون انتظار أسابيع بسبب حجم عينة ثابت، بمجرد الحصول على احتمال نجاح مطمئن مع فاصل مصداقية متقارب.
أي منهج يناسب أي سياق؟
لا توجد طريقة «سيئة»، بل هناك فقط طرق مطبّقة بشكل غير مناسب على سياق معين. إليك كيف نوصي باستخدامها في مسائل التجارة الإلكترونية أو توليد العملاء المحتملين (lead gen) لديك.
متى تستخدم المنهج التكراري؟
يُفضَّل اعتماده عند العمل على تغييرات هيكلية كبرى أو اختبارات عالية المخاطر حيث يكون خطأ القرار مكلفاً جداً. ستحتاج إلى هذه «الصرامة العلمية» التي تتطلب الانتظار حتى نهاية الاختبار للتوصل إلى استنتاج، وذلك للحد من المخاطر قدر الإمكان.
- مثال 1: إعادة التصميم الكامل لقمع الشراء. تخيّل أنك تغيّر تصميم جميع مراحل صفحة الدفع لديك. إذا أخطأت، ستكون الخسارة في رقم الأعمال هائلة. لذا ستحتاج إلى صرامة المنهج التكراري لتكون متأكداً بنسبة 100% من الدلالة الإحصائية قبل تكليف مطوّريك بمشروع يستغرق شهراً.
- مثال 2: على المواقع ذات حركة المرور العالية جداً، حيث يتم بلوغ حجم العينة المطلوب في غضون أيام قليلة فقط. يتيح حجم البيانات هنا الاستفادة من صرامة النموذج التكراري دون التعرض لفترات الانتظار المعتادة، مما يحقق نفس سرعة استجابة المنهج البايزي.
الأداة الموصى بها للمنهج التكراري: حاسبة Welyft
متى تستخدم المنهج البايزي؟
إنه مثالي للمرونة اليومية والاختبارات التكرارية. يتيح التوقف مبكراً إذا تفوقت إحدى النسخ بشكل واضح، وتفسير النتائج بطريقة أكثر بداهة بكثير.
- مثال 1: على الصفحات ذات حركة المرور المنخفضة (مثلاً، B2B أو سوق متخصص). هنا، الحصول على حجم العينة المطلوب وفق المنهج التكراري قد يستغرق منك 6 أشهر. أما المنهج البايزي، فسيمكّنك من استخلاص احتمال نجاح موثوق بشكل أسرع بكثير.
- مثال 2: على التحسينات الدقيقة (مثلاً، الصياغة، عناصر الطمأنة...). لأن تكلفة التنفيذ في هذه الحالة منخفضة. فإذا أشار فاصل المصداقية إلى مكسب محتمل يتراوح بين 1%+ و3%+، يمكنك التكرار والنشر دون انتظار تأكيد مطلق.
- مثال 3: على الحملات الترويجية القصيرة (مثلاً، التنزيلات، الجمعة السوداء...). هنا، الوقت محدود، والمنهج البايزي يتيح لك التحول إلى النسخة الفائزة بمجرد ظهور اتجاه قوي، مما يعظّم الربح الفوري.
أداة موصى بها للمنهج Bayésien: حاسبة Welyft
ما هي الخبرة الحقيقية في CRO وسط كل هذا؟
استخدام الأداة المناسبة في الوقت المناسب هو جوهر الخبرة الحقيقية في CRO، لكن هذه المرونة في الاختيار يجب ألا تتحول إلى غموض منهجي. يجب تحديد المنهجية قبل إطلاق الاختبار، وليس أثناء سيره. فتغيير المقاربة الإحصائية في منتصف التجربة، أو التنقل بين المنهجين بحسب النتائج التي تناسبكم، يعقّد بشكل كبير توثيق نتائجكم ويضعف موثوقية استنتاجاتكم.
تذكروا الأساسيات. المنهج التكراري (fréquentiste) يمنحكم الدقة، وهو مثالي للقرارات ذات المخاطر العالية. أما المنهج البايزي (bayésien) فيمنحكم المرونة، وهو مثالي للتكرار السريع واتخاذ القرار في الوقت الفعلي. ومع ذلك، فهو غير مناسب لاختبارات عدم الدونية (non-infériorité)، إذ يكتفي بالإشارة إلى ما إذا كان أحد المتغيرات أفضل من الآخر، دون أن يتمكن من تأكيد أنه ليس أسوأ بشكل ملحوظ.
لدى Welyft، وبصفتنا خبراء في CRO، نختار دائمًا المنهجية التي تخدم النتائج، لا تلك التي تفرضها الموضة. لأن القرار الجيد في CRO هو أولًا وقبل كل شيء المقاربة المناسبة وفقًا للسياق وحجم الزيارات والأهداف التجارية.
