Test de significancia estadística A/B test

Método de análisis estadístico utilizado para determinar si los resultados observados en un test (como un A/B test) son suficientemente fiables para ser atribuidos a un efecto real en lugar de al azar o a una fluctuación aleatoria. Es una herramienta fundamental para validar o rechazar una hipótesis, basándose en datos cuantitativos.

🎯 Objetivo:

Evaluar si la diferencia entre dos (o más) variantes es estadísticamente significativa, es decir, que tiene pocas probabilidades de deberse al azar. Esto permite tomar decisiones fundamentadas y minimizar los falsos positivos (concluir erróneamente que una variación es mejor).

🔍 Funcionamiento:

El test se basa en dos hipótesis:

• Hipótesis nula (H₀): no hay ninguna diferencia real entre las variantes testadas.
• Hipótesis alternativa (H₁): hay una diferencia significativa.

Se calcula entonces un p-value: la probabilidad de obtener una desviación al menos tan grande como la observada, si la hipótesis nula fuera cierta.

→ Si el p-value es inferior al umbral de significación (generalmente 0,05), se rechaza la hipótesis nula → la diferencia se considera estadísticamente significativa.

📊 Indicadores asociados:

• P-value: medida de la sorpresa; cuanto más baja es, más probablemente el efecto es real.
• Nivel de confianza (a menudo 95 %): probabilidad de no equivocarse al concluir que existe una diferencia.
• Potencia estadística: capacidad del test para detectar un efecto real si existe, generalmente fijada en 80 % o más.
• Minimum Detectable Effect (MDE): cuanto más pequeño es el efecto esperado, más tráfico se necesita para concluir.

🧪 Aplicación en CRO:

En un A/B test o test multivariante, el test de significancia estadística es indispensable para:

• validar una variación como “ganadora” o no,
• evitar errores de interpretación debidos a efectos de ruido o a tests detenidos demasiado pronto (p-hacking),
• asegurarse de que los resultados sean generalizables, no simplemente vinculados a un periodo o un segmento particular.