Potencia Estadística

Anticipar la capacidad de un test A/B para detectar un efecto real

📌 Definición de potencia estadística en A/B test

La potencia estadística es la probabilidad de que un test A/B detecte un efecto real si realmente existe.
Dicho de otro modo, evalúa la capacidad del test para evitar un falso negativo – es decir, no concluir erróneamente que una variación es ineficaz cuando en realidad produce un impacto real.

En un contexto de optimización de la tasa de conversión (CRO), una potencia suficiente garantiza que las decisiones derivadas de un test sean fundamentadas y accionables.

🎯 Nivel recomendado

En la mayoría de los casos, una potencia estadística del 80 % se considera el mínimo aceptable.
Esto significa que el test tiene un 80 % de probabilidades de detectar un efecto real, y solo un 20 % de riesgo de pasarlo por alto (error de tipo II).

⚖️ Elementos que influyen en la potencia

La potencia depende de tres parámetros clave:

1. Tamaño de la muestra
   → Cuanto más tráfico o conversiones tengas, más pequeños serán los efectos que podrás detectar.
2. Minimum Detectable Effect (MDE)
   → Es la amplitud mínima del efecto que quieres poder detectar (por ejemplo: +5 % de conversión).
   → Cuanto más pequeño sea el efecto esperado, más tráfico se necesitará para detectarlo con potencia suficiente.
3. Nivel de confianza (por ejemplo: 95 %)
   → Determina el umbral a partir del cual un resultado se considera estadísticamente significativo.
   → Cuanto más exigente sea el nivel, menor será la potencia (a tamaño de muestra constante).

❗ Por qué es crucial en A/B testing

Sin potencia suficiente:

• Corres el riesgo de rechazar una variación ganadora por falta de pruebas suficientes,
• Tu test puede calificarse de “neutro” cuando el efecto existe pero queda oculto por falta de datos,
• Pierdes tiempo, tráfico y oportunidades de optimización.

💡 Por el contrario, una buena potencia refuerza la fiabilidad de los aprendizajes, incluso en caso de resultado no significativo.

🧪 Ejemplos concretos

SituaciónPotencia bajaRiesgoEstás testando una variación con un MDE del 3 % pero con poco tráfico40 %Tienes un 60 % de probabilidad de pasar por alto un efecto realApuntas a una variación de +10 % en 20.000 sesiones85 %Buena potencia → conclusión fiable en caso de éxito o fracaso

✅ Buenas prácticas en CRO

• Calcular la potencia antes del test, con ayuda de una herramienta (Optimizely, AB Tasty, Evan Miller) o de un modelo personalizado (BigQuery, R),
• Definir un MDE realista según los retos de negocio (ej.: 2 % en una homepage ≠ 10 % en una ficha de producto),
• Alargar la duración del test o agrupar el tráfico para alcanzar una potencia suficiente,
• Nunca interpretar un test “neutro” sin haber verificado su potencia real.