Frequentist

Enfoque estadístico que consiste en estimar los parámetros de un modelo (media, tasa de conversión, etc.) únicamente a partir de los datos observados, sin utilizar información a priori. Se basa en conceptos como la hipótesis nula, los tests de significación, los p-values y los intervalos de confianza, y constituye el enfoque tradicional del análisis estadístico.

En A/B testing y CRO:

El enfoque frequentist se ha utilizado históricamente en numerosas calculadoras de confianza de A/B testing para determinar si una variación produce un efecto significativo o no.

Busca responder a la pregunta:

“Si la variación probada no tiene ningún efecto real, ¿cuál es la probabilidad de obtener tal resultado por azar?”

Pero este enfoque se basa en restricciones fuertes:

• Tamaño de muestra suficiente,
• Duración del test respetada (riesgos vinculados a la interrupción anticipada),
• Interpretación técnica de los resultados (p-value ≠ probabilidad de que B sea mejor).

Límites en un contexto CRO:

• Tests a menudo más largos debido a la necesidad de alcanzar un tamaño de muestra predefinido,
• Menos intuitivo para los equipos no técnicos,
• Más sensible a errores de lectura o a prácticas de riesgo como el p-hacking,
• No da directamente la probabilidad de que una variación sea mejor.

Tendencia actual: paso al enfoque bayesiano

En el ámbito del CRO, el enfoque frecuentista se abandona cada vez más en favor de la estadística bayesiana, que:

• proporciona resultados aprovechables más rápidamente,
• se adapta dinámicamente al tamaño de la muestra,
• permite estimar directamente la probabilidad de que una variación supere al resto,
• facilita la toma de decisiones de los equipos de producto y marketing.

Plataformas como VWO, Convert, Optimizely (nueva versión) o AB Tasty (modo bayesiano) integran ahora motores estadísticos bayesianos para acelerar el análisis y reducir los errores de interpretación.