Confianza estadística

Nivel de certeza que se tiene en los resultados de un test estadístico. Generalmente se expresa en porcentaje, por ejemplo 95 %, lo que significa que si se repitiera el test un gran número de veces en las mismas condiciones, el 95 % de los tests llevarían a la misma conclusión. Es un concepto central en los análisis frecuentistas, utilizados en la mayoría de las herramientas clásicas de A/B testing.

En el enfoque frecuentista:

• La confianza estadística está vinculada a la probabilidad de rechazar erróneamente la hipótesis nula (riesgo de error de tipo I).
• Un nivel de confianza del 95 % corresponde a un umbral de significación (p-value) de 0,05.
• Esto indica que se acepta como máximo un 5 % de probabilidad de que la diferencia observada se deba al azar.

Ejemplo: Si la variación B tiene una confianza estadística del 96 %, se considera que supera significativamente a la versión A con un margen de error inferior al 4 %.

En el enfoque bayesiano:

• Se habla más bien de la probabilidad de que una variación sea mejor que la otra (ej.: "la variación B tiene un 92 % de probabilidades de ser superior a A").
• No se trata de un test de rechazo, sino de una estimación directa de la probabilidad de una ganancia real.
• Este enfoque suele ser más intuitivo para los equipos de negocio, pero depende más fuertemente de los priors (hipótesis de partida).

En CRO:

Sea cual sea el marco elegido, la confianza estadística es esencial para:

• validar los resultados de un test A/B,
• limitar los falsos positivos (efectos debidos al azar),
• tomar decisiones informadas basadas en datos fiables.

Atención: una confianza estadística elevada no garantiza un impacto significativo en el negocio. Debe cruzarse con otros indicadores (uplift, tamaño de la muestra, valor incremental) para guiar una decisión de implementación.