p-value

Medida estadística utilizada en el enfoque frecuentista para indicar la probabilidad de observar los resultados obtenidos (o resultados aún más extremos) si la hipótesis nula fuera verdadera. Dicho de otro modo, cuantifica el grado de sorpresa de la observación respecto a una situación en la que no habría ninguna diferencia real entre las variantes probadas.

En contexto CRO / A/B testing:

En un test A/B, la hipótesis nula establece que la variación B no tiene ningún efecto en comparación con A.
➡️ Una p-value baja (por ejemplo: 0,03) indica que los resultados observados son poco compatibles con esta hipótesis, lo que refuerza la idea de que existe un efecto real.

A tener en cuenta:

• Una p-value inferior a 0,05 (umbral clásico) suele considerarse estadísticamente significativa → se rechaza la hipótesis nula.
• Una p-value superior a 0,05 no demuestra que no haya efecto, sino que no se cuenta con pruebas suficientes para concluir.
• La p-value no mide la probabilidad de que la variación sea mejor, ni la magnitud del efecto. Para eso, se analiza el uplift, los intervalos de confianza o el impacto de negocio estimado.

Errores frecuentes en CRO:

• Interpretar una p-value de forma aislada sin tener en cuenta el volumen de datos, el MDE o el contexto de negocio.
• "P-hacking": detener un test en cuanto se alcanza 0,049 puede dar lugar a falsos positivos (resultados engañosos).
• Olvidar que la p-value no indica nada sobre la significancia práctica: un efecto mínimo puede ser significativo pero inútil.