Calculadora de Significancia de Test A/B
Introduce visitantes y conversiones de dos variantes para comprobar si la diferencia es estadísticamente significativa.
Cómo se calcula la significancia de un test A/B
Esta calculadora ejecuta una prueba z de dos proporciones, comparando la tasa de conversión de la variante B con la de la variante A. Combina los datos de ambas variantes para estimar un error estándar, y luego mide cuántos errores estándar separan las dos tasas observadas (la puntuación z).
El valor p es la probabilidad de observar una diferencia tan grande (o mayor) puramente por azar si en realidad no hubiera diferencia entre las variantes. Un valor p inferior a 0,05 es el umbral habitual para considerar un resultado «estadísticamente significativo» al nivel de confianza del 95%.
Preguntas frecuentes
¿Qué significa un valor p de 0,05?
Significa que hay un 5% de probabilidad de observar una diferencia tan grande entre las dos variantes puramente por muestreo aleatorio, incluso si en realidad rinden de forma idéntica. Un valor p menor te da más confianza de que la diferencia observada es real.
Mi test es significativo, ¿puedo detenerlo ahora?
Comprobar la significancia repetidamente antes de alcanzar el tamaño de muestra previsto infla tu tasa de falsos positivos —un error común llamado «peeking». Decide tu tamaño de muestra de antemano (consulta la Calculadora de Tamaño de Muestra) y deja que el test se complete antes de sacar conclusiones.
¿La significancia estadística significa que la diferencia es prácticamente importante?
No necesariamente —con una muestra suficientemente grande, incluso una diferencia diminuta y prácticamente insignificante puede volverse estadísticamente significativa. Considera siempre el tamaño del efecto (el aumento real en la tasa de conversión) junto con su significancia estadística.