Calculateur de Signification de Test A/B
Entrez les visiteurs et conversions pour deux variantes pour vérifier si la différence est statistiquement significative.
Comment la signification d'un test A/B est calculée
Ce calculateur effectue un test z à deux proportions, comparant le taux de conversion de la variante B à celui de la variante A. Il regroupe les données des deux variantes pour estimer une erreur type, puis mesure de combien d'erreurs types les deux taux observés diffèrent (le score z).
La valeur p est la probabilité d'observer une différence aussi grande (ou plus grande) purement par hasard s'il n'y avait réellement aucune différence entre les variantes. Une valeur p inférieure à 0,05 est le seuil courant pour qualifier un résultat de « statistiquement significatif » au niveau de confiance de 95 %.
Questions fréquentes
Que signifie une valeur p de 0,05 ?
Cela signifie qu'il y a 5 % de chances d'observer une différence aussi grande entre les deux variantes purement par échantillonnage aléatoire, même si elles performent réellement de manière identique. Une valeur p plus basse vous donne plus de confiance que la différence observée est réelle.
Mon test est significatif — puis-je l'arrêter maintenant ?
Vérifier la signification de manière répétée avant d'atteindre votre taille d'échantillon prévue gonfle votre taux de faux positifs — un piège courant appelé « peeking ». Décidez de votre taille d'échantillon à l'avance (voir le Calculateur de Taille d'Échantillon) et laissez le test se terminer avant de conclure.
La signification statistique signifie-t-elle que la différence est pratiquement importante ?
Pas nécessairement — avec un échantillon suffisamment grand, même une différence minuscule et pratiquement insignifiante peut devenir statistiquement significative. Considérez toujours la taille de l'effet (le gain réel du taux de conversion) en plus de sa signification statistique.