Calculateur de test A/B
Déterminez si les résultats de votre test A/B sont statistiquement significatifs. Entrez les visiteurs et les conversions des groupes contrôle et variante pour obtenir instantanément une analyse statistique incluant la valeur p, le score z, le gain relatif et la puissance.
Test z pour deux proportions : Z = (p₂ - p₁) / √(p̂ × (1 - p̂) × (1/n₁ + 1/n₂))
Groupe de contrôle
Groupe variante
Questions fréquentes
Qu'est-ce qu'un test A/B ?
Un test A/B (aussi appelé test fractionné) est une expérience contrôlée où vous comparez deux versions d'un élément (par exemple une page web, un e-mail ou une annonce) afin de déterminer laquelle fonctionne le mieux. La version A est le contrôle (original) et la version B est la variante (modifiée). Les utilisateurs sont répartis aléatoirement dans chaque groupe, puis leur comportement (conversions, clics, etc.) est mesuré.
Qu'est-ce que la signification statistique dans un test A/B ?
La signification statistique indique que la différence entre votre contrôle et votre variante a peu de chances d'être due au hasard. En général, un résultat est considéré comme significatif à 95 % de confiance, ce qui signifie qu'il existe moins de 5 % de probabilité que la différence observée soit arrivée par hasard. La valeur p quantifie cette probabilité.
Comment calculer la valeur p pour un test A/B ?
La valeur p est calculée avec un test z à deux proportions. Commencez par calculer le score z : Z = (p₂ - p₁) / √(p̂ × (1 - p̂) × (1/n₁ + 1/n₂)), où p̂ est la proportion regroupée. Convertissez ensuite le score z en valeur p bilatérale à l'aide de la loi normale standard.
Quel niveau de confiance dois-je utiliser ?
Un niveau de confiance de 95 % est le standard du secteur pour la plupart des tests A/B. Utilisez 90 % pour des décisions directionnelles ou des expériences rapides où la vitesse compte plus que la certitude. Utilisez 99 % pour des décisions à fort enjeu (changements de prix, refontes majeures) où un faux positif coûterait très cher.
Qu'est-ce que la puissance statistique ?
La puissance statistique est la probabilité de détecter un effet réel lorsqu'il existe. Une puissance de 80 % signifie que, s'il existe réellement une différence entre vos variantes, vous avez 80 % de chances de la détecter. Une faible puissance signifie que vous risquez de manquer de vraies améliorations (faux négatifs). La plupart des expériences devraient viser au moins 80 % de puissance.
Combien de temps dois-je laisser tourner un test A/B ?
Laissez tourner votre test jusqu'à atteindre la taille d'échantillon requise (utilisez notre calculateur de taille d'échantillon pour la déterminer). N'arrêtez jamais un test plus tôt simplement parce qu'il semble significatif : cela augmente les taux de faux positifs. Faites-le aussi tourner pendant au moins 1 à 2 cycles métier complets (souvent 1 à 2 semaines) afin de tenir compte des effets liés aux jours de la semaine.
Que signifie le pourcentage de gain relatif ?
Le gain relatif (ou hausse relative) est l'amélioration relative de la variante par rapport au contrôle. Il se calcule ainsi : gain relatif = (taux de la variante - taux du contrôle) / taux du contrôle × 100. Par exemple, si le contrôle convertit à 5 % et la variante à 6 %, le gain relatif est de 20 % : la variante fonctionne donc 20 % mieux que le contrôle.
Puis-je faire confiance aux résultats de mon test A/B avec une petite taille d'échantillon ?
Les petites tailles d'échantillon produisent des résultats peu fiables avec de larges intervalles de confiance. Même si vous observez une valeur p « significative » avec de petits échantillons, la taille d'effet observée est probablement exagérée. Visez une taille d'échantillon suffisante avant de tirer des conclusions. Utilisez notre calculateur de taille d'échantillon pour test A/B afin de planifier votre expérience.
Qu'est-ce que le test A/B ?
Le test A/B (aussi appelé test fractionné) est une méthode qui consiste à comparer deux versions d'une page web, d'un e-mail, d'une annonce ou de tout autre contenu afin de déterminer laquelle fonctionne le mieux. Les utilisateurs sont répartis aléatoirement en deux groupes : le groupe de contrôle (A) voit la version originale, tandis que le groupe variante (B) voit la version modifiée.
La question clé à laquelle répond un test A/B est : « La différence de performance entre A et B est-elle réelle, ou aurait-elle pu se produire par hasard ? » C'est là qu'intervient la signification statistique. Notre calculateur utilise un test z à deux proportions pour déterminer si la différence observée est statistiquement significative.
Le test A/B est essentiel à la prise de décision fondée sur les données en marketing, développement produit, conception UX et ingénierie de croissance. Des entreprises comme Google, Amazon, Netflix et Booking.com mènent chaque année des milliers de tests A/B pour optimiser leurs produits.
Formule statistique et fonctionnement
Ce calculateur utilise le test z à deux proportions pour comparer les taux de conversion entre deux groupes indépendants :
Étape 1 : calculer les taux de conversion
p₁ = Conversions₁ / Visitors₁
p₂ = Conversions₂ / Visitors₂
Étape 2 : calculer la proportion regroupée
p̂ = (C₁ + C₂) / (n₁ + n₂)
Étape 3 : calculer le score z
Z = (p₂ - p₁) / √(p̂ × (1 - p̂) × (1/n₁ + 1/n₂))
Étape 4 : convertir en valeur p (bilatérale)
p-value = 2 × (1 - Φ(|Z|))
Si la valeur p est inférieure à alpha (où alpha = 1 - niveau de confiance), le résultat est statistiquement significatif. Pour une confiance de 95 %, alpha = 0,05 ; une valeur p inférieure à 0,05 indique donc une signification statistique.
Exemples de calcul de test A/B
Exemple 1 : résultat significatif
Un site e-commerce teste une nouvelle page de paiement. Contrôle : 10 000 visiteurs, 300 achats. Variante : 10 000 visiteurs, 380 achats.
Taux du contrôle : 300/10 000 = 3,00 % Taux de la variante : 380/10 000 = 3,80 % Gain relatif : (3,80 - 3,00) / 3,00 = +26,67 % Proportion regroupée : 680/20 000 = 3,40 % SE = √(0,034 × 0,966 × 0,0002) = 0,00256 Z = 0,008 / 0,00256 = 3,125 Valeur p = 0,0018 Résultat : statistiquement significatif à 95 % de confiance
Exemple 2 : non significatif
Une entreprise SaaS teste une nouvelle page de tarification. Contrôle : 500 visiteurs, 25 inscriptions. Variante : 500 visiteurs, 30 inscriptions.
Taux du contrôle : 25/500 = 5,00 % Taux de la variante : 30/500 = 6,00 % Gain relatif : +20,00 % Z = 0,668 Valeur p = 0,504 Résultat : non significatif — il faut plus de données
Exemple 3 : la variante fonctionne moins bien
Un test de marketing par e-mail. Contrôle : 5 000 destinataires, 250 clics. Variante : 5 000 destinataires, 200 clics.
Taux du contrôle : 250/5 000 = 5,00 % Taux de la variante : 200/5 000 = 4,00 % Gain relatif : -20,00 % Z = -2,356 Valeur p = 0,0185 Résultat : statistiquement significatif — la variante est moins bonne
Choisir votre niveau de signification
| Confiance | Alpha (α) | Z critique | Idéal pour |
|---|---|---|---|
| 90% | 0.10 | 1.645 | Itérations rapides, changements à faible risque |
| 95% | 0.05 | 1.960 | Standard du secteur, la plupart des tests A/B |
| 99% | 0.01 | 2.576 | Décisions à fort enjeu, changements de prix |
Erreurs courantes dans les tests A/B
- Arrêter les tests trop tôt — Consulter les résultats avant d'atteindre la taille d'échantillon requise augmente les taux de faux positifs. Engagez-vous sur votre taille d'échantillon avant de commencer.
- Tester trop de variantes — Chaque variante supplémentaire nécessite une taille d'échantillon plus grande et augmente le risque de faux positifs (problème des comparaisons multiples).
- Ignorer la puissance statistique — Les tests de faible puissance manquent souvent des effets réels. Visez au moins 80 % de puissance lorsque vous planifiez votre test.
- Ne pas couvrir des cycles d'activité complets — Le comportement utilisateur varie selon le jour de la semaine, l'heure de la journée et la saison. Faites tourner les tests pendant au moins 1 à 2 semaines complètes.
- Tester de très petits changements sur de petits échantillons — Les petits effets nécessitent de grands échantillons pour être détectés. Utilisez le calculateur de taille d'échantillon pour planifier à l'avance.
- Choisir les métriques après coup — Décidez de la métrique à suivre avant de lancer le test. Examiner plusieurs métriques après coup augmente les fausses découvertes.
Quand utiliser un test A/B
- Optimisation de pages de destination — Titres, CTA, images, champs de formulaire, mise en page
- Marketing par e-mail — Objets, heures d'envoi, contenu, personnalisation
- Pages de tarification — Niveaux de prix, présentation des fonctionnalités, preuve sociale
- Campagnes publicitaires — Texte d'annonce, créations, ciblage, stratégies d'enchères
- Fonctionnalités produit — Parcours d'accueil, changements d'interface, emplacement des fonctionnalités
- Parcours de paiement — Conception des formulaires, options de paiement, signaux de confiance
Bonnes pratiques des tests A/B
- Définissez votre hypothèse avant le test — Notez ce que vous pensez qu'il va se passer et pourquoi. Cela évite les rationalisations a posteriori.
- Calculez la taille d'échantillon en amont — Utilisez notre calculateur de taille d'échantillon pour test A/B afin de déterminer combien de visiteurs il vous faut avant de commencer.
- Testez une seule variable à la fois — Modifier plusieurs éléments rend impossible l'identification du changement qui a causé l'effet.
- Assurez une répartition aléatoire — Les utilisateurs doivent être affectés au contrôle ou à la variante de manière aléatoire, avec une probabilité égale.
- Respectez toute la durée prévue — N'arrêtez pas le test trop tôt. Ne le prolongez pas simplement parce que les résultats ne sont pas significatifs.
- Tenez compte de la signification pratique — Une amélioration statistiquement significative de 0,1 % peut ne pas valoir le coût de développement. Évaluez l'impact commercial.
- Documentez tout — Consignez votre hypothèse, le calcul de taille d'échantillon, la durée du test et les résultats pour capitaliser l'apprentissage.