Outil gratuit
Calcul De Taille D’Échantillon D’Un Test A/B
Arrêté avant d’avoir assez de visiteurs, un test A/B peut désigner un gagnant par simple hasard. Avant de lancer, fixe le plus petit écart qui t’intéresse : l’outil te dit combien de visiteurs par variante il faut pour le voir, et combien de jours ça prend.
La taille d’échantillon est le nombre de visiteurs qu’il faut dans chaque variante pour détecter un écart donné entre deux taux de conversion. Elle dépend du taux de départ, de l’écart visé, du niveau de confiance (souvent 95 %) et de la puissance (souvent 80 %), c’est-à-dire la probabilité de détecter l’écart s’il existe.
Tes Tests Manquent De Trafic ?
Plus de visiteurs qualifiés raccourcit chaque test. Les campagnes peuvent envoyer ce trafic vers la page que tu testes, au bon volume.
20 minutes · Sans engagement · Confidentiel
Comment se calcule la taille d’échantillon
n par variante = (p1 × (1 − p1) + p2 × (1 − p2)) × (zα/2 + zβ)² ÷ (p2 − p1)²
Avec 3 % de conversion et un écart visé de 15 %, la variante doit atteindre 3,45 %. À 95 % de confiance et 80 % de puissance, il faut 24 190 visiteurs par variante, soit 48 380 au total : un peu plus de 16 jours à 3 000 visiteurs par jour.
L’écart visé pèse le plus. Diviser par deux l’écart que tu veux détecter multiplie par près de quatre le nombre de visiteurs, parce que l’écart est au carré dans la formule. C’est pour ça qu’un petit site teste des changements francs, et qu’un gros site peut tester des détails.
La formule est celle des cours de statistiques pour comparer deux proportions, en test bilatéral : l’écart peut aller dans les deux sens (cours de l’université Dalhousie). Le résultat est un minimum : laisse aussi tourner le test sur des semaines complètes, pour que chaque jour de la semaine y compte autant.
Ce que le calcul t’évite
- Arrêter un test dès qu’une variante passe devant : les écarts des premiers jours bougent beaucoup tant que l’échantillon est petit.
- Lancer un test que ton trafic ne peut pas trancher : si le calcul donne trois mois, vise un écart plus grand ou une page plus visitée.
Questions fréquentes
Comment calculer la taille d’un échantillon ?
Pour un test A/B, il faut quatre chiffres : le taux de conversion actuel, l’écart à détecter, le niveau de confiance et la puissance. Avec 3 %, 15 %, 95 % et 80 %, la formule donne 24 190 visiteurs par variante.
Combien de temps doit durer un test A/B ?
Le temps que chaque variante atteigne sa taille d’échantillon : divise le total de visiteurs nécessaires par ton trafic quotidien. 48 380 visiteurs à 3 000 par jour donnent un peu plus de 16 jours, à arrondir à des semaines complètes.
Quelle différence avec la significativité ?
La taille d’échantillon se calcule avant le test, pour savoir combien de visiteurs attendre. La significativité se calcule après, pour savoir si l’écart observé est fiable : c’est le rôle du calcul de significativité d’un test A/B.
Partenaire de croissance
Positionnement, acquisition, innovation : on construit ensemble un système de croissance durable.
Théo MaupiléFreelance Paid Media
Google PartnerSuperMalter
