Durée d’un test A/B : le vrai calcul, et que faire quand le trafic ne suit pas

La réponse courte

La bonne durée d’un test A/B tient en une règle : laissez-le tourner jusqu’à la taille d’échantillon calculée avant son lancement, arrondissez à la hausse en semaines complètes, et ne descendez jamais sous une semaine entière. Vous lisez le résultat une seule fois, à la fin. Pas dès qu’il a l’air bon, et pas au bout de « deux semaines » parce que c’est ce que tout le monde répète.

Le temps nécessaire dépend de trois choses : la part de vos visiteurs qui achètent aujourd’hui, l’écart que vous voulez pouvoir détecter, et le nombre de visiteurs dont vous disposez. La suite de l’article fait les calculs, puis explique quoi faire quand ils donnent une durée plus longue que vous ne l’espériez.

Étape 1 : calculer la taille d’échantillon

La taille d’échantillon, c’est le nombre de visiteurs dont chaque version a besoin avant que le résultat soit fiable. Une règle empirique bien connue donne ce nombre par version, au seuil de significativité habituel de 5 % et avec une puissance de 80 % (Zhou et al. parlent d’« une règle empirique largement adoptée » ; Evan Miller l’a popularisée) :

visiteurs par version ≈ 16 × p × (1 − p) ÷ δ²

Ici, p est votre taux de conversion actuel et δ l’écart que vous voulez détecter, en valeur absolue. Plus l’écart est petit, plus il faut de visiteurs, et le besoin grimpe vite : divisez δ par deux, et il vous faut quatre fois plus de visiteurs.

Voici la même boutique, selon la hausse visée, avec la formule complète :

La règle empirique suffit pour une première estimation. Le tableau utilise la formule complète, la même que dans notre calculateur de test A/B gratuit : vos propres chiffres y donneront donc des résultats cohérents avec ceux-ci. Les termes sont expliqués dans le glossaire : effet minimal détectable, puissance statistique, taille d’échantillon.

Et la règle des « 1 000 visiteurs par version » ?

C’est une règle répandue, et un chiffre bien trop bas pour la plupart des boutiques. Avec un taux de conversion de 2 %, 1 000 visiteurs par version, ce sont environ 20 commandes de chaque côté. Avec si peu, le plus petit écart que vous pouvez détecter de façon fiable dépasse +100 % : il faudrait que la nouvelle version fasse plus que doubler vos ventes pour que le test s’en aperçoive. Rares sont les changements qui s’en approchent, même de loin. Avec des tests à 1 000 visiteurs, vous lirez surtout du bruit.

Étape 2 : faire tourner le test sur des semaines complètes

On n’achète pas de la même façon un lundi matin et un dimanche soir. Un test qui tourne du mardi au vendredi ne voit qu’un seul type d’acheteur. C’est pourquoi Optimizely conseille de faire tourner un test pendant au moins un cycle commercial (sept jours). La documentation d’Adobe arrondit la durée des tests à la semaine entière supérieure. Et l’équipe d’expérimentation de Microsoft, qui mène des milliers de tests, note que « la durée typique d’un test A/B est de 7 jours » et met en garde contre les effets du jour de la semaine.

Les semaines complètes aident aussi face à l’effet de nouveauté : des visiteurs réguliers cliquent parfois sur quelque chose simplement parce que c’est nouveau, puis l’effet s’estompe. L’équipe de Microsoft en décrit un symptôme : un « déclin rapide de l’effet estimé du traitement d’un segment de dates à l’autre ». Si votre nouvelle version gagne largement la première semaine, puis un peu moins chaque semaine suivante, fiez-vous aux dernières semaines. Plus de détails dans le glossaire.

Étape 3 : ne pas arrêter le test A/B trop tôt

Le peeking, ou « coup d’œil prématuré », consiste à regarder les résultats d’un test en cours et à l’arrêter dès qu’ils ont l’air bons. C’est là que la plupart des tests menés par des e-commerçants déraillent. Vous consultez le test chaque matin. Au 6e jour, la nouvelle version est devant et l’outil affiche « significatif ». Vous arrêtez tout et la mettez en ligne.

Le problème : le taux de faux positifs de 5 % qui se cache derrière ce « significatif » ne vaut que si vous regardez une seule fois, à la fin prévue. Chaque coup d’œil supplémentaire donne au bruit aléatoire une chance de plus de franchir la ligne. Dans l’un des exemples d’Evan Miller, regarder à répétition et s’arrêter au premier résultat significatif a fait monter le taux de faux positifs à 26,1 %, au lieu des 5 % que vous croyez avoir. Plus vous regardez souvent, plus il grimpe. Les ingénieurs de Spotify ont constaté qu’un seul coup d’œil en plus suffit déjà à rapprocher un test à 5 % d’un test à 10 %. Des chercheurs de Stanford et d’Optimizely le disent sans détour : les résultats classiques sont « totalement non fiables » si vous décidez quand arrêter en les surveillant.

Il existe des façons légitimes de regarder plus tôt, mais elles demandent des statistiques conçues pour cela (les tests séquentiels, qu’utilisent certains outils). Avec un test classique, la règle est simple : fixez la durée, puis n’y touchez plus. Dans le glossaire : coup d’œil prématuré (peeking).

Étape 4 : vérifier la répartition avant de lire le résultat

Avant de regarder quelle version a gagné, vérifiez que chacune a bien reçu sa part de visiteurs. Si un test 50/50 affiche 10 000 visiteurs d’un côté et 9 400 de l’autre, l’écart est beaucoup trop grand pour être dû au hasard (la probabilité est nettement inférieure à 1 sur 10 000). Quelque chose est cassé : une redirection, un script qui plante sur certains téléphones, des robots comptés d’un seul côté.

L’équipe de Microsoft est claire : un tel déséquilibre de répartition (sample ratio mismatch en anglais) « invalide généralement le test A/B ». N’essayez pas de sauver le résultat. Trouvez la cause, corrigez-la et relancez le test.

Quand vous manquez de trafic

Devant le tableau ci-dessus, la plupart des petits sites e-commerce vont faire la grimace. Treize semaines pour un seul test, c’est long. Avec un faible trafic, vous avez cinq options honnêtes :

1. Testez des changements plus importants. Il est plausible qu’une fiche produit repensée fasse bouger la conversion de 30 % ; pas une nouvelle couleur de bouton. Dans le tableau, passer de +20 % à +30 % divise la taille d’échantillon par plus de deux.

2. Mesurez une étape plus proche du changement. Les visiteurs qui ajoutent au panier sont bien plus nombreux que ceux qui achètent, donc l’ajout au panier donne une réponse fiable bien plus vite. Avec un taux d’ajout au panier de 8 %, repérer une hausse de 20 % demande environ 4 900 visiteurs par version, contre 21 100 pour les commandes à 2 %. À 500 visiteurs par jour, cela fait environ 3 semaines au lieu de 13. Optimizely donne le même conseil pour les sites à faible trafic. Un bémol : plus d’ajouts au panier ne veut pas toujours dire plus de commandes, alors surveillez aussi les commandes.

3. Testez un seul changement face à l’original. Chaque version supplémentaire a besoin de sa propre part de visiteurs. Dans un exemple chiffré de Seer Interactive, un test demandait 61 000 visiteurs avec deux versions, 91 000 avec trois et 122 000 avec quatre. Plus de versions, c’est aussi plus de risques de faux gagnant : Adobe calcule une probabilité de 18,5 % d’obtenir au moins un faux positif avec cinq versions.

4. Fixez la durée, puis regardez ce que vous pouvez détecter. Prenez le calcul à l’envers. Une boutique à 500 visiteurs par jour peut donner environ 7 000 visiteurs à chaque version en quatre semaines. Avec un taux de conversion de 2 %, cela suffit pour détecter une hausse d’environ +36 %, et rien de plus petit : c’est votre effet minimal détectable. Si le changement que vous avez en tête n’a pas de chance réaliste d’y arriver, le tester pendant quatre semaines vous dira seulement « pas de différence nette ».

5. Ne testez pas. Un bouton de commande cassé, des frais de livraison introuvables ou une page illisible sur téléphone n’ont pas besoin d’un test : il faut les corriger. Et quand vous ne savez pas quoi changer, la recherche utilisateur fonctionne avec peu de trafic, là où un test en est incapable : interrogez les visiteurs qui partent, ou regardez des enregistrements de vraies visites.

Jusqu’où pousser la durée d’un test A/B ?

Les tests longs ont leurs propres problèmes. Les gens effacent leurs cookies et passent du téléphone à l’ordinateur portable, si bien qu’au fil des mois, une même personne peut finir par voir les deux versions. Les saisons changent, et un test qui chevauche le Black Friday mesure le Black Friday. Chez Shopify, les tests de l’outil Experiments s’arrêtent d’ailleurs par défaut au bout de 90 jours.

Une limite pratique : si vos calculs indiquent qu’un test demande plus de deux mois environ, ne le lancez pas. Changez plutôt de plan, avec les options ci-dessus.

Avant de lancer le test

• Notez votre taux de conversion actuel, la plus petite hausse qui vaille la peine d’être détectée, le nombre de visiteurs par version et la durée en semaines complètes.
• Choisissez un indicateur principal (les commandes par visiteur, ou l’ajout au panier pour une petite boutique) et un garde-fou, comme le revenu par visiteur, pour repérer une « victoire » qui fait perdre de l’argent.
• Lisez le résultat une seule fois, à la fin.
• Vérifiez d’abord la répartition. Si elle est déséquilibrée, le résultat ne compte pas.

Si le calcul montre que la plupart de vos idées ne peuvent pas être testées, c’est utile aussi : vous savez qu’il faut consacrer votre temps aux changements assez importants pour se voir. Ce guide pour augmenter votre taux de conversion montre comment les trouver.