Glossaire
Chaque terme que vous croiserez en testant votre boutique, expliqué sans le jargon qui l’entoure d’habitude. Cherchez, ou naviguez librement.
35 termes
A
Quand un client ajoute quelque chose au panier et part sans acheter.
La recherche sur les raisons de l’abandon pointe toujours les mêmes quelques causes : des frais inattendus comme la livraison, l’obligation de créer un compte, une livraison lente, le manque de confiance pour donner sa carte, et un paiement trop long.
Le scan d’Echo les recherche, et ses sondages le demandent directement aux clients.C
La probabilité qu’une variante soit meilleure que l’original, d’après les données disponibles.
« B a 96 % de chances de battre A » signifie que, compte tenu de tout ce qui a été observé, il y a 96 % de probabilité que le vrai taux de conversion (ou revenu par visiteur) de B soit plus élevé. Cela ne dit pas de combien ; regardez pour cela la fourchette des hausses probables.
Echo désigne un gagnant à 95 % par défaut, et vous pouvez fixer votre propre seuil.La version d’origine dans un test, celle à laquelle tout le reste est comparé.
Généralement la version A. Un bon test change une seule chose par rapport au contrôle, pour savoir ce qui a fait la différence.
Consulter les résultats d’un test sans cesse et s’arrêter dès qu’ils paraissent significatifs.
Chaque coup d’œil est une nouvelle chance pour le bruit de franchir la ligne. Arrêtez au premier bon moment et vous couronnerez bien plus de faux gagnants que votre taux d’erreur annoncé. La solution : une taille d’échantillon planifiée, lue une fois.
Voyez-le se produire en direct sur la page des tests A/B.D
Quand un test 50/50 ne finit pas proche de 50/50.
Les répartitions aléatoires ne sont jamais parfaitement égales, mais un gros écart (disons 52/48 sur des milliers de visiteurs) signifie en général que quelque chose est cassé : une redirection, un filtre anti-robots, ou une variante qui plante pour certains visiteurs. Les résultats d’un test avec SRM ne sont pas fiables.
Echo met en pause les tests à la répartition faussée.E
Un pic temporaire parce que quelque chose est nouveau, pas parce que c’est mieux.
Les visiteurs fidèles peuvent cliquer sur un élément modifié simplement parce qu’il est différent. Faire tourner les tests par semaines entières, et assez longtemps pour que la nouveauté s’estompe, évite d’être trompé.
La plus petite hausse qu’un test est conçu pour détecter de façon fiable.
Plus l’effet à capter est petit, plus il faut de visiteurs, et le besoin grimpe vite : détecter une hausse deux fois plus petite demande environ quatre fois plus de trafic. Sur une boutique calme, testez des changements audacieux, pas des couleurs de bouton.
F
Manquer une vraie amélioration parce que le test ne pouvait pas la voir.
Généralement le résultat d’un test trop petit : pas assez de visiteurs ou de commandes pour distinguer une hausse réelle mais modeste du bruit. Planifier la taille d’échantillon en amont permet de l’éviter.
Désigner un gagnant qui n’en est pas un.
Le pur hasard fait paraître une version meilleure de temps en temps. Regarder les résultats encore et encore et s’arrêter au premier bon moment rend les faux gagnants bien plus fréquents que ne l’admet le tableau de bord.
G
Une part des visiteurs tenue à l’écart de tous les changements, pour mesurer leur effet combiné.
Chaque test mesure un changement. Un groupe témoin mesure tout d’un coup : quelques pour cent des visiteurs gardent l’ancienne expérience, et l’écart de revenu par visiteur entre eux et tous les autres, sur la même période, est ce que tous les changements ensemble ont rapporté.
Le groupe témoin d’Echo montre ce qu’il vous a rapporté sous forme de fourchette.H
De combien une variante a fait mieux (ou moins bien) que le contrôle, en pourcentage.
Si le contrôle convertit à 2,0 % et la variante à 2,2 %, la hausse est de +10 %. Lisez toujours une hausse avec sa fourchette : « +10 % » issu d’un tout petit test peut facilement aller de −5 % à +25 %.
Une supposition testable : si on change X, Y s’améliore, parce que Z.
Le « parce que » compte. Un test sans raison ne vous apprend rien quand il perd. Une bonne hypothèse vient de preuves : la recherche, les analyses, ou ce que les clients vous ont dit.
Chaque idée de l’Echo Agent arrive avec son hypothèse et ses preuves.I
Les signes qu’un visiteur s’apprête à partir, comme le curseur qui file vers les onglets.
Sur un ordinateur, c’est généralement le curseur qui monte vite vers le haut de la fenêtre ; sur un téléphone, un défilement rapide vers le haut. C’est le moment d’une question polie, pas d’un mur de pop-ups de réduction.
Les sondages d’Echo demandent ce qui les retient, aussi souvent que vous le permettez.La fourchette où se trouve le plus probablement une vraie valeur, d’après les données. Le cousin bayésien de l’intervalle de confiance.
Un intervalle de crédibilité à 90 % de +2 % à +11 % pour la hausse signifie qu’il y a 90 % de probabilité que la vraie hausse se trouve dans cette fourchette. Un intervalle étroit veut dire qu’on en sait beaucoup ; un large, pas encore grand-chose.
O
Découvrir pourquoi les visiteurs n’achètent pas, et tester des changements qui y remédient.
Un bon CRO, c’est de la recherche plus des expériences : regarder où et pourquoi les clients décrochent, formuler une hypothèse de solution, et la tester contre l’original. Changer des choses en espérant, ce n’est pas du CRO ; c’est une refonte.
Echo fait tourner toute la boucle CRO pour les boutiques sans équipe CRO.P
Le chiffre d’affaires divisé par le nombre de commandes.
Certains changements augmentent la conversion mais baissent le panier moyen, ou l’inverse. C’est pourquoi le revenu par visiteur, qui combine les deux, est souvent le meilleur critère pour juger un test.
Des balises sur un lien qui disent d’où vient un visiteur : utm_source, utm_medium, utm_campaign.
Les plateformes publicitaires les ajoutent aux liens de vos pubs. C’est ainsi que les outils d’analyse, et la personnalisation, savent qu’un visiteur vient d’une campagne donnée.
Montrer volontairement des versions différentes d’une page à des visiteurs différents.
Par exemple selon la pub d’où ils viennent, leur appareil, ou s’ils sont déjà venus. Cela doit tout de même être testé : une page personnalisée a besoin d’un groupe témoin qui voit la page habituelle, sinon impossible de savoir si elle aide.
Echo accorde les pages aux pubs, toujours avec un groupe témoin.La probabilité qu’un test détecte un effet réel d’une taille donnée.
Une puissance de 80 % signifie que si la hausse prévue est réelle, le test la trouve 4 fois sur 5. Une faible puissance explique pourquoi les petits tests finissent si souvent sur « aucune différence ».
R
Comment les visiteurs sont partagés entre les versions, généralement à parts égales.
Une répartition égale mène le plus vite à un résultat. Envoyer la plupart du trafic vers l’original « par sécurité » ralentit beaucoup le test ; mieux vaut protéger le chiffre d’affaires avec des garde-fous qui arrêtent les perdants évidents.
Le chiffre d’affaires total divisé par le nombre de visiteurs.
Il combine taux de conversion et panier moyen en un seul chiffre, donc il capte les changements qui vendent plus souvent mais moins cher (ou moins souvent mais plus cher). Il est plus bruité que le taux de conversion, donc il demande plus de données.
S
Quand les visiteurs voient brièvement la page d’origine avant que la version de test ne la remplace.
Aussi appelé flash of original content. En plus de faire cassé, il peut biaiser le test : les visiteurs qui ont vu l’original apparaître ne voient pas vraiment la variante. Les bons outils de test appliquent les changements avant l’affichage de la page.
Echo met les tests en cache dans le navigateur, pour que les visiteurs qui reviennent ne voient jamais de flash.Un sous-groupe de visiteurs, comme les utilisateurs mobiles ou les visiteurs d’une campagne.
Les résultats peuvent varier selon le segment : un changement peut gagner sur mobile et ne rien faire sur ordinateur. Mais découpez un test en assez de segments et l’un d’eux « gagnera » par hasard, donc traitez les constats par segment comme des idées pour le test suivant.
Un résultat assez improbable sous l’hypothèse « aucune différence » pour être pris au sérieux.
Traditionnellement p < 0,05. C’est une propriété d’un test planifié, lu une fois ; elle perd son sens si vous continuez de regarder et vous arrêtez quand elle apparaît.
Une façon de lire les résultats d’un test comme la probabilité qu’une version soit meilleure qu’une autre.
Au lieu de demander « à quel point ces données sont-elles surprenantes si rien n’a changé ? » (une valeur p), une analyse bayésienne répond à la question que l’on se pose vraiment : « quelle est la probabilité que B soit meilleure que A ? » Elle a toujours besoin d’assez de données, et il ne faut toujours pas la relire sans cesse jusqu’à ce qu’elle dise ce qu’on espère.
Echo donne une chance de gagner bayésienne, lue à la fin d’une période planifiée.T
Combien de visiteurs (et de conversions) un test demande avant de pouvoir être lu.
Elle dépend de votre taux de conversion actuel, de la plus petite hausse qui compte pour vous, et du degré de certitude voulu. Calculez-la avant le début du test, puis tenez-vous-y.
Essayez le calculateur gratuit.La part des visiteurs (ou des vues de fiches produit) qui ajoutent quelque chose au panier.
Un signal précoce utile pour les tests de fiche produit : il bouge plus vite que les commandes, mais un taux d’ajout plus élevé ne veut pas toujours dire plus de commandes. Lisez-le à côté du taux de conversion, pas à sa place.
La part des visiteurs (ou des sessions) qui atteignent un objectif, généralement une commande.
Les commandes divisées par les visiteurs ou les sessions. Lequel compte : par session, le taux paraît plus bas que par visiteur pour la même boutique, car un visiteur peut revenir plusieurs fois avant d’acheter.
La part des visites qui quittent le site après une seule page sans rien faire.
Un taux de rebond élevé sur une page d’arrivée signifie souvent que la page ne correspond pas à ce qui a amené le visiteur, ou qu’elle charge trop lentement. Seul, il ne dit rien des ventes ; utilisez-le pour repérer les pages qui méritent un examen.
Un test où les deux versions sont identiques, pour vérifier le dispositif de test lui-même.
Si deux pages identiques montrent une différence « significative », quelque chose ne va pas : la répartition, le suivi, ou la lecture des résultats. Les tests A/A montrent aussi très bien à quelle fréquence le pur bruit ressemble à un gagnant.
Deux versions d’une page, montrées à des moitiés aléatoires de vos visiteurs, pour voir laquelle vend le plus.
Les visiteurs sont répartis au hasard entre l’original (A) et une version modifiée (B). Comme la répartition est aléatoire, la seule différence systématique entre les deux groupes est le changement, donc un écart de résultats peut lui être attribué. Aussi appelé split test.
Echo planifie, construit, lance et lit les tests A/B pour vous.Un test A/B où chaque version a sa propre adresse.
Utile pour tester des pages ou des parcours entièrement nouveaux. Les visiteurs sont redirigés au hasard vers l’une des adresses, ce qui rend le scintillement et le suivi un peu plus délicats à maîtriser.
Tester plusieurs changements à la fois, dans toutes leurs combinaisons.
Il indique quelle combinaison marche le mieux et comment les changements interagissent, mais il demande bien plus de trafic qu’un test A/B, car le trafic est réparti sur chaque combinaison. La plupart des boutiques font mieux avec des tests A/B.
V
À quel point les données seraient surprenantes s’il n’y avait vraiment aucune différence.
Une valeur p de 0,03 signifie : si A et B étaient vraiment identiques, on observerait un écart au moins aussi grand environ 3 % du temps. Ce n’est pas la probabilité que B soit meilleure, ce qui est le contresens le plus courant.
Une version modifiée d’une page dans un test, par opposition au contrôle.
La version B (et C, D…). Une bonne variante change une idée assez nettement pour que les visiteurs le remarquent.
Le Studio construit des variantes sans code.