A/B-testen,in gewone taal.

Een test waarin beide versies identiek zijn, om de testopstelling zelf te controleren.

Als twee identieke pagina’s een “significant” verschil tonen, klopt er iets niet: de verdeling, het meten, of hoe de resultaten gelezen worden. A/A-tests laten ook mooi zien hoe vaak pure ruis op een winnaar lijkt.

Twee versies van een pagina, getoond aan willekeurige helften van je bezoekers, om te zien welke meer verkoopt.

Bezoekers worden willekeurig verdeeld over het origineel (A) en een aangepaste versie (B). Omdat de verdeling willekeurig is, is de wijziging het enige systematische verschil tussen de twee groepen, dus een verschil in resultaat kun je eraan toeschrijven. Ook wel split-test genoemd.

Een manier om testresultaten te lezen als de kans dat de ene versie beter is dan de andere.

In plaats van te vragen “hoe verrassend zijn deze gegevens als er niets veranderd is?” (een p-waarde), beantwoordt een Bayesiaanse analyse de vraag die mensen echt stellen: “hoe waarschijnlijk is het dat B beter is dan A?” Ze heeft nog altijd genoeg gegevens nodig, en je moet ze nog altijd niet steeds opnieuw lezen tot ze zegt wat je hoopt.

Het aandeel bezoeken dat na één pagina vertrekt zonder iets te doen.

Een hoog bouncepercentage op een landingspagina betekent vaak dat de pagina niet aansluit bij wat de bezoeker binnenbracht, of te traag laadt. Op zich zegt het niets over verkopen; gebruik het om pagina’s te vinden die een betere blik verdienen.

De originele versie in een test, waarmee al het andere vergeleken wordt.

Meestal versie A. Een goede test verandert één ding ten opzichte van de controle, zodat je weet wat het verschil maakte.

Een deel van de bezoekers dat buiten alle wijzigingen blijft, om hun gezamenlijke effect te meten.

Losse tests meten elk één wijziging. Een controlegroep meet alles tegelijk: een paar procent van de bezoekers houdt de oude ervaring, en het verschil in omzet per bezoeker tussen hen en alle anderen, over dezelfde periode, is wat alle wijzigingen samen opleverden.

Uitzoeken waarom bezoekers niet kopen, en wijzigingen testen die dat oplossen.

Goede CRO is onderzoek plus experimenten: kijk waar en waarom shoppers afhaken, vorm een hypothese over een oplossing, en test die tegen het origineel. Dingen veranderen en hopen is geen CRO; dat is herontwerpen.

Het aandeel bezoekers (of sessies) dat een doel voltooit, meestal een bestelling.

Bestellingen gedeeld door bezoekers of sessies. Welke telt: per sessie lijkt de ratio lager dan per bezoeker voor dezelfde webshop, omdat één bezoeker meerdere keren kan terugkomen voordat hij koopt.

Tekenen dat een bezoeker op het punt staat te vertrekken, zoals de cursor die naar de tabbladen gaat.

Op een computer is het meestal de cursor die snel naar de bovenkant van het venster gaat; op een telefoon een snelle scroll terug omhoog. Het is het moment voor één beleefde vraag, niet voor een muur van kortingspop-ups.

Als bezoekers heel even de originele pagina zien voordat de testversie haar vervangt.

Ook wel flash of original content genoemd. Naast dat het kapot oogt, kan het de test vertekenen: bezoekers die het origineel zagen oplichten, zien de variant niet echt. Goede testtools passen wijzigingen toe voordat de pagina verschijnt.

Een echte verbetering missen omdat de test haar niet kon zien.

Meestal het gevolg van een te kleine test: niet genoeg bezoekers of bestellingen om een echte maar bescheiden stijging van ruis te onderscheiden. De steekproefgrootte vooraf plannen voorkomt dat.

Een winnaar uitroepen die er geen is.

Puur toeval laat de ene versie af en toe beter lijken. Steeds opnieuw kijken en stoppen op het eerste mooie moment maakt valse winnaars veel vaker dan het dashboard toegeeft.

De marge waarin een echte waarde het waarschijnlijkst ligt, gezien de gegevens. De Bayesiaanse neef van een betrouwbaarheidsinterval.

Een 90%-geloofwaardigheidsinterval voor de stijging van +2% tot +11% betekent dat er 90% kans is dat de echte stijging ergens in die marge ligt. Een smal interval betekent dat je veel weet; een breed, nog niet veel.

Omzet gedeeld door het aantal bestellingen.

Sommige wijzigingen verhogen de conversie maar verlagen de bestelwaarde, of omgekeerd. Daarom is omzet per bezoeker, die beide combineert, vaak de betere maatstaf om een test op te beoordelen.

Testresultaten steeds bekijken en stoppen zodra ze significant lijken.

Elke blik is een nieuwe kans voor ruis om over de streep te gaan. Stop op het eerste mooie moment en je kroont veel meer valse winnaars dan je foutmarge belooft. De oplossing is een geplande steekproefgrootte, één keer gelezen.

Een toetsbare gok: als we X veranderen, verbetert Y, omdat Z.

Het “omdat” doet ertoe. Een test zonder reden leert je niets als hij verliest. Een goede hypothese komt uit bewijs: onderzoek, analysecijfers, of wat shoppers je vertelden.

De kans dat een variant beter is dan het origineel, op basis van de gegevens tot nu toe.

“B heeft 96% kans om A te verslaan” betekent dat, gezien alles wat gemeten is, er 96% kans is dat de echte conversie (of omzet per bezoeker) van B hoger is. Het zegt niet hoeveel hoger; kijk daarvoor naar de marge van waarschijnlijke stijgingen.

De kleinste stijging die een test betrouwbaar moet kunnen zien.

Hoe kleiner het effect dat je wilt vangen, hoe meer bezoekers je nodig hebt, en dat groeit snel: een half zo grote stijging zien vraagt ongeveer vier keer zoveel verkeer. Test op een rustige webshop gedurfde wijzigingen, geen knopkleuren.

Meerdere wijzigingen tegelijk testen, in elke combinatie.

Hij vertelt je welke combinatie het best werkt en hoe wijzigingen op elkaar inwerken, maar hij vraagt veel meer verkeer dan een A/B-test, omdat het verkeer over elke combinatie verdeeld wordt. De meeste webshops zijn beter af met A/B-tests.

Een tijdelijke opleving omdat iets nieuw is, niet omdat het beter is.

Terugkerende bezoekers klikken misschien op een veranderd element alleen omdat het anders is. Tests in hele weken draaien, en lang genoeg om de nieuwigheid te laten slijten, voorkomt dat het je misleidt.

Totale omzet gedeeld door het aantal bezoekers.

Het combineert conversieratio en bestelwaarde in één getal, dus het vangt wijzigingen die vaker maar kleiner verkopen (of minder vaak maar groter). Het schommelt meer dan de conversieratio, dus het heeft meer gegevens nodig.

Hoe verrassend de gegevens zouden zijn als er echt geen verschil was.

Een p-waarde van 0,03 betekent: als A en B echt gelijk waren, zou je ongeveer 3% van de tijd een minstens zo groot verschil zien. Het is niet de kans dat B beter is; dat is de meest gemaakte denkfout.

Verschillende bezoekers bewust verschillende versies van een pagina tonen.

Bijvoorbeeld op basis van de advertentie waar ze vandaan kwamen, hun apparaat, of of ze er al eerder waren. Ook dat moet getest worden: een gepersonaliseerde pagina heeft een controlegroep nodig die de gewone pagina ziet, anders weet je niet of het helpt.

Een deelgroep van bezoekers, zoals telefoongebruikers of bezoekers van één campagne.

Resultaten kunnen per segment verschillen: een wijziging kan winnen op telefoons en niets doen op desktop. Maar hak een test in genoeg segmenten en er “wint” er toevallig één, dus behandel bevindingen per segment als ideeën voor de volgende test.

Een A/B-test waarbij elke versie op een eigen adres staat.

Handig om hele nieuwe pagina’s of stappen te testen. Bezoekers worden willekeurig naar een van de adressen gestuurd, wat flikkering en meten iets lastiger maakt om goed te krijgen.

De kans dat een test een echt effect van een bepaalde grootte ziet.

80% power betekent dat als de stijging waarvoor je plande echt is, de test haar 4 van de 5 keer vindt. Lage power is waarom kleine tests zo vaak eindigen met “geen verschil”.

Een resultaat dat onwaarschijnlijk genoeg is bij “geen verschil” om serieus te nemen.

Traditioneel p < 0,05. Het is een eigenschap van een geplande test die je één keer leest; ze verliest haar betekenis als je blijft kijken en stopt zodra ze verschijnt.

Hoeveel bezoekers (en conversies) een test nodig heeft voordat je hem kunt lezen.

Ze hangt af van je huidige conversieratio, de kleinste stijging die je belangrijk vindt, en hoe zeker je wilt zijn. Reken haar uit voordat de test begint, en houd je eraan.

Hoeveel beter (of slechter) een variant het deed dan de controle, in procenten.

Als de controle converteert op 2,0% en de variant op 2,2%, is de stijging +10%. Lees een stijging altijd met haar marge: “+10%” uit een piepkleine test kan makkelijk alles zijn van −5% tot +25%.

Het aandeel bezoekers (of weergaven van productpagina’s) dat iets in het winkelmandje legt.

Een nuttig vroeg signaal voor tests op productpagina’s: het beweegt sneller dan bestellingen, maar een hogere toevoegratio betekent niet altijd meer bestellingen. Lees het naast de conversieratio, niet in plaats ervan.

Labels op een link die zeggen waar een bezoeker vandaan kwam: utm_source, utm_medium, utm_campaign.

Advertentieplatforms voegen ze toe aan de links in je advertenties. Zo weten analysetools, en personalisatie, dat een bezoeker van een bepaalde campagne kwam.

Een aangepaste versie van een pagina in een test, tegenover de controle.

Versie B (en C, D…). Een goede variant verandert één idee duidelijk genoeg dat bezoekers het zouden merken.

Als een 50/50-test niet in de buurt van 50/50 uitkomt.

Willekeurige verdelingen zijn nooit precies gelijk, maar een groot verschil (zeg 52/48 over duizenden bezoekers) betekent meestal dat er iets stuk is: een doorverwijzing, een botfilter, of een variant die voor sommige bezoekers crasht. Resultaten van een test met een verdelingsfout zijn niet te vertrouwen.

Hoe bezoekers over de versies verdeeld worden, meestal gelijk.

Een gelijke verdeling brengt je het snelst tot een resultaat. Het meeste verkeer naar het origineel sturen “voor de zekerheid” vertraagt de test flink; omzet beschermen doe je beter met vangrails die duidelijke verliezers stoppen.

Als een shopper iets in het winkelmandje legt en vertrekt zonder te kopen.

Onderzoek naar waarom shoppers afhaken wijst steeds naar dezelfde paar redenen: onverwachte kosten zoals verzending, verplicht een account aanmaken, trage levering, de site hun kaart niet toevertrouwen, en een te lange kassa.