Hoe lang moet een A/B-test lopen? De eerlijke rekensom, en wat je doet met te weinig verkeer

Hoe lang moet een A/B-test lopen? Het korte antwoord

Een A/B-test moet lopen tot hij de steekproefgrootte haalt die je vooraf hebt berekend, naar boven afgerond op hele weken, en minstens één volle week. Je leest de uitkomst één keer af, aan het eind. Niet zodra hij er voor het eerst goed uitziet, en niet na “twee weken” omdat iedereen dat zegt.

Hoe lang dat in jouw webshop duurt, hangt af van drie dingen: hoe vaak je bezoekers nu kopen, hoe groot het verschil is dat je wilt kunnen zien, en hoeveel bezoekers je hebt. Hieronder staan eerst de rekensommen, daarna wat je doet als de uitkomst langer is dan je zou willen.

Stap 1: bereken de steekproefgrootte

De steekproefgrootte is het aantal bezoekers dat elke versie nodig heeft voordat je de uitkomst kunt vertrouwen. Voor het aantal bezoekers dat elke versie nodig heeft, bestaat een bekende vuistregel, bij het gebruikelijke significantieniveau van 5% en een onderscheidingsvermogen (power) van 80% (Zhou et al. noemen het “een breed toegepaste vuistregel”; Evan Miller maakte hem bekend):

bezoekers per versie ≈ 16 × p × (1 − p) ÷ δ²

Daarin is p je huidige conversieratio en δ het verschil dat je wilt opsporen, in absolute termen. Hoe kleiner het verschil, hoe meer bezoekers je nodig hebt, en dat loopt snel op: halveer δ en je hebt vier keer zoveel bezoekers nodig.

Dezelfde webshop, met een andere stijging als doel, berekend met de volledige formule:

De vuistregel is prima voor een eerste schatting. De tabel gebruikt de volledige formule, dezelfde als in onze gratis A/B-testcalculator, dus met je eigen cijfers kom je daar op hetzelfde uit. De begrippen staan in de woordenlijst: minimaal detecteerbaar effect, onderscheidingsvermogen, steekproefgrootte.

En de regel van “1.000 bezoekers per versie”?

Die regel hoor je vaak, en voor de meeste webshops is hij veel te klein. Bij een conversieratio van 2% zijn 1.000 bezoekers per versie goed voor zo’n 20 bestellingen per versie. Daarmee is het kleinste verschil dat je betrouwbaar kunt opsporen meer dan +100%: de nieuwe versie zou je verkoop meer dan moeten verdubbelen voordat de test het kan zien. Weinig veranderingen komen daar ook maar in de buurt. Draai je tests met 1.000 bezoekers, dan lees je vooral ruis af.

Stap 2: laat je A/B-test hele weken lopen

Mensen kopen op maandagochtend anders dan op zondagavond. Een test die van dinsdag tot en met vrijdag loopt, ziet maar één soort koper. Daarom adviseert Optimizely om tests minimaal één bedrijfscyclus (zeven dagen) te laten lopen. De documentatie van Adobe rondt de looptijd naar boven af op hele weken. En het experimentatieteam van Microsoft, dat duizenden tests draait, merkt op: “de typische looptijd van een A/B-test is 7 dagen”. Het team waarschuwt ook voor verschillen tussen de dagen van de week.

Hele weken helpen ook bij het nieuwigheidseffect (novelty effect): vaste bezoekers klikken soms ergens op alleen omdat het nieuw is, en dat effect ebt weg. Het team van Microsoft noemt een “snelle daling van het geschatte behandeleffect over datumsegmenten” een teken daarvan. Wint je nieuwe versie in week één ruim en elke week daarna minder, geloof dan de latere weken. Meer in de woordenlijst.

Stap 3: stop je test niet te vroeg

Tussentijds kijken (peeking) betekent: een lopende test steeds bekijken en hem stoppen zodra de uitkomst er goed uitziet. Hier gaan de meeste tests van webshopeigenaren mis. Je kijkt elke ochtend naar de test. Op dag 6 ligt de nieuwe versie voor en zegt de tool “significant”. Je stopt en zet hem live.

Het probleem: het percentage fout-positieven van 5% achter “significant” geldt alleen als je één keer kijkt, op het geplande einde. Elke extra blik is een nieuwe kans dat toevallige ruis over de streep gaat. In een van de voorbeelden van Evan Miller dreef steeds opnieuw kijken en stoppen bij het eerste significante resultaat het percentage fout-positieven op tot 26,1%, in plaats van de 5% die je denkt te hebben. Hoe vaker je kijkt, hoe hoger het wordt. De engineers van Spotify ontdekten dat zelfs één extra blik een 5%-test al meer op een 10%-test laat lijken. Onderzoekers van Stanford en Optimizely zeggen het onomwonden: standaardresultaten zijn “volstrekt onbetrouwbaar” als je het stopmoment bepaalt door ze in de gaten te houden.

Er bestaan legitieme manieren om eerder te kijken, maar daarvoor heb je statistiek nodig die daarvoor gemaakt is (sequentiële tests, die sommige tools gebruiken). Bij een gewone test is de regel simpel: leg de looptijd vast en blijf er dan af. In de woordenlijst staat dit onder gluren (peeking).

Stap 4: controleer de verdeling voordat je de uitkomst leest

Voordat je kijkt welke versie gewonnen heeft, controleer je of elke versie haar deel van de bezoekers kreeg. Toont een 50/50-test 10.000 bezoekers aan de ene kant en 9.400 aan de andere, dan is dat verschil veel te groot voor toeval (de kans daarop ligt ver onder 1 op 10.000). Er is iets kapot: een redirect, een script dat op sommige telefoons faalt, bots die maar aan één kant worden meegeteld.

Het team van Microsoft is duidelijk: zo’n sample ratio mismatch (een verdelingsfout) “maakt de A/B-test doorgaans ongeldig”. Probeer de uitkomst niet te redden. Zoek de oorzaak, los die op en draai de test opnieuw.

A/B-testen met weinig verkeer

De meeste kleine webshops schrikken van de tabel hierboven. Dertien weken voor één test is lang. Je hebt vijf eerlijke opties:

1. Test grotere veranderingen. Een vernieuwde productpagina kan de conversie aannemelijk met 30% verschuiven; een nieuwe knopkleur niet. In de tabel brengt de stap van +20% naar +30% de steekproefgrootte terug tot minder dan de helft.

2. Meet een stap dichter bij de verandering. Veel meer bezoekers leggen iets in hun winkelwagen dan er kopen, dus toevoegingen aan de winkelwagen (add-to-cart) geven veel sneller een betrouwbaar antwoord. Bij een toevoegratio van 8% heb je voor een stijging van 20% zo’n 4.900 bezoekers per versie nodig, tegenover 21.100 voor bestellingen bij 2%. Bij 500 bezoekers per dag is dat ongeveer 3 weken in plaats van 13. Optimizely geeft voor sites met weinig verkeer hetzelfde advies. Eén kanttekening: meer toevoegingen aan de winkelwagen betekenen niet altijd meer bestellingen, dus houd de bestellingen ook in de gaten.

3. Test één verandering tegen het origineel. Elke extra versie heeft een eigen deel van de bezoekers nodig. In een rekenvoorbeeld van Seer Interactive had een test 61.000 bezoekers nodig met twee versies, 91.000 met drie en 122.000 met vier. Meer versies betekenen ook meer kans op een valse winnaar: Adobe berekent een kans van 18,5% op minstens één fout-positief resultaat bij vijf versies.

4. Leg de looptijd vast en kijk wat je dan kunt opsporen. Draai de rekensom om: bereken het minimaal detecteerbare effect bij de tijd die je hebt. Een webshop met 500 bezoekers per dag kan elke versie in vier weken zo’n 7.000 bezoekers geven. Bij een conversieratio van 2% is dat genoeg om een stijging van ongeveer +36% op te sporen, en niets kleiners. Zal de verandering die je in gedachten hebt dat redelijkerwijs niet halen, dan levert vier weken testen alleen “geen duidelijk verschil” op.

5. Test niet. Een kapotte afrekenknop, verzendkosten die nergens vermeld staan of een pagina die op een telefoon onleesbaar is, hoeft niet getest te worden; die moet gerepareerd worden. En weet je niet wat je moet veranderen, dan werkt onderzoek bij weinig verkeer, waar tests dat niet doen: vraag het de bezoekers die vertrekken, of bekijk opnames van echte bezoeken.

Hoe lang is te lang?

Lange tests hebben hun eigen problemen. Mensen wissen hun cookies en wisselen tussen telefoon en laptop, dus over een paar maanden kan dezelfde persoon beide versies te zien krijgen. De seizoenen wisselen, en een test die over Black Friday heen loopt, meet Black Friday. De ingebouwde Experiments van Shopify stoppen standaard na 90 dagen.

Een praktische grens: zegt je rekensom dat een test meer dan ongeveer twee maanden nodig heeft, draai hem dan niet. Pas liever het plan aan, met de opties hierboven.

Voordat je op start drukt

• Schrijf op: je huidige conversieratio, de kleinste stijging die het vinden waard is, het aantal bezoekers per versie en de looptijd in hele weken.
• Kies één hoofd-KPI (bestellingen per bezoeker, of toevoegingen aan de winkelwagen bij een kleine webshop) en één guardrail, een bewakingscijfer zoals omzet per bezoeker, zodat je een “winst” die geld kost op tijd ziet.
• Lees de uitkomst één keer af, aan het eind.
• Controleer eerst de verdeling. Klopt die niet, dan telt de uitkomst niet.

Zegt de rekensom dat de meeste van je ideeën niet te testen zijn, dan is dat ook nuttig: je weet dan dat je je tijd moet steken in veranderingen die groot genoeg zijn om zichtbaar te worden. Deze gids over het verhogen van je conversieratio laat zien hoe je ze vindt.