A/B testen zijn een belangrijk onderdeel van conversie optimalisatie. Voor statistisch significante A/B testresultaten zijn voldoende bezoekers nodig. Maar hoe test je dan websites of webpagina’s met lage bezoekersaantallen?
Conversie optimalisatie is meer dan alleen maar A/B testen, maar A/B testen zijn vaak wel een belangrijk onderdeel van conversie optimalisatie. Uiteindelijk wil je weten of de hypotheses die je aan de hand van je vooronderzoek en analyse hebt opgesteld, valide zijn. Anders loop je het risico dat je veranderingen in de website gaat doorvoeren die de conversie uiteindelijk niet verhogen maar verlagen.
Voor statistisch significante A/B testresultaten heb je echter wel voldoende bezoekers nodig. Bij de conversie optimalisatie van een website of webpagina’s met weinig bezoekers zijn die niet altijd beschikbaar. In dat geval zal je op een andere manier moeten testen.
Hoeveel bezoekers heb je nodig?
Het aantal benodigde bezoekers verschilt per A/B test. Dit is afhankelijk van het aantal bezoekers van de te testen webpagina(‘s), het percentage daarvan wat wordt opgenomen in de test, het aantal testvarianten, het bestaande conversie ratio en het gewenste conversie ratio, en de statistische significantie.
Een belangrijk gegeven is de maximale testduur. Veel marketeers testen net zolang door totdat een A/B test een winnende variant heeft opgeleverd, maar dat is niet verstandig. Bezoekers van de te testen webpagina(‘s) worden namelijk op basis van een cookie toebedeeld aan een controlevariant of aan (één van) de testvariant(en). Dit cookie zorgt ervoor dat zij, zolang de test loopt, dezelfde variant van de betreffende webpagina te zien krijgen als zij de website weer bezoeken. Zou dit cookie van hun pc verdwijnen dan kunnen zij toebedeeld worden aan een andere variant waarop zij ander gedrag vertonen, wat de testresultaten verwatert waardoor de uitkomsten van de A/B test onbetrouwbaar worden.
In de praktijk houden we rekening met een ‘cookie defection time’ van maximaal 30 dagen, en liefst nog korter. Na die tijd verliezen veel bezoekers hun cookies, al dan niet bewust. Dat betekent dus dat je A/B test binnen maximaal 30 dagen een statistisch significant testresultaat moet kunnen opleveren. Maak je gebruik van een A/B testduur calculator zoals deze van VWO of deze van Optimizely dan kan je uitrekenen of jouw beoogde A/B test binnen deze 30 dagen een statistisch significant testresultaat kan opleveren, en hoeveel bezoekers daarvoor nodig zijn.
Blijkt uit deze calculatie dat er voldoende bezoekers voor de test zijn dan zit je goed. Zijn er onvoldoende bezoekers dan heb je drie opties:
- zorg voor meer bezoekers
- wijzig je A/B test
- test niet met A/B testen
Zorg voor meer bezoekers
Dit is de meest eenvoudige optie. Gebruik advertising, emailingen etc. om meer bezoekers naar de te testen webpagina’s te trekken. Let er hierbij wel op dat je geen bezoekers met een ‘bias’ trekt; bezoekers die niet representatief zijn voor de bezoekers die normaliter de betreffende webpagina’s bezoeken. Dit kan gebeuren als je specifieke campagnes gaat opzetten die gericht zijn op (de inhoud van) de te testen webpagina’s, campagnes die je normaliter misschien niet voert.
Wijzig je A/B test
Is het niet mogelijk om voor meer bezoekers te zorgen, dan is het aan te raden te onderzoeken of je A/B test anders ingericht kan worden om toch voldoende bezoekers te kunnen testen en statistisch significante testresultaten te kunnen genereren. Enkele mogelijkheden hiervoor zijn:
Test grotere bezoekerssegmenten
Bij veel A/B testen zal je gebruik maken van specifieke bezoekerssegmenten. Zijn die te klein om de A/B test statistisch significante testresultaten te laten genereren, vergroot die segmenten dan zonder dat deze te generiek of niet meer representatief worden.
Test grotere wijzigingen
De te verwachten conversieverbetering van dat ene zinnetje in een productbeschrijving is waarschijnlijk lager dan die van een aanpassing van een call-to-action button. Bij de laatste zal de test dus eerder een significante conversieverbetering meten dan bij de eerste. Voor deze herprioritering kan je deze A/B test frameworks hanteren.
Meet micro-conversies
Vrijwel iedere conversie bestaat uit meerdere stappen die een bezoeker doorloopt voordat hij (of zij) het doel (de macro-conversie) bereikt. Denk aan het aanvragen van een offerte of aan het bestelproces in een webshop, waar bezoekers vanaf een productpagina de winkelwagen bezoeken en vanaf daar de checkout voordat zij op de bedanktpagina aankomen. De laatste is de macro-conversie, maar de stappen daarvoor (van productpagina naar winkelwagen, van winkelwagen naar checkout, en van checkout naar bedanktpagina) zijn micro-conversies. Heb je onvoldoende bezoekers om op basis van de macro-conversie te kunnen testen, test dan op basis van de micro-conversies (n.b. het meten van micro-conversies binnen een A/B test is wat mij betreft altijd aan te raden).
Test op belangrijke pagina’s
Dit is een beetje een open deur, maar als het A/B testen op de beoogde webpagina’s niet gaat lukken dan is het beter om te testen op pagina’s die door meer bezoekers gezien worden. Denk aan landingspagina’s of de pagina’s in de checkout funnel.
Combineer vergelijkbare pagina’s in één A/B test
Als je wijzigingen op bijvoorbeeld een landingspagina, een productcategoriepagina of een productpagina wilt testen die hiervoor te weinig bezoekers genereert, voeg dan vergelijkbare pagina’s aan de A/B test toe. Test dan niet één of enkele pagina’s maar zoveel mogelijk (of alle) in dit voorbeeld landingspagina’s, productcategoriepagina’s of productpagina’s binnen dezelfde A/B test.
Verlaag de statistische significantie van je A/B test
Veel A/B testsystemen staan standaard ingesteld op een statistische significantie van 95-99%. Hoe lager de statistische significantie, hoe korter de test kan duren en hoe minder bezoekers er nodig zijn. Voor statistisch significante testresultaten vind ik zelf een statistische significantie van 95% (en liefst nog hoger) een vereiste, maar dat wil niet zeggen dat je met een lagere statistische significantie niet kunt testen. Dat is zoiets als zeggen “ik ben een perfectionist, als ik iets niet perfect kan doen dan doe ik het helemaal niet”. Het is beter om met een statistische significantie van 90% of zelfs 85% te testen dan hypotheses en wijzigingen helemaal niet te testen en maar te hopen dat die de conversie uiteindelijk zullen verhogen en niet verlagen. Houd echter wel rekening met de lagere statistische significantie bij de interpretatie van je testresultaten.
[inbound_button font_size=”20″ color=”#ff6600″ text_color=”#ffffff” icon=”” url=”https://www.addtofriends.nl/e-book-website-optimalisatie-personalisatie/” width=”” target=”_self”]Download gratis e-book Website Optimalisatie[/inbound_button]
Test niet met A/B testen
Stel dat alle bovengenoemde opties niet mogelijk zijn, en A/B testen dus niet mogelijk is. Dan wil je nog steeds weten of de veranderingen die je in de website wilt gaan doorvoeren de conversie uiteindelijk verhogen en niet verlagen. In dat geval is het aan te raden om de stappen die je normaliter in het vooronderzoek voor je A/B testen doet, als onderdeel van je conversie optimalisatie aanpak, nog grondiger uit te voeren om nog zekerder te zijn van je hypotheses. Dus nog grondigere analyse van je (Google Analytics) webstatistieken, nog grondigere user testing (met bijvoorbeeld een tool als Hotjar), nog grondigere enquêtes, nog grondiger concurrentie-onderzoek, en nog grondiger onderzoek van je eigen bronnen (zoals sales en klantenservice).
Vragen en meer info
Heb je vragen of wil je meer informatie over het correct opzetten en uitvoeren van je conversie optimalisatie in het algemeen of A/B tests in het bijzonder? Neem dan contact met mij op.