Belangrijke inzichten
Door middel van A/B testen kunnen er direct belangrijke inzichten gekregen worden in het gedrag van de klant. Maar hoe wordt het bepaald of het verschil tussen de versies in de A/B test in doorklik niet is berust op toeval? Dit wordt berekend aan de hand van statistische berekeningen. Bij deze berekeningen wordt gekeken naar het verschil in conversiepercentage en in hoeverre dit verschil is toe te wijzen aan toeval. Op deze manier kan je met cijfermatige zekerheid zeggen hoe groot de kans is dat een testvariant beter presteert dan de originele variant. Om de kans op toeval zo laag mogelijk te houden, is het belangrijk om voldoende participanten in de test te hebben. Wanneer je hierbij de wetenschappelijke vuistregels aanhoudt, betekent dit vaak dat je veel verkeer in je test moet krijgen om een winnaar aan te wijzen. Dit verkeer is er bij grotere organisaties vaak wel, maar waar begin je als je geen massa’s bezoekers hebt?
‘Te lage significantie’
Door lage bezoekersaantallen in een A/B test wordt vaak tegen het probleem van een te lage significantie aangelopen. Marketeers die testen inzetten voor conversie optimalisatie kennen vast het probleem van een positieve test met lage statistische significantie: ‘Er is 7% conversiestijging bij B variant en maar 80% significantie’. De test laat een aanzienlijke stijging zien, maar moet je de test nu verwerpen omdat de significantie geen 95 procent is?
Significantie in de wetenschap
Wanneer wetenschappers onderzoek doen, is significantie bepalend voor hun onderzoek: het is het doel waar hun onderzoek op wordt afgerekend. De significantie ligt bij sociale wetenschappen en economie op 95%. Voor de medische wetenschap ligt de eis zelfs rond de 99,99%. Dit ligt voor online marketeers ligt net even anders. Daar is een online experiment een manier om jouw keuze te onderbouwen.
Significantie voor marketeers
Maar daarvoor moet een marketeer eerst weten welke variant het beste scoort. Vervolgens representeert significantie de kans dat de waargenomen uitkomst zich daadwerkelijk voordoet. Als de kans acceptabel is, kan er een keuze gemaakt worden. Voor de marketeer is significantie daarmee een middel en geen doel. Het is een middel waarmee hij verschillende opties kan evalueren en een beslissing kan nemen. Marketeers kunnen zich dus blijven vasthouden aan de 95 procent-regel, maar hiermee verlies je vaak veel tijd omdat de test lang moet doorlopen. Vandaar een aantal punten die kunnen helpen bij een snelle, maar toch een goede beslissing op basis van een A/B test:
- Zekerheid voor snelheid bij grote belangen
Voer je een test uit waarbij de kosten hoog zijn of waarvan het belang erg groot is? Probeer dan te streven naar een hoge significantie: het liefst 95 procent.
- Snelle besluitvorming? Wees soepel!
Wil je een e-mail of banner testen en daarbij snel weten wat wel of niet werkt? Probeer de test dan een niet te lange doorlooptijd te geven en wees soepel met de hoogte van de significantie.
- Simpele aanpassingen
Een andere titel boven een artikel, een bepaalde tekst op een button of een andere simpele aanpassing? In deze situaties is snelheid erg belangrijk. Je wil hier immers meer aanpassingen doorvoeren in dezelfde tijd. Ook is het belang in deze situaties minder groot, waardoor het risico minder groot is. Vandaar dat het kan helpen om hier een significantie van 80 procent te accepteren.