Van 40 naar 120 A/B-tests per jaar

Elke nieuwe A/B-test ging met de hand in Airtable. Titel bedenken en uitschrijven, hypothese opstellen, beschrijving maken, en daarna zelf de status bijhouden. Omdat het handwerk was hielden we het compact, want we hadden toch wel in ons hoofd hoe we het wilden doen. Het gevolg was dunne documentatie en een lijst die alleen klopte zolang iemand er tijd in stopte. Op een team met grote doelen rond conversieoptimalisatie is dat de rem die je zelf niet ziet zitten.

Er kwam een formulier in Airtable met vastgezette velden. Wat wil je testen, waarom, en wat is je doel. Een nieuw record startte daarna een workflow in N8N die de titel uitschreef, de beschrijving toevoegde, opzocht wat de minimaal detecteerbare verbetering van de test was, en de prioriteitsscore berekende.

Daarna volgde een vaste sync waarin de lijst besproken werd en de status verschoof. Na review gingen er automatisch tickets naar development. De vervolgstap die op de rol stond was het gedeeltelijk automatiseren van de ontwikkeling voor de eenvoudige gevallen.

Dat er een terugkerend moment in zat is geen detail. Het enige dat ik ooit voor anderen bouwde verwaterde omdat er geen eigenaar en geen vast moment aan hing, en sindsdien bouw ik dat er standaard in.

Over hoe het precies in elkaar zat, de techniek erachter en de prompting laat ik hier bewust weg wat niet naar buiten hoort. Wat er wel bij mag: het draaide op N8N, Airtable en Google Sheets.

In een jaar tijd ging het van ongeveer 40 naar ongeveer 120 A/B-tests. Dat is het cijfer waar ik het liefst naar wijs, want het vraagt niemand om mijn urentelling te geloven. Die urentelling bestaat wel, en komt uit op 12 tot 16 uur per week die niet meer aan administratie en onderhoud opgingen.

Adoptie was hier het makkelijke deel. Het was mijn eigen automatisering op mijn eigen werk, dus het formulier was even wennen en daarna zag iedereen wat het opleverde. Na mijn functiewisseling is het proces door anderen verder geoptimaliseerd.

De prioriteitsscore was in het begin te globaal. Hij draaide netjes en hij gaf een getal, en vervolgens gingen we er subjectief naar kijken en toch op gevoel af. Dat is de vervelendste faalmodus die een automatisering kan hebben, want er is niets kapot dat je kunt repareren. Mensen lopen er gewoon omheen. Opgelost door meer factoren mee te laten wegen, waarna de score elke run betrouwbaarder werd op impact.

De tweede tegenvaller zat in de techniek. De automations waren veel puzzelen en uitzoekwerk, aanzienlijk meer dan ik vooraf had ingeschat.

De derde was IT, en die was terecht. Ze vonden het spannend vanwege dataveiligheid. Dat kwam los door er goed over te sparren over wat er wel en niet kon, en dat gesprek hoorde bij het werk in plaats van eromheen.