De kracht van het experiment: build, measure, learn

Lerende organisatie

De wereld verandert door techniek steeds sneller. Stilstand is daarmee voor een bedrijf letterlijk achteruitgang. Dat betekent dat je continu nieuwe dingen moet doen. En als je nieuwe dingen doet, maak je fouten. Dat moet dus mogen! Je wil dan natuurlijk wel iets leren. Een goed experiment helpt daarbij.

Projecten en experimenten

In gezonde projecten en experimenten zit een continue build, measure, learn cycle. We proberen iets nieuws, meten hoe het nieuwe zich gedraagt, leren daarvan en herbouwen. Zowel de measure– als de learn-fase wordt nog weleens vergeten. Om je te helpen volgt hier een voorbeeld van de opbouw van een goed experiment. Het project heeft:

1. Een goede naam
   Dit klinkt misschien raar, maar woorden hebben kracht. Een goede projectnaam spreekt tot de verbeelding.
2. Een samenvatting
   De TL;DR voor de collega’s die even snel willen weten wat je gaat doen.
3. Een why
   Waarom wil je het experiment doen? Wat wil je valideren, wat wil je testen, wat wil je verbeteren en waarom?
4. Een why now
   Uitleg waarom dit project juist nu relevant is.
5. Een deadline
   Als er een wedstrijd in de agenda staat is er een reden om te trainen: je maakt er dan wel tijd voor.
6. Metrics
   Met welke data meten we het succes van het experiment? Wat is de nulmeting van deze data en de verwachting? Leg die verwachting ook vast! Doe je dit na het experiment, dan is het altijd een succes.
7. Kosten en verwachte opbrengsten
   Dit is het kopje ‘wat kost dit en wat levert dit mogelijk op’. Opbrengsten kunnen zitten aan de kostenbesparende kant of de inkomsten-verhogende kant. Interne uren hebben ook een kostprijs. Ken deze en neem ze mee.
8. MoSCoW
   Tot slot een gedetailleerd lijstje van het project met daarin een Must have, Should have, Could have en Would have. De kosten/opbrengsten kop is ook opgedeeld in deze fase. Zo krijg je namelijk inzicht in de werkelijk waarde van iedere fase.

Niet elk project of experiment-document is even uitgebreid. Het kan vaak heel bondig.

Triage

Soms zijn er meer experimenten dan een organisatie aan kan of is het een lijst van kleinere experimenten die niet allemaal een projectbeschrijving behoeven. Op dat moment kan een triagelijst helpen. Op een triagelijst staan alle projecten, waardoor je op basis van verwachte inkomsten en opbrengsten naar de belangrijkheid van ieder project.

Bij triage maak je een spreadsheet of iets soortgelijks, met daarin:

• Het project of experiment
• De verwachte impact
• De verwachte kosten in uren
• De doorlooptijd om de data te hebben die het experiment valideert. Let daarbij op: die doorlooptijd is je werkelijke leertijd

Een voorbeeld: je wilt een helpknop binnen je applicatie opvallender maken omdat je daarmee hoopt dat klanten zichzelf meer kunnen helpen. Je verwachting is een 10 procent stijging van het bezoek op de FAQ-pagina en daarmee 2 procent minder telefoongesprekken op een callcenter. Het kost het marketingteam twee uur om de knop aan te passen, maar je meet het aantal klikken op de helpknop nu nog niet. Het kost één uur om dat meetbaar te maken en een maand om een relevant aantal clicks op de knop te kunnen meten om de statische relevantie te zien. Daarna kost het nog een maand om de impact van de wijziging te zien.

Je totale doorlooptijd is dan twee maanden, waarbij de implementatie slechts drie uur kost. In die twee maanden kun je niets doen aan je FAQ of het verwijzen daarnaar, anders klopt de data in je experiment niet.

Experiment: kleur aanpassen knop. Verwachting: 0 procent stijging van het bezoek op de FAQ /  2 procent minder telefoongesprekken. Metric om dit te meten: aantal clicks naar FAQ. Doorlooptijd: twee maanden.

Je kunt ook andere metrics kiezen (bijvoorbeeld: het aantal bezoekers van de FAQ), waarmee een experiment bijvoorbeeld maar een maand duurt. Of, misschien kun je een experiment doen wat nu 20 uur kost, maar waarvan de resultaten binnen een week meetbaar zijn. Die laatste kan daarmee het beste experiment zijn: je leert dan namelijk het snelst.

Grote veranderingen en beslissingen

Veel organisaties kennen grote veranderingen en beslissingen die ingrijpend of onomkeerbaar zijn, zie hiervoor ook het hoofdstuk De default “Ja, leuk”. Ook daar kan het experimenteren je enorm helpen. Je kunt meestal kleine onderdelen van een grotere verandering testen met een experiment. Deze kleine experimenten zijn eenvoudiger en goedkoper te doen en ze leveren data, kennis en ervaring op. Deze informatie kun je vervolgens gebruiken in de grotere verandering, waarmee deze meteen minder groot wordt. Meer over het nemen van beslissingen vind je verder in het hoofdstuk Het nemen van beslissingen.

Experimenten en projecten zijn niet mislukt als de uitkomst niet is wat je had verwacht. Sterker nog: je bent hoe dan ook wijzer dan wanneer je het niet had gedaan. Liever 100 experimenten en veel geleerd dan één of twee wilde hit or miss-beslissingen.