Blogs

08 september 2022: Goede ideeën zijn niet alleen haalbaar maar ook schaalbaar!

Binnen de economische wetenschap is John List een van dé experts waar het gaat om het succesvol opzetten en uitvoeren van veldexperimenteel onderzoek waarbij het gedrag en de keuzes van mensen in hun natuurlijke omgeving wordt bestudeerd. Door gecontroleerd kleine variaties in de keuzeomgeving aan te brengen kan nauwkeurig worden vastgesteld hoe gedrag wordt beïnvloed.

De voordelen van deze onderzoeksmethode zijn evident. Door de controle kunnen individuele factoren worden geïsoleerd en kunnen alternatieve verklaringen, inclusief die van omgekeerde causaliteit, worden uitgesloten. Een belangrijk nadeel is echter dat veldexperimenten arbeidsintensief zijn doordat onderzoekers in alle fases nauw contact met externe partners in het veld dienen te onderhouden en de (logistieke) infrastructuur om de proef uit te voeren en de data binnen te halen vaak voor een groot deel moet worden aangelegd. In elke fase van een project is er een gerede kans dat de studie sneuvelt.

List is zich van beide bewust. Daarom is hij in zijn nieuwe boek The Voltage Effect op een belangrijke missie. List’s centrale boodschap is dat innovaties – of het nu gaat om medische doorbraken, nieuwe producten of nieuw (overheids)beleid – alleen tot belangrijke veranderingen leiden als ze niet alleen werken in de specifieke, beperkte omgeving waarbinnen een studie wordt uitgevoerd maar schaalbaar zijn naar een grotere, algemene omgeving. Alleen schaalbare vernieuwingen hebben de potentie om ons gedrag en relevante uitkomsten (schooluitval, klimaat) in belangrijke mate te veranderen. Veel tijd en geld kan worden bespaard wanneer onderzoekers vroegtijdig herkennen of een idee schaalbaar is en zich bewust zijn van de noodzakelijke ingrediënten die een idee schaalbaar maken. In het eerste deel benoemd List vijf belangrijke hordes (Five Vital Signs) die moeten worden genomen wil een idee schaalbaar zijn. Een ervan is dat je een kleinschalige proef niet moet opzetten op een manier die te kostbaar is om op te schalen. Wanneer je bijvoorbeeld het effect van een nieuwe onderwijsvorm wilt toetsen is het verleidelijk om hiervoor de beste docenten aan te trekken. Hoewel dit de kans op een positief effect vergroot, is opschaling van het idee problematisch: bij landelijke invoering zullen scholen het moeten doen het bestaande docentencorps.

Net zoals de Rolling Stones uit een rijk repertoire kunnen putten om te illustreren hoe een goede rocksong klinkt, zo kan List een beroep doen op twintig jaar onderzoekservaring om aan te geven wat een veldexperiment goed en schaalbaar maakt. Velexperimenteel kan per definitie niet worden uitgevoerd vanuit de ivoren toren maar List heeft wel met een heel rijk palet aan partners gewerkt, inclusief techreuzen Uber en Lyft. Daarnaast heeft hij samen met een aantal andere onderzoekers een eigen school opgezet om het effect van onderwijsvernieuwingen te toetsen. Dit maakt het boek tot een prettige leeservaring. Ook de keuze om het betoog niet te onderbreken met voetnoten en referenties naar de achterliggende wetenschappelijke publicaties draagt hieraan bij – voor de lezer die meer wil weten is het aan het eind een uitgebreide verantwoording.