Post date: Oct 12, 2013 11:40:44 AM

Deze blog verschijnt ook in TH&MA, het vakblad voor hoger onderwijs: http://www.themahogeronderwijs.org/. In dit blad zal ook een reactie op onderstaand artikel verschijnen van NWO.

Het doel van wetenschap is om robuuste kennis te vergaren. De samenleving staat een deel van haar geld af aan de wetenschap om nieuwe technologieën te ontwikkelen, te leren hoe we mensen gezond kunnen houden of krijgen, te begrijpen hoe onze wereld werkt, en hoe interventies veranderingen teweeg brengen. Als de samenleving een televisie koopt die het niet doet, dan kunnen mensen dat zelf makkelijk vaststellen, en het apparaat terugbrengen om hun geld terug te vragen. Bij de wetenschap kan een burger geen geld terugvragen, en vaak is het erg moeilijk om in te schatten of de wetenschap het wel goed doet. Wetenschappers, en de mensen die het beleid rondom wetenschappelijk onderzoek vormgeven, hebben dus een grote verantwoordelijkheid om er zorg voor te dragen dat de wetenschap robuuste kennis vergaart.

Laten we aannemen dat wetenschappers intrinsiek gemotiveerd zijn om robuuste kennis te vergaren. Vanzelfsprekend is deze motivatie slechts één van de factoren die hun uiteindelijke gedrag bepaalt. Zo willen veel wetenschappers betaald krijgen voor hun werk. Er is niet genoeg geld om iedereen die in de wetenschap wil werken aan te nemen, en dus moet het geld verdeeld worden onder die wetenschappers die het beste in staat zijn om robuuste kennis te genereren. Wetenschapsbeleid is feitelijk niets meer dan dit relatief simpele probleem zo op te lossen dat de samenleving het meest tevreden is.

Het huidige wetenschapsbeleid loopt op twee punten spaak. Het eerste probleem is dat wetenschapsbeleid zich richt op uitmuntende individuele onderzoekers, terwijl wetenschap per definitie een coöperatieve onderneming is. Het tweede probleem is dat innovatief onderzoek intrinsiek motiverend is, en dus altijd gedaan zal worden door wetenschappers, maar dat de robuustheid en toepasbaarheid van dit onderzoek per definitie nog relatief onzeker is. Je moet wetenschappers stimuleren om onderzoek te doen dat belangrijk is, maar minder intrinsiek belonend, zoals het repliceren van voorgaand onderzoek, en het valoriseren van kennis.

De onzichtbare voordelen van samenwerking

Beleidsmakers zijn, net als de rest van de mensheid, zelden creatief genoeg om na te denken over oplossingen waarvoor men buiten de kaders moet denken. De bekendste illustratie hiervan is het probleem om negen stippen te verbinden door vier rechte lijnen te trekken, zonder je pen op te tillen. Het probleem is dat mensen zichzelf beperkingen opleggen die er niet zijn. De rechte lijnen mogen best wat uitsteken voorbij de stippen in de 4 hoeken. Als managers wetenschap willen leiden is het intuïtief om binnen de huidige competitieve kaders te blijven denken. Binnen die kaders speel je wetenschappers tegen elkaar uit door die paar die meer presteren dan de rest het meest te belonen. Als een persoon een 10 scoort, en de rest een 9, dan geef je de persoon met de 10 de centjes. Simpel.

Het is moeilijker in te zien dat er systemen zijn waarbij de kwaliteit van wetenschap niet van 1 tot 10 loopt, maar van 1 tot 20. Toch is dit het verschil tussen de huidige wetenschap waarin competitie centraal staat, en waar we collectief niet hoger zullen scoren dan een 10, en een systeem waarin coöperatie gestimuleerd wordt, waar wetenschappers opeens veel hoger kunnen scoren. Laat ik een voorbeeld geven dat een peuter kan begrijpen. Je gaat verhuizen, en je wilt je bank meenemen. Die kun je in je eentje niet dragen. De oplossing is dat je de bank laat staan, en na je verhuizing een nieuwe koopt. Natuurlijk is die oplossing niet zo efficiënt. Het is niet voor niets dat mensen hun vrienden bellen als ze gaan verhuizen, en samen de bank meenemen. In een verhuis systeem waarin competitie centraal staat, kopen mensen alleen kleine spulletjes om in hun huis te zetten. In een wetenschappelijk systeem waarin competitie centraal staat, pakken onderzoekers alleen kleine probleempjes aan om te bestuderen.

Als je naar een wetenschapssysteem toe wil waar we echte prestaties neerzetten, hebben individuele beloningen en beurzen geen zin. Ze beperken wetenschappers in de problemen die aangepakt worden. Roepen dat mensen in hun eentje excellent zijn (waarbij we de vraag of excellentie gemeten kan worden op een manier waarbij er een één-dimensionele rangorde uitkomt gemakshalve maar even negeren), is je ogen sluiten voor het feit dat de echte vraag is hoe excellent mensen kunnen samenwerken. Stel dat samenwerken de kwaliteit met 20% verhoogt. Dan wil een slimme manager dus twee negens aannemen die kunnen samenwerken (samen scoren ze immers 21,6), in plaats van twee tienen die alleen individueel onderzoek kunnen doen (en blijven steken op 20). Instellingen zoals NWO moeten daarom alleen geld voor promotieplaatsen geven aan twee negens die kunnen samenwerken, en nooit meer aan één tien die dat niet kan.

Er zijn in onze wereld nog een paar mensen die het leuk vinden om anderen te helpen, zonder daar direct iets voor terug te krijgen. Deze uitstervende diersoort is essentieel voor de kwaliteit van de wetenschap. Ze leggen anderen uit hoe je onderzoek beter kan doen, zonder dat ze direct coauteur willen worden op een artikel dat uit het onderzoek volgt. Stel dat zo’n persoon de kwaliteit van onderzoek met 50% kan verhogen, maar zelf helemaal nooit iets produceert. In een wereld waar managers hun werk goed deden, zouden universiteiten vechten om zo’n persoon. In de praktijk kunnen managers de 50% verbetering die deze persoon bewerkstelligt niet kwantificeren. Tijdens het jaarlijkse voortgangsgesprek bestaat er een reëel risico dat deze persoon doorgezaagd wordt over hoe weinig er afgelopen jaar gepubliceerd is, of dat er nog steeds geen beurs binnengesleept is. Het verdwijnen van dit type medewerker is slechts één van de belangrijke factoren die de kwaliteit van het wetenschapsbedrijf verminderen. Als samenwerking beloont werd zou dit voorkomen kunnen worden. Hoewel het niet mijn taak is om managers te helpen om hun werk goed te doen, kan ik een simpele oplossing voorstellen. Je vraagt alle medewerkers om in te schatten hoeveel een collega die geen coauteur is heeft geholpen om de kwaliteit van hun onderzoek te verbeteren. Deze score kan tijdens een voortgangsgesprek gebruikt worden om het werk van een onderzoeker te beoordelen.

Wat moeten managers managen?

Innovatief onderzoek is het makkelijkste type onderzoek om te doen als onderzoeker. Niet in termen van de tijd en inzet die er nodig is om innovatief onderzoek te doen. Het kost veel tijd, je moet veel en bij voorkeur een brede kennis hebben, en je weken of maanden in een probleem vastbijten. Maar de motivatie die wetenschappers voor dit type onderzoek hebben is zo ongelofelijk hoog dat een beetje onderzoeker het zou blijven doen, zelfs als ze er niet voor betaalt krijgen (denk aan alle hoogleraren die met emeritaat zijn maar gewoon door blijven werken). De enige beperking om innovatief onderzoek te doen is tijd (en een beetje creativiteit bezitten). Om innovatief onderzoek te stimuleren, kun je het beste twee dingen doen. Als eerste neem je mensen aan op basis van de creativiteit van hun voorgaand werk, en misschien op basis van de uitkomst van enkele psychologische testen of individuele gesprekken. Als tweede ontsla je alle managers, en gebruikt dat geld om de onderzoekers zo veel mogelijk tijd te geven. Het geld kan bijvoorbeeld gebruikt worden om het secretariaat uit te breiden, zodat administratief werk voor onderzoekers tot een minimum beperkt blijft. Daarna komt het vanzelf goed. Topinstituten brengen meer Nobelprijswinnaars voort, naarmate er minder gemanaged wordt.

Ik moet toegeven dat deze laatste stelling niet gebaseerd is op wetenschappelijk onderzoek. Ik vind dat ergens wel passend, omdat het meeste wetenschapsbeleid niet gebaseerd is op wetenschappelijk onderzoek. Zo is de hoogte van de beurzen die NWO uitdeelt is nu niet gebaseerd op hoeveel geld de meeste kennis oplevert. Dat weet NWO namelijk niet. Als we de Higgs boson kunnen ontdekken, zou je denken dat we ook wel uit kunnen vinden hoe geld over onderzoekers verdeeld moet worden zodat ze optimaal efficiënt zijn. Dat de financiering van wetenschappelijk onderzoek niet gebaseerd is op empirische data is even ironisch als problematisch. Maar neem de opmerking over het verband tussen de hoeveelheid managers en wetenschappelijke prestaties dus met een korreltje zout.

Het is echter wel waarschijnlijk dat alles dat managers doen uiteindelijk innovatief onderzoek tegen zal werken (tenzij ze samenwerking mogelijk maken, en wetenschappers zo veel mogelijk tijd geven). De reden is dat het doen van innovatief onderzoek de natuurlijkste staat van het dynamische wetenschapssysteem is. Het zijn punten binnen het wetenschappelijke landschap waar onderzoekers door hun intrinsieke motieven naar toe stromen. Bijna alles dat nu gedaan wordt in het kader van het managen van wetenschap werkt feitelijk als het bouwen van dammen binnen dit landschap. Mensen belonen op aantallen publicaties? Een blokkade waar onderzoekers omheen moeten op weg naar hun doel.

Wat managers wel moeten managen, is de robuustheid en toepasbaarheid van onderzoek. Net zoals de meeste mensen liever voor de tv gaan zitten dan dat ze gaan sporten, doen de meeste wetenschappers liever nieuwe dingen die directe beloningen opleveren, dan dat ze aan de conditie van die nieuwe kennis werken. Laat ik twee voorbeelden geven. Ten eerste doen wetenschappers uit zichzelf te weinig het onderzoek van anderen nog eens over om de robuustheid ervan te controleren. Dit replicatie onderzoek wordt door wetenschappers zelf te weinig gewaardeerd, maar is wel belangrijk. Net zoals mensen die alleen maar voor de tv zitten en niet sporten, heeft de wetenschap met alleen maar nieuwe resultaten zonder replicatie onderzoek ook grote kans op ziektes. Replicatie onderzoek komt echter zelden in een tijdschrift met een hoge impact factor. Managers zouden dus vooral moeten stimuleren dat wetenschappers vaker doorbouwen op bestaand onderzoek, in plaats van innovatief onderzoek stimuleren. Voor de duidelijkheid: Dat doe je dus niet door belang te hechten aan de impact factor van het blad waar een onderzoeker in publiceert.

Ten tweede betaalt de samenleving wetenschappers voor kennis, en moet in ieder geval een deel van die kennis ook bruikbaar zijn om het leven van mensen iets beter te maken. Vaak betekent dit dat de uitkomsten van onderzoek toegepast moeten worden. Om te garanderen dat onderzoek toepasbaar is, moet vaak veel meer onderzoek gedaan worden om alle kleinere details uit te werken, dan dat er tijd nodig is om innovatief onderzoek te doen. Het is over het algemeen veel moeilijker om de laatste stappen in een valorisatie traject te zetten, dan de eerste stappen. De eerste ‘innovatieve’ stappen worden echter veel meer beloond door managers. Onderzoekers die het echte werk doen binnen de valorisatie van kennis, doen dan niet om hun eigen carrière te verbeteren, maar uit overtuiging. In de tijd dat je één veldstudie doet, kun je makkelijk vier experimenten in het lab doen. Zolang managers geen onderscheid maken in de hoeveelheid werk die een publicatie kost, vermindert de kans dat wetenschappers de moeite nemen om te onderzoeken hoe kennis toegepast kunnen worden. Managers moeten dus differentiëren in hoe prestaties gemeten worden. Een goede veldstudie is voor het uiteindelijke doel van de wetenschap misschien wel meer waard dan 10 lab experimenten.

Conclusie

We mogen trots zijn op de Nederlandse wetenschap. We hebben veel intrinsiek gemotiveerde onderzoekers die niets liever doen dan nieuwe dingen ontdekken, en daar heel goed in zijn. Tegelijkertijd kan het altijd beter. Ik heb hier drie problemen geschetst die een robuuste en excellente wetenschap in de weg staan. Als eerste belonen we individuele excellentie, terwijl we excellente samenwerking zouden moeten stimuleren. Als tweede wordt er gemanaged op innovatief onderzoek, terwijl dat juist het natuurlijke, intrinsiek motiverende gedrag is dat Nederlandse wetenschappers zullen laten zien als je ze met rust laat. Management moet zich richten op het verzekeren van de robuustheid van onderzoek, en de praktische toepassing van resultaten. Als laatste moeten de aanpassingen van de beloningsstructuren binnen de wetenschap gebaseerd zijn op wetenschappelijke inzichten. Als je mensen beloont met extra geld of het vooruitzicht op een vaste aanstelling, dan moeten de beloningsstructuren zo inrichten dat ze leiden tot de meeste robuuste nieuwe kennis. Hoe je dat bereikt is een empirische vraag, waarvan het antwoord gevonden moet worden in data. Het zou zo maar kunnen dat de grootte innovatie binnen de Nederlandse wetenschap bereikt gaat worden door de beloningsstructuren opnieuw vorm te geven.