Post date: Jan 24, 2013 11:57:30 AM
Als promovendus volgde ik ooit een cursus over hoe je artikelen moet ‘peer reviewen’. Tijdens deze controle van een artikel door collega-onderzoekers geef je advies of een artikel goed genoeg is voor publicatie. We oefenden dit peer review proces op een artikel waarvan we niet wisten dat het zeer recentelijk geaccepteerd was voor publicatie in een goed tijdschrift. Ongeveer 90% van de cursisten besloot na het lezen van het artikel dat er zo veel mis mee was, dat het ongeschikt was voor publicatie. Ik heb in deze cursus twee belangrijke lessen geleerd. Als eerste leerde ik dat je altijd overal kritiek op kunt bedenken, en dat geen enkele individuele bijdrage aan de wetenschap op zichzelf helemaal perfect is. Als tweede leerde ik dat nieuwe inzichten, zelfs in hun onvolkomenheden, het delen waard zijn omdat ze een bijdrage kunnen leveren aan onze uiteindelijke kennis. Ik wil deze twee lessen hier graag delen, omdat wetenschapsjournalisten te vaak dezelfde fout maken als beginnende promovendi: harde kritiek hebben op individuele studies, terwijl je eigenlijk op een meta-niveau naar wetenschap moet kijken.
Hans van Maanen is een wetenschapsjournalist die een vaste column heeft waarin hij harde kritiek uit op individuele onderzoeken. Op 12 januari vroeg hij zich van gepubliceerd onderzoek naar de relatie tussen muziekvoorkeur en delinquentie af: “Is dit goede wetenschap?” (zie http://www.vanmaanen.org/hans/columns/muziek.html#antwoord). Ik zou eerder willen vragen: Is dit goede wetenschapsjournalistiek? Het antwoord is: Nee. Hans van Maanen heeft in zijn columns niet de meta-analytische focus die je moet hebben als je denkt over wetenschappelijke onderzoeksresultaten. Het betwisten of we een effect grootte van 0.029 nu als middelgroot of zwak moeten interpreteren is onzinnig, omdat geen enkele individuele studie een goede inschatting geeft van de echte grootte van een effect. Daar heb je meerdere onderzoeken voor nodig, die je vervolgens bekijkt in een meta-analyse over al deze studies.
Een enkele studie zegt niet veel. Wetenschapsjournalisten die persberichten van enkele studies overnemen, of wetenschapsjournalisten die uitgebreide kritieken op enkele studies schrijven zoals Hans van Maanen, snappen niks van wetenschap. Als ik zulke harde kritiek heb op journalisten, moet ik dan niet óók kritiek hebben op de onderzoekers die hun enkele studie publiceerden, en er zelfs een persbericht over schreven? Nee.
Wetenschappelijke kennis geeft nooit absolute zekerheid, maar kan in het ideale geval een aan zekerheid grenzende waarschijnlijkheid bieden. Om dat te bereiken, moet er veel onderzoek gedaan worden. Dat kun je als onderzoeker niet alleen. Je kunt binnen je werkzame leven nu eenmaal maar een beperkt aantal keer 309 jongeren 4 jaar volgen. Daarom is het noodzakelijk dat je, als je gelooft in je idee, andere wetenschappers enthousiast maakt om zich ook met een onderwerp bezig te houden. Dat lukt niet als je zegt: “Muziekvoorkeur voorspelt winkeldiefstal niet”. Dat lukt wel als je de pers gebruikt om aandacht op je werk te vestigen, nadat de resultaten door collega’s als waardevol zijn beoordeeld tijdens het peer review proces. Heel veel wetenschappers weten nu van de Music Marker Theorie: het persbericht heeft zijn doel dus bereikt. Juist door stellige conclusies te trekken ('Weten of een jongere met 16 jaar aan winkeldiefstal doet? Kijk dan naar muziekvoorkeur op 12 jaar!') maak je wetenschappers extra kritisch, waarmee je ze probeert te overtuigen om iets van hun schaarse tijd te besteden aan onderzoek naar het onderwerp dat je zelf zo interessant vindt. Wetenschappers kunnen dan gaan proberen om die theorie te falsificeren: een essentiële stap binnen cumulatieve wetenschap op weg naar ‘aan zekerheid grenzende waarschijnlijkheid’. Iedereen die bij deze eerste studie meer waarde aan de effect grootte hecht dan ‘misschien zit hier wel iets in’ moet een andere baan zoeken.
In een tijd dat het geloof in wetenschap onder druk staat, moeten wetenschappers niet stoppen met enthousiaste persberichten schrijven of met twitteren. We moeten niet-wetenschappers juist duidelijk maken hoe wetenschap werkt. We moeten mensen leren dat ze nooit moeten geloven in de uitkomsten van een enkele studie. Niet omdat Hans van Maanen er kritiek op heeft, maar omdat geen enkele individuele studie ooit goed genoeg is. Tegelijk mag je als wetenschapper best enthousiast zijn als je een stap op weg naar robuuste kennis gezet hebt, zelfs al is het maar een eerste stap, die we nog heel voorzichtig moeten interpreteren. Wat niet helpt om het vertrouwen in de wetenschap te herstellen, is te doen alsof een enkele studie helemaal goed of helemaal slecht kan zijn. Alle wetenschappelijke studies kunnen nieuwe inzichten opleveren, maar geen enkele wetenschappelijke studie is perfect. Of nieuwe inzichten hout snijden kun je nooit bewijzen binnen een enkel artikel. Met kritiek op enkele studies creëert Hans van Maanen verwarring bij lezers van de Volkskrant over hoe de wetenschap werkt. Hij maakt van de wetenschap een valse god waar mensen per definitie niet in moeten geloven. Goede wetenschap bestaat uit cumulatieve inzichten. Die cumulatieve kennis moet het publiek leren herkennen, en alleen wanneer deze cumulatieve kennis aan zekerheid begint te grenzen, biedt de wetenschap mensen iets waar ze in kunnen geloven.