Waarom raadde Maarten Keulemans me Bad Science van Goldacre aan? 10-7-2012

Post date: Oct 25, 2012 4:38:31 PM

Na mijn vorige blog (zie hieronder) mailde Maarten Keulemans me. Dat vond ik wel tof. Volgens mij is het een aardige gast. We zouden een biertje kunnen drinken, en veel lachen. Maar we hadden het over wetenschap, en dat is niet om te lachen, maar een serieuze zaak (al combineert het wel goed met een biertje, maar dat terzijde). Hij had, zo schreef hij, in zijn 5 jaar als columnist tientallen voorbeelden gezien van hoe foute onderzoeken toch gepubliceerd worden. Hij zei, en ik citeer: “lees anders eens Bad Science van Ben Goldacre, of Goochelen met getallen van Hans van Maanen.” Nou hou ik er wel van als mensen me een boek aanraden. Ik vind Nijntje bijvoorbeeld heel leuk, en ik raad Nijntje dan ook met plezier aan. Aan peuters dan he. Niet aan journalisten om hun kennis over Nederlands bij te spijkeren. Dat hij mij Bad Science van Goldacre adviseerde, is een beetje alsof ik een geschiedenis professor van Nul tot Nu zou aanbevelen. Of alsof ik Peter Higgs de autobiografie van E=MC² zou geven. Ik vind beide boeken echt leuk, en ik zou je ze aanraden – als je net als ik niks weet van geschiedenis of de relativiteitstheorie.

Nu weet ik wel iets van wetenschap. Ik ben gepromoveerd, en werk als universitair docent aan de Technische Universiteit in Eindhoven. Het kan zijn dan Maarten Keulemans dat niet wist. Dat heb je met dat anonieme contact via internet. Ik geef mezelf een voorzichtig zesje, als het gaat om kennis over de wetenschap. Ik was toch benieuwd of ik nog iets zou leren van het boek van Goldacre. Dus ik downloadde het luisterboek, omdat ik voorzichtig inschatte dat ik alles ook wel zou begrijpen als ik tegelijk andere dingen deed, zoals de hond uitlaten, joggen, of de afwas doen.

Ik vond het erg mooi hoe Ben Goldacre zegt: “By the end of this section you will know more about evidence based medicine and trial design than the average doctor.” Dat lijkt heel mooi, maar de gemiddelde arts is geen wetenschapper. Na het lezen van zijn boek weet je ook meer over wetenschap dan de vuilnisman. Wat belangrijker is, is dat je na het lezen van het boek nog steeds best wel heel erg weinig weet van wetenschap. Je weet dat als je een studie wilt doen, je een experimentele groep en een controle groep nodig hebt. Natuurlijk zijn er veel meer onderzoeksmethoden: herhaalde metingen binnen proefpersonen, longitudinale studies, of afwijkingen van kans onderzoeken. Maar die gebruiken ze in de medische wetenschap bijna nooit, en daar weet Goldacre dus ongeveer evenveel van als de vuilnisman. Dat is helemaal niet erg – ik plaats het gewoon even in perspectief. Stel dat je niks weet over de wetenschappelijke methode, en je leest het boek van Goldacre. Het is natuurlijk moeilijk om cijfers te hangen aan hoeveel kennis je hebt (zelfs al moet ik dat als docent vaak doen), maar laten we een schaal maken van een 1 (je weet niks over de wetenschappelijke methode) tot een 10 (je kunt iedereen op de wereld wel iets leren over de wetenschappelijke methode, een soort Popperiaanse supermethodoloog). Ik heb mezelf net op een 6 gezet, maar voornamelijk vanwege iets dat in de psychologie het ‘better-than-average’ effect heet, dat aantoont dat iedereen zichzelf beter dan gemiddeld vindt. Laat ik mezelf dus terugzetten naar een iets reëlere 5 (naar boven afgerond). Ik leer na 7 jaar in de wetenschap immers nog constant bij, en dat gaat de komende 35 jaar niet stoppen. Die 5 geeft aan dat ik genoeg weet om zelf in goede bladen te publiceren omdat ik de methodes goed kan gebruiken. Ik begrijp ze redelijk, maar zeker niet volledig. En ik ben in staat om kritiek te hebben op anderen als ik als peer reviewer mijn werk doe (ik review ongeveer 2 artikelen per maand), maar alleen over die dingen waar ik zelf aardig wat van af weet.

Als je het boek van Goldacre hebt gelezen, ga je in je kennis van de wetenschappelijke methode van een 1 naar een 1,5 (naar boven afgerond). Het had een 1,5 (naar beneden afgerond) kunnen zijn, als Goldacre als medicus niet zo beperkt was in zijn kennis over de wetenschappelijke methode, en als hij niet zoveel fouten maakte.

Ik ga natuurlijk niet het hele boek door, maar als voorbeeld: Goldacre zegt in hoofdstuk 5 dat de kleur rood spanning oproept, terwijl de kleur blauw kalmerend werkt. Toevallig geef ik jaarlijks colleges over kleurpsychologie aan de TU/e en de HvA, en weet ik dat je dit niet zo kunt zeggen. Goldacre beschrijft de effecten van de kleuren rood en blauw op het placebo effect. De studie die hij beschrijft komt van Blackwell en collega’s (1972). Ik heb die studie even opgezocht, en feitelijk is het geen studie, maar een demonstratie in een klas. Studenten krijgen één of twee pillen, en die zijn roze of blauw. Er wordt aan de klas niet verteld dat de kleuren en de hoeveelheid pillen verschillen, en dat is mooi, want op de hoogte zijn van alle condities van een experiment kan ertoe leidden dat studenten snappen wat de wetenschapper probeert te onderzoeken. Echter, daarna heeft de klas een college van een uur. Ik weet niet wat jij vroeger tijdens een uur college deed, maar ik weet wel wat mijn studenten doen. Ze praten met elkaar. En ze zouden zeker praten over de pillen die ze net geslikt hebben. Om het formeler te zeggen: Het kan niet uitgesloten worden dat de studenten op de hoogte zijn van de manipulatie. Daarna moeten de studenten zeggen hoe ze zich voelen. Ze weten dat hun docent een test met ze aan het doen is. Sommige mensen hebben misschien echt iets gevoeld, maar het is ook heel waarschijnlijk dat de studenten zeggen wat ze denken dat de docent wil horen uit ‘sociale wenselijkheid’. Let op dat het concept sociale wenselijkheid helemaal niet besproken wordt in het artikel, of in Goldacre’s boek. Hij zegt steeds maar dat placebo effecten komen door het hele ritueel van naar iemand luisteren, een pil krijgen, etc etc. Maar in sommige studies bestaat het placebo effect misschien helemaal niet (mensen voelen absoluut niks van het nemen van een pil) maar zeggen ze dat ze zich iets beter voelen, gewoon om de arts die zo hard voor ze bezig is niet voor het hoofd te stoten.

Misschien is Goldacre net wat te enthousiast over deze placebo studie om objectief te zijn, maar in een review van de Craen en collega’s (1996) blijkt dat er veel te weinig onderzoek naar de kleur van pillen is gedaan om echt ferme uitspraken te doen. Het laat zien hoe Goldacre in een onmogelijke situatie zit. Hij wil aan een breed publiek iets vertellen over wat goede wetenschap is, maar er is stiekem soms niet genoeg goede wetenschap voor hem om de punten te maken die hij wil maken. Hij doet eigenlijk hetzelfde als de homeopaten die hij zo bestrijdt: Hij kiest de resultaten uit die zijn verhaal ondersteunen. Ik twijfel er (persoonlijk, zonder me echt verdiept te hebben in het onderzoek) niet aan dat hij met een grotere waarschijnlijkheid gelijk heeft dan homeopaten. Maar dat geeft hem geen vrijbrief om een boek te schrijven waarin hij zegt dat bepaalde dingen zo zijn, terwijl ze niet zo zijn.

Waarschijnlijk beseft Goldacre best dat de Blackwell et al (1972) studie slecht is. Misschien krijgt de studie een voldoende binnen de medische wetenschap, maar dat maakt het geen voldoende binnen de psychologische wetenschap. Als deze studie opgestuurd was naar een psychologisch vakblad, in plaats van het medische blad The Lancet, hadden reviewers zonder twijfel gezegd dat de studie ‘critically flawed’ is en dat het manuscript niet geschikt was voor publicatie. Ik overdrijf niet. Het komt gewoon niet in de buurt van wat psychologen een goede studie vinden. En dat terwijl het toch echt een psychologische studie is.

Dat weet ik, maar dat weet Goldacre niet. Hij weet dan weer welke pillen hij aan welke patiënt moet geven, en dat weet ik niet. Ik weet niet waar Goldacre zit op de schaal van 1 tot 10 qua kennis over de wetenschappelijke methode, want ik ken hem niet (al gok ik dat hij zichzelf een 6 zou geven). En ik wil hier ook niet negatief zijn over zijn boek, dat best interessant is voor een breed publiek. Waar ik wel negatief over wil zijn is over wetenschapsjournalisten die enthousiast zijn over dit boek. Zoals Maarten Keulemans, die me dit boek aanraadt. Of de vereniging van wetenschapsjournalisten die dit boek aan de hoofdredacteur geeft van het NOS journaal. Wat ik schokkend vind is het idee dat iemand die ook maar in de verste verte iets met wetenschap doet, daadwerkelijk iets leert uit het boek van Goldacre. Persoonlijk vond ik het een beetje alsof je naar Sesamstraat kijkt. Je weet niet alleen alles, maar je kijkt vooral geïntrigeerd omdat je vergeten was dat er nog mensen (of kinderen, in het geval van Sesamstraat) zijn voor wie bepaalde kennis niet vanzelfsprekend is. Ik luister er naar als docent, omdat ik hoop dat er een goed voorbeeld in staat dat ik misschien kan gebruiken als ik aan studenten iets uit wil leggen over hoe de wetenschap werkt (dat was helaas niet zo).

Ik maak me nu wel zorgen. Hoe kan een hoofdredacteur van een wetenschapsredactie van een krant mij dit boek aanraden? Je mag hopen dat het duidelijk is dat de inhoud van Goldacre zijn boek Bad Science absoluut triviaal is voor een wetenschapper. Zeker als psycholoog bedenk ik regelmatig voordat ik koffie op heb met studenten studies die veel complexer zijn dan randomized controlled trials die Goldacre gebruikt in zijn vakgebied.

Mijn angst is nu dat wetenschapsjournalisten, vooral diegene die voor commerciële media werken zoals de Volkskrant en het NRC, iets leren van een boek als Bad Science. Dat er dingen in staan die ze nog niet wisten over de wetenschappelijke methode. Ik weet dat sommige wetenschapsjournalisten wel gepromoveerd zijn, maar in mijn persoonlijke ervaring begint de echte kennis ontwikkeling pas als je daarna zelfstandig onderzoek gaat uitvoeren. Ik vraag me af of Maarten Keulemans als hoofdredacteur van de wetenschapsredactie van de Volkskrant wel gepromoveerd is, of in ieder geval wat onderzoekservaring heeft. Ik zou dat namelijk wel prettig vinden. Zeker omdat hij een paar dagen geleden zo’n kritisch stuk schreef over hoe wetenschappers hun data masseren. Ik kan best tegen kritiek. Ik geef het graag, maar ik neem het ook ter harte als anderen mij bekritiseren. Maar dan moeten ze wel weten waar ze het over hebben. En als er iets is dat Bad Science van Goldacre tussen de regels door leert, is dat kritiek hebben op onderzoek nog veel moeilijker is dan goed onderzoek doen.