Post date: Oct 25, 2012 4:37:53 PM
Datamassage of feitenmassage?
Maarten Keulemans doet in zijn artikel ‘Doping voor de data is overal’ in De Volkskrant van 7 juli precies hetzelfde als de wetenschappers die hij bekritiseert. Hij stelt dat “Wat wetenschappers ook zoeken en voor welke hypothese ze ook bewijs zoeken, ze vinden het.” Keulemans werkt echter hetzelfde: hij zoekt bewijs voor de stelling dat wetenschappers te flexibel omgaan met de data analyse, en hij vindt het. Dit kun je zien aan het feit dat hij het onderzoek van Leslie John aanhaalt en kritiekloos aanneemt dat de conclusies van het onderzoek kloppen, terwijl hij net daarvoor wel 3 onafhankelijke experts naar de studie van Van Schayk heeft laten kijken. Het artikel van Leslie John is echter vele malen slechter dan het artikel van Van Schayk (lees maar wat Norbert Schwarz zegt: http://bit.ly/LwpVeR). Er is veel meer op aan te merken, en zou zeker niet klakkeloos nagepraat moeten worden door een hoofdredacteur van een wetenschapsredactie.
Het is trouwens in de wetenschap zo dat je als redacteur geen artikelen in je eigen tijdschrift mag publiceren zonder dat de kwaliteit hiervan gecontroleerd is door collega’s (zie bijvoorbeeld:http://www.guardian.co.uk/science/2012/jul/06/nature-libel-peer-review?newsfeed=true). Maar dat terzijde.
Het tweede punt dat niet netjes is, is dat Keulemans Van Schayk bekritiseert omdat deze één significant resultaat dat waarschijnlijk toeval is opblaast tot een heel artikel. Keulemans doet echter precies hetzelfde. Hij kiest anekdotisch bewijs uit, zoals het slechte artikel van Van Schayk, en bouwt daar een heel artikel omheen dat wetenschappers allemaal hun data masseren.
Volstrekte onzin natuurlijk. Sla maar eens een tijdschrift open, en kijk eens goed naar de resultaten. Bij een kwalitatief hoogstaand tijdschrift zul je zien dat het meeste van het werk zeer robuust is. Daar vind je geen p-waardes die allemaal met gerommel net onder de p = .05 uitkomen. Daar repliceren mensen hun eigen studies, of de studies van anderen, waarna je alle kritiek over data massage direct naar de prullenbak kunt verwijzen. Het enige dat telt binnen de wetenschap, is namelijk of resultaten repliceerbaar zijn, en als dat lukt, zijn p-waardes vrij betekenisloos geworden. Als je kritiek wil hebben op een heel vakgebied, moet je ook alle artikelen uit een vakgebied bekijken, en er niet een paar uit pikken die overeenkomen met het verhaal dat je wil vertellen.
Zoals Ioannides (2005), die Keulemans aanhaalt, terecht opmerkte, is de kans dat er onzin wordt gepubliceerd vooral groot in onderzoeksvelden die ‘hot’ zijn. Ook dat geldt voor het stuk van Keulemans. De mediahype over problemen met de kwaliteit van de sociale wetenschap is ‘hot’ maar het artikel van Keulemans hierover is grotendeels onzin. Het is te generaliserend, en dat is niet goed voor de wetenschap. Of voor de kwaliteit van een krant. Natuurlijk is de publicatie druk in de journalistiek nog veel groter dan in de wetenschap, waardoor de kwaliteit daar nog meer onder druk staat. Maar dat maakt het niet minder erg als een vakgebied onterecht bekritiseerd wordt. Natuurlijk moet en kan er veel beter. Vooral de beloningsstructuren binnen de wetenschap moeten aangepast worden. Daarnaast wordt er op dit moment al veel aandacht besteed aan het verbeteren van de robuustheid van wetenschappelijke kennis (zie bijvoorbeeld www.openscienceframework.org). Maar we moeten niet willen dat journalisten dezelfde fouten gaan maken als enkele wetenschappers, en daarmee de reputatie van een vakgebied om zeep helpen.