Het belang van statistiek
Statistiek is een belangrijk hulpvak in de wetenschap. In veel geschiedenisopleidingen is het echter niet meer dan een keuzevak, dat vooral gevolgd wordt door studenten die zich gaan concentreren op de sociaal-economische geschiedenis. Ook voor Digital Humanities is statistiek evident van belang. Naar mijn mening is echter zelfs voor de minst cijfermatig ingestelde historicus zeer nuttig om een vak statistiek te volgen. Ik zal niet beweren dat iedereen alles moet weten over statistische significantie, of moet kunnen werken met alle knopjes in Excel of SPSS om een goede wetenschapper te zijn. Er zijn echter bepaalde statistische basisprincipes die voor iedereen de wereld een stuk inzichtelijker kunnen maken. [1] Historici willen de wereld begrijpen. Historici kunnen als geen ander zaken uit het heden relativeren door te wijzen op gebeurtenissen en patronen uit het verleden. Inzicht in statistische principes kan daarbij een grote hulp zijn, zowel om te begrijpen als om te relativeren. Hierbij volgt een korte uiteenzetting van een aantal van de belangrijkste statistische principes en het belang van statistiek voor de historicus.
Een fictieve casus in historische setting
Johan de Witt was niet alleen een bekend politicus uit de Gouden Eeuw, hij was ook een getalenteerd wiskundige. In zijn tijd konden mensen ‘lijfrentes’ kopen voor een bepaald bedrag, die ze voor zolang ze leefden uitbetaald zouden krijgen. Iemand die erg oud werd zou dus het bedrag dat hij eenmalig voor de lijfrente ontving er goed uit kunnen halen. Iemand die de volgende maand onder een paard liep had beter ergens anders in kunnen investeren. Aan de hand van genoeg ‘data’ berekende De Witt hoe oud een persoon gemiddeld werd en wat de meest voor de hand liggende prijs moest zijn voor zo’n lijfrente. Belangrijk werk van De Witt, waarmee hij door sommigen gezien wordt als de grondlegger van de verzekeringswiskunde. Om tot zijn berekeningen te komen had De Witt veel data nodig om te komen tot een ‘gemiddelde’. En binnen die data weer de nodige informatie over variabelen.
In het volgende illustreer ik wat statistische basisprincipes aan de hand van de fictieve Hagenaar Pieter Klaasz., die een tijdgenoot was van Johan de Witt. Pieter was een meester-metselaar, die met veel hard werken het nodige vermogen had weten op te bouwen. Pieter had de keuze een lijfrente te kopen voor zijn tien kinderen, maar liep dan wel het risico dat het weggegooid geld was als de helft van die kinderen volgend jaar overleed aan de pokken. Pieter dacht dat als gemiddeld drie op de vier kinderen de volwassen leeftijd bereikten en oud werden, dat hij de gok wel kon wagen. Statistieken doen echter niet aan het eerlijk distribueren van geluk en ongeluk: als een gezin eenmaal getroffen werd door de pokken dan was de kans groot op meerdere dodelijke slachtoffers van deze ziekte.
Zelfs als wij vreselijke ziektes buiten beschouwing laten dan had Pieter weinig houvast aan de statistiek. Zo kon het zijn dat gemiddeld een op de twintig kinderen vroegtijdig overleed aan een ongeluk. Ze konden uit een boot vallen, onder een paard lopen of onder het ijs vast komen te zitten. Als Pieter tien kinderen kreeg die oud genoeg werden voor dergelijke ongelukjes, dan zou de kans dat een van hen aan een dergelijk ongeluk overleed ongeveer 50% zijn. Behalve dan dat de statistische gemiddelden ook hier weinig rekening houden met zijn gezinssituatie. Als een van zijn kinderen een ongeluk kreeg, dan was de kans aanzienlijk dat een van zijn andere kinderen daar ook bij betrokken zou zijn. Toen Marietje en Klaasje dus samen onder een paard liepen was dat niet in overeenstemming met het gemiddelde, maar had Pieter nog steeds twee dode kinderen.
Pieter dacht na de dood van twee van zijn kinderen dat de kans dat nog meer van zijn kinderen zouden verongelukken nu wel heel klein moest zijn. Hij zat immers al ruimschoots boven het gemiddelde. Dat klinkt logisch, maar is een veel gemaakte denkfout. Voor ieder kind is de kans op een dodelijk ongeluk namelijk 1 op 20. Derhalve is onder gelijke omstandigheden, en voordat er iets gebeurd is, de kans dat een van zijn tien kinderen dodelijk zou verongelukken ongeveer 50%. De statistiek onthoudt echter niet eerdere resultaten en houdt er ook geen rekening mee. Dus op het moment dat Marietje en Klaasje dodelijk zijn verongelukt is de kans voor de overgebleven acht kinderen op een dodelijk ongeluk nog steeds 1 op 20. Er is voor Pieter dus geen enkele reden om aan te nemen dat zijn overgebleven kinderen nu veiliger zijn dan voor het ongeluk.
Hetzelfde geldt als Pieter na het ongeluk graag een nieuwe mannelijke nakomeling zou produceren, aangezien Klaasje vreemd genoeg zijn enige zoon was. Stel hij verwekt nog vijf kinderen, dan is de kans dat een van hen een jongen is natuurlijk aanzienlijk. Op het moment dat de eerste vier kinderen meisjes zijn dan is echter de kans op een stamhouder bij het vijfde kind nog steeds maar 50% (of eigenlijk iets hoger, omdat er een fractie meer jongens worden geboren). Bij ieder ‘negatief’ resultaat, een meisje, worden de kansen op een succes voor het totaal van de overgebleven pogingen kleiner.
Pieter is depressief door de dood van zijn kinderen en het gebrek aan mannelijke nakomelingen en koopt tien loten in de loterij. Hoewel de kans op een prijs aanzienlijk is, laten we zeggen een op vijf, krijgt Pieter bij de trekking helemaal niets. Hij koopt nog eens tien loten omdat hij denkt dat statistisch gezien zijn geluk nu wel eens moet keren. Bij die volgende tien loten heeft hij echter nog steeds dezelfde kans als bij de eerste tien loten. Ook het feit dat nog niemand in zijn straat in de prijzen is gevallen vergroot zijn kansen niet.
Pieter gaat door al deze ellende het slechte pad en krijgt moordneigingen. Er klopt die avond een vreemdeling bij hem aan en vraagt om onderdak. Pieter is in een goede bui en verleent dit. De vreemdeling vraagt Pieter hoe hij wist dat hij hem kon vertrouwen. Pieter glimlacht en zegt dat de kans dat er twee mannen met moordneigingen onder een dak slapen wel heel klein is. Als hij iets van voorgaande episodes geleerd had dan wist hij dat die kans net zo groot was als voor ieder ander, aangezien de eerste onwaarschijnlijke variabele, namelijk ‘Pieter heeft moordneigingen’, er al was.
Pieter heeft alles bij elkaar dus wel heel veel pech. Eerst sterven er bovengemiddeld veel van zijn kinderen, vervolgens lukt het hem niet een nieuwe stamhouder te verwekken, vergokt hij zijn geld, en verleent hij ook nog eens onderdak aan een potentiële moordenaar. Toch zijn al deze gebeurtenissen niet een reden om niet te geloven in statistiek. Individuen zijn slechts minuscule eenheden binnen grote ‘datasets’ waaruit gemiddelden worden gehaald. De pech van Pieter wordt weer in balans gebracht door het geluk van anderen.
Nu vindt Pieter dat geluk van anderen niet in zijn eigen straat. De buren hebben wel tien kinderen die verongelukt zijn en tante Miep aan het einde van de straat doet al tien jaar mee aan allerlei loterijen zonder iets te winnen. Pieter gaat mopperen en vindt dat de lijfrentes van Johan de Witt ook eigenlijk veel te duur zijn. Ze zijn gebaseerd op valse data, want niemand die hij kent komt in de buurt van het gemiddelde. Boos en gefrustreerd doet hij zijn beklag in de kroeg en velen vallen hem bij met voorbeelden van hun eigen ongeluk. Mensen met iets minder pech houden wijselijk hun mond. Het idee dat Johan de Witt de boel loopt te flessen met zijn lijfrentes en loterijen gaat een eigen leven lijden en plotseling is het een feit dat de raadpensionaris een oplichter is.
Pieter en zijn buurtgenoten bevestigen elkaar in hun eigen ervaringen en vormen zo wat men ook wel een echo chamber noemt. Mensen die, al dan niet door toeval, dezelfde ideeën hebben en samen komen om daarover te praten, bevestigen elkaar alleen maar in hun ideeën. Omdat Pieter en zijn vrienden te weinig beseffen hoe onbenullig hun levens zijn in de ogen van de statistiekduivel, zien ze vooral hoe iets onbenoembaars hun in de weg zit en verantwoordelijk is voor hun ellende. Kwaad en ellendig voegen ze zich op 20 juni 1672 bij de volksmenigte die Johan de Witt en zijn broer Cornelis aan stukken scheurt.
Het vaccinatiedebat
Het bovenstaande voorbeeld is fictief, maar illustreert wel hoe een gebrek aan statistisch denken, en een begrijpelijk menselijk egocentrisme, kan leiden tot verkeerde of zelfs gevaarlijke denkbeelden. Een meer recent, en niet hypothetisch, voorbeeld is het vaccinatiedebat. Al sinds de eerste inentingen in Europa verricht werden vanaf het midden van de achttiende eeuw (toen nog met mensenpokken), waren er voor- en tegenstanders. De minderheid van tegenstanders bracht eeuwenlang deze drie hoofdargumenten naar voren: 1) vaccinaties zijn tegen Gods predestinatie; 2) vaccinaties zijn onnatuurlijk; 3) vaccinaties hebben allerlei slechte bijwerkingen. In de laatste decennia zien we ook: 4) vaccinaties worden ons opgedrongen door de farmaceutische industrie om geld te verdienen. De eerste twee argumenten zijn moeilijk met wetenschappelijke feiten te staven of te weerleggen. Hier is vooral het derde argument interessant.
In de loop van 250 jaar zijn allerlei nare bijwerkingen aan vaccinaties toegeschreven, zoals: syfilis, mazelen, hersenvliesontsteking en, meest recent, autisme. Tegenstanders van vaccinaties weten elkaar vaak te vinden in hun eigen ‘echo chambers’. Vroeger waren dat vooral kleine dorpen, tegenwoordig is dat in toenemende mate op het internet. Ongestaafde meningen galmen rond in echo chambers in de cyberspace en mensen raken heilig overtuigd van hun eigen gelijk omdat ‘iedereen’ het zegt. De fabel dat vaccinaties autisme veroorzaken is de wereld in geholpen door een ‘wetenschappelijk’ artikel in de Lancet van Andrew Wakefield uit 1998, dat helaas in eerste instantie de test van de peer review heeft doorstaan. Hoewel dit artikel al lang is onderuitgehaald en aantoonbaar valse data gebruikte is het idee van de correlatie tussen autisme en vaccinaties nog altijd springlevend.
De hardnekkigheid van de ‘vaccinatie veroorzaakt autisme mythe’ heeft denk ik te maken met de eerder genoemde echo chambers en het vals leggen van causale verbanden. Historici worden getraind om onbetrouwbare teksten van betrouwbare teksten te scheiden. Niet iedereen heeft een dergelijke academische achtergrond. Er zijn genoeg mensen die betrouwbaar ogende teksten kunnen schrijven, met bronvermeldingen en al, die een tamelijk overtuigend betoog kunnen houden over een bepaald onderwerp. Bovendien hebben mensen de neiging om ofwel alles te geloven wat ze lezen, ofwel alleen die dingen te geloven die ze willen geloven als ze het maar ergens kunnen lezen. Met name door het internet en de vrije verspreiding van informatie kunnen mensen zich daardoor snel in echo chambers opsluiten met gelijkgestemden en kan het zelfs lijken alsof de meerderheid net zo denkt als zij. Dit zijn allemaal menselijke, maar zeer gevaarlijke, mechanismen.
Echo chambers zijn ook een grote vijand van de statistiek. Het is zeer onwaarschijnlijk, maar wel mogelijk, dat er een verkeerde reactie optreedt als gevolg van een vaccinatie. Toch zijn het juist de mislukkingen die snel verspreid worden. Je hoort zelden iemand melden dat een vaccinatie goed is gegaan. Als er iets verkeerd gaat klimmen mensen echter snel in de pen. Dus als 1 op de 10.000 vaccinaties een naar effect tot gevolg heeft, of lijkt te hebben, dan heeft dat veel meer invloed op de publieke perceptie dan de 9.999 vaccinaties waarbij er niets aan de hand is. De wereld is groot, dus hoewel het relatieve aantal verhalen van een niet zo prettige ervaring bijzonder klein is, kan het absolute aantal al snel oplopen. Een dossier van honderd horrorverhalen kan dienen als een schrikwekkend beeld voor jonge ouders. Dat was in de negentiende eeuw al zo, toen anti vaxxers altijd wel een of twee afschrikwekkende voorbeelden hadden, en is in het internettijdperk nog vele malen uitvergroot. Het kan dan zelfs voor de meest rationele ouder lastig zijn om niet instinctief even de neiging te hebben om je kind dan maar weg te houden van de naalden.
Een andere menselijke neiging die haaks staat op statistische gegevens, is de dwangmatige behoefte om de wereld te begrijpen en ook om invloed te hebben op wat er gebeurt. Als een oogst mislukte dan was dat het werk van de duivel, van een heks, of was het een straf van God. Dat kon je afwenden door te bidden of de heks te verbranden. Simpele pech met de weersomstandigheden is moeilijker te accepteren, want daar kan je als mens weinig aan doen. Niemand is graag een hulpeloos slachtoffer van domme pech. Dat is waarschijnlijk ook een van de redenen dat de link tussen vaccinaties en autisme zo hardnekkig is. Niemand weet precies waarom het ene kind autistisch is en het andere niet, behalve dan dat het iets te maken heeft met genetische aanleg. Vaccinaties zijn eng, want wat voor stof laat je eigenlijk in je kind spuiten? Als je kind dan ook nog eens zichtbaar ‘autistisch wordt’ rond het tweede jaar, niet lang nadat het de BMR inenting heeft gekregen, dan is het een natuurlijke neiging een causaal verband te leggen tussen iets engs en iets onverklaarbaars. Het helpt daarbij niet dat autisme iets van de laatste tijd lijkt, hoewel het altijd al bestaan heeft. In de Middeleeuwen had men elfenkinderen, iets later had men een ‘excentrieke oom’ of een zusje in het gekkenhuis, terwijl ze nu een autisme spectrum stoornis diagnose zouden krijgen. Wat dat betreft zijn de menselijke instincten nog steeds ‘middeleeuws’. Voor onverklaarbare zaken worden onwaarschijnlijke oorzaken gezocht om de gevoelens van angst en onmacht te kanaliseren.
Het is daarbij extra belangrijk om te beseffen dat resultaten geen vast patroon volgen. Statistische gegevens kunnen al snel vals lijken als uit eigen waarneming een heel ander patroon naar voren komt. Stel dat 1 op de 1000 kinderen volgens de statistieken hoge koorts krijgt na een inenting en in jouw buurt zijn er al drie kindjes die hoge koorts hebben gekregen, dan denk je wellicht dat het eerder 1 op de 10 moet zijn. Dus de studie deugt niet, of misschien heeft de overheid het wel bewust verzonnen! Het zou echter zeer onwaarschijnlijk zijn, zelfs als alle andere randvoorwaarden hetzelfde zijn, dat een statistisch patroon regelmatig is. Voor een slimme hoogleraar is dat zelfs de manier om belabberd gefalsificeerde onderzoeksdata op te sporen. Een normaal patroon is niet A, B, C, D, E, A, B, C, D, E, maar eerder A,A,A, C, E, A, A, B, A. Resultaten klonteren vaak samen, waar onder meer het idee van gokkers vandaan komt dat ze in een ‘winning streak’ zitten. Het is echter geen winning streak, het is gewoon een ‘normaal’ resultaat binnen de probabiliteit dat ze iets winnen. Iedere worp aan de goktafel heeft, zoals eerder gezegd, weer dezelfde kans op succes, ongeacht of de gokker daarvoor al tien keer heeft gewonnen of verloren.
Statistische significantie: wat is significant?
De vraag is dan vervolgens wat historici hier precies mee kunnen. Inzichten in statistiek, echo chambers en menselijke denkfouten zijn hoe dan ook van belang om de geschiedenis te verklaren. Kunnen historici echter ook zelf met statistisch significante resultaten komen? Het antwoord is ja, soms wel, en zelfs als de resultaten niet significant zijn dan kunnen statistieken wel wijzen op mogelijke patronen die het verdienen om nader onderzocht te worden.
Als sociaal-economische historici de geboorte- en sterfgegevens hebben van duizenden mensen over een periode van driehonderd jaar dan kan je daar zeker statistisch significante berekeningen mee doen. Voor een echt statistisch significant resultaat heb je echter doorgaans veel meer, veel completere en veel betrouwbaardere gegevens nodig dan de incomplete, weinige en voor interpretatie vatbare data van de meeste historici. Dat besef kan de digitale historicus verdrietig maken, maar eigenlijk is dat helemaal niet erg. Ook een niet statistisch significant patroon is een patroon. Ik heb onderzoek gedaan naar veranderingen in het ‘concept’ van vaccinaties over een periode van honderd jaar. De resultaten wezen duidelijk in een richting, maar waren zeker niet statistisch significant. Om te komen tot statistisch significante resultaten, hoe je die ook wilt berekenen, werd er in mijn dataset simpelweg te weinig gesproken over vaccinaties. Wel leek er een duidelijke trend aanwezig te zijn, namelijk dat het concept van vaccinaties langzaam loskwam van woorden als ‘koe’ en ‘pokken’, die de moeite van het verder onderzoeken waard was.
Kortom
Inzicht in basisbeginselen van de statistiek bieden dus inzicht in waarom mensen tot bepaalde (verkeerde) conclusies kunnen komen, en kunnen jezelf behoeden voor denkfouten en confirmation biases. Het kan wijzen op patronen, significant of niet significant, die nader onderzoek waard zijn. Cijfers zijn altijd je vriend. Hoewel hun interpretatie niet altijd voor de hand ligt en ze voor de historicus vaak onvolledig zijn, liegen ze niet en hebben ze geen verborgen agenda’s.
===========
[1] Een goede introductie op statistiek is J. Bennett, W. Briggs, M. Triola, Statistical Reasoning for Everyday Life (Boston etc., 2003)