Het artikel bespreekt de gevaren van het blind vertrouwen op p-waarden, geïllustreerd door een studie die onterecht een verband suggereerde tussen de aantrekkelijkheid van ouders en het geslacht van hun kinderen. De auteur beargumenteert dat dergelijke resultaten vaak het gevolg zijn van 'forking paths' of toeval bij kleine steekproeven.
Om dit soort fouten te voorkomen, introduceert de auteur de methode van fake-data simulatie (ook wel simulated-data experimentation genoemd). Door hypothetische replicaties te simuleren onder een nulmodel, kan een onderzoeker inzien of de geobserveerde data plausibel zijn binnen een willekeurig proces, zonder dat hiervoor diepgaande vakinhoudelijke kennis vereist is.
De auteur definieert 'modern frequentisme' als het benaderen van data als één trekking uit een distributie van mogelijke realisaties. Hoewel simulaties extra inspanning kosten en een generatief model vereisen, helpen ze onderzoekers om kritischer na te denken over hun experimentele proces. Deze methodiek wordt verder uitgediept in het boek Bayesian Workflow.
Hoe we moderne frequentistische statistiek toepassen: het gebruik van fake-data simulaties om te begrijpen wat er in een studie kan gebeuren
De gepubliceerde analyse vergeleek de sekseratio van kinderen van "zeer aantrekkelijke" ouders met alle anderen. Het verschil was 8 procentpunt — niet de "36 procent" die foutief in het tijdschrift werd gerapporteerd en geloofwaardig werd herhaald door Freakonomics — maar nog steeds ongeveer 100 keer groter dan elk plausibel effect.
De data hiervoor lijken echter overtuigend: de resultaten komen uit een enquête onder 3000 mensen en het percentage is inderdaad het hoogst in de categorie "meest aantrekkelijk". De vergelijking heeft een p-waarde van minder dan 0,05, wat de reden was dat het resultaat werd gepubliceerd.
De beperkingen van de analyse
Het resultaat is wetenschappelijk gezien niet plausibel gezien de uitgebreide literatuur over dit onderwerp; grote effecten van dit soort zijn alleen te vinden in studies met kleine steekproeven. Bovendien is de statistische significantie volledig te verklaren door forking paths: de vreemde keuze om categorie 5 te vergelijken met categorie 1 tot en met 4, in plaats van categorie 4 en 5 te vergelijken met 1 tot en met 3, of simpelweg een regressie uit te voeren.
Die schatting van de helling (slope) is statistisch niet significant. In elk geval is de schatting te onnauwkeurig om nuttig te zijn, gezien de reeks van realistisch mogelijke effectgroottes. Het is het "kangoeroerprobleem".
Maar laten we dat terzijde schuiven. Laten we onze vakinhoudelijke kennis en statistische expertise vergeten. De vraag is: is er een manier waarop een onderzoeker zonder die gespecialiseerde kennis het probleem met deze studie had kunnen zien?
De methode: Fake-data simulatie
Het antwoord is ja, en de methode is fake-data simulatie. Dit kunnen we ook simulated-data experimentation of bootstrapping noemen. Het enige verschil is dat bootstrapping conventioneel wordt gebruikt om een bias-correctie of een onzekerheidsschatting voor een interval te verkrijgen, terwijl we het hier gebruiken om intuïtie te ontwikkelen over een statistisch proces van dataverzameling.
We willen de statistische eigenschappen van de studie over schoonheid en sekseratio begrijpen door hypothetische replicaties te simuleren. In dit specifieke geval kwamen de data van 2792 deelnemers die minstens één biologisch kind hadden in Wave III van de National Longitudinal Study of Adolescent to Adult Health. De volledige steekproef bestond uit 4877 respondenten, waarvan:
- 2% werd gekarakteriseerd als "zeer onaantrekkelijk";
- 5% als "onaantrekkelijk";
- 45% als "gemiddeld";
- 37% als "aantrekkelijk";
- 11% als "zeer aantrekkelijk".
Simulatie onder een nulmodel
We simuleren replicaties onder een nulmodel. Uitgaande van de aanname dat de kans op de geboorte van een meisje 0,488 is, onafhankelijk van de aantrekkelijkheid van de ouders, simuleren we de resultaten van 2792 geboorten met de verhoudingen in de vijf aantrekkelijkheidscategorieën zoals hierboven vermeld.
Wanneer we bijvoorbeeld 20 gesimuleerde datasets bekijken (met per dataset de fitted least squares lijn), zien we patronen die net zo dramatisch zijn als die van de geobserveerde data. Dit geeft aan dat die data niet moeten worden beschouwd als bewijs tegen het nulmodel.
Het prachtige aan deze simulatie-experimenten is dat ze problemen met een naïef ontwerp kunnen onthullen, zelfs als je vooraf geen moeilijkheden had voorzien. De oorspronkelijke auteur van dat artikel had ons veel moeite kunnen besparen door 1000 replicaties van die enquêtegegevens op de computer te simuleren, vlak voor of vlak na de data-analyse. Hiervoor is geen wiskunde of vakinhoudelijke kennis vereist.
Wat is modern frequentisme?
In een zeer reële zin is dit frequentisme. Voor mij gaat "frequentisme" niet over onbevooroordeelde schatters of langetermijndekking, maar over het beschouwen van de data die je ziet als één trekking uit een distributie van mogelijke realisaties van de data. Het gaat erom naar deze distributie te kijken om te zien hoe je data en inferenties in de toekomst kunnen fluctueren, en om de data die je daadwerkelijk ziet te interpreteren.
Waarom wordt dit niet altijd gedaan?
Er zijn twee redenen waarom mensen dit niet standaard doen:
- Een naïef begrip van statistische theorie: Men denkt dat als je handelt alsof "statistische significantie = waarheid", je in 95% van de gevallen oké bent. Ze controleren niet omdat ze denken dat er niets te controleren valt, of omdat ze aannemen dat experts dit al voor hen hebben gedaan. Ze controleren hun statistische analyse niet, net zoals ik niet elke keer de kabels controleer wanneer ik in een lift stap; ik ga ervan uit dat de fundamentele vragen over liftveiligheid al zijn beantwoord.
- Simulaties kosten inspanning: Een simulatie-experiment vereist een volledig generatief model — een regel voor het definiëren van de waarheid en het simuleren van data uit een specifiek willekeurig proces — gevolgd door een analyse van de gesimuleerde data, alles genest in een loop en eindigend met een vergelijking van inferenties met de waarheid. Dit vereist extra werk vergeleken met het uitvoeren van een experiment, omdat het een automatische procedure voor data-analyse en een generatief model vereist.
Toch hebben we gemerkt dat deze extra inspanning bij het construeren van een generatief model en het automatiseren van het analyseproces juist helpt om over het experimentele proces na te denken. Het vertoont overeenkomsten met de stappen van preregistratie.
Dit voorbeeld en de bijbehorende discussie zijn te vinden in Sectie 10.5, "Simulated-data experimentation as virtual replication", van ons boek Bayesian Workflow. Wanneer mensen (ikzelf inbegrepen!) fouten maken, is het nuttig om niet alleen uit te zoeken waar het misging en hoe dat gebeurde, maar ook om afstand te nemen en te zien of er een algemener proces is dat gevolgd had kunnen worden om het probleem te signaleren.
Hoe we moderne frequentistische statistiek toepassen: het gebruik van fake-data simulaties om te begrijpen wat er in een studie kan gebeuren
De gepubliceerde analyse vergeleek de sekseratio van kinderen van "zeer aantrekkelijke" ouders met alle anderen. Het verschil was 8 procentpunt — niet de "36 procent" die foutief in het tijdschrift werd gerapporteerd en geloofwaardig werd herhaald door Freakonomics — maar nog steeds ongeveer 100 keer groter dan elk plausibel effect.
De data hiervoor lijken echter overtuigend: de resultaten komen uit een enquête onder 3000 mensen en het percentage is inderdaad het hoogst in de categorie "meest aantrekkelijk". De vergelijking heeft een p-waarde van minder dan 0,05, wat de reden was dat het resultaat werd gepubliceerd.
De beperkingen van de analyse
Het resultaat is wetenschappelijk gezien niet plausibel gezien de uitgebreide literatuur over dit onderwerp; grote effecten van dit soort zijn alleen te vinden in studies met kleine steekproeven. Bovendien is de statistische significantie volledig te verklaren door forking paths: de vreemde keuze om categorie 5 te vergelijken met categorie 1 tot en met 4, in plaats van categorie 4 en 5 te vergelijken met 1 tot en met 3, of simpelweg een regressie uit te voeren.
Die schatting van de helling (slope) is statistisch niet significant. In elk geval is de schatting te onnauwkeurig om nuttig te zijn, gezien de reeks van realistisch mogelijke effectgroottes. Het is het "kangoeroerprobleem".
Maar laten we dat terzijde schuiven. Laten we onze vakinhoudelijke kennis en statistische expertise vergeten. De vraag is: is er een manier waarop een onderzoeker zonder die gespecialiseerde kennis het probleem met deze studie had kunnen zien?
De methode: Fake-data simulatie
Het antwoord is ja, en de methode is fake-data simulatie. Dit kunnen we ook simulated-data experimentation of bootstrapping noemen. Het enige verschil is dat bootstrapping conventioneel wordt gebruikt om een bias-correctie of een onzekerheidsschatting voor een interval te verkrijgen, terwijl we het hier gebruiken om intuïtie te ontwikkelen over een statistisch proces van dataverzameling.
We willen de statistische eigenschappen van de studie over schoonheid en sekseratio begrijpen door hypothetische replicaties te simuleren. In dit specifieke geval kwamen de data van 2792 deelnemers die minstens één biologisch kind hadden in Wave III van de National Longitudinal Study of Adolescent to Adult Health. De volledige steekproef bestond uit 4877 respondenten, waarvan:
- 2% werd gekarakteriseerd als "zeer onaantrekkelijk";
- 5% als "onaantrekkelijk";
- 45% als "gemiddeld";
- 37% als "aantrekkelijk";
- 11% als "zeer aantrekkelijk".
Simulatie onder een nulmodel
We simuleren replicaties onder een nulmodel. Uitgaande van de aanname dat de kans op de geboorte van een meisje 0,488 is, onafhankelijk van de aantrekkelijkheid van de ouders, simuleren we de resultaten van 2792 geboorten met de verhoudingen in de vijf aantrekkelijkheidscategorieën zoals hierboven vermeld.
Wanneer we bijvoorbeeld 20 gesimuleerde datasets bekijken (met per dataset de fitted least squares lijn), zien we patronen die net zo dramatisch zijn als die van de geobserveerde data. Dit geeft aan dat die data niet moeten worden beschouwd als bewijs tegen het nulmodel.
Het prachtige aan deze simulatie-experimenten is dat ze problemen met een naïef ontwerp kunnen onthullen, zelfs als je vooraf geen moeilijkheden had voorzien. De oorspronkelijke auteur van dat artikel had ons veel moeite kunnen besparen door 1000 replicaties van die enquêtegegevens op de computer te simuleren, vlak voor of vlak na de data-analyse. Hiervoor is geen wiskunde of vakinhoudelijke kennis vereist.
Wat is modern frequentisme?
In een zeer reële zin is dit frequentisme. Voor mij gaat "frequentisme" niet over onbevooroordeelde schatters of langetermijndekking, maar over het beschouwen van de data die je ziet als één trekking uit een distributie van mogelijke realisaties van de data. Het gaat erom naar deze distributie te kijken om te zien hoe je data en inferenties in de toekomst kunnen fluctueren, en om de data die je daadwerkelijk ziet te interpreteren.
Waarom wordt dit niet altijd gedaan?
Er zijn twee redenen waarom mensen dit niet standaard doen:
- Een naïef begrip van statistische theorie: Men denkt dat als je handelt alsof "statistische significantie = waarheid", je in 95% van de gevallen oké bent. Ze controleren niet omdat ze denken dat er niets te controleren valt, of omdat ze aannemen dat experts dit al voor hen hebben gedaan. Ze controleren hun statistische analyse niet, net zoals ik niet elke keer de kabels controleer wanneer ik in een lift stap; ik ga ervan uit dat de fundamentele vragen over liftveiligheid al zijn beantwoord.
- Simulaties kosten inspanning: Een simulatie-experiment vereist een volledig generatief model — een regel voor het definiëren van de waarheid en het simuleren van data uit een specifiek willekeurig proces — gevolgd door een analyse van de gesimuleerde data, alles genest in een loop en eindigend met een vergelijking van inferenties met de waarheid. Dit vereist extra werk vergeleken met het uitvoeren van een experiment, omdat het een automatische procedure voor data-analyse en een generatief model vereist.
Toch hebben we gemerkt dat deze extra inspanning bij het construeren van een generatief model en het automatiseren van het analyseproces juist helpt om over het experimentele proces na te denken. Het vertoont overeenkomsten met de stappen van preregistratie.
Dit voorbeeld en de bijbehorende discussie zijn te vinden in Sectie 10.5, "Simulated-data experimentation as virtual replication", van ons boek Bayesian Workflow. Wanneer mensen (ikzelf inbegrepen!) fouten maken, is het nuttig om niet alleen uit te zoeken waar het misging en hoe dat gebeurde, maar ook om afstand te nemen en te zien of er een algemener proces is dat gevolgd had kunnen worden om het probleem te signaleren.
Groetjes,