De vrijheid van een wetenschapper

Wij, als wetenschappers, hebben veel vrijheid in ons vak.   Zo kunnen wij bijvoorbeeld zelf beslissen naar welk tijdschrift we een artikel sturen, wat voor onderzoek (bijv. experimenteel of veldonderzoek) we willen doen, naar welk congres wij in het buitenland willen gaan en met wie we willen samenwerken.  Dat is mooi en vooral heel goed. Die vrijheid geeft ons namelijk de mogelijkheid om innovatieve en creatieve ideeën te ontwikkelen die de wetenschap weer een stap vooruit kan duwen. Hoewel die vrijheid door wetenschappers met beide armen wordt omhelst, kleven er niet alleen voordelen aan deze vrijheid. Kijk bijvoorbeeld naar de in opspraak geraakte psycholoog Stapel. Hij voelde zich vrij genoeg om een hele data set uit een hoed te toveren. Maar daar gaat dit stuk niet over. Het gaat om het volgende. Kan die grote vrijheid in ons vak er juist voor zorgen dat de kans op vals positieve effecten wordt vergroot? Om alvast het antwoord te geven: ja, dat kan. Althans dat beweren de psychologen Simmons, Nelson en Simonsohn (in druk) in een recent geaccepteerd artikel in het prestigieuze tijdschrift Psychological Science.

In hun artikel hebben zij het niet over de vrijheden waar ik het over had, maar over de flexibiliteit die wetenschappers hebben bij het verzamelen, analyseren, en rapporteren van data. Voorbeelden hiervan zijn bijvoorbeeld dat als wetenschapper je zelf je afhankelijke variabelen kan kiezen, dat je zelf je steekproef grootte kan bepalen, en dat je zelf kan beslissen of je bepaalde covariaten meeneemt. Een voorbeeld. Volgens Simmons et al. is het niet ondenkbaar dat veel wetenschappers tijdens een onderzoek tussendoor even stoppen met de dataverzameling om de data alvast te peilen. Als onderzoekers dan zien dat de effecten net niet significant zijn, besluiten velen om dan nog maar een paar proefpersonen bij te testen. Maar als de effecten wel significant zijn, zullen er ook genoeg zijn die besluiten te stoppen met testen. Volgens Simmons et al. een uiterst vreemde zaak. Want als wetenschappers niet tevreden zijn met het resultaat tijdens het “tussendoor”-analyseren,  kan er natuurlijk altijd een significant resultaat gevonden als je maar genoeg proefpersonen extra test. Simmons en zijn collega’s komen met nog meerdere voorbeelden op de proppen (zoals het weglaten van gefaalde manipulaties in je uiteindelijke artikel).

Al met al, de crux is dat dergelijke arbitraire beslissingen wetenschappelijke vooruitgang aardig in de weg kunnen zitten en ervoor kunnen zorgen dat bepaalde effecten significant lijken, maar bij betere inspectie verre van significant zijn. Hoewel dergelijke beslissingen door wetenschappers waarschijnlijk niet het gevolg zijn van kwaadaardige bedoelingen, kan de enorme druk om alleen significante resultaten te publiceren dergelijke besluiten aardig in de hand werken. De Nobelprijswinnaar en natuurkundige Max Born heeft het al eens gezegd: Echte wetenschap is bescheiden. En zo is het ook. Het ontbreken van significante resultaten kan even belangrijk zijn als het vinden van significante resultaten.

Dit bericht werd geplaatst in Wetenschap & Maatschappij. Bookmark de permalink .

2 reacties op De vrijheid van een wetenschapper

  1. Ewout Meijer zegt:

    Ben het – geloof ik – niet helemaal met je eens. Je schrijft:

    ‘Want als wetenschappers niet tevreden zijn met het resultaat tijdens het “tussendoor”-analyseren, kan er natuurlijk altijd een significant resultaat gevonden als je maar genoeg proefpersonen extra test.’

    Ik begrijp dat je doelt op een type I fout: het effect is niet in de populatie aanwezig, maar je test net zo lang tot je het wel in je steekproef vindt. Maar dat je een effect dat er in de populatie niet is, eerst ook niet in je steekproef vindt, maar door bij te testen uiteindelijk wel gaat dan toch in tegen het basisidee achter statistiek? Namelijk dat hoe groter je steekproef is, hoe beter het ware effect benaderd wordt? Als je maar genoeg extra proefpersonen test zul je dus juist geen significant resultaat vinden.

  2. Anoniem zegt:

    @Ewout: Yes, but with every extra test you conduct, your chance of finding a significant result rises, right?

Geef een reactie

Gelieve met een van deze methodes in te loggen om je reactie te plaatsen:

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s