schreeuwlelijk

De wetenschap-twitteraar Paul Matthews wijst ons op een ingezonden brief in Nature van de Brit Michael Kelly hoogleraar aan het department of engineering van de universiteit van Camebridge (zie hier hoe Kelly al eens op WUWT figureerde in 2012). Lees even mee:

Promotional tactics corrupt research

With more than US$1 trillion spent globally on research and development in 2007 (see go.nature.com/5wdd9p), sheer scale seems to be corrupting the scientific enterprise as individuals take ever more extreme measures to stand out.

For instance, parliamentary reviews of the 2009 ‘Climategate’ scandal at the University of East Anglia in Norwich, UK, reported evidence of scientific misconduct (see go.nature.com/d6bdco). The allegations included questionable journal refereeing to promote a particular scientific line (see also Nature http://doi.org/ftb9hc; 2010).

Instead, journals should be supported as places where unsettled science is refined by open debate. But, compared with 30 years ago, they do seem less willing to publish negative results or cautionary reviews that temper unbridled enthusiasm — perhaps because of ratings wars.

In another example, a May 2011 article in Times Higher Education reported on the cover-up of data that would otherwise have prevented a cancer drug from entering phase III clinical trials, raising and dashing patients’ hopes and putting lives at risk on a false premise.

There is also a tendency to issue breathless press releases to accompany publication of even modest advances, and for entries in the ‘future impact’ section of grant application forms to be loaded with ludicrous hyperbole. It is any wonder that trust in scientists is starting to decline (see go.nature.com/3xdcoy)?

Michael Kelly University of Cambridge, UK.

Waar ik met een uitstapje naar een andere wetenschap[ direct op kan inhaken. Gisteren ook die headlines gezien over dat je zogenaamd meer kans op een hartaanval hebt als je geen ontbijt eet? Had je ook al het gevoel dat het waarschijnlijk een zwak onderzoek zou zijn? Ik deel even met jullie wat ik er gisteren over mailde aan mijn vrouw (we zijn samen serieus met voeding bezig):

Alle media buitenen weer over elkaar heen om dit nieuws te brengen: Groter risico op hartaanval door overslaan ontbijt. Zie bijvoorbeeld wat NRC ervan maakt!

Ieder half jaar kregen ze een vragenlijst voorgelegd over hun gezondheid en voedingsgewoontes. Een op de zes mannen sloeg regelmatig het ontbijt over. Zij bleken in de zestien jaar van de studie fors vaker een hartaanval gekregen te hebben. Onder de niet-ontbijters waren drie keer zoveel rokers, iets meer alleenstaanden en de alcoholconsumptie onder hen lag hoger. Maar als die invloeden werden wegberekend, bleef het hogere risico op hartziekte bestaan.

Met zo’n slap verhaal van elkaar zeer complex beïnvloedende factoren, voelde ik nattigheid en dacht ik eens verder kijken…… En vond ik op Google News maar één oplettende (lees: sceptische) journalist bij NBCnews: Skipping breakfast and heart disease: Not so simpleLees ff mee:

It’s not that simple – let’s take a closer look. Of the more than 26,000 men in the study, only around 3,400 were self-reported breakfast skippers. And study participants were only asked once – at the start of the study – if they were breakfast eaters. While the men did report on their food frequency throughout the 16-year period, they were never asked again if they were breakfast eaters. This fact alone limits the impact of the findings, as the assumption is that eating habits remained the same for the entire 16-year study period. It is also quite likely that some fraction of both the breakfast eaters and breakfast skippers changed their eating behavior.

[….]

Some associations remained confounded when compared. While cardiovascular risk appeared to go up in the breakfast-skippers, the data also found that risk was reduced with eating fewer times a day. For those self-reporting one to two meals a day (likely skipping breakfast, or even two meals each day), their risk was less compared to those reporting eating six times a day.

And when accounting for factors like body mass index, smoking, alcohol consumption and other factors, the findings were mostly attenuated, and the connection between breakfast intake and cardiovascular risk was no longer meaningful.

Kortom: de zoveelste studie waarbij de onderzoekers eigenlijk niets hards vinden maar waarbij het wel lukt om met een schreeuwende uit zijn verband gerukte kop boven een persbericht de hele wereldpers mee te krijgen. Er gaan niet voor niets stemmen op om te zorgen dat voor de wetenschap net zulke strenge persbericht regels komen als voor de financiele wereld…. Kijk wat die NRC journalist doet: hij hoeft niet eens zelf als een wetenschapsjournalist alle data in excel te stoppen en alles nog eens na te rekenen. Hij hoeft alleen maar op Google News te kijken of een andere journalist er al kritisch op gedoken is. Ja dus, en zelfs die journalist is niet eens in de data gedoken maar heeft gewoon het hele paper gelezen ipv achter het persbericht aan te lopen. Dat kost 20 minuten extra! Is dat te veel gevraagd voor een journalist anno 2013? Neem je die 20 minuten wel heb je veel leuker nieuws: Studie over ontbijt en hartaanvallen spreekt zichzelf tegen.

Geen wetenschap
Maar eigenlijk is het nog veel erger: het is helemaal geen wetenschap. Het is nog net geen Diederik Stapel want de data zijn niet verzonnen. Maar wetenschap is dus niet:

  1. Neem dataset
  2. Laat statistiekprogramma alle covarianties uitrekenen
  3. Zet op een rij welke significante correlaties je hebt gevonden
  4. Pik meest sexy element daaruit
  5. Maak schreeuwerig persbericht
  6. Haal de hele suffe wereldpers die smeekt om sexy nieuws: wat dan ook!
  7. Kassa bij volgende grant aanvraag
  8. Enne oja, ook nog even langs de pals voor de peer pal review

Nee volgens Richard Feynman is wetenschap:

  1. Broed op een theorie en gok op een verband
  2. Bedenk een experiment dat dit verband zou kunnen falsificeren
  3. Doe experiment en verzamel data
  4. Stop die data in een model dat recht doet aan je vóóraf verzonnen theorie
  5. Analyseer met passende statistische technieken
  6. Kijk of je theorie is gefalsificeerd, zo ja: dumpen en niet meer naar kijken – pech gehad
  7. Zo nee, kijk of het experiment je nog nieuwe boeiende onverwachte aanwijzingen geeft voor verdere uitbouw van je theorie
  8. Bouw verder, herhaal, repliceer
  9. Stuur je studie in voor peer review
  10. Neem de feedback van de review ter harte en doe je huiswerk opnieuw
  11. Na publicatie in journal kijk je naar welk persbericht recht doet aan het onderzoek
  12. Breng beheerst geschreven persbericht uit

Het probleem bij die tweede koers is natuurlijk dat je collega die de bovenste koers vaart wel geld krijgt en jij niet. Dus ga je naar je manager en die geeft je dan als feedback dat je moet zorgen dat je onderzoek meer sexy is. Als jij dan riposteert dat waarheidsvinding en de wereld beter maken je passie is dan wordt je natuurlijk geglimlacht…. en thuis ook nog eens gekleineerd door vrouwlief die gewoon brood op de plank wil zien voor hypotheek en kids.

Er moet dus gewoon worden nagedacht over keiharde regels voor de relatie tussen media en wetenschap. Met keiharde handhaving. Ik denk dat het niet overdreven is te stellen dat de wetenschap net zo verziekt is als de wielersport het was. Het is wetenschap on steroïds. Wetenschap verslaafd aan aandacht. Wetenschap die alles doet voor geld. Wetenschap waar een groot deel van de onderzoekers is beland door democratisering van het onderwijs… mensen met onvoldoende hart voor de waarheid… en met een te zwak karakter om niet te bezwijken voor verleidingen.

Ik ga hier geen recept voor een oplossing verzinnen maar voeg nog even wat further holiday reading toe op het gebied van de hype van statistische significantie:

Afsluitend: een verziekt Wielrennen is jammer voor luttele sponsormiljoentjes en het goedgelovige publiek. Een verziekte wetenschap is doodzonde voor honderden miljarden verkeerd besteed geld en …. het goedgelovige publiek…. Gegroet: morgen op vakantie. Voor maandag geen nieuwe post van mij! ;-)

Print Friendly, PDF & Email