De wetenschap-twitteraar Paul Matthews wijst ons op een ingezonden brief in Nature van de Brit Michael Kelly hoogleraar aan het department of engineering van de universiteit van Camebridge (zie hier hoe Kelly al eens op WUWT figureerde in 2012). Lees even mee:
Promotional tactics corrupt research
With more than US$1 trillion spent globally on research and development in 2007 (see go.nature.com/5wdd9p), sheer scale seems to be corrupting the scientific enterprise as individuals take ever more extreme measures to stand out.
For instance, parliamentary reviews of the 2009 ‘Climategate’ scandal at the University of East Anglia in Norwich, UK, reported evidence of scientific misconduct (see go.nature.com/d6bdco). The allegations included questionable journal refereeing to promote a particular scientific line (see also Nature http://doi.org/ftb9hc; 2010).
Instead, journals should be supported as places where unsettled science is refined by open debate. But, compared with 30 years ago, they do seem less willing to publish negative results or cautionary reviews that temper unbridled enthusiasm — perhaps because of ratings wars.
In another example, a May 2011 article in Times Higher Education reported on the cover-up of data that would otherwise have prevented a cancer drug from entering phase III clinical trials, raising and dashing patients’ hopes and putting lives at risk on a false premise.
There is also a tendency to issue breathless press releases to accompany publication of even modest advances, and for entries in the ‘future impact’ section of grant application forms to be loaded with ludicrous hyperbole. It is any wonder that trust in scientists is starting to decline (see go.nature.com/3xdcoy)?
Michael Kelly University of Cambridge, UK.
Waar ik met een uitstapje naar een andere wetenschap[ direct op kan inhaken. Gisteren ook die headlines gezien over dat je zogenaamd meer kans op een hartaanval hebt als je geen ontbijt eet? Had je ook al het gevoel dat het waarschijnlijk een zwak onderzoek zou zijn? Ik deel even met jullie wat ik er gisteren over mailde aan mijn vrouw (we zijn samen serieus met voeding bezig):
Alle media buitenen weer over elkaar heen om dit nieuws te brengen: Groter risico op hartaanval door overslaan ontbijt. Zie bijvoorbeeld wat NRC ervan maakt!
Ieder half jaar kregen ze een vragenlijst voorgelegd over hun gezondheid en voedingsgewoontes. Een op de zes mannen sloeg regelmatig het ontbijt over. Zij bleken in de zestien jaar van de studie fors vaker een hartaanval gekregen te hebben. Onder de niet-ontbijters waren drie keer zoveel rokers, iets meer alleenstaanden en de alcoholconsumptie onder hen lag hoger. Maar als die invloeden werden wegberekend, bleef het hogere risico op hartziekte bestaan.
Met zo’n slap verhaal van elkaar zeer complex beïnvloedende factoren, voelde ik nattigheid en dacht ik eens verder kijken…… En vond ik op Google News maar één oplettende (lees: sceptische) journalist bij NBCnews: Skipping breakfast and heart disease: Not so simple. Lees ff mee:
It’s not that simple – let’s take a closer look. Of the more than 26,000 men in the study, only around 3,400 were self-reported breakfast skippers. And study participants were only asked once – at the start of the study – if they were breakfast eaters. While the men did report on their food frequency throughout the 16-year period, they were never asked again if they were breakfast eaters. This fact alone limits the impact of the findings, as the assumption is that eating habits remained the same for the entire 16-year study period. It is also quite likely that some fraction of both the breakfast eaters and breakfast skippers changed their eating behavior.
[….]
Some associations remained confounded when compared. While cardiovascular risk appeared to go up in the breakfast-skippers, the data also found that risk was reduced with eating fewer times a day. For those self-reporting one to two meals a day (likely skipping breakfast, or even two meals each day), their risk was less compared to those reporting eating six times a day.
And when accounting for factors like body mass index, smoking, alcohol consumption and other factors, the findings were mostly attenuated, and the connection between breakfast intake and cardiovascular risk was no longer meaningful.
Kortom: de zoveelste studie waarbij de onderzoekers eigenlijk niets hards vinden maar waarbij het wel lukt om met een schreeuwende uit zijn verband gerukte kop boven een persbericht de hele wereldpers mee te krijgen. Er gaan niet voor niets stemmen op om te zorgen dat voor de wetenschap net zulke strenge persbericht regels komen als voor de financiele wereld…. Kijk wat die NRC journalist doet: hij hoeft niet eens zelf als een wetenschapsjournalist alle data in excel te stoppen en alles nog eens na te rekenen. Hij hoeft alleen maar op Google News te kijken of een andere journalist er al kritisch op gedoken is. Ja dus, en zelfs die journalist is niet eens in de data gedoken maar heeft gewoon het hele paper gelezen ipv achter het persbericht aan te lopen. Dat kost 20 minuten extra! Is dat te veel gevraagd voor een journalist anno 2013? Neem je die 20 minuten wel heb je veel leuker nieuws: Studie over ontbijt en hartaanvallen spreekt zichzelf tegen.
Geen wetenschap
Maar eigenlijk is het nog veel erger: het is helemaal geen wetenschap. Het is nog net geen Diederik Stapel want de data zijn niet verzonnen. Maar wetenschap is dus niet:
- Neem dataset
- Laat statistiekprogramma alle covarianties uitrekenen
- Zet op een rij welke significante correlaties je hebt gevonden
- Pik meest sexy element daaruit
- Maak schreeuwerig persbericht
- Haal de hele suffe wereldpers die smeekt om sexy nieuws: wat dan ook!
- Kassa bij volgende grant aanvraag
- Enne oja, ook nog even langs de pals voor de
peerpal review
Nee volgens Richard Feynman is wetenschap:
- Broed op een theorie en gok op een verband
- Bedenk een experiment dat dit verband zou kunnen falsificeren
- Doe experiment en verzamel data
- Stop die data in een model dat recht doet aan je vóóraf verzonnen theorie
- Analyseer met passende statistische technieken
- Kijk of je theorie is gefalsificeerd, zo ja: dumpen en niet meer naar kijken – pech gehad
- Zo nee, kijk of het experiment je nog nieuwe boeiende onverwachte aanwijzingen geeft voor verdere uitbouw van je theorie
- Bouw verder, herhaal, repliceer
- Stuur je studie in voor peer review
- Neem de feedback van de review ter harte en doe je huiswerk opnieuw
- Na publicatie in journal kijk je naar welk persbericht recht doet aan het onderzoek
- Breng beheerst geschreven persbericht uit
Het probleem bij die tweede koers is natuurlijk dat je collega die de bovenste koers vaart wel geld krijgt en jij niet. Dus ga je naar je manager en die geeft je dan als feedback dat je moet zorgen dat je onderzoek meer sexy is. Als jij dan riposteert dat waarheidsvinding en de wereld beter maken je passie is dan wordt je natuurlijk geglimlacht…. en thuis ook nog eens gekleineerd door vrouwlief die gewoon brood op de plank wil zien voor hypotheek en kids.
Er moet dus gewoon worden nagedacht over keiharde regels voor de relatie tussen media en wetenschap. Met keiharde handhaving. Ik denk dat het niet overdreven is te stellen dat de wetenschap net zo verziekt is als de wielersport het was. Het is wetenschap on steroïds. Wetenschap verslaafd aan aandacht. Wetenschap die alles doet voor geld. Wetenschap waar een groot deel van de onderzoekers is beland door democratisering van het onderwijs… mensen met onvoldoende hart voor de waarheid… en met een te zwak karakter om niet te bezwijken voor verleidingen.
Ik ga hier geen recept voor een oplossing verzinnen maar voeg nog even wat further holiday reading toe op het gebied van de hype van statistische significantie:
- WM Briggs: Unsignificant Statistics: Or Die P-Value, Die Die Die
- Financial Post: Junk Science Week: Unsignificant statistics
- Boek: The Cult of Statistical Significance by Stephen T. Ziliak and Deirdre N. McCloskey
Afsluitend: een verziekt Wielrennen is jammer voor luttele sponsormiljoentjes en het goedgelovige publiek. Een verziekte wetenschap is doodzonde voor honderden miljarden verkeerd besteed geld en …. het goedgelovige publiek…. Gegroet: morgen op vakantie. Voor maandag geen nieuwe post van mij! ;-)
Niet alleen is de wetenschap is verziekt, ook de journalistiek en de media zijn verziekt zo niet ver(s)linkst.
Er is iets aangepast tbv de reacties. Zou nu allemaal goed moeten gaan. Graag terugkoppelen of dat zo is.
Hajo,
dit is zo bloody herkenbaar! Het is gewoon overal!
Ooit, in een vorig leven sleet ik mijn dagen als opleidingsadviseur (vraag me niet wat het is) bij een coöperatieve bankdinges. Op een schitterend moment kreeg ik van mijn chef te horen: Je zou er beter aan doen je (interne) opdrachtgevers het verhaal te geven waar zij om vragen of dat nu goed is voor hun afdeling of het bedrijf als geheel doet niet ter zake.
Die chef kon er trouwens wat van; die is nu partner bij Berenschot. Dus het werkt wel, al is het maar hoe je het bekijkt natuurlijk.
Gedrag:
Een recept heb ik ook niet, maar een deel van het probleem is dat organisaties het verkeerde gedrag belonen. B.v. heel lang op dezelfde stoel blijven zitten, of groei (in fte’s ) van je afdeling nastreven. Zit allemaal ingebakken in het systeem van top down beoordelen i.p.v. een combinatie met een beoordeling van de zijlijn / buitenaf.
Inhoud:
Marcel maakt in zijn boek een paar keer gewag van de strenge rapportageregels binnen de brandstofindustrie in zijn relaas over het frauduleuze gepiel van Mann en consorten.
Twee puntjes waar men in de wetenschap ook wel iets mee moet kunnen.
Gaat niet gebeuren natuurlijk, want het is allemaal wel zo bekweem.
Wat de journalistiek betreft: Ja dat is teveel gevraagd. Ook hier geldt: lange halen snel thuis, of hoe zeg je dat ook al weer.
Maar dat probleem lost zich langzamerhand zelf op. Over vijf jaar bestaat er slechts nog een man-bijt-hond-MSM en de rest lezen we op het internet. Mijn lijfkrant tegen wil en dank schrijft vandaag: “tip! Boodschappen doen bij hoge temperaturen: Neem een koelbox mee!” Kijk dat zijn van die dingen die tatoeëer ik op m’n arm.
Prettige vakantie
En denk erom; jij hebt de broek aan:
http://www.liveleak.com/view?i=add_1374479949
Hajo,
dit is zo bloody herkenbaar! Het is gewoon overal!
Ooit, in een vorig leven sleet ik mijn dagen als opleidingsadviseur (vraag me niet wat het is) bij een coöperatieve bankdinges. Op een schitterend moment kreeg ik van mijn chef te horen: Je zou er beter aan doen je (interne) opdrachtgevers het verhaal te geven waar zij om vragen of dat nu goed is voor hun afdeling of het bedrijf als geheel doet niet ter zake.
Die chef kon er trouwens wat van; die is nu partner bij Berenschot. Dus het werkt wel, al is het maar hoe je het bekijkt natuurlijk.
Gedrag:
Een recept heb ik ook niet, maar een deel van het probleem is dat organisaties het verkeerde gedrag belonen. B.v. heel lang op dezelfde stoel blijven zitten, of groei (in fte’s ) van je afdeling nastreven. Zit allemaal ingebakken in het systeem van top down beoordelen i.p.v. een combinatie met een beoordeling van de zijlijn / buitenaf.
Inhoud:
Marcel maakt in zijn boek een paar keer gewag van de strenge rapportageregels binnen de brandstofindustrie in zijn relaas over het frauduleuze gepiel van Mann en consorten.
Twee puntjes waar men in de wetenschap ook wel iets mee moet kunnen.
Gaat niet gebeuren natuurlijk, want het is allemaal wel zo bekweem.
Wat de journalistiek betreft: Ja dat is teveel gevraagd. Ook hier geldt: lange halen snel thuis, of hoe zeg je dat ook al weer.
Maar dat probleem lost zich langzamerhand zelf op. Over vijf jaar bestaat er slechts nog een man-bijt-hond-MSM en de rest lezen we op het internet. Mijn lijfkrant tegen wil en dank schrijft vandaag: “tip! Boodschappen doen bij hoge temperaturen: Neem een koelbox mee!” Kijk dat zijn van die dingen die tatoeëer ik op m’n arm.
Prettige vakantie.
Ach.. wielersport verziekt? Ik zie het nut er nog wel van in als op deze manier dierproef-achtige experimenten op mensen uitgeprobeerd kunnen worden, en de wetenschap verder geholpen kan worden. Wel sneu voor de wielrenners zelf wellicht, maar die doen er vrijwillig aan mee.
Verder wordt het wedstrijdelement van het uithoudingsvermogen van de sporter verlegd naar de wetenschappelijke prestatie. Wie kan daar nu niet voor zijn..? :-D
Goeie en prettige vakantie, Hajo.
Tussen haakjes… een alarmistische website een verandering in de berichtgeving over de klimaatveranderign bij het persbureau Reuters. En daar doet de bloggervan die alarmistische website( een zelfstandige klinische zielknijper, getrouwd, 2 dochters, 2 honden en 2 katten, met 36 zonnepanelen en 3 hybrides, zijn beklag over). Zie berichtje onder tweede Grunberg blog van Hajo.
Gewoon blijven lachen. Een vakantie/weekend etc. kan m.i. niet leuker beginnen ;-)
Honderd procent eens met dit stuk! Qua bullshit geldt daadwerkelijk: minder is meer.
Hajo,
dit is zo bloody herkenbaar! Het is gewoon overal!
Ooit, in een vorig leven sleet ik mijn dagen als opleidingsadviseur (vraag me niet wat het is) bij een coöperatieve bankdinges. Op een schitterend moment kreeg ik van mijn chef te horen: Je zou er beter aan doen je (interne) opdrachtgevers het verhaal te geven waar zij om vragen of dat nu goed is voor hun afdeling of het bedrijf als geheel doet niet ter zake.
Die chef kon er trouwens wat van; die is nu partner bij Berenschot. Dus het werkt wel, al is het maar hoe je het bekijkt natuurlijk.
Gedrag:
Een recept heb ik ook niet, maar een deel van het probleem is dat organisaties het verkeerde gedrag belonen. B.v. heel lang op dezelfde stoel blijven zitten, of groei (in fte’s ) van je afdeling nastreven. Zit allemaal ingebakken in het systeem van top down beoordelen i.p.v. een combinatie met een beoordeling van de zijlijn / buitenaf.
Inhoud:
Marcel maakt in zijn boek een paar keer gewag van de strenge rapportageregels binnen de brandstofindustrie in zijn relaas over M&M en het frauduleuze gepiel van Mann en consorten.
Twee puntjes waar men in de wetenschap ook wel iets mee moet kunnen.
Gaat niet gebeuren natuurlijk, want het is allemaal wel zo bekweem.
Wat de journalistiek betreft: Ja dat is teveel gevraagd. Ook hier geldt: lange halen snel thuis, of hoe zeg je dat ook al weer.
Maar dat probleem lost zich langzamerhand zelf op. Over vijf jaar bestaat er slechts nog een man-bijt-hond-MSM en de rest lezen we op het internet. Mijn lijfkrant tegen wil en dank schrijft vandaag: “Tip! Boodschappen doen bij hoge temperaturen: Neem een koelbox mee!” Kijk dat zijn van die dingen die tatoeëer ik op m’n arm.
Prettige vakantie.
http://www.liveleak.com/view?i=add_1374479949
En wat dacht je van de recente krantenkoppen over het zogenaamd wetenschappelijk aangetoonde verband tussen het slikken van visoliepilen en de verhoogde kans op prostaatkanker?
Ieder normaal mens zal zich dan afvragen of ze gekeken hebben of eskimos en andere bevolkingsgroepen die veel vis eten vaker prostaatkanker krijgen. Dat punt kwam niet eens ter sprake in het wetenschappelijke artikel.
In de medische wetenschap wordt vaak gebruik gemaakt van statistisch dubieuze verbanden. De meeste medici hebben geen verstand van staistiek wat vaak leidt tot onzinnige conclusies.