Ik heb een aardig netwerk in de Nederlandse wetenschap maar ik heb geen idee of er in Nederland ook academici zijn die de afschaffing van peer-review bepleiten of hier zelfs actief voor strijden. Dat peer review heel vaak pal review is en meer specifiek dat binnen de klimaatwetenschap een team bewust werkte aan een Orwelliaanse herdefiniëring van het peer-review proces. Maar een artikel vandaag op WUWT Peer Evil – the rotten business model of modern science zwengelt voor mij de meer fundamentele discussie weer aan of peer-review niet überhaupt moet worden afgeschaft. Op zoek naar een plaatje bij dit artikel kwam ik uit bij The death of the peer-reviewed article op het blog 2 cents on communication. Plaatje is het Peer review monster door Gideon Burton @ Flickr (CC).
Beide artikelen samen geven al een aardig beeld van een revolutie in de wetenschap die zou kunnen gebeuren als maar steeds meer bekend wordt dat de Cargo Cult Science, die Richard Feyman als parasiet ontdekte en ontleedde, in feite als een kanker de hele wetenschap overwoekert: peer-review als wetenschapachtige regendans maar het regent niet en de vliegtuigen willen ook niet landen. Met name de 2 centen van Ville Kilkku in dit debat zijn erg waardevol: hij trekt een parallel met de gerevolutioneerde bedrijfsproductie als hij een fundament ziet voor de wetenschap met Total quality management (TQM), Lean thinking, and social collaboration (mijn wikipedia links).
De klapper van zijn analyse is dat we misschien nog een stap verder moeten gaan dan de afschaffing van peer-review als motor van de wetenschap. Hij zegt: schaf het paper, het artikel zelf af!
In the discussion on peer reviews, neither the proponents nor the critics have questioned one thing: the scholarly article itself. However, I do not think there is anything holy about the article as a format. It was not too long ago that the main format was an entire book, perhaps supplemented by letters. And just as we have progressed from books to articles, it would not surprise me if the next step we take is to an even smaller increment, just like Lean manufacturing strives to move from large batches towards a single piece flow.
Just like companies are moving towards more open, decentralized, and collaborative innovation, the academic community could also move that way. Instead of crafting a detailed, complete article on a subject, perhaps the next paradigm is to work on ideas, hypotheses, or preliminary test results and analyze them collaboratively online with a large number of other people interested in the same subject.
Crucially, this group of people would be formed on an open, ad hoc basis with no entry requirements. The weight of a person is based on the weight of his arguments and nothing else. This would enable even more rapid access to the most current research and even faster improvement of this research through open discussion.
Dat zijn hele boeiende zienswijzen. Ville Kilkku is ook zeker optimistisch en wijst de Public Library of Science (Plos.org) aan als kiem van zijn hoop. Hier op dit blog is in een grijs verleden veel geschreven en gereageerd over de centrale rol van de blogosfeer die dan ook wel peer2peer review werd genoemd. Op een van de promotoren daarvan Jerome Ravetz en zijn post-normal science ben ik toen al compleet afgeknapt. In Nederland was/is Jeroen van der Sluijs een vertegenwoordiger van die stroming. Ik zal hem mailen om te vragen zijn visie op het bovenstaande te geven en vraag verder eenieder om namen te spuien van wie in Nederland ijvert voor afschaffing van peer-review als evolutionaire doodlopende weg voor de wetenschap.
De Cargo Cult was een religie van een stam op een Polynesisch eiland waar in WWII veel grote bommenwerpers waren geland. Na WWII deed de bevolking alles om een vliegveld na te bootsen maar er landen geen vliegtuigen. Misschien is de vergelijking van peer-review en cargo cult niet cru genoeg. Misschien is peer-review als een dodo, een vogel die niet meer kan vliegen?
Ik denk niet dat het probleem bij het systeem van peer review ligt of bij het concept ‘wetenschappelijk artikel. Veeleerder is het probleem hoe het systeem gebruikt wordt. Want linksom of rechtsom, ergens moeten resultaten toch ‘opgeschreven’ worden (artikel, boek, weblog, whatever …). En moeten resultaten beoordeeld worden, of zoals beschreven wordt: “Crucially, this group of people would be formed on an open, ad hoc basis with no entry requirements. The weight of a person is based on the weight of his arguments and nothing else. ” Probleem is en blijft dat oordeel, wat toch door een groep gedaan moet worden en waar altijd en overal het gevaar van groepsdynamiek (Cargo Cult Science) op de loer ligt. Dat probleem ga je niet oplossen door het artikel of de peer review af te schaffen.
Of er dan wel een andere beter werkende oplossing is: misschien wat minder gewicht geven aan publicaties. Dus niet: “als het gepubliceerd is is het Waar”, maar meer “als het gepubliceerd is is het misschien niet geheel onzinnig, maar toekomstig onderzoek zal pas uitwijzen of het idee de tand des tijds doorstaat”. Zelfs nu werkt wetenschap uiteindelijk toch op deze manier, je moet er alleen soms afgrijselijk veel geduld voor hebben, want verkeerde ideeen sterven maar langzaam uit.
Natuurlijk zouden beroepsorganisaties en wetenschappers wel meer hun best kunnen doen om dit beeld uit te dragen, maar ja, geld en invloed corrumperen ook hier het systeem.
Ik denk dat we weer eens moeten kijken hoe de ingenieurs het doen. dat is collaboratie optima forma. De bouw van zo’n tweede Coentunnel bijvoorbeeld. Hoe flikken ze hem dat? Of Wikipedia! Of the Manhattan Project (heel veel resultaat terwijl er juist niet meer mocht worden gepubliceerd!) . Ik denk dat er ook heel veel gewonnen is als we het hele beroep wetenschapper afschaffen. Eigenlijk komen alle (grote) doorbraken van mensen jonger dan 30. Dan is er voor hen die ouder zijn dan 30 dus alleen nog een rol als docent of leider van een instituut. We moeten denk ik af van het hele idee dat al die met staatssteun betaalde mensen “productief” zijn simpelweg omdat ze 30 jaar doorknagen aan hun themagebied. Als je nu eens zou zeggen net als in de sport (ook iedereen na 30 exit): wetenschap is het bedrijf waar jonge genieën tot hun 30e a 35e op kosten van de overheid vrijelijk hun revolutionaire ideeën mogen najagen…. en dat je daarna zegt; OK, sorry… nu wordt je net als een ex-voetballer maar kok of marketeer of copywriter. Ingenieurs is natuurlijk wat anders: hier is ervaring en herhaling goud waard. Want iemand die 10 bruggen of tunnels heeft gebouwd moet er vooral nog 10 of 20 doen. Maar dan is er tenminste zinnige output. Ja ik vind dit wel een mooie knuppel in hoenderhok. Graag je reactie!
Dat peer review ooit zal verdwijnen, zal niet gebeuren. Je kunt publiceren zonder een formele review zoals op de e print site: arxiv.org. Daar vind je briljante pre-prints maar ook pure bagger. En wie ben ik om een artikel als bagger te kwalificeren. Anderen vinden het wellicht briljant. Schifting tussen de slechte en goede wetenschappers heb je altijd nodig. Een begrip als slechte wetenschap bestaat niet, alleen slechte wetenschappers. Slechte wetenschappers voeren de methodiek van wetenschap niet goed uit.
Je kunt filosoferen over oplossingen als volledige dubbel blinde reviews. Niet alleen de namen van de reviewers zijn onbekend, maar ook de namen van de auteurs en instituten. Of juist alles in de volledige openheid, met de discussies publiekelijk met naam en toenaam op de website van het tijdschrift.
Een fundamenteel probleem van peer review wordt altijd onderbelicht. Reviewers zijn een stel verkeerd afgerichte waakhonden. Waakhonden moeten de ingang bewaken en niet de uitgang. Is de gebruikte techniek betrouwbaar, zijn alle gegevens bekend en verwerkt, is er voldoende gekeken in de literatuur. Veel artikelen worden afgewezen op uitgang, de conclusies, met als risico pal review of erger het tegenhouden van concurrenten. De conclusies zijn alleen de verantwoordelijkheid van de auteurs, en hooguit de verantwoordelijkheid van de editors van het tijdschrift. De lezer van het artikel rekent wel af met de conclusies.
Een integriteitspil; is dat misschien iets?
kok: Cooking Climate Consensus?
marketer: zijn er meer dan genoeg van
copywriter: ?
ingenieurs?: windmolens? bioprut? slimme grids?
Ja maar wie drijft die ingenieurs om die onzin te bouwen? Idd de wetenschap. Theo Wolters – ras-ingenieur en uitvinder – is daar altijd heel helder over: wetenschappers worden betaald om wilde hypotheses op te stellen. Nu gaat het nog om het zelfreinigend vermogen! Daar moet iets op gevonden worden. Ik vind mijn 35 exit heel waardevol: zo van je krijgt tot je 35e voor een revolutionaire ontdekking. Heb je dan nog niets ontdekt of gevonden moet je weg uit de staatsruif. Hoe kom je erbij dat er te veel marketeers en copywriters zijn trouwens? Volgens mij heb je hier gewoon vraag en aanbod op de vrije markt. Alleen waar de overheid en andere monopolisten in het spel zijn krijg je verstoring van het schuivende evenwicht.
Je moet natuurlijk onderscheid maken tussen marketeers en – wat ik noem – ideeënmarketeers. Veel, zoniet de meeste main stream Klimaatwetenschappers behoren gewoon tot die laatste groep. Vellinga, om maar iemand te noemen, is een ideeënmarketeer. DIT zijn de mensen die in samenwerking met de NGO’s en goedgelovige, gemakzuchtige politici en journalisten resp. kwaadwillende politici en journalisten de boel in gang zetten en houden en gelden vrij weten te maken. DAT drijft die ingenieurs.
In die zin is daar dus ook een markt voor. Ook het windmolengeld rolt, maar vanuit de samenleving gezien verdwijnt het uiteindelijk over de rand de afgrond in. Hoewel, nu begin ik te twijfelen. Die Ferrari’s en Rangerovers van windmolenaars brengen toch weer een hoop werkgelegenheid met zich mee. Trouwens kan Samsom die mensen niet verplichten één van deze merken aan te schaffen? Het geld komt daarmee immers terecht in derde wereld land Italië of India.
Of je 35 exit-idee waardevol is kan ik niet beoordelen: Cijfers misschien?
Ene Frank in ScienceOfDoom:
http://scienceofdoom.com/2009/12/13/understanding-the-flaw/#comment-26556
Zelfs bij een perfect reviewproces blijft de vraag of een wetenschapper resultaten als gegoten in beton mag brengen; m.a.w. vallen publieke uitlatingen over de consequenties van wetenschappelijk onderzoek onder de wetenschappelijke integriteitscode?
Voor zover ik kan nagaan slaat die code op wetenschappelijk onderzoek en niet op onderwijs en andere activiteiten.
Maar dan is zo’n hoogleraar gewoon weer een meneer of mevrouw met een mening.
Een soort Lou de Palingboer.