Wetenschap en “Advocacy research” als appels en peer (review)

Onder het blogbericht van Theo Wolters Wetenschap houdt op waar het IPCC begint vestigde ik de aandacht op de bijeenkomst van het Instituut voor Milieuwetenschappen van de VU op 12 oktober. In het vooruitzicht wordt gesteld dat vragen die aan de orde komen, zijn:

  • wat leren we van het klimaatdebat?
  • wat is het vertrouwen van de samenleving in de wetenschap?
  • hoe speelt de klimaatwetenschap een rol in het politieke beleid?

Het onderwerp is in feite echter de door het IPCC gestimuleerde ‘advocacy research’ en in het verlengde daarvan wellicht ook hoe in ons land daarop door wetenschappers en media is ingespeeld.
Het verbaasde mij dat Dijkgraaf (KNAW) en Hajer (PBL) aan deze IVM-VU bijeenkomst medewerking verlenen want het onderwerp ‘twijfel aan de kwaliteit van het klimaatonderzoek’ staat niet op de agenda. Ik voorzie dat bij deze gelegenheid menige deelnemer, onder het mom het vertrouwen van de samenleving in de wetenschap te kunnen herstellen, ‘advocacy research’ dreigt te willen legitimeren. Daar heb ik moeite mee.

In het onderstaande een tamelijk principiële beschouwing over het wezen van ‘advocacy research’ en haar positie in het wetenschappelijke veld.

De multifunctionaliteit van de natuurwetenschappen
Toen de westerse natuurwetenschapbeoefening nog jong was, vormde nieuwsgierigheid naar het wezen der dingen voor vele onderzoekers de belangrijkste drijfveer. Ze maakten zich niet zo druk om praktische toepassingen. Het is ook nog niet zolang geleden dat in NWO kring toegepast onderzoek een vies woord was (deze droeg destijds de naam van organisatie voor Zuiver Wetenschappelijke Onderzoek). Maar gedurende de afgelopen decennia raakten fundamenteel, ontwikkelings- en toegepast onderzoek meer en meer verweven. Daar was op zich niets tegen, want uit veronderstelde commerciële toepassingen bij de grote bedrijfslaboratoria volgden ook interessante vraagstellingen voor fundamenteel onderzoek. In het medisch onderzoek zijn toepassing en fundamenteel altijd nauw op elkaar afgestemd geweest.

Maar een oud ideaal in de westerse wetenschapsbeoefening bleef toch wel voortleven. Dat is de vrijheid van onderzoek, niet belemmerd door vooroordelen van de financiers of door religieuze overtuigingen. De achtergrond daarvan is dat waarheidsvinding bij wetenschappers voorop dient te staan. En daar achter ligt een belangrijk beginsel in onze westerse wetenschapsbeoefening, dat is de Socratische twijfel: zijn de dingen werkelijk zo, zoals zij op het eerste gezicht lijken? Wie deze vraag uit het oog verliest, diskwalificeert zich als objectieve onderzoeker.
‘Advocacy research’, onderzoek vanuit maatschappelijke roeping.

Omstreeks 1970 ontstond een beweging om het onderzoek buiten de commerciële sector ook meer dienstbaar te maken aan de samenleving door directere financiering van projecten door overheidsinstanties die zich als ‘klant’ gingen opstellen van de te leveren resultaten. Het leidde in een verscheidenheid van disciplines tot een bedreiging van de vrijheid van onderzoek (zie A.J.F. Köbben & H. Tromp. “De onwelkome boodschap; of hoe de vrijheid van wetenschap bedreigd wordt”,  Mets, Amsterdam, 1999). Men sprak van politisering van de wetenschap. Een bijkomend belangrijk verschijnsel was dat ook een bepaalde groepering van wetenschappelijke onderzoekers politiek, beleidsmatig, stelling begon te nemen en indringend verkondigde welke maatregelen in de samenleving dienden te worden genomen. De beweging werd bijzonder sterk in de milieusector onder wetenschappers die verontrust waren over vervuiling van lucht, water en bodems die door menselijk handelen wordt veroorzaakt. Deze stem vanuit de wetenschap was op zich aanvankelijk een nuttige ontwikkeling en leidde tot maatregelen om mogelijke vergiftiging van onze leefomgeving te voorkomen. Maar de directe koppeling van de financiering van onderzoek door beleidsmakers met politiek gemotiveerde wetenschappelijke onderzoekers leidde tot de ontwikkeling van een machtspositie van laatstgenoemden. Hierdoor werden meer genuanceerde opvattingen in het wetenschappelijk circuit over mogelijke milieubedreigingen onderdrukt. In de filosofie van de sociale wetenschappen spreekt men in het Engels nu van ‘advocacy research’, onderzoek gebaseerd op een maatschappelijke doctrine. Men ziet daar een bedreiging in voor de omvang van onderzoek dat de waarheidsvinding voorop stelt. En men ziet een tegenstelling groeien tussen ‘advocacy research’ en ‘true research’, die waardevrij wil blijven.

Advocacy research houdt ook in dat de machtshebbers in een bepaalde tak van onderzoek een specifieke visie luidkeels verkondigen in het publieke domein. Zij beroepen zich daarbij op de consensus die er onder hen als ‘experts’ op het gebied zou bestaan op grond van samenvattingen van de stand van de wetenschap, reviews, evaluatiestudies (assessment reports).

De publieke voorlichting
In het verlengde van het opstellen van zogenaamde gezaghebbende evaluatiestudies ligt de publieksvoorlichting. De ontwikkeling die de wetenschapsvoorlichting heeft doorgemaakt sinds de oprichting van de vereniging van wetenschapsjournalisten werd in een eerder SPIL artikel 2006 (2)  uiteengezet. Uitgangspunt voor intensivering van de wetenschapsvoorlichting was ten tijde van de maatschappelijke ‘revolutie’ anno 1968 de democratiseringstendens. Het was niet alleen meer aan de wetenschappers om prioriteiten in het onderzoek te stellen, gezien de uit de resultaten mogelijk voortvloeiende maatschappelijke gevolgen, maar aan de samenleving als geheel. Daarvoor moest het grote publiek dus worden voorgelicht en in begrijpelijke taal duidelijk worden gemaakt wat zich in het wetenschappelijke circuit aan het ontwikkelen was. Het publiek diende achtergrondkennis te verwerven om op verantwoorde wijze te kunnen meepraten bij het maken van keuzen. In dat stadium werd er nog niet naar gestreefd om het grote publiek een ‘expert’-opinie van wetenschappers op te dringen. Dat zou juist in strijd zijn met de gedachte van democratisering. Objectieve voorlichting over alle ins en outs was het devies. De daarna opkomende advocacy research heeft dit ideaal van objectieve voorlichting vertroebeld. Regenteske verkondiging van eigen wijsheden uit een bepaalde groepering wetenschappers kreeg de overhand.

Box A

De strijd om de wetenschap in de sociobiologie

Ullica Segerstrale, “Defenders of the Truth: The battle for Science in the Sociobiology“, Oxford University Press 2000

Het boek van Segerstrale behandelt de spanning tussen de wetenschappelijke waarheid en de maatschappelijke instelling. Maar het gaat in wezen om de spanning tussen aangehangen paradigma’s en de ideologie, waarnaar men heden ten dage refereert als ‘politieke correctheid’. De conclusie is dat macht een belangrijke rol speelt bij de vraag wie de winnaar is in een wetenschappelijk debat. Er worden veel voorbeelden gegeven van onwenselijke wetenschappelijke praktijken (in de sociobiologie) zoals heksenjacht, gebrek aan kritische wetenschappelijke instelling, onwenselijke interrupties bij voordrachten, halve waarheden die door experts worden verkondigd, opzettelijke misinterpretaties, misleidend taalgebruik, smaad, vrees voor feiten, en het onderdrukken van waarheidsvinding.

De basis voor de ‘advocacy research’ van het IPCC: de peer reviewed artikelen
Voordat de door het IPCC verkondigde wijsheden worden behandeld, eerst het volgende: de in box A beschreven verschijnselen in de sociobiologie zijn ook alle herkenbaar in het zogenaamde klimaatdebat. Dat is verontrustend. De AGW-verkondigers in dit debat kan men zien als de Climate Advocacy Researchers (CAR). Hun opponenten kan men zien als de verdedigers van de waardevrije wetenschap. Een prominent aspect van het klimaatdebat is, dat de CAR wordt getrokken door lieden die menen dat de bewijsvoering voor AGW is gegarandeerd door waarnemingen en interpretaties in peer-reviewed artikelen in wetenschappelijke tijdschriften. De ‘vrije’ wetenschap hecht ook aan peer-review als kwaliteitswaarborg maar ziet de functie anders.

Peer-review wil zeggen dat een manuscript door ‘gelijken’ op wetenschappelijk niveau (de “peers’’) kritisch worden bekeken, voordat een tijdschriftredactie tot publicatie overgaat. Het gaat hier in de eerste plaats om de kwaliteit van de methodologie die is toegepast om data (feiten) te verzamelen. De auteurs trekken daaruit conclusies, die de peers niet noodzakelijk hoeven te onderschrijven. Deze conclusies blijven de verantwoordelijkheid van de auteurs en worden in het merendeel van de tijdschriften onder het hoofdje ‘discussie’ ondergebracht. Een “peer” gaat in principe te ver als deze het manuscript afkeurt indien de auteursconclusies niet met de zijne, of de gangbare, overeenkomen. Dit verschijnsel doet zich in alle wetenschappen voor tenzij de tijdschriftredacties ingrijpen. Om die reden heerst er momenteel in het algemeen onvrede hoe het peer-review systeem wordt gebruikt. Aangezien in onderzoeksgebieden van enige omvang meerdere tijdschriften verschijnen heeft de auteur met een afgewezen manuscript echter de mogelijkheid om het stuk in een ander tijdschrift gepubliceerd te krijgen. Indien alle tijdschriftredacties zich voor dezelfde CAR laten spannen met hun keuze voor reviewers dan ontstaat de kartelachtige machtsstructuur die specifiek is voor advocacy research. Nogal wat opponenten van de AGW hebben deze machtsuitoefening ervaren  met afwijzing van artikelen zonder behoorlijke argumentatie of betwisting van de gepresenteerde data.

Wetenschappelijke literatuur met betrekking tot grensverleggend onderzoek veroudert snel.  Zie  J.P.A.Leannodis “Why most Published Research findings are false”, PloS Medicine, August ,2005. Vol 2. Issue 8,  696-701

In de vrije wetenschap krijgen de conclusies in een bepaald artikel pas betekenis als de resultaten onafhankelijk door anderen worden gereproduceerd. Reproductie is een essentiële voorwaarde om blijvende waarde aan een wetenschappelijk artikel te hechten.  In de vrije wetenschap is het voorts gebruikelijk dat indien niet alle primaire data worden vermeld, deze gegevens vrijelijk ter beschikking worden gesteld voor verificatie. In de CAR is dit bij herhaling geweigerd.

Samenvattend: het eenzijdig gebruik van peer-reviewed artikelen als bewijs bij evaluatiestudies is een oneigenlijk gebruik van wetenschappelijke literatuur. Met de opvallende wijze waarop de CAR een breder publiek, en de politiek, heeft doen geloven dat dit de goede wetenschappelijke praktijk is, werd een beeld geschapen dat ver van de vrije wetenschapsbeoefening af staat. En daarmee is in de samenleving het idee ontstaan dat CAR een verantwoorde en onaantastbare vorm van wetenschapsbeoefening is.

Verontrustend en teleurstellend is dat men van binnenuit het IPCC-circuit het gedrag van een paar dominante personen niet heeft gecorrigeerd. Ik hoop dat aan Nederlandse universiteiten nog steeds studenten worden opgeleid in de geest van ‘geloof niet zondermeer alles wat de meester (hoogleraar) je probeert aan te praten’. En dat hen wordt aangeleerd dat gevestigde wetenschap maar betrekkelijk is en dit de aanmoediging bij uitstek is tot het zelf doen van onderzoek.

In het voorgaande heb ik aangegeven dat onder druk van de CAR deze stelregel niet werd aangehouden, met name niet bij hen die evaluatiestudies verrichten. Het betreft studies die als ‘gezaghebbend’ aan de overheid worden aangeboden. Op nationaal niveau gaat het om mensen die zich als ‘expert-klimatologen’ opwerpen, maar die zelf geen onderzoekervaring op het gebied van het broeikaseffect hebben opgedaan.  Ze hebben zich beperkt tot het verwerken van de door het  IPCC verzamelde visies.  Objectieve, professionele evaluatie- studies, die voor publieksvoorlichting zijn bestemd, dienen op eigen interpretaties van primaire data van de uitvoerders van de evaluatie te zijn gebaseerd, die daarna daarvoor ook zelf de verantwoordelijkheid nemen.

Deze bijdrage is ontleend aan een artikel in SPIL 2010 (1/2) pag 7 – 12 “De staat van het klimaatonderzoek 2010; de kwaliteit van de evaluatie nader bekeken”  Een voorpublicatie is te vinden op www.platteland-in-perspectief.nl onder actueel document.

Door | 2010-10-03T00:09:58+00:00 2 oktober 2010|7 Reacties

7 Reacties

  1. arthur Rörsch 2 oktober 2010 om 15:31- Antwoorden

    Aanvulling op IVM bijeenkomst 12 oktober

    In het voorgaande wordt verwezen naar een box A. Maar deze blijkt te zijn weggevallen.

    Box A

    De strijd om de wetenschap in de sociobiologie

    Ullica Segerstrale, “Defenders of the Truth: The battle for Science in the Sociobiology. Oxford University Press 2000

    Het boek van Segerstrale behandelt de spanning tussen de wetenschappelijke waarheid en de maatschappelijke instelling. Maar het gaat in wezen om de spanning tussen aangehangen paradigma’s en de ideologie, waarnaar men heden ten dage refereert als ‘politieke correctheid’. De conclusie is dat macht een belangrijke rol speelt bij de vraag wie de winnaar is in een wetenschappelijk debat. Er worden veel voorbeelden gegeven van onwenselijke wetenschappelijke praktijken (in de sociobiologie) zoals heksenjacht, gebrek aan kritische wetenschappelijke instelling, onwenselijke interrupties bij voordrachten, halve waarheden die door experts worden verkondigd, opzettelijke misinterpretaties, misleidend taalgebruik, smaad, vrees voor feiten, en het onderdrukken van waarheidsvinding.

    De in box A beschreven verschijnselen in de sociobiologie zijn ook alle herkenbaar in het zogenaamde klimaatdebat.

  2. Andries Rosema 2 oktober 2010 om 20:43- Antwoorden

    Arthur, ik vind dit een erg goede analyse van wat er aan de hand is. We zien het overal om ons heen: mensen die nauwelijks onderzoek hebben gedaan maar wel de wetenschappelijke agenda bepalen. Navolging op de universiteiten. Het is bijzonder ernstig.

    Aan de andere kant zegt iets in mij toch ook dat onderzoek nut moet hebben. Moet dat dan automatisch uitmonden in deze situatie, of is er nog een tussenweg?

  3. André van Del 2 oktober 2010 om 23:04- Antwoorden

    Goed artikel, in de voetsporen van Dijkstra en Feynman:

    Wij willen allen graag, dat ons werk zowel deugdelijk als belangrijk is. In zijn "The Structure of Scientific Revolutions" benadrukt Thomas S.Kuhn als karakteristiek van de wetenschapsbeoefening, dat wanneer de deugdelijkheid en belang niet te combineren zijn, de wetenschapsbeoefenaar de deugdelijkheid laat prevaleren. Hij contrasteert dit met het gedrag in de gamma-vakken, waar de urgentie van een oplossing voldoende motief voor bemoeienis is, ook al ontbreekt het noodzakelijke gereedschap ten enen male. Na mijn vorige toespraak sterkte het mij te zien, dat ook hij, wat ik als "het gamma-gajes" pleeg aan te duiden, onverbloemd tot de kwakzalvers rekent.
    http://www.cs.utexas.edu/users/EWD/transcriptions

    Details that could throw doubt on your interpretation must be

    given, if you know them. You must do the best you can–if you know

    anything at all wrong, or possibly wrong–to explain it. If you

    make a theory, for example, and advertise it, or put it out, then

    you must also put down all the facts that disagree with it, as well

    as those that agree with it. There is also a more subtle problem.

    When you have put a lot of ideas together to make an elaborate

    theory, you want to make sure, when explaining what it fits, that

    those things it fits are not just the things that gave you the idea

    for the theory; but that the finished theory makes something else

    come out right, in addition.

    In summary, the idea is to try to give all of the information to

    help others to judge the value of your contribution; not just the

    information that leads to judgment in one particular direction or

    another.
    http://www.lhup.edu/~DSIMANEK/cargocul.htm

  4. Rypke 3 oktober 2010 om 15:04- Antwoorden

    Een mooie beschrijving van het feit dat veel irrationele processen de wetenschap kunnen beheersen

    ik denk niet dat er altijd een strijd gaande is tussen 'advocacyscience'en 'zoekers naar de waarheid'. Beide lopen door elkaar. Er zijn misschien wel gewoon te veel matige onderzoekers die gewoon aan het werk gehouden moeten worden, en die dankzij de democratisering van wetenschap sinds de sixties (iedereen is een winnaar) een stoel ergens bij een universiteit of instituut hebben gekregen. Die moeten vervolgens de broek zien op te houden. Het leven is duur

    Een prachtig staaltje 'advocacy-ecology'heb ik net over geschreven in Bionieuws: TEEB. Hanteert als aanname dat er zoiets bestaat als een mondiale ecologische crisis (die het leven bij ons dus onleefbaar maakt??, of niet bij ons maar in Duitsland, of daar ook niet, waar dan wel?), en drukt dat vervolgens uit in astronomische geldbedragen. Biodiversiteit wordt zo steeds meer een banenmotor voor robuuste bureau-ecologen.

  5. arthur Rörsch 3 oktober 2010 om 19:03- Antwoorden

    Beste Rypke (en anderen)

    Ja, ik volg je kruistocht tegen de advocacy ecologie (in Bionieuws) nog steeds.

    In de moderne wetenschap (20ste eeuw) is al lang het aantal middelmatige onderzoekers in elke discipline veel groter dan het aantal top-onderzoekers, dat het inzicht werkelijk vooruit brengt. Zo lang de top-onderzoekers, met een wat bredere kijk dan de middelmatige, er maar waren, bleef zo’n discipline toch wel overeind. Maar twee keer in mijn loopbaan heb ik een hele (sub)discipline zien sneuvelen, de radiobiologie direct na WOII en de sociologie twintig jaar later. En weer op zien krabbelen.

    Naar de radiobiologie stroomde na Hiroshima en Nagasaki heel veel geld. Toch was er de eerste 10 jaar weinig vooruitgang wat betreft het begrip wat nu de stralingsgevoeligheid van levende organismen bepaalde. De hiërarchie die in het oorspronkelijke biologische milieu werd opgebouwd had aan de top te weinig intellectuele capaciteit. Met Watson & Crick (1953) ontstond een doorbraak. Chemici en fysici gingen zich met het vak bemoeien. De moleculaire biologie kwam van de grond. Het was aldus de inbreng vanuit andere disciplines dan de biologie, die het vak weer vooruit bracht.

    Zo’n correctie van buiten de eigenlijke discipline heeft zich mijns inziens ook in de sociologie voltrokken. Maar daar over heb ik te weinig eigen directe historische ervaring om te durven zeggen hoe hier het herstelproces is verlopen.

    Hij komt mij nu voor dat zo’n correctie van buitenaf nuttig, zo niet nodig is, in de klimatologie. Zo’n discussie als het IVM op 12 oktober organiseert, blijft navelstaren in eigen kring. Het klinkt op het eerste gezicht wel aardig dat naast AGW protagonisten een paar antagonisten zijn uitgenodigd, maar dat zet geen zoden aan de dijk om een wezenlijke kwaliteitsverbetering te bewerkstelligen, zolang de leiding van de eerste groepering uitgaat, waarvan de zwakte is gebleken. (Uit het niet tijdig opmerken van de IPCC ‘vergissingen’.)

    Wat denk ik, en hopelijk, wel gaat werken, is de discussie die van de grond lijkt te komen tussen een aantal KNMI medewerkers en de ‘buitenstaander’ (procesingenieur) Van Andel. En ik hoop nog steeds dat (ir) Andries Rosema tijd kan vinden om daar aan deel te nemen. De basis voor de argumentatie van beiden is, terug naar de interpretatie van de oorspronkelijke waarnemingen. Niet zeuren over circumstantial evidence die geleverd zou worden vanuit de peer-reviewed literatuur of de heersende modelleringpraktijken. (Dat durf ik TSI gezeur te noemen, die aan de hand van de gevestigde RS orde loopt).

  6. Theo Wolters
    Theo Wolters 4 oktober 2010 om 06:12- Antwoorden

    @Arthur

    Dank voor je belangwekkende bijdrage over de ontwikkelingen na het ontmatelen van de zg. "ivoren toren wetenschap" van vóór de democratisering. Een duidelijk geval van het kind met het badwater weggooien, oftewel, een ondoordachte actie met een niet voorzien maar desastreus averechts effect op de wetenschap!

    Gelukkig hebben we op Climategate.nl ook mensen die vanuit historische ervaring kunnen spreken.

    Je beschrijft hiermee tevens kern van het huidige dispuut over het IPCC, met een uitleg die in mijn ogen pas echt "handen en voeten krijgt" in je reactie hierboven van 3 oktober.

    De tijd is rijp voor de buitenstaanders om zich actief in de discussie te mengen, en voor de gevestigde klimaatorde om deze inbreng héél serieus te nemen.

  7. TINSTAAFL 4 oktober 2010 om 13:56- Antwoorden

    De Royal Society staat natuurlijk op een tweesprong tussen wetenschap en politiek. Het veroordelen of tenminste het kritisch beoordelen van de AGW-wetenschap komt natuurlijk niet ter sprake omdat daarmede de financiering van een belangrijk deel van de tegenwoordige wetenschap op het spel komt te staan.

    AGW kwam perfect op tijd nadat de naoorlogse wetenschappelijke ontwikkeling een beetje tot stilstand is komen te staan in de laatste 25 jaar en doordat grote delen van de westelijke industrie naar landen als India en China is verhuisd. Wetenschappelijk onderwijs is niet veel veranderd de laatste 25 jaar.

    De wetenschap heeft de AGW theorie met beide handen aangegrepen om zodoende verzekerd te zijn van adequate financiering de komende decennia want tenslotte is de wetenschap toch de redder van ons allemaal, toch en de doem verhalen komen toch pas over 50 jaar uit.

    Royal Society kan gewoon niet anders dan de AGW theorie onderschrijven en sceptische wetenschappers zoveel mogelijk in te kapselen om tegemoet te komen aan de toenemende scepsis van het gewone publiek. Enkele strenge winters en de politiek zal serieus gaan nadenken of al dat geld niet aan andere, betere en vooral nuttiger wetenschap en doelen zal moeten worden besteed.

    Alleen al in de US is er in 2009 10(!) keer zoveel financiering in klimaat wetenschap gestopt door de regering als in 1990.

    "Most men only care for science so far as they get a living by it, but they will worship error when it affords them a subsistence." Quote van een zekere J.W.von Goethe,

Geef een reactie