Hoe kritisch is het IAC-rapport?

Robbert Dijkgraaf

Vanmiddag om vier uur overhandigt Robbert Dijkgraaf in New York het IAC-rapport aan IPCC-voorzitter Rajendra Pachauri. Ross McKitrick liet dit weekend in een opiniestuk in de Financial Post al doorschemeren dat hij er niet veel van verwacht. Een interview vanmorgen met Robbert Dijkgraaf in de groenste krant van Nederland doet vermoeden dat McKitrick gelijk gaat krijgen.

Hoewel Dijkgraaf inhoudelijk nog niet op het rapport kan ingaan zegt hij al veel zoals:

Het was niet de opdracht van het IAC om het wetenschappelijke werk dat de basis vormde voor het meest recente klimaatrapport te evalueren.

Dit klopt, maar het was gedurende het hele proces onduidelijk of het panel een paar voorbeelden zou uitwerken om te laten zien hoe het IPCC-proces in de praktijk werkt. Denk aan de beruchte opmerking van Jones in de climategate e-mails over de papers van Michaels/McKitrick en De Laat/Maurellis: ‘I can’t see either of these papers being in the next IPCC report. Kevin and I will keep them out somehow – even if we have to redefine what the peer-review literature is!’

De behandeling van deze papers in het IPCC-rapport is en blijft in mijn ogen het duidelijkste voorbeeld van wat er fout gaat bij het IPCC: te grote invloed van lead authors, lead authors die hun eigen werk verdedigen en promoten, expert reviewers die genegeerd worden. Er blijft dan weinig over van het ‘allesomvattende, objectieve, open en transparante’ proces dat het IPCC beoogt te zijn. De opmerking die Dijkgraaf hierboven maakt doet vermoeden dat dit soort praktijkvoorbeelden uit AR4 niet in het rapport zullen staan.

Wetenschap is een vorm van georganiseerde scepsis. Het gaat om de feiten, niet om de vooringenomenheid of de reputatie van een wetenschapper. Zo werkt de wetenschap. Die opereert niet door consensus. Wat we zien rondom de klimaatwetenschap is dat er diversiteit is in opvattingen, die trouwens niet allemaal hetzelfde gewicht hebben in het wetenschappelijke debat.
Eén van de vragen die het IAC is gesteld, is wat het IPCC kan doen om beter om te gaan met die diversiteit van wetenschappelijke meningen. Maar als je zegt ’er moet ruimte zijn binnen de wetenschap voor debat’, dan heb je de wetenschap niet begrepen, want de wetenschap is één groot continu debat. Daarom is het zo belangrijk dat juist de wetenschap de dialoog aangaat met het grote publiek.

Dit kan wel eens een veelzeggende zijn. Er zijn andere meningen, aldus Dijkgraaf, maar die van het IPCC is belangrijker. De sceptici zoals McIntyre en McKitrick hebben minder ‘gewicht’. Christy vertelde het IAC-panel in Montreal dat de lead authors vooral gatekeepers zijn geworden en geen honest brokers. Een gatekeeper is vooral bezig om andere opvattingen buiten de deur te houden. Een honest broker probeert juist zo goed mogelijk de diversiteit aan opvattingen op een rijtje te zetten zonder zelf een oordeel te vellen. Ik ben benieuwd of deze termen terugkeren in het rapport en of het panel een voorkeur voor het een of ander uitspreekt. De wetenschap is een groot debat, zegt Dijkgraaf. Dat zal best, maar de enige relevante vraag is of het IPCC recht heeft gedaan aan dat debat.

Grijze literatuur

Weg met die grijze literatuur dus?
Onder meer over deze vraag gaat het IAC-onderzoek een aantal concrete dingen zeggen, maar daar kan ik na vanmiddag pas concreet op ingaan.

Grijze literatuur is een veilig onderwerp om kritisch over te zijn. Je kunt zeggen dat ze er minder van moeten gebruiken of zelfs helemaal niet meer, zoals Richard Tol denk ik terecht heeft opgemerkt. Het probleem van de grijze literatuur dringt echter niet door tot de kern van de problemen bij het IPCC.

Het interview wijst erop dat het IAC hetzelfde zal doen als het PBL. Wel enige kritiek uiten, maar geen structurele hervormingen voorstellen die in mijn optiek absoluut nodig zijn, wil het IPCC nog een toekomst hebben.

Aandachtspunten
Waar zal ik zelf op letten bij het lezen van het rapport?

1) Het benoemen van lead authors. McKitrick merkt in zijn opiniestuk terecht op dat met de lijst van lead authors de conclusies van het volgende rapport in feite al weer vast staan. Vindt het IAC dat er meer divergentie in opvattingen moet bestaan onder de lead authors? Richard Tol schreef eerder op deze blog dat het IPCC het IAC voor het blok heeft gezet door al van start te gaan met AR5. Ik ben benieuwd of het IAC daar nog kritiek op heeft.

2) Komt het IAC terug op enkele fouten, zoals de Himalaya-fout, Amazon-gate en misschien wel de ergste, de manier waarop het IPCC de mist in ging bij de relatie tussen orkanen/overstromingen en klimaat. In het laatste geval negeerde het IPCC een hele berg peer reviewed literatuur en claimde het dat er inderdaad een relatie is met de opwarming van de aarde op basis van een niet peer reviewed artikel dat geschreven was voor een workshop.

3) Zouden expert reviewers meer invloed moeten krijgen? Een van de redenen waarom het IPCC-proces niet goed functioneert is dat de reviewers geen enkele invloed hebben. Valide kritiek van McIntyre en McKitrick als expert reviewers werd door lead authors simpelweg ‘afgewezen’. Als reviewer van een wetenschappelijk tijdschrift kun je een artikel ‘afwijzen’. Een reviewer van het IPCC heeft echter geen enkele invloed en de lead authors hebben daardoor teveel macht.

4) De enige die de lead authors nog kan terugfluiten zijn de review editors. Dat zijn scheidsrechters die erop moeten toezien dat het IPCC-proces eerlijk verlopen is. In AR4 was hun rol een lachertje. Op een na vulden ze een standaardformulier in met hun goedkeuring. Als er nog conflicten zijn zouden de scheidsrechters die in een annex moeten vermelden. Nergens werd zo’n annex toegevoegd, terwijl er toch nog heel wat conflicten niet opgelost zijn, denk aan de kritiek op de temperatuurmetingen, Urban Heat Island effect en hockeystick.

Dat zijn wel de belangrijkste punten denk ik. Aan de hand van deze punten is in ieder geval eenvoudig te checken in hoeverre het IAC nu grondige hervormingen voorstelt.

Door | 2010-08-30T11:21:08+00:00 30 augustus 2010|8 Reacties

8 Reacties

  1. Marcel Crok 30 augustus 2010 om 15:11- Antwoorden

    Pachauri krijgt volgens dit artikel slechts een klein tikje op de vingers: http://www.hindustantimes.com/Pachauri-likely-to-

  2. Marcel Crok 30 augustus 2010 om 15:14- Antwoorden

    Dijkgraaf vanavond in Nova:
    http://www.novatv.nl/page/detail/uitzendingen/804

  3. Boels069 30 augustus 2010 om 15:42- Antwoorden

    Vanaf 16:00 uur (onze tijd) een webcast:
    http://www.un.org/webcast/

    Ook is een "electronic report" aan te vragen:
    http://reviewipcc.interacademycouncil.net/

  4. Hans Erren 30 augustus 2010 om 17:12- Antwoorden

    mooi:

    Aangezien het IAC-rapport voor een deel is opgesteld naar aanleiding van fouten in de meest recente rapporten, heeft de commissie ook het assessment-proces van het IPCC onderzocht. De conclusie van de commissie is dat dit proces degelijk van opzet is, maar dat een strakkere naleving van de bestaande procedures van het IPCC het aantal fouten zou kunnen minimaliseren. Daartoe moet het IPCC de review editors aanmoedigen om hun autoriteit ten volle te benutten om te garanderen dat al hun opmerkingen met betrekking tot het assessment afdoende in overweging worden genomen. De redacteurs van de assessmentrapporten dienen er verder zorg voor te dragen dat legitieme controverses in het rapport een plaats krijgen en dat er voldoende aandacht wordt geschonken aan op de juiste manier onderbouwde afwijkende meningen. De hoofdauteurs dienen expliciet te documenteren dat aandacht is besteed aan het gehele spectrum aan weloverwogen wetenschappelijke meningen.

    http://reviewipcc.interacademycouncil.net/ReportN

  5. The Spanish Inquisit 30 augustus 2010 om 17:26- Antwoorden

    Het voorstel om de chair, de executive director én de CLA's voor elke assessment te rouleren is best wel radicaal – maar een goed idee.

  6. De woedende kok 30 augustus 2010 om 17:37- Antwoorden

    draaideur directors

  7. The Spanish Inquisit 30 augustus 2010 om 17:38- Antwoorden

    … including establishing an executive committee to act on the Panel’s behalf and ensure that an ongoing decision-making capability is maintained. To enhance its credibility and independence, the executive committee should include individuals from outside the IPCC or even outside the climate science community. IPCC also should appoint an executive director — with the status of a senior scientist equal to that of the Working Group co-chairs — to lead the Secretariat, handle day-to-day operations, and speak on behalf of the organization. The current position of the IPCC secretary does not carry a level of autonomy or responsibility equivalent to that of executive directors at other organizations, the IAC committee found.

    The part-time nature and fixed term of the IPCC chair’s position has many advantages, the committee said, but the current limit of two six-year terms is too long. The IPCC chair and the proposed executive director, as well as the Working Group co-chairs, should be limited to the term of one assessment in order to maintain a variety of perspectives and fresh approach to each assessment. Formal qualifications for the chair and all other Bureau members need to be developed, as should a rigorous conflict-of-interest policy to be applied to senior IPCC leadership and all authors, review editors, and staff responsible for report content, the committee added.

  8. The Spanish Inquisit 30 augustus 2010 om 17:44- Antwoorden

    .. The Working Group II report, for example, contains some statements that were assigned high confidence but for which there is little evidence. In future assessments, all Working Groups should qualify their understanding of a topic by describing the amount of evidence available and the degree of agreement among experts ..

Geef een reactie