Een uitgebreid verslag van Ross McKitrick over zijn ervaringen met IPCC en zijn pogingen om een kritisch artikel gepubliceerd te krijgen in de vakliteratuur werd terecht opgepikt door een aantal blogs (hier en hier bijvoorbeeld). Het stuk is in mijn ogen de beste samenvatting van alles wat er fout gaat in het klimaatdebat.

Hoewel ik iedereen aanraad het stuk integraal te lezen (het is gedetailleerd maar nooit saai) zal ik hieronder puntsgewijs en chronologisch een samenvatting geven van de gebeurtenissen. Ik heb deze casus tevens gebruikt voor mijn bijdrage aan de hoorzitting van de VROM-commissie op 19 april.

Pijler
De kwestie is de volgende. IPCC leunt zwaar op de mondiale oppervlaktetemperatuur. Dit is een van de belangrijkste pijlers onder de klimaatdiscussie. Daarom is het van cruciaal belang dat die mondiale oppervlaktetemperatuur heel betrouwbaar is. Het IPCC zegt dat dit inderdaad het geval is en wijst onder andere op het feit dat drie onafhankelijke groepen (CRU, GISS en NOAA) op details na tot hetzelfde resultaat komen.

IPCC ontkent niet dat het Urban Heat Island (UHI) effect bestaat, maar beweert verwijzend naar een aantal papers van Jones, Parker en Peterson dat de mondiale oppervlaktetemperatuur desalniettemin geen last heeft van UHI. Hierop valt enorm veel af te dingen, maar daar gaan we het nu niet over hebben.

Ross McKitrick en Patrick Michaels kozen in 2004 voor een heel andere benadering. Laten we gewoon eens testen of de mondiale oppervlaktetemperatuur inderdaad geen last meer heeft van lokale effecten die bijvoorbeeld het gevolg zijn van verstedelijking, industrialisatie etc. CO2 verspreidt zich snel over de aarde en een land dat veel uitstoot hoeft dus niet perse warmer te worden dan een land dat weinig uitstoot of een zee. Zij selecteerden een aantal economische parameters en correleerden die met het patroon van opwarming zoals waargenomen door CRU.

De resultaten lieten niets aan duidelijkheid te wensen over. Ze vonden een zeer significant verband, wat dus betekent dat de claim van CRU dat de dataset vrij is/gecorrigeerd is van dit soort effecten niet klopt. De Laat/Maurellis vonden een soortgelijk verband door te kijken naar energieverbruik van landen. De consequentie is dat de opwarming zoals getoond door CRU (en ook de andere twee) een overschatting is. Dat is nogal belangrijke informatie, want bedenk dat we een sleutelbegrip als climate sensitivity (de toename van de mondiale temperatuur bij een verdubbeling van de CO2-concentratie) alleen kunnen bepalen als die temperatuurreeksen betrouwbaar zijn.

Vierde IPCC-rapport
Zowel Michaels/McKitrick als De Laat/Maurellis waren ruim op tijd gepubliceerd om meegenomen te kunnen worden in het vierde IPCC-rapport. En Phil Jones was coordinating lead author van het IPCC-hoofdstuk waarin deze kritiek op zijn werk behandeld zou moeten worden. Daar was hij zich al in een vroeg stadium van bewust, blijkt uit de climategate e-mails want hij mailt in juli van 2004 het volgende naar Michael Mann:

The other paper by MM is just garbage – as you knew. De Freitas again. Pielke is also losing all credibility as well by replying to the mad Finn as well – frequently as I see it.
I can’t see either of these papers being in the next IPCC report. Kevin and I will keep them out somehow – even if we have to redefine what the peer-review literature is !
Cheers
Phil

MM staat voor Michaels/McKitrick en de andere paper waarop Jones doelt is die van De Laat en Maurellis. Kevin is Kevin Trenberth, de andere coordinating lead author van hoofdstuk 3 van Werkgroep I van het vierde IPCC-rapport. Jones zit hier overduidelijk met het probleem van belangenverstrengeling opgezadeld. Hij zal kritiek op zijn eigen temperatuurreeks moeten behandelen en wegen. De e-mail aan Mann voorspelt wat dat betreft weinig goeds.

Leugens of verzinsels
Ongeveer een jaar later wordt het eerste conceptrapport rondgestuurd naar expert reviewers, waaronder McKitrick. Jones heeft gedaan wat hij in de e-mail aan Mann schreef, noch Michaels/McKitrick noch De Laat/Maurellis worden genoemd. McKitrick wijst de auteurs op deze omissie net als een andere reviewer, Vincent Gray. In het tweede conceptrapport in 2006 echter nog steeds geen woord over de twee papers. McKitrick stuurde nu een nog langer commentaar in, wederom wijzend op de papers.

Expert reviewers kregen pas na verschijning van het definitieve rapport in 2007 te zien wat lead authors met commentaren gedaan hadden. McKitrick had er niet meer op gerekend dat het definitieve rapport melding zou maken van de twee papers. Hij kwam er pas eind 2007 achter (het rapport verscheen in mei) dat er toch iets over geschreven was:

McKitrick and Michaels (2004) and De Laat and Maurellis (2006) attempted to demonstrate that
geographical patterns of warming trends over land are strongly correlated with geographical patterns of industrial and socioeconomic development, implying that urbanisation and related land surface changes have caused much of the observed warming. However, the locations of greatest socioeconomic development are also those that have been most warmed by atmospheric circulation changes (Sections 3.2.2.7 and 3.6.4), which exhibit large-scale coherence. Hence, the correlation of warming with industrial and socioeconomic development ceases to be statistically significant. In addition, observed warming has been, and transient greenhouse-induced warming is expected to be, greater over land than over the oceans (Chapter 10), owing to the smaller thermal capacity of the land.

Ze verweren zich met het argument dat gebieden met hoge economische ontwikkeling ‘toevallig’ die gebieden zijn die flink zijn opgewarmd door een verandering in atmosferische circulatie, zeg maar weerpatronen. Dit zou best kunnen, het probleem is alleen dat de secties waarnaar men verwijst dit helemaal niet bewijzen. Hun taalgebruik – ceases to be statistically significant – suggereert bovendien dat ze zelf hebben zitten rekenen, maar nergens in het rapport zijn die berekeningen te vinden, noch wordt er verwezen naar een peer reviewed publicatie waarin de claim van Michaels/McKitrick wordt weerlegd. Voor McKitrick blijven er maar twee opties over: dit zijn leugens of verzinsels.

De lange mars
Hoe nu verder? Het was in feite aan het IPCC om aan te tonen dat Michaels/McKitrick en De Laat/Maurellis er naast zaten, maar blijkbaar werkt het zo niet in de praktijk. Dus ging McKitrick maar weer aan het werk om te laten zien of het ad hoc argument van het IPCC (patroon wordt verklaard door veranderde circulatiepatronen) klopte. Hij deed de analyse en toonde aan dat het ad hoc argument van het IPCC zijn eerdere bevindingen niet teniet deed. Er zat nog altijd een statistisch significant signaal van ‘industrialisatie’ in de temperatuurreeks van CRU.

McKitrick schreef zijn bevindingen op in een artikel en toen begon de lange mars naar publicatie. Het artikel werd uiteindelijk door zes vaktijdschriften waaronder Nature en Science afgewezen, soms zelfs zonder het in behandeling te nemen. McKitrick stuurde het op een gegeven moment naar een statistisch tijdschrift. De reviewers daar zeiden dat de analyse prima was uitgevoerd, maar dat de technieken zo standaard waren dat het voor hun tijdschrift niet geschikt was. Ze raadden aan om het naar een klimaattijdschrift te sturen, iets wat McKitrick allang gedaan had. Uiteindelijk is het artikel geaccepteerd bij een nieuw tijdschrift, Statistics, Politics and Policy, en daar zal het in juni verschijnen.

Als Robbert Dijkgraaf met zijn onafhankelijke IPCC-onderzoek deze ene casus tot op de bodem zou uitzoeken, dan heb je vrijwel alles wat er in het klimaatdebat fout gaat te pakken: een peer review proces dat kritiek op de CO2-hypothese buiten de deur probeert te houden, belangenverstrengeling bij IPCC-auteurs die hun eigen werk moeten reviewen, gebrekkige kwaliteit van data, gebrekkige kennis van statistiek en kliekvorming onder wetenschappers. En dus concludeert McKitrick dat het niet vreemd is dat het publiek langzamerhand geen vertrouwen meer heeft in klimaatonderzoek:

In the aftermath of Climategate a lot of scientists working on global warming-related topics are upset that their field has apparently lost credibility with the public. The public seems to believe that climatology is beset with cliquish gatekeeping, wagon-circling, biased peer-review, faulty data and statistical incompetence. In response to these perceptions, some scientists are casting around, in op-eds and weblogs, for ideas on how to hit back at their critics. I would like to suggest that the climate science community consider instead whether the public might actually have a point.