Onderzoekers leggen de resultaten van hun werk vast in wetenschappelijke artikelen. De bedoeling van zo’n artikel is om wetenschappelijke resultaten bekend te maken aan andere onderzoekers en om deze resultaten te claimen als nieuwe inzichten behaald door de desbetreffende onderzoeker. Zo’n claim wordt meestal pas erkend door andere onderzoekers als het artikel is verschenen in een zogenaamd ‘peer-reviewed’ tijdschrift.

Wat is peer review?
Het Engelse woord ‘peer’ (‘gelijke’) kan in dit verband het beste vertaald worden door ‘medeonderzoeker’. Een peer review is dus een toetsing door een vakgenoot. Peer reviewers (‘keurlezers’) beoordelen of een artikel aan bepaalde eisen voldoet, zoals originaliteit, toegankelijkheid en een solide onderbouwing van de resultaten. Alle wetenschappelijke tijdschriften werken met een dergelijk systeem om de kwaliteit van in dat tijdschrift opgenomen artikelen te waarborgen.

Hoe werkt peer review in de praktijk?
Een onderzoeker (of onderzoeksgroep) stuurt zijn of haar artikel naar de redacteur van een wetenschappelijk tijdschrift dat het meest geschikt is voor het onderwerp van het artikel. Redacteuren zijn veelal mensen die zelf werkzaam zijn als onderzoeker en die een aantal jaren onbezoldigd, in deeltijd, het redacteurschap erbij doen. Alleen tijdschriften als Nature en Science werken met professionele redacteuren met een brede natuurwetenschappelijke achtergrond. De redacteur zal het artikel oppervlakkig doorlezen en daarbij een inschatting maken of het voldoende kwaliteit heeft, nieuwe inzichten bevat en goed geschreven is. Nature en Science kijken, behalve naar het wetenschappelijk belang, ook naar de ‘nieuwswaarde’ van een aangeboden artikel.
Als de redacteur besluit het artikel in behandeling te nemen, dan moeten er twee of meer keurlezers gezocht worden. Elk tijdschrift beschikt hiertoe over een adressenbestand, met de namen en expertisegebieden van een groot aantal mogelijke kandidaten. Dit kunnen auteurs zijn van eerder in dat tijdschrift verschenen artikelen of andere onderzoekers die naam gemaakt hebben op een bepaald onderzoeksgebied. De geselecteerde keurlezers krijgen een brief of email met de vraag of ze binnen een bepaalde tijd het artikel willen beoordelen, waarbij ze alleen de titel, auteurs en soms de samenvatting van het artikel te zien krijgen. Enkele tijdschriften werken met een ‘dubbel-blind’-reviewsysteem, waarbij aan de reviewers de identiteit van de auteurs niet bekend wordt gemaakt om eventuele vooringenomenheid van de reviewers te voorkomen. De redacteur zal altijd op zoek gaan naar collega-onderzoekers die expert zijn op het onderwerp van het artikel, maar streeft ook naar diversiteit. Zo kan er gekozen worden voor een experimentator en een theoreticus, of een generalist en een gespecialiseerd onderzoeker, of een beginnende onderzoeker en een gevestigde autoriteit, enzovoort.
Soms weigeren onderzoekers om als keurlezer op te treden, omdat ze geen tijd hebben of omdat het artikel hun niet aanspreekt. Dan moet er een andere kandidaat aangeschreven worden. In het algemeen gaan onderzoekers graag in op een review verzoek, omdat ze op de hoogte komen van de nieuwste wetenschappelijke ontwikkelingen door een artikel te keurlezen.

Uiteindelijk zullen er twee (of meer) beoordelingen liggen, die anoniem doorgestuurd worden naar de auteurs van het artikel. De redacteur neemt op basis van deze beoordelingen een beslissing om het artikel af te wijzen, het in meer of mindere mate te laten herzien of het zonder meer te accepteren. In de meeste gevallen moeten de auteurs hun artikel deels herschrijven. De herziene versie wordt opnieuw ingediend, vergezeld van een reactie op het commentaar van de keurlezers. De redacteur zal vervolgens het commentaar, het antwoord van de auteurs en het herziene artikel opnieuw beoordelen. Het artikel kan dan alsnog geaccepteerd worden. Vaker zal de redacteur het artikel terug sturen naar de keurlezers en hen opnieuw om commentaar vragen. Zo kan een artikel een aantal malen herzien worden, voordat het uiteindelijk geaccepteerd of afgewezen wordt.

Een aantal tijdschriften hebben de eerste stappen van het review proces openbaar gemaakt. De eerste versie van ingediende artikelen, de beoordelingen en de repliek van de auteurs staan op de ‘discussie’ sites van deze door de European Geophysical Union uitgegeven tijdschriften, vaak met het voorlopige eerste oordeel van de redacteur (zie “Meer lezen”). De latere versies en verdere correspondentie tussen auteurs, keurlezers en redacteur staan niet op de site. Als het artikel geaccepteerd wordt, verschijnt de definitieve versie op de ‘tijdschrift’ site van deze elektronische tijdschriften. Deze voor iedereen toegankelijke informatie geeft een goed inzicht in het review proces.

Waarin verschillen vaktijdschriften van elkaar?
Verschillende wetenschappelijke tijdschriften richten zich op verschillende deelgebieden van een bepaald onderzoeksveld. Het ene tijdschrift is dus meer geschikt voor een bepaald artikel dan het andere. Daarnaast zijn sommige tijdschriften zeer gespecialiseerd, terwijl andere zich richten op een breder wetenschappelijk publiek. Het ene tijdschrift hanteert bovendien strengere kwaliteitseisen dan het andere en heeft daardoor ook meer status, zoals die gemeten wordt door de gemiddelde ‘citatie score’. Deze wordt bepaald door het aantal malen dat een artikel uit dat tijdschrift gemiddeld geciteerd wordt in peer-reviewed artikelen van andere onderzoekers.

Bekende peer-reviewed tijdschriften op het gebied van klimaatonderzoek zijn de uitgaven van de American Geophysical Union (AGU, zie “Meer lezen”) zoals het brede Geophysical Research Letters en de meer gespecialiseerde Journals of Geophysical Research, de tijdschriften van de American Meteorological Society (AMS, zie “Meer lezen”) zoals Journal of Climate en de hierboven genoemde tijdschriften van de European Geophysical Union zoals Climate of the Past. Daarnaast zijn er nog kleinere tijdschriften zoals Climate Dynamics, International Journal of Climatology en Climatic Change.

Het tijdschrift Energy and Environment (zie “Meer lezen”) richt zich op energievraagstukken. Dit tijdschrift plaatst regelmatig artikelen op het gebied van klimaatverandering. Deze worden echter niet aan de gebruikelijke collegiale toetsing onderworpen, maar worden geplaatst als opiniestukken. Om deze reden is het tijdschrift onder klimaatsceptici populair, maar geniet het onder klimaatonderzoekers geen aanzien.

Tijdschriften als Nature en Science (zie “Meer lezen”) zijn een verhaal apart. Deze kennen een zeer strenge selectie, waarbij de redacteur eerst kijkt naar de nieuwswaarde van wetenschappelijke resultaten voor een breed publiek. Daarna wordt reviewers nadrukkelijk gevraagd om aan te geven of een artikel voldoende belangrijk en vernieuwend is voor publicatie in Nature of Science. Deze multi-disciplinaire tijdschriften wijzen zo’n 80-90% van de hun aangeboden artikelen af. Door deze strenge selectie en zeer brede verspreiding kennen Nature en Science een zeer hoge citatie score.

Gaat het wel eens mis?
De redacteur hoort als scheidsrechter op te treden en erop toe te zien dat een artikel eerlijk beoordeeld wordt door onafhankelijke, terzake deskundige en kritische medeonderzoekers. Keurlezers moeten een artikel inhoudelijk beoordelen. Ze letten daarbij op de wetenschappelijke kwaliteit en het belang van de gepresenteerde resultaten. Keurlezers zijn echter geen schoolmeesters. Ze hoeven niet elk resultaat ‘na te rekenen’, maar kijken wel of het artikel goed en toegankelijk geschreven is en of het voldoende informatie bevat zodat andere onderzoekers de resultaten zouden kunnen reproduceren. In het ideale geval zijn de beoordelaars zorgvuldige meelezers, die de auteur verder helpen met hun commentaar.

Helaas gaat het wel eens mis. Sommige keurlezers zijn niet zo kritisch en zo kan het gebeuren dat er artikelen verschijnen die grotendeels zijn overgeschreven of waarin gefraudeerd wordt met gegevens. Ook kan het gebeuren dat ze te kritisch zijn en een artikel afwijzen om onbenullige redenen. Een enkele keer geeft een keurlezer een negatief advies omdat hij vooringenomen is, wil verhinderen dat anderen zich op ‘zijn’ gebied begeven of een nieuwe onderzoekslijn wil blokkeren. In het ideale geval bemiddelt de redacteur bij dergelijke conflicten en raadpleegt eventueel extra keurlezers. Het kan echter ook gebeuren dat de redacteur het artikel afwijst, omdat hij de keurlezer als de meest gezaghebbende partij ziet en diens advies opvolgt. Zeker voor beginnende onderzoekers is een oneerlijke beoordeling een bijzonder pijnlijke ervaring.

Wat gebeurt er met een afgewezen artikel?
Een afgewezen artikel wordt meestal herschreven en ingediend bij een ander tijdschrift. Het is belangrijk voor onderzoekers om hun resultaten vast te leggen en te communiceren. Daarnaast worden onderzoekers door hun leidinggevende beoordeeld op hun publicatielijst en voor beginnende onderzoekers kan het verkrijgen van een vaste aanstelling hiervan afhangen. Daarom laat een onderzoeker een artikel niet graag ongepubliceerd in de kast liggen. De kans om bij een ander tijdschrift dezelfde vooringenomen reviewer of onzorgvuldige redacteur te treffen is klein. Een artikel dat bij meerdere tijdschriften geweigerd wordt, is meestal een slecht artikel.

Wat gebeurt er na publicatie van een artikel?
Na publicatie van een artikel kunnen andere onderzoekers doorbouwen op een nieuw idee, gepresenteerde meetgegevens of de uitkomsten van een experiment. Soms is dit succesvol en wordt een artikel vervolgens veel geciteerd. Maar plaatsing van een artikel is natuurlijk geen garantie voor succes en zelfs een Nature of Science artikel kan binnen de kortste tijd vergeten worden. Men kan een onderzoeker vergelijken met een romanschrijver die zijn manuscript gepubliceerd krijgt bij een uitgever. Het boek kan een klassieker worden of al snel bij De Slegte op de plank liggen, ook al waren de recensies lovend.

Soms is een artikel toch niet zo goed als het in eerste instantie leek: een idee werkt niet, meetgegevens bevatten fouten of experimenten zijn niet reproduceerbaar. Onderzoekers die hier tegenaan lopen, kunnen een commentaar op een gepubliceerd artikel schrijven of zelf een nieuw artikel schrijven waarin ze in negatieve zin refereren naar zo’n eerder artikel. Vaker raakt zo’n artikel simpelweg vergeten. Deze ‘survival of the fittest’ zou je kunnen zien als een tweede, informele review door de wetenschappelijke gemeenschap. Hierdoor blijkt wat een artikel echt waard is. Dit proces neemt zo’n 5-10 jaar in beslag.

Zijn er nog andere manieren om wetenschappelijke resultaten te publiceren?
Ja en nee. Onderzoekers schrijven een enkele keer een rapport dat niet onderworpen wordt aan collegiale toetsing. Soms is het namelijk zinvol om bijvoorbeeld een experiment, dat weinig opgeleverd heeft, toch te beschrijven, of om de computercode van een klimaatmodel te documenteren. Soms verschijnen er verslagen van conferenties, met bijdragen van de sprekers. Dit kan gaan om voorlopige resultaten, die in een later stadium wel in een peer-reviewed artikel opgenomen worden, of om kleine aanvullingen op eerder gepubliceerd werk. Ook schrijven onderzoekers wel eens een populair-wetenschappelijk artikel of een opiniestuk voor een tijdschrift of krant. Al deze publicaties genieten echter niet het gezag van een peer-reviewed artikel. Wetenschappelijke tijdschriften zullen in het algemeen verwijzingen naar dergelijke publicaties niet accepteren.

De Klimaatrapporten van het IPCC
Het IPCC, het Klimaatpanel van de Verenigde Naties, brengt regelmatig een overzicht uit van de stand van zaken in het klimaatonderzoek. Het IPCC doet zelf geen onderzoek en beoordeelt artikelen niet op de manier waarop keurlezers dit doen voor een wetenschappelijk tijdschrift. De IPCC Klimaatrapporten bevatten overzichtsartikelen van de peer-reviewed literatuur, waarbij de resultaten van veel verschillende onderzoekers in onderlinge samenhang gewogen worden. De rapporten geven een zeer beknopte samenvatting (vaak niet meer dan een paar zinnen per artikel) en zijn vooral bedoeld als naslagwerk, met een uitgebreide lijst van verwijzingen naar relevante artikelen. De IPCC Klimaatrapporten zijn uitsluitend gebaseerd op de peer-reviewed literatuur en maken geen gebruik van rapporten of opiniestukken uit kranten of tijdschriften.

Tenslotte
Er is veel discussie over het peer-review process, maar niemand heeft een goed alternatief. Nature geeft een interessant overzicht van de discussie in een aan peer-review gewijde weblog (zie “Meer lezen”).

Laatste update: 23 juni 2008

Meer lezen:
Copernicus publications

AGU Publications

AMS Journals online

Energy and Environment

Nature

Science

Nature's peer review debate