Peer review 1.

C. (Kees) le Pair



Peer review, Pr, is vermoedelijk zo oud als de in druk verschenen wetenschap. Misschien nog wel ouder. Voor er tijdschriften waren, legden auteurs, niet alle, manuscripten van boeken al voor aan collega’s om van hun kritiek te profiteren. Zo is bv. bekend dat Nederlandse en Engelse boeken ten dienste van de zeevaart ongeveer gelijktijdig verschenen. Dan moeten de manuscripten aan de andere kant van de Noordzee daarvoor bekeken en gewaardeerd zijn.

Later bedienden uitgevers van wetenschappelijke tijdschriften zich veelal van Pr om een verscheidenheid van redenen zoals: taalgebruik, weren van niet tot het domein behorende bijdragen, waarborging van wetenschappelijke standaarden m.b.t. plagiaat, zo mogelijk verifiëring van (een deel) van de gerapporteerde feiten, logische- en eventueel wiskundige consistentie, controle van de verwijzingen enz. en verder om uit een te groot aanbod te selecteren en nog veel meer.

Schrijvers en uitgevers van de tijdschriften hadden uiteenlopende redenen om vast te houden aan de stelling dat artikelen gepubliceerd in gerefereede tijdschriften de toets van voldoende cq. goede kwaliteit hadden doorstaan. Dit hoort men ook van publicaties waarbij de Pr niets om het lijf had, bv. doordat het tijdschrift werkt met één of enkele, vaste referees, of doordat de instructie voor de referenten geen vragen bevat die op de kwaliteit betrekking hebben.

Pr is echter niet alleen uitvoeren wat in de instructie staat. Het is bovenal mensenwerk en dus behept met fouten. Incidentele fouten zijn leuk nieuws. Ze halen regelmatig de gewone kranten en zelfs radio en TV. Denk bv. aan berichten over fraudeurs wier bijdragen ongehinderd door de Pr barrière kwamen, of koddige commentaren op onderzoeken waarbij 50% van de proefdieren, nl. die andere kip, aan de gevolgen overleed.

Van veel ernstiger aard zijn systematische fouten bij de Pr. Zoiets treedt bv. op bij ‘scholenstrijd’ in een vakgebied. ‘Climate Gate’ bracht aan het licht dat in de klimaatwetenschap waarin enkele tijdschriften domineren, een dubieuze samenwerking bestond van onderzoekers die de AGW-hypothese aanhangen om werk van non-AGWers uit die tijdschriften te weren. (AGW staat voor de hypothese dat het klimaat gevaarlijk door de mens wordt beïnvloedt.) In zo’n geval kan Pr de voortgang van de wetenschap in het betreffende gebied belemmeren. Soms is er zo’n systematische fout waar bepaalde redacties bijdragen weigeren om hen moverende redenen en zich op Pr beroepen, maar waar in feite eigen schoolvooroordeel speelt, of politiek: geen Joodse wetenschap (!), of een nationalistisch argument: geen artikelen van lui uit dit of dat land enz.
Bij systematische fouten is het gebruikelijk het Pr argument te blijven gebruiken: de welgepubliceerde artikelen hebben de toets der kritiek doorstaan.

Wetenschappelijke tijdschriften hebben intussen hun laatste levensfase bereikt. Net als boeken zullen zij waarschijnlijk nooit helemaal verdwijnen, maar de toekomst is aan de elektronische publicatie. Die doet een heel ander soort Pr regiem ontstaan. In de eerste plaats kan iedereen, rijp of groen, nu alle zin en onzin voor iedereen bereikbaar op het WWW zetten. Geen uitgever, redactie of referent hoeft er meer aan te pas te komen. Serieuze onderzoekers delen hun bevindingen via het internet in concept met andere onderzoekers om van hun kritiek te profiteren en op grond ervan hun eigen bijdragen bij te stellen. Er zullen waarschijnlijk al dan niet commerciële diensten ontstaan die een groot publiek wegwijs maken in al of niet geselecteerde bijdragen op bepaalde terreinen op het web.
Mogelijk zullen er digitale archieven komen, er zijn er al voor onderdelen van de natuurkunde, waarin onderzoekers hun gefinaliseerde bijdragen – dus met verwerking van de ingezamelde kritiek – deponeren. Een dergelijk archief consolideert. Stukken er in opgenomen kunnen niet meer worden teruggenomen. Indien een auteur (delen van) zo’n stuk wil herroepen kan dat niet anders dan door een tweede artikel te schrijven. Beide documenten blijven bestaan. Een dergelijk archief omvat de oude kwaliteit van soliditeit van een boeken- en tijdschriftenbestand naast vele andere voordelen. De niet-retracteerbaarheid noopt de contribuanten om voorzichtig te zijn met wat ze er in deponeren.

Het web herbergt zijn eigen vorm van Pr. Kritiek op al of niet gearchiveerde bijdragen kan nu door iedereen en voor iedereen binnen klikbereik komen.

In de klimaatwetenschap heerst een scholenstrijd tussen AGWers en niet-AGWers. En er is een invloedrijke instantie, het IPCC, die de klimaatverandering evalueert en daaruit conclusies trekt op grond waarvan zij aanbevelingen doet aan regeringen. In die instantie domineert de visie van de AGW-ers. Dat heeft weer invloed op de keuzen van regeringen bij de financiering van het klimaatonderzoek. (En op de hele economie, maar dat laat ik hier buiten beschouwing.)

Scholenstrijd vooral indien een van de scholen nauwe banden met de overheid heeft, kan een tijd lang de voortgang van een vakgebied frustreren. De aarde bleef nog lang het middelpunt van het zonnestelsel voor de zonpartij gelijk kreeg. Ook toen men al lang gezien had dat mensen een dubbele bloedsomloop hadden, bleef die enkelvoudig. In Rusland kon men een hele tijd de erfelijke eigenschappen van een soort veranderen door opvoeding enzovoorts. Scholenstrijd kan ook venijnige kantjes hebben. In de klimaatwetenschappen zijn er een aantal schrijnende gevallen van ontslagen niet-AGW-onderzoekers en in ons eigen land moest een wetenschappelijk directeur van het KNMI vertrekken omdat hij niet in de dominerende school paste. Voeg daarbij de vele artikelen die door redacties met Pr motief geweigerd werden en het is duidelijk dat er aan niet-AGW-kant een communale frustratie ontstaat.
Dat gebeurt net op het moment dat het internet de communicatie tussen onderzoekers van de tijdschriften begint over te nemen. Het ligt dus voor de hand dat de niet politiek correcte school, zoals men de niet-AGWers gevoeglijk kan noemen, naar het internet greep om de communicatie te voeren. Helaas daar kan rijp en groen zin en onzin kwijt. Het verwijt ligt voor de hand en wordt grif door AGW-adepten gebruikt: “dat zijn geen Pr bijdragen”.
Gelijk hebben ze, alleen: ge-Pr-de bijdragen kunnen ook onzin bevatten en veel van de klimaatgeöriënteerde internetbijdragen van niet-AGWers worden voortdurend ge-Pr-d en herschreven, waardoor de resultaten robuuster worden.
Overigens is het verwijt dat niet-AGWers niet op ge-peer reviewde onderzoekresultaten kunnen bogen onwaar2; maar dat ter zijde.

Het is op voorhand niet met zekerheid te zeggen welke Pr beter werkt. Die van de tijdschriften mogelijk behept met systematische fouten, of die van de open Pr van het internet. Ik persoonlijk denk dat ook qua robuustheid het internet het op den duur wint. In elk geval is het oude Pr-argument van de AGW-school ongeldig voor een reeks belangrijke publicaties op het WWW. En de Pr van de AGW-ers is zeker niet feilloos, denk aan het hocky-stick drama.


Conclusie:

Ook het internet heeft zijn vorm van Pr en (tijdschrift) Pr is geen garantie voor kwaliteit.

C. (Kees) le Pair
Nieuwegein, 2012 06 13.


Noot en verwijzing

  1. Notitie, geschreven n.a.v. een discussie onder klimaat skeptici over het verwijt dat zij hun argumenten niet aan 'ge-peer reviewde' wetenschappelijke artikelen ontlenen.
  2. Op de web-stek (foei) staan verwijzingen naar meer dan 1000 ge-peer reviewde wetenschappelijke artikelen die de AGW-hypothese ontkrachten.