U werd twee jaar geleden hoogleraar wetenschaps- en evaluatiestudies. Dit jaar besluiten alle Nederlandse wetenschapsorganisaties dat ze wetenschap anders moeten evalueren. Toeval?
‘Dat position paper van de kenniscoalitie (zie kader onderaan) is het resultaat van een discussie die al langere tijd gaande is, en die ook in Nederland steeds meer gevoerd werd. Mijn benoeming is daar ook een uiting van. Het is ook een lokaal iets: al in 2010 besloot het Leidse Centrum voor Wetenschap en Technologie Studies om een onderzoeksprogramma op te zetten naar hoe prestatie-indicatoren gebruikt worden in de wetenschap. Een kritische blik is mede belangrijk omdat we hier zelf ook indicatoren produceren.’

Dat programma richtte zich eerst vooral op de biomedische wetenschappen. Waarom juist dat vakgebied?
‘Omdat er daar al veel discussie was: publiceren we niet teveel, zijn citatiescores niet te belangrijk geworden? Wij wilden daar met een analytische blik naar kijken. Hoe die scores meewegen in formele evaluaties, maar vooral ook hoe het uitwerkt in de dagelijkse praktijk.’

En?
‘Op de wetenschappelijke werkvloer maken mensen voortdurend beslissingen over welke kant ze opgaan. Denk aan de promovenda die samen met haar begeleider overlegt over wat belangrijke onderzoeksvragen zijn. Daarin speelt het blad waar je de antwoorden kan publiceren mee. Of de vraag met welke onderzoekers je gaat samenwerken. Dat gaat over inhoud, maar ook over waar zo’n samenwerking qua impact toe kan leiden. Bij de beslissingen over waar je moet publiceren, wegen die indicatoren uiteraard ook mee. Die vermenging overal is het belangrijkste argument waarom het zo moeilijk is om bepaalde indicatoren los te laten: mensen zijn zo gewend er werk mee te evalueren.’

Bij een bijeenkomst over deze vraagstukken klonk vanuit de jongere onderzoekers ook een ander geluid. Die metrics zijn misschien wat plat, maar ze zijn ook objectief en duidelijk, en geven precies aan wat er van je verwacht wordt.
‘Het is niet zo dat we nu van keiharde metingen afstappen, en ineens supersoft worden. Het is niet of/of. Je moet een besluit nemen over wat je strategie is als groep, maar ook als faculteit of universiteit, en dan meer maatwerk inbouwen waarop je wordt geëvalueerd. Dat is ingewikkeld, want je laat een standaard los waarmee iedereen werkt.’

En wat komt daar dan voor in de plaats?
‘Als je bedenkt wat je missies zijn, welke mensen daarbij passen, en voor welke doelgroepen je werkt, kun je daar heel harde criteria over afspreken. Voor de ene wetenschapper is het: die onderzoekslijn opzetten, en daar horen die- en die tijdschriften bij. Voor een ander is het: samen met bepaalde bedrijven een product helpen ontwikkelen. Het begint met het formuleren van een strategie.’

Nu gaat het toch weer over tijdschriften...
‘We merkten in ons onderzoek naar de biomedici dat de bladen met de hoogste reputatie niet per se de bladen zijn die iedereen leest. Een onderzoeker zei letterlijk: “Wat ik zelf het liefste lees om mijn vakgebied bij te houden, zijn bladen die niet voldoende meetellen.” Maar als je peers het lezen, dan zou het blad goed genoeg moeten zijn.’

En die strategie, waar gaat dat over?
‘Wat is mijn werk? Waar gaat het over, en voor wie doe ik het? Wat is de rol van, bijvoorbeeld, patiëntenverenigingen, en hoe verantwoord ik mij aan hen? Het Universitair Medisch Centrum Utrecht experimenteert daar wel mee: wat als je iemand van zo’n patiëntenvereniging in een visitatiecommissie zet? Dan krijg je heel interessante discussies over de waarde van het werk.’

En uw werk? Waar gaat het over, en voor wie doet u het?
‘Over de vraag wat de kwaliteit van wetenschappelijk onderzoek is. Dat kun je conceptueel benaderen en dat is academisch heel interessant. Maar ook: hoe komen ideeën over die kwaliteit tot uiting in onderzoekspraktijken? Wat kunnen we betekenen voor het wetenschappelijk systeem? De doelstelling is ook om dat in beleidsdiscussies in te brengen. Dat doe ik door manifesten te schrijven, en lezingen te geven voor allerlei soorten publiek, en door kennis aan te bieden bij de beleidsmakers.’

Laat wetenschappelijke kwaliteit zich wel meten?
‘De opvattingen over wat goede wetenschap is, zijn aan verandering onderhevig. Wetenschapssystemen zijn niet door de tijd vergelijkbaar, ook vanwege de veranderende schaal. Onze huidige opvattingen zijn al een paar decennia zo. Ten tijde van Einstein was het anders, en ook in de toekomst zullen we er iets anders onder gaan verstaan. Maar hoe expertise tot stand komt, is de kern van mijn vak. Een position paper dat ter discussie stelt: wat is kwaliteit en objectiviteit, is dus superinteressant. De hele kenniscoalitie zegt: we moeten het erover hebben.’

Heeft dat niet meer te maken met de strengere eisen aan openbaar publiceren: het zogeheten Plan S, dat publiceren in bladen met een hoge impact factor bemoeilijkt?
(Zie ook: 'Hoe maak je een systeem waarvan niet iedereen opnieuw gek wordt?') 
‘Die beweging was al langer gaande, maar nu gaat het snel. De ingewikkeldheid van het wetenschappelijk systeem heeft tot traagheid geleid, maar met dit plan is er vanuit de financiers een prikkel die urgentie geeft.’

Tegelijkertijd is het voor iemand die hoogleraar wil worden erg belangrijk om internationale ervaring op te doen. Als je voor die internationale postdoc-plek nog gewoon wordt afgerekend op publicaties in de tofste bladen, maken we het onze onderzoekers moeilijker.
‘Allereerst: je kan ook op andere manieren een internationale samenwerkingscomponent aan je cv toevoegen. Die sluiten niet mensen uit, zoals jonge onderzoekers die kinderen willen krijgen.
‘De andere vraag is of we ons als klein kikkerlandje niet op een achterstand zetten. Dat is een ingewikkelde discussie. Uiteindelijk moet het genuanceerder worden. Als je nu een groep leidt, moet je al je medewerkers langs dezelfde meetlat leggen: die van de excellente onderzoeker. Maar als je kijkt naar wat je als groep wilt bereiken, zijn er ook mensen nodig die gewoon goed werk en bijvoorbeeld maatschappelijk relevante dingen doen. Onderwijs moet ook meer gaan meewegen. Dan kom je uit op een systeem waarin je een gevarieerder team wilt hebben, en je niet alleen maar selecteert op topspitsen.’