Yahoo Finanzen Ökonomen befürchten in der Forschung unvollkommene Leistungsmessung
Die Messung des Publikationsoutputs von Wissenschaftlern soll eine objektive Methode zur Beurteilung ihrer Arbeit sein. Doch Ökonomen weisen auf Fehlanreize hin.
Im letzten Jahrzehnt haben mehrere europäische Länder Systeme zur Bewertung der Arbeit von Wissenschaftlern und zur Verteilung von Forschungsgeldern eingeführt, die auf eine zahlenmäßige Messung ihres Publikationsoutputs setzen. Zu diesen „bibliometrischen“ Maßen zählen vor allem die Anzahl wissenschaftlicher Fachaufsätze, eventuell gewichtet nach der unterstellten Qualität der Zeitschrift, und die Häufigkeit, mit der die Fachaufsätze in anderen Aufsätzen erwähnt werden.
Das soll objektiver sein als die bisher übliche Beurteilung durch Gremien von Forschern. Politiker wollen so gegenüber den Steuerzahlern Rechenschaft darüber ablegen, wie sie die Forschungsmittel verteilen. Kritiker solcher Ansätze bemängeln, dass sich die Qualität wissenschaftlicher Forschung nur sehr unvollkommen mit derartigen Indikatoren messen lässt. Sie befürchten, dass sich Forscher zu sehr für ihre Punktzahl interessieren. Falls die Punktzahlen gute Forschung nur sehr unvollkommen messen, wäre das ein Rückschritt.
Italien hat ein solches System 2010 eingeführt. Seither stützen sich Entscheidungen zur Einstellung und Beförderung von Professoren stark darauf, wie oft Aufsätze der jeweiligen Forscher zitiert werden. Drei italienische Ökonomen haben nun die Wirkungen untersucht. Das Ergebnis bestätigt recht eindrucksvoll die Sorgen der Kritiker.
Alberto Baccini, Giuseppe De Nicolao und Eugenio Petrovich von den Universitäten Siena und Pavia berechneten einen Binnenzitationsindex und verglichen diesen im Zeitablauf vor und nach der Reform, sowie international. Der Index misst, welcher Anteil der Zitierungen aus dem Land des Zitierten kommt, beziehungsweise bei mehreren Autoren aus dem Land von mindestens einem der Autoren.
Punktestand nach oben treiben
Sie stellen eine sehr markante Veränderung nach Einführung des neuen Beurteilungssystems fest. Zwischen 2008, als die Reform bereits absehbar war, und 2016 stieg der Anteil der Binnenzitate in Italien um 8,3 Prozentpunkte, doppelt so stark wie in den zehn größten Industrieländern insgesamt. Im Jahr 2000 hatte Italien mit seinem Binnenindex von gut 20 Prozent noch an sechster Stelle gestanden. Im Jahr 2016 lagen die italienischen Forscher mit 30,7 Prozent an zweiter Stelle. In 23 von 27 wissenschaftlichen Disziplinen war der Anstieg des Indexes in Italien am höchsten.
Eine harmlose Erklärung dafür wäre, dass die italienischen Wissenschaftler verstärkt internationale Kooperationen eingegangen wären. Aber das Gegenteil war der Fall. 2016 war Italien das Land mit dem geringsten Anteil an internationalen Koproduktionen in der Forschung.
Für die drei Autoren bleibt als Erklärung für den plötzlichen Anstieg der Binnenzitierungen eigentlich nur die Absicht, durch Eigenzitationen und informelle Klubs zum gegenseitigen Zitieren die regierungsamtlichen Erfolgsmaße nach oben zu treiben. Wohl nicht von ungefähr war diese Reaktion in den Wirtschaftswissenschaften am ausgeprägtesten, befassen sich doch Wirtschaftswissenschaftler schwerpunktmäßig mit der Wirkung von Anreizen.
Die Möglichkeit der Manipulation ist nur eines der Probleme der zahlenmäßigen Bewertung von Forschungsoutput. Andere wiegen wohl schwerer, sind aber kaum zu quantifizieren; etwa dass Wissenschaftler möglicherweise risikoscheu werden und statt wirklich kreativer Forschung zu schwierigen Fragen lieber kleine Verbesserungen auf ausgetretenen Pfaden versuchen. Bei Letzterem kann man ziemlich sicher sein, dass etwas Publikationsfähiges dabei herauskommt. Dagegen hat auch das beste Forschungsdesign nur geringe Veröffentlichungschancen, wenn das Ergebnis negativ ist.
Wirklich neuartige Ergebnisse, die den bisherigen Forschungsstand auf den Kopf stellen, brauchen zudem oft lange, um akzeptiert und zitiert zu werden. So hat das Ökonomenteam Jian Wang, Reinhilde Veugelers und Paula Stephan von den Universitäten Leuven und Georgia ermittelt, dass neuartige Forschungsdesigns zwar eine höhere Wahrscheinlichkeit haben, zu dem einen Prozent der am meisten zitierten Aufsätze aufzusteigen, dass diese Anerkennung aber mit vier bis neun Jahren viel länger braucht als der Zeitrahmen, in dem junge Wissenschaftler im Rahmen ihrer Karriere bewertet werden.
Schließlich wird gegen den Zahlenfokus auch vorgebracht, dass dadurch erwünschte Aktivitäten abgewertet werden, die nicht so leicht quantifizierbar sind, etwa eine gute Lehre oder Engagement als Gutachter von Zeitschriften. Wer Karriere machen will, wird solche Aktivitäten dann zurückfahren, weil er andernfalls schlechte Chancen hat, gegen Konkurrenten zu bestehen, die es tun.
Es geht auch anders
Dass man auch gut ohne simples Abzählen von Aufsätzen oder Zitierungen auskommen kann, wenn man über Einstellungen, Beförderungen oder Vergabe von Forschungsmitteln entscheidet, wurde Ende Oktober bei einem Kongress der interdisziplinären Anti-Bibliometrie-Initiative „Dora“ deutlich, die im Internet übertragen wurde. Dora steht für Declaration on Research Assessment und wurde 2012 in den USA gegründet.
Dort berichtete unter anderem Frank Miedema unter dem Titel „Weniger Zahlen, bessere Wissenschaft“, von dem System, das die Mediziner der Universität Utrecht vor etwa fünf Jahren eingeführt haben, um vom bequemen Blick auf Publikationsranglisten weg zu kommen.
Bewerber müssen nun einen kurzen Aufsatz darüber einreichen, wer sie sind und welche Pläne sie als Mitglied der Fakultät verfolgen würden. Sie sollen ihre bisherigen Erfolge in fünf Kategorien darlegen. Nur eine davon fokussiert auf Publikationen und eingeworbene Forschungsmittel. Eine andere besteht aus übernommenen akademischen und Verwaltungsaufgaben, etwa Gutachtertätigkeit oder Mitgliedschaft in Kommissionen.
Kandidaten sollen darlegen, wie viel Zeit sie auf die Betreuung von Studenten verwenden, welche Kurse sie konzipiert und welche sonstigen Aufgaben sie in der Lehre übernommen haben. Soweit einschlägig berichten sie von klinischen Tätigkeiten und eigenen unternehmerischen Initiativen und als fünftes von ihren Bemühungen um Wissenstransfer in die Gesellschaft. Die Vorsitzenden des Berufungs- oder Beförderungskomitees verpflichten sich, dafür zu sorgen, dass alle fünf Bereiche angemessen diskutiert werden.
Als besonders wichtig für den Erfolg der Reform bezeichnete es Miedema, dass die Reform zwar von oben angestoßen wurde, dass aber die genauen Kriterien in einer Reihe von Workshops von den Mitgliedern der Fakultät entwickelt wurden – also von denen, die auf dieser Basis bewertet werden und andere bewerten müssen. Der Aufwand dieses Old-School-Verfahrens ist sicherlich größer als wenn man sich auf bibliometrische Maße stützt. Aber in Utrecht scheint man sehr zufrieden damit zu sein.
