Rankings: Unbeabsichtigte Nebenwirkungen und Alternativen

5805 mal gelesen | 3 Kommentare

Bruno S. Frey und Margit Osterloh, 17. Feb. 2012
Rankings: Unbeabsichtigte Nebenwirkungen und Alternativen 3.78 5 46

Wissenschaftliche Rankings unter Verwendung von Publikationen und Zitierungen dominieren heute die Bewertung in der Wissenschaft. Sie dienen zur Evaluation der Leistung und des Einflusses von Forschern, Fakultäten und Universitäten. Zielvereinbarungen, Evaluationen, leistungsorientierte Mittelverteilung und leistungsorientierte Besoldung sind gerade an deutschen Universitäten gang und gäbe. Damit werden Karriereentscheidungen getroffen und staatliche Mittel kanalisiert und es soll ein transparentes Bild der Wissenschaft ermöglicht werden.

Erfüllen Rankings wirklich die hohen Erwartungen? Die Diskussion konzentriert sich vorwiegend auf methodische Probleme und die Möglichkeiten ihrer Verbesserung. Hingegen werden nur selten die unbeabsichtigten negativen Auswirkungen von Rankings  erörtert, selbst wenn diese ideal wären. Mögliche Alternativen zu Rankings werden kaum betrachtet.

Methodische Kritik an Rankings

Die Kritik an Rankings aufgrund bibliometrischer Methoden bemängelt technische Fehler bei der Zuordnung, die zu Falschpositionierungen führen. Weitere Schwächen sind die Vernachlässigung von Büchern oder kleinen, spezialisierten oder fachfremden Journals, die unterschiedslose Zählung von positiven und negativen Zitaten oder rhetorischer Referenzen. Aus der Analyse von Fehlern in Zitaten lässt sich schliessen, dass 70 – 90 Prozent der zitierten Papiere gar nicht gelesen worden sind. Darüberhinaus ermöglicht die Einstufung einer Zeitschrift nur ein eingeschränktes Urteil über die Qualität eines einzelnen Aufsatzes in dieser Zeitschrift. Tatsächlich gibt es in vielen Top-Zeitschriften „dry holes“  (Laband und Tollison 2003), d.h. Artikel, die kaum zitiert werden, und umgekehrt werden viele Artikel in Nicht-Top-Zeitschriften häufig zitiert.

Die Eliminierung solcher Schwächen mag möglich sein, ist aber sehr aufwändig. Auch ein noch so perfekt gemachtes Ranking ist nicht geeignet, die unbeabsichtigten Nebenfolgen auf die Qualität der Forschung zu beseitigen.

Unbeabsichtigte Nebenfolgen von Rankings: individuelle Ebene

Auf der Ebene der einzelnen Forschenden können drei Effekte auftreten:

  1. Die intrinsische Motivation der Forschenden wird durch die Einschränkung der Autonomie reduziert. Für die Forschung ist intrinsische Motivation eine zentrale Voraussetzung für Kreativität. Infolge der Rankings wird ein intrinsisch motivierter „taste for science“ durch einen extrinsisch motivierten „taste for publication“ ersetzt.
  2. Zielverschiebungen bewirken, dass leicht messbare Ziele erfüllt, schwer messbare, aber häufig wichtigere Ziele hingegen vernachlässigt werden. Im Gegensatz zur schwer messbaren Qualität der Forschung ist die Position in Rankings leicht messbar. Wenn z.B. bei Berufungen ein Kandidat nur nach der Anzahl der Veröffentlichungen in Top-Zeitschriften bewertet wird, dann bleiben Gesichtspunkte wie Teamfähigkeit ausser Acht, welche für den wissenschaftlichen Erfolg einer Fakultät eine hohe Bedeutung haben. 
  3. Gegenstrategien verändern das Forschungsverhalten unmittelbar. Dazu gehört beispielsweise die Auswahl von Forschungsthemen danach, ob leicht erreichbare Daten vorliegen. Forschungsergebnissen werden den Anforderungen der Gutachtenden entgegen der eigenen Überzeugung angepasst (sog. „akademische Prostitution“, Frey 2006).

Unbeabsichtigte Nebenfolgen von Rankings: institutionelle Ebene

„Lock-in“-Effekte führen zu einer sich selbst erfüllenden Prophezeiung. Diesen Effekten können sich einzelne Personen oder Institutionen kaum entziehen, auch wenn sie deren Schädlichkeit erkennen. Beispiele hierfür sind:

  • Wissenschaftlerinnen und Wissenschaftler beugen sich dem Druck des „publish or perish“, welcher eine unüberschaubare Flut von Publikationen, immer neuen Journals, immer mehr und oberflächlicheren Gutachten bewirkt. Alle schreiben, wenige lesen. Nur 50 Prozent der in referierten Zeitschriften veröffentlichten Zeitschriften werden von anderen als den Autoren und den Gutachtern gelesen und 90 Prozent der Artikel werden niemals zitiert (Meho 2006).
  • Fakultäten berufen neue Mitglieder in erster Linie gemäss ihrem Publikationsranking, um ihre „Leuchtturm-Position“ zu stärken. An die Stelle inhaltlicher Argumentation tritt Pseudo-Objektivität aufgrund von quantitativen Indikatoren, welche ohne interdisziplinäre Diskussion auskommt.

Einige Universitäten leisten sich ein aufwendiges „Ranking Management“, das die Indikatoren maximieren soll, auf die es in den wichtigsten Rankings ankommt. Auf diese Weise werden die vielfältigen Kriterien, nach denen eine komplexe Leistung beurteilt werden müsste, durch Rankings zunehmend in eine eindimensionale, hierarchische Rangordnung gebracht.

Ausserdem treten „Matthäus-Effekte“ im Sinne des „Wer hat, dem wird gegeben“ ein. Mittel werden bevorzugt an diejenigen verteilt, die in der Vergangenheit die Rankings anführten, wodurch deren Reputation und auch Leistungsfähigkeit entsprechend der Ranking-Kriterien weiter gesteigert wird.

Schliesslich werden Neigungen gefördert, die Regeln zu manipulieren, um das „System zu schlagen“. Hochschulen schieben zum Beispiel schlechte Studierende in Sondergruppen ab, welche nicht in der Statistik erscheinen.

Alternativen zu Rankings als Instrument der Qualitätsbeurteilung

Der erste Vorschlag ist die Beschränkung von „informed peer reviews“ auf wenige karriererelevante Entscheidungen, z.B. bei der Bewerbung um eine Stelle oder bei der Beantragung von zusätzlichen Forschungsmitteln. Eine sorgfältige Eingangskontrolle ersetzt die kontinuierliche Bewertung durch Rankings. Sie hat die Aufgabe, das Innovationspotential, die Motivation für selbstorganisiertes Arbeiten und die Identifikation mit dem „taste of science“ zu überprüfen. Wer dieses „Eintrittsticket“ in die „Gelehrtenrepublik“ aufgrund einer rigorosen Prüfung erworben hat, kann und sollte weitgehende Autonomie und  eine angemessene Grundausstattung gewährt werden. Den Forschenden wir freigestellt, ob sie sich am Wettlauf um Drittmittel beteiligen wollen oder nicht.

Dieses Konzept hilft, die geschilderten Schwächen der Begutachtungsprozesse zu reduzieren, denn Begutachtungen werden auf wenige Anlässe beschränkt. Die unbeabsichtigten Nebenwirkungen und Gegenstrategien in der Forschung werden reduziert. Das Konzept setzt auf dezentrale, diskursive Beurteilungskonzepte, die zwar nicht perfekt sind, aber im Vergleich zu Rankings durch eine hohe Heterogenität gekennzeichnet sind.

Ein zweiter Vorschlag zur Relativierung des Einflusses von Rankings wie von Gutachterprozessen besteht in der teilweisen Randomisierung des Auswahlprozesses. Bei Anträgen, zu denen kein einheitliches negatives Gutachter-Urteil vorliegt, kann eine Zufallsauswahl erfolgen. Kreative Ideen erhalten eine grössere Chance, gefördert und publiziert zu werden. Zeitschriften könnten ganz oder zu einem bestimmten Teil für solche Veröffentlichungen Platz reservieren. Der Erfolg eines solchen Vorschlages könnte daran gemessen werden, wie häufig diese Arbeiten zitiert werden. Dieser Vorschlag erscheint weniger radikal, wenn man bedenkt, dass die Annahme von Artikeln ohnehin nicht weit von Zufallsentscheidungen entfernt ist.

Beide Vorschläge bewirken, dass unbeabsichtigte Nebenwirkungen der Qualitätsbeurteilung, insbesondere Zielverschiebungen, Lock-in-Effekte und Matthäus-Effekte an Bedeutung verlieren. Auch Gutachter-Fehlurteile verlören an Gewicht. Es würde der Tatsache Rechnung getragen, dass Wissenschaft von Diversität, Widerspruch und  „organisiertem Skeptizimus“ lebt. Angesichts der grossen Unzufriedenheit mit dem gegenwärtigen System der wissenschaftlichen Qualitätsbeurteilung sollten deshalb auch ungewöhnliche Vorschläge diskutiert werden. 

Literatur

Frey, B. S. (2003). Publishing as prostitution? – Choosing between one’s own ideas and academic success. Public Choice, 116, 205–223.

Laband, D. N. & Tollison, R. D. (2003). Dry holes in economic research. Kyklos, 56, 161–174.

Meho, L. I. (2006). The Rise and Rise (Fall?) of Citation analysis. Preprint physics[ a ].

Osterloh, M. & Frey, B. S. (2010). Research Governance in Academia: Are there Alternatives to Academic Rankings? CREMA Working Paper 2009-17[ b ]

©KOF ETH Zürich, 17. Feb. 2012

 
Rankings: Unbeabsichtigte Nebenwirkungen und Alternativen 3.78 5 46

Kommentare

Dieser Artikel hat 3 Kommentare.
  • Dieser Kommentar wurde gelöscht.
  • Dieser Kommentar wurde gelöscht.
  • Dieser Kommentar wurde gelöscht.
Sie müssen sich anmelden um Kommentare zu schreiben.

Autoren

Bruno S. Frey

Bruno S. Frey

Margit Osterloh

Margit Osterloh

Schlagworte

Motivation, Rankings, Selektion, unbeabsichtigte-Nebenwirkung, Universität

Weitersagen

Ähnliche Artikel