Wenige Themen elektrisieren die Zunft der akademischen Ökonomen so sehr wie die Messung der eigenen Leistung und der Vergleich zu Kollegen.^[ 1 ] Spätestens mit dem von Olaf Storbeck initiierten Handelsblatt-Ranking^{[ a ]} hat eine intensive Diskussion darüber begonnen, ob und wie der Wert von Forschungsleistungen gemessen und verglichen werden kann. Die Reputation der Fachzeitschriften, in welchen ein Ökonom oder eine Ökonomin publiziert hat, ist für Ruf und Karriere heute sehr wichtig, auch wenn den meisten Ökonomen eigentlich durchaus klar sein sollte, dass die Klassifikation einer Zeitschrift als Proxy lediglich ein sehr einfaches Hilfsmittel für die Bewertung und die Messung der Qualität eines Aufsatzes oder Forschers ist.

Die Reputation der Zeitschrift färbt somit auf die Autoren ab, obwohl selbst in hochkarätigen Zeitschriften publizierte Aufsätze teilweise gar nicht zitiert werden und ganz allgemein festzustellen ist, dass die Verteilung der Zitationen über die Artikel einer Zeitschrift sehr schief ist, d. h. die meisten Zitationen einer Zeitschrift verteilen sich auf wenige Aufsätze. Anders ausgedrückt ist der durchschnittliche Impact-Faktor für die in einer Zeitschrift publizierten Aufsätze deutlich höher als der Median. Zudem variiert die Schiefe der Verteilung zwischen Fachzeitschriften und schließlich werden viele Aufsätze in hochkarätigen Journalen weniger häufig zitiert als ein typischer Aufsatz in manchen weniger renommierten Zeitschriften.^[ 2 ]

Trotz dieser Schwächen gilt die Auswertung von durchschnittlichen Zitationszahlen von Zeitschriften als Standard, wobei die Journal Citations Reports (JCR), die auf der Basis des Social Science Citations Index (SSCI) erstellt werden, Marktführer sind. Der bekannteste der in den JCR ermittelten Messzahlen ist der bereits erwähnte Impact-Factor, der die durchschnittliche Zahl von Zitationen, die eine Zeitschrift in den letzten zwei Jahren erhalten hat, in Beziehung zu der Anzahl der erschienen Artikel setzt.

Der Impact-Factor

Zunehmend finden heute aber ersatzweise oder auch ergänzend personenbasierte Zitationsanalysen Anwendung, um Forschungsleistungen zu evaluieren, d.h. es werden konkret die Zitationen einzelner Aufsätze bzw. Forscher ermittelt und interpretiert, z.B. mit Hilfe des persönlichen H-Indexes. Während das direkte Auszählen von Zitationen einzelner Artikel oder Wissenschaftler in der Vergangenheit mit prohibitiv hohen Kosten verbunden war, sodass die Reputation bzw. der Impact-Faktor einer Zeitschrift als Proxy für die zu erwartenden Zitationen eines Aufsatzes verwendet wurde, kann heute mit Hilfe von Datenbanken wie z. B. SCOPUS sehr einfach (auf Knopfdruck) ermittelt werden, wie oft die Beiträge eines Autors zitiert worden sind, sodass der „Umweg“ über die Reputation der Fachzeitschriften im Grunde nicht mehr notwendig wäre.

Jedoch ist auch das Auszählen von Zitationen immer noch ein imperfekter Indikator für die wissenschaftliche Qualität eines Beitrages, da sich z. B. die Halbwertszeit für zitierte Artikel („Cited Half-Life“) zwischen Zeitschriften sehr unterscheidet, die Bewertung gerade jüngerer Wissenschaftler anhand erzielter Zitationen problematisch ist, Zitationen sich strategisch (z. B. durch sogenannte Zitationskartelle) beeinflussen lassen, Autoren selbst ohne Zitationskartell durchaus strategisch zitieren oder auch nicht zitieren, Ignoranz auch unter Wissenschaftlern verbreitet ist und sogar der Zufall eine Rolle zu spielen scheint. Die Einstufung von Journalen in verschiedene Güteklassen wird daher nach wie vor als Hilfsmittel zur Beurteilung von Forschungsleistungen verwendet.

Glenn Ellison argumentiert sogar, dass die Funktion der Zeitschriften als Qualitätssignal, Papiere mit einem Gütesiegel zu versehen, heute die wesentliche Aufgabe von ökonomischen Fachzeitschriften ist, während die Funktion der direkten Informationsverbreitung der Inhalte immer stärker in den Hintergrund tritt, da die meisten Aufsätze bereits lange vor der etwaigen Veröffentlichung in einer Zeitschrift als Arbeitspapiere im Internet und in Datenbanken wie SSRN, RePEc und Econstor verfügbar sind.^[ 3 ] Damit würden die Reputation von Zeitschriften und ihr Ranking heute noch wichtiger bei der Entscheidung, bei welchen Organen Wissenschaftler ihre Beiträge einreichen.

Der Ökonomenstreit

Die zunehmende Evaluation von Forschungsleistungen wird aber auch durchaus kritisch gesehen,^[ 4 ] da hierdurch eine systematische Verlagerung von schlecht messbaren, aber durchaus relevanten Outputs in der Wissenschaft hin zu einfach messbaren Outputs forciert wird. Glenn Ellison hat z.B. überzeugend dargelegt, dass durch das Begutachtungsverfahren in Fachzeitschriften eine systematische Überbetonung der „technischen Qualität“ auf Kosten der Relevanz der Beiträge induziert wird.^[ 5 ] Dies wiederum ist auch eine Facette der als „Ökonomenstreit“ bezeichneten Diskussion um die grundsätzliche Ausrichtung der Volkswirtschafts­lehre, bei der es unter anderem auch um unterschiedliche Vorstellungen über die Bedeutung und die Art der wirtschaftspolitischen Forschung und Beratung an den Universitäten ging^[ 6 ] und die auch auf der Ökonomenstimme geführt wurde und wird.

Die Frage danach ist in gewisser Weise auch der Anknüpfungspunkt für unsere jüngst publizierte Umfrage über die Reputation und die Relevanz ökonomischer Fachzeitschriften.^[ 7 ] Ziel der Umfrage im letzten Jahr war weniger, ein weiteres Ranking von Zeitschriften zu erstellen, sondern vor allem zu eruieren, ob und was sich in den vergangenen Jahren vor dem Hintergrund der Veränderungen in der Universi­tätslandschaft im deutschsprachigen Raum an der Einschätzung ökonomischer Fachzeitschriften geändert hat.

Im Jahr 2000 hatten wir schon einmal die damaligen Mitgliedern des Vereins für Socialpolitik über die Relevanz und die Reputation ökonomischer Fachzeitschriften befragt^[ 8 ] und waren zu drei Befunden gekommen: Erstens war ein deutlicher Unterschied in der Beurteilung der Relevanz und der Reputation bei vielen Zeitschriften festzustellen, insbesondere bei im deutschsprachigen Raum beheimateten Journalen. Zweitens war ganz allgemein festzustellen, dass Zeitschriften aus dem deutschsprachigen Raum und aus Europa sowohl in ihrer Reputation als auch in ihrer Relevanz im Vergleich zu außereuropäischen Zeitschriften mit ähnlichen Impact-Faktoren tendenziell besser bewertet wurden. Und drittens war ein deutlicher Unterschied in der Beurteilung der Zeitschriften zwischen verschiedenen Altersgruppen zu erkennen.

Generationenwechsel?

Haben die Befunde von 2000 auch heute noch Gültigkeit? Und werden die zunehmende Internationalisierung und der sich vollziehende Generationenwechsel in der Einschätzung der Fachpublikationen reflektiert?

Unsere Umfrage aus 2011 zeigt dazu folgendes: Sowohl die Bewertungen der Relevanz als auch die der Reputation der Zeitschriften scheinen sich in den letzten zehn Jahren internationalen Ranglisten angenähert zu haben. Schon im Jahr 2000 dominierten auch unter deutschsprachigen Ökonomen internationale Zeitschriften die Reputationsrangliste. Inzwischen ist jedoch –- mit Ausnahme der Gruppe der über 55-jährigen Ökonomen – insgesamt kaum noch ein Bias zugunsten der einheimischen Zeitschriften festzustellen. Im Vergleich zu unserer Umfrage von 2000 scheint die systematisch höhere Bedeutung der Zeitschriften aus dem deutschsprachigen Raum also abgenommen zu haben.

Nichtsdestotrotz lassen sich auch heute bei einzelnen Zeitschriften erhebliche Unterschiede zwischen Relevanz und Reputation ausmachen. Auffällig ist zudem, dass jüngere Ökonomen mathematisch-technisch orientierten Zeitschriften eine höhe Relevanz beimessen als ältere Ökonomen. Für letztere sind hingegen wirtschaftspolitisch orientierte Fachzeitschriften deutlich relevanter. So zeigt sich zwar, dass Reputation und Relevanz tendenziell korreliert sind, im Einzelfall aber durchaus stark auseinanderklaffen. Die heute engere Korrelation zwischen Relevanz und Reputation zeigt aber auch, dass sich deutsche Ökonomen heute stärker mit allgemeinen Fragen und theoretischen Grundlagen beschäftigen und weniger mit aktuellen Fragen der deutschen Wirtschaftspolitik.

Die gängigen Rankings von VfS und Handelsblatt orientieren sich stark an der Reputation der Journale und weniger an ihrer Relevanz. Im Durchschnitt dürfte diese Vorgehensweise aufgrund der Korrelation zwischen Reputation und Relevanz unproblematisch sein, im Einzelfall mag dies aber auch zu Fehlbewertungen führen.

Deutschsprachige Journals verlieren an Bedeutung

Auffällig ist hier zum einen, dass gerade bei wirtschaftspolitisch orientierten Zeitschriften Relevanz und Reputation teilweise stark divergieren. Zum anderen zeigt sich, dass in der Reputationsbewertung der Spearman-Rangkorrelationskoeffizient zwischen den Altersgruppen <36 und >55 bei 0,88 liegt, in der Bewertung der Relevanz aber nur bei 0,54. Das heißt, dass die Meinungen über die Reputation von Zeitschriften zwischen den Altersgruppen wesentlich ähnlicher sind als die Auffassung über ihre Relevanz. Diese Befunde mögen auch mithelfen zu erklären, warum insbesondere einige eher wirtschaftspolitisch orientierte Volkswirte die Rolle der Wirtschaftspolitik in der VWL nicht hinreichend gewürdigt sehen (wie sich im sogenannten „Ökonomenstreit“ gezeigt hat). Anzumerken ist in jedem Fall, dass wirtschaftspolitisch relevante und auf den deutschsprachigen Raum ausgerichtete Veröffentlichungen an Attraktivität verlieren, je stärker eine Bewertung von Wissenschaftlern allein auf Basis der heute gängigen Rankings vorgenommen wird, die sich stärker an der Reputation und weniger an der Relevanz der Arbeiten orientieren.

• ¹  Der vorliegende Beitrag basiert auf Bräuninger, M., Haucap, J. & J. Muck, „Was schätzen und lesen deutschsprachige Ökonomen heute?“, Perspektiven der Wirtschaftspolitik 12, 2011, S. 339-371.
• ²  Oswald, A.J. (2007), An Examination of the Reliability of Prestigious Scholarly Journals: Evidence and Implications for Decision-Makers, Economica, 74, 21-31.
• ³  Vgl. Ellison, G. (2010), Is Peer Review in Decline?, Economic Inquiry, 49, 635-657.
• ⁴  Vgl. Z.B. Frey, B.S. (2007), Evaluierungen, Evaluierungen…Evaluitis, Perspektiven der Wirtschaftspolitik, 8 (3), 207-220.
• ⁵  Ellison, G. (2002), Evolving Standards for Academic Publishing: A q-r Theory, Journal of Political Economy, 110 (5), 994-1034.
• ⁶  Siehe auch Haucap (2009) auf carta
• ⁷  Bräuninger, M., Haucap, J. & J. Muck, 2011, a.a.O.
• ⁸  Bräuninger, M. und Haucap, J. (2001), Was Ökonomen lesen und schätzen, Perspektiven der Wirtschaftspolitik, 2 (2), 185-210.

©KOF ETH Zürich, 4. Jul. 2012