Wie misst man die individuelle Leistung eines Wissenschaftlers? In den letzten Jahren wird hier verstärkt von eine Größe gebrauch gemacht, die man als Impact Factor bezeichnet. Ihr Einfluss setzt sich bis zur Besetzung von Lehrstühlen fort.

Hinter dem Impact Factor verbirgt sich ein Zahlenwert, den das US-amerikanische Privatunternehmen Thomson Reuters für mehr als 9.000 Fachzeitschriften berechnet. Maßgeblich ist dafür die Anzahl der Zitationen einer Zeitschrift binnen der letzten zwei Jahre geteilt durch die Anzahl der darin veröffentlichten Artikel im selben Zeitraum. Anders formuliert ist der Impact Factor also die durchschnittliche Anzahl, wie oft einer ihrer Artikel innerhalb der letzten zwei Jahre zitiert wurde. Das entsprechende Qualitätskriterium scheint also zu sein, dass diejenigen Wissenschaftler, die in den am häufigsten zitierten Zeitschriften veröffentlichen, auch die besten sind.

Der Impact Factor bedeutet: So oft wurde in den letzten zwei Jahren ein Artikel dieser Zeitschrift durchschnittlich zitiert.

Was ist daran verkehrt? Ein Problem, auf das der Max-Planck-Direktor Kai Simons kürzlich in einem Editorial in Science hinwies, ist die Manipulierbarkeit dieser Größe. Beispielsweise würden in diesen Zahlenwert nicht nur Forschungsartikel einfließen, sondern auch Überblicksartikel (Reviews). Nun würden solche Überblicksartikel, die keine eigenen neuen wissenschaftlichen Daten vorstellen, sondern die bekannten Daten unter einem bestimmten Gesichtspunkt diskutieren, häufiger zitiert als die eigentlichen Studien. Das heißt, eine Zeitschrift kann ihren Impact Factor erhöhen, indem sie die Anzahl der Reviews erhöht. Ein erfolgreicher Hirnforscher hat mir einmal gesagt, er würde so viele Einladungen zu Überblicksartikeln erhalten, dass er seine eigentliche Forschungsarbeit an den Nagel hängen könne, wenn er sie alle annähme.

Ein weiteres Problem ist nach Simons, dass Zitationen für Artikel, die zurückgezogen werden mussten oder auch solche, deren Ergebnisse von anderen Studien längst widerlegt wurden, weiterhin zur Berechnung des Impact Factors verwendet würden. Auf die Spitze getrieben könnte man sich eine Überblicksarbeit vorstellen, die so hanebüchene Thesen aufstellt, dass ihr jeder Wissenschaftler widerspricht – das wäre ein Glücksfall für die Zeitschrift, in der er erschienen ist, würde aber keinesfalls für ihre Qualität sprechen; ganz im Gegenteil.

Mich selbst hat es mehr als einmal überrascht, wie wenig manche Wissenschaftler, die großen Wert auf ihren Impact legen, wirklich über diese Größe wissen. Beispielsweise wollte mir ein ausgewiesener Senior-Wissenschaftler partout nicht glauben, dass zur Berechnung auch diejenigen Zitationen gezählt werden, die innerhalb einer Zeitschrift getätigt werden. Das heißt, eine Zeitschrift, in der besonders viele ihrer eigenen Artikel zitiert werden, hat auch einen höheren Impact Factor. Tatsächlich gibt es Zeitschriften, die als Kriterium für eine Veröffentlichung vorschreiben, dass man mindestens einen ihrer früheren Artikel zitiert; in anderen werden die begutachtenden Wissenschaftler dazu angehalten, die Annahme eines Artikels davon abhängig zu machen, ob er binnen einer bestimmten Frist mindestens einige Male zitiert werde. Man muss nicht lange überlegen, um sich die Motive hinter diesen Vorgaben zu erschließen.

Damit entscheidet ein rein quantitatives Aufmerksamkeitskriterium, das von einem US-amerikanischen Privatunternehmen berechnet wird, über die qualitative Bewertung der Wissenschaftler – eine Art Einschaltquote der wissenschaftlichen Gemeinschaft. Man verwendet eine Größe, die sich leicht berechnen lässt und frei verfügbar ist. Tatsächlich höre ich immer häufiger, dass auch bei der Besetzung universitärer Lehrstühle hierzulande immer mehr Gebrauch vom Impact Factor gemacht werde, um sich ein Bild von der Eignung eines Bewerbers zu machen. „Hip“ ist, wer in Zeitschriften publiziert, die „in“ sind. Absurderweise schwankt die Qualität eines Wissenschaftlers dann im Laufe der Zeit mit den Moden der wissenschaftlichen Gemeinschaft – hat ein Wissenschaftler beispielsweise früher in einer Zeitschrift publiziert, die neuerdings von vielen zitiert wird, steht seine Arbeit plötzlich einem besseren Licht dar. Umgekehrt kann die Reputation wieder verloren gehen, wenn sich die Aufmerksamkeit auf andere Zeitschriften verschiebt. Publikationen in Medien, die nicht von Thomson Reuters Datenbank erfasst werden, bleiben außen vor.

Ein Folgeproblem, auf das Kai Simons hinweist, ist die Strategie beim Publizieren, die zu Lasten der gesamten Gemeinschaft gehe. So würden viele Wissenschaftler ihre Arbeiten zunächst nicht bei den Zeitschriften zur Publikation einreichen, die thematisch am besten passten, sondern die höchsten Impact Factors hätten. Erhalte man dort eine Ablehnung, würde man es eine Stufe tiefer erneut probieren, bis es schließlich klappe. Damit würde der Aufwand im Peer-Review-Verfahren, in dem Wissenschaftler die Arbeit ihrer Kollegen bewerten, vervielfacht. Der Impact Factor ist damit tatsächlich Sand im Getriebe einer produktiveren Wissenschaft. Simons schließt sein Editorial daher mit einem Appell:

Solange Verlage, Wissenschaftler und Institutionen keine ernsthaften Bemühungen unternehmen, die Art und Weise zu verändern, wie der Beitrag jedes einzelnen Wissenschaftlers bestimmt wird, wird die wissenschaftliche Gemeinschaft dazu verdammt sein, nach dem zahlenmäßig getriebenen Motto zu leben: Du überlebst durch deinen Impact Factor. (Kai Simons; dt. Übers. S.S.)

Simons, K. (2008). The Misused Impact Factor (Editorial). Science 322, 165.