Ein Vergleich für Forscher unter sich: Der Researchgate Score

9. Oktober 2012 von Beatrice Lugger in Metriken

Im Forschungsnetzwerk ResearchGate werden neuerdings die Aktivitäten oder das Schweigen der Mitglieder in diesem Netzwerk mit einer Punktzahl (engl. score) bewertet. Wer wenig aktiv ist, bekommt kaum Punkte und hat einen niedrigen ResearchGate Score. Wer fleißig Daten auf die Plattform lädt, Fragen stellt und mitdiskutiert, wird per metrischem Verfahren belohnt; der RG Score steigt.

Ich habe einen RG Score von 10,84. Ob das gut oder schlecht ist, entscheidet die Sichtweise.

Auf ResearchGate kann man Rohdaten, Grafiken, Publikationen, positive wie negative Resultate mit anderen teilen und wissenschaftlichen Disput betreiben. Wenn andere diese Daten bookmarken, bewerten oder teilen, hat das Einfluss auf den RG Score des Einzelnen. Dabei zählt auch, welchen RG Score der jeweilige Bewerter/Teiler hat. Je höher dessen Score im Netzwerk, desto stärker sind die Auswirkungen. RG Pressesprecherin Danielle Bengsch meint dazu: "Es ist wie in der Realität: Wenn ein renommierter Forscher einen anderen Wissenschaftler lobend erwähnt, zählt das mehr als das Lob eines weniger anerkannten Kollegen." So soll insgesamt ein Bild der Reputation des Einzelnen innerhalb des 1,9 Millionen Mitglieder zählenden Netzwerks entstehen.

Mit dem Versuch einer anderen Reputationsmessung als per Citation Index (der auf Publikationen in wissenschaftlichen Zeitschriften beruht) steht Researchgate nicht alleine. Insbesondere Online werden von unterschiedlichen Netzwerken und Initiativen neue Mittel und Wege gesucht, wie man die Qualität wissenschaftlicher Arbeit und die Reputation einzelner Forscher erfassen kann (siehe Mendeley, Gläserne Forschung).

Mit wenig Einsatz zu den oberen 5 Prozent

"Der RG Score beginnt bei 0 und kennt theoretisch kein Limit, wenngleich die höchsten Werte momentan bei 110 liegen", hatte Ijad Madisch, einer der RG-Gründer im NZZ-Interview mit Henning Steier erklärt. Ich habe den oben genannten Score von 10,84, weil ich manchmal Fragen stelle und beantworte und (naja) 43 Follower habe.

RGScore Beatrice

Wirklich erstaunlich ist aber mein sehr gutes Abschneiden in der Masse. Ich zähle mit meinen 10,84 bereits zur ResearchGate-Elite, wie die Perzentile zeigt. 95 Prozent der Mitglieder der Plattform haben weniger Punkte als ich. Dabei bin ich nur sporadisch auf RG aktiv.
Percentile RG Score 
Das lässt einerseits darauf schließen, dass sich das Gros der 1,9 Millionen auf RG noch weniger als ich auf RG tummelt und andererseits, dass mein Potenzial an Reputation auf RG durchaus noch ausbaufähig ist.

Taugt das zur Reputationsmessung?

Jein. In der betreffenden Pressemitteilung von RG formulieren diese selbst sehr vorsichtig, der RG Score sei "eine Art Reputationsmessung". In diesem Sinne darf bezweifelt werden, dass der RG Score als Entscheidungshilfe bei etwaigen Förderungen von beantragten Drittmittelprojekten dienen oder Berufungsentscheidungen beeinflussen könnte, wie Ulrich Herb dies in seinem Beitrag auf Scientopia für die Zukunft mutmaßte.

Zudem ist nicht transparent, wie sich der RG Score in seiner exakten Gewichtung einzelner Komponenten errechnet. Als Grund hierfür gibt ResearchGate an, man wolle Manipulationen vermeiden. Das ist verständlich. Trotzdem wäre (mehr) Transparenz der Sache dienlich.

Der RG Score im Schweizer Test

Immerhin halten Forscher der Universität St. Gallen, das System des RG Scores für spannend genug, um es nun über zwei Jahre im Hinblick auf künftige Evaluierungen wissenschaftlicher Leistungen zu überprüfen. Dies ist Teil eines Pilotprojekts des Profilbereichs "Business Innovation" der Universität St. Gallen, welches den Einsatz neuer Medien in der Forschungsevaluierung erkunden soll.

60 Fakultätsmitglieder sind schon Mitglieder auf Researchgate. Christian Pieter Hoffmann, Assistant Professor am dortigen Institute for Media and Communications Management erklärt mir, dass sie wissenschaftlich beobachten wollen, ob und inwiefern die Interaktionen und Vernetzungen auf einer Scientific Social Network Site etwas über den Impact einzelner Forscher und ihrer Leistungen in der Community aussagen können. „Wir werden zu diesem Zweck zahlreiche eigene Analysen und Auswertungen vornehmen, aber natürlich interessiert uns auch das "Plattform-eigene" Maß, der RG Score“, so Hoffmann. Besonders spannend findet Hoffmann die Kombination aus bibliometrischen Werten und Interaktionswerten auf der Plattform. Die Ergebnisse der St. Gallener hätte ich am liebsten heute schon.


23 Kommentare zu “Ein Vergleich für Forscher unter sich: Der Researchgate Score”

  1. anton maier Antworten | Permalink

    xxx

    security through obscurity wurde jahrzehnte und jahrhunderte lang vergeblich versucht. warum das ausgerecht jetzt bei rg klappen soll bleibt fraglich....
    für mich liegt die lösung des problems glasklar vor augen.

  2. tk Antworten | Permalink

    Sinn

    Ich habe mich auch mal bei RG registriert, es war wohl 2009, und seitdem bekomme ich immer mal wieder Mails zu Aktualisierungen etc. Trotzdem ist mir der Mehrwert des Projekts bisher nicht recht klar geworden. Wenn ich neue Preprints anschauen will, gehe ich aufs ArXiv, wenn ich mich für die Arbeit eines Mathematikers interessiere, gehe ich auf seine Webseite, wenn ich Fragen habe, für die es in meinem Institut keinen kompetenten Ansprechpartner gibt, gehe ich auf Math Overflow, wenn ich debattieren will, gehe ich auf die scienceblogs und wenn ich mein Wissen unter die Leute bringen will, ergänze ich einen Wikipedia-Artikel. (Und wenn ich Punkte sammeln will, spiele ich Tischtennis oder Schach.) Mir ist bisher nicht klar geworden, was der Mehrwert solcher sozialen Netzwerke gegenüber anderen Internetprojekten oder schlicht Institutswebseiten eigentlich sein soll.

  3. BLugger Antworten | Permalink

    Sinn

    Anscheinend wird RG weniger in Europa und USA genutzt und die wichtigste Altersgruppe liegt bei 27. Wie sehr es allerdings wirklich genutzt wird, ist schwer nachvollziehbar. Alleine die angesammelte Zahl von 1,9 Millionen besagt zunächst nichts. Es kommt auf die Aktivitäten an. Und hier zeigt nun der Score an meinem Beispiel, dass ein Großteil der Mitglieder eher kaum bis etwas aktiv sind.

  4. Christian Antworten | Permalink

    Erinnert an den Algorithmus von Google

    Mich erinnert das ganze an den Algorithmus von Google zur Bewertung der Relevanz von Webseiten. Hier hat das sehr gut funktioniert. Links sind Verweise, Links von Webseiten mit hoher Relevanz/Reputation werden höher gewichtet. Der Algorithmus wird nicht offengelegt, um Manipulation schwieriger zu machen. Bei Google hat das ganze sehr gut funktioniert. Wir sollten nicht vergessen, dass es auch hier jahrelang gedauert hat, bis das System ausgereift war. Wir sollten auch ResearchGate etwas Zeit geben, das System zu verbessern. Ich drücke ihnen jedenfalls die Daumen.

  5. Anton Antworten | Permalink

    @Christian

    Google wird so krass manipuliert, dass es dafuer sogar Maerkte, Kunden und sogar Vorlesungen und Seminare an der Universitaet gibt.

  6. Wenke Bönisch Antworten | Permalink

    Der neuralgische Punkt ist, daß RG angesichts der niedrigen Scoreraten vieler Mitglieder wohl nicht so stark genutzt wird, wie es die Macher wünschen. Am eigenen Verhalten kann ich das bestätigen: RG schaue ich mal alle paar Monate an, weil eben dort a) nicht viel los ist, b)hauptsächlich in Englisch diskutiert wird, dessen Nutzung in meinem Spezialgebiet (z. B. Sächsische Landesgeschichte) nicht gerade sinnvoll ist. Nicht das diese Innovation im Umkehrschluß ein Eigentor für RG wird.

  7. BLugger Antworten | Permalink

    Eigentor

    @Wenke, das sehe ich ähnlich. Einerseits soll der Score wohl dazu animieren, aktiver zu werden, um mehr Punkte zu erzielen. Umgekehrt zeigt er (derzeit), wie wenig aktiv die Mitglieder sind. Statt stolz auf hohe Mitgliederzahlen zu sein, zählte doch der Stolz auf eine intensive Nutzung deutlich mehr. Vielleicht sollte RG in diesem Sinne 'Dateileichen' freundlich verabschieden und so ihre Mitgliederzahlen auf das reale, aktive Maß reduzieren.

  8. Blender Antworten | Permalink

    Etablierung der Kultur des Blendens

    Man stelle sich vor, wo Wissenschaft und Aufklärung heute stünden, hätte es dieses ganze Getöse um Rankings, Credits, Likes... schon immer gegeben.

    Aber, natürlich, es beruhigt. Durch fleißige Arbeit am online-Erscheinungsbild kann nun auch der unbedarfteste aller Teilnehmer des fröhlichen Wissenschaftsbetriebs es "zu etwas" bringen. Wie in der Politik - immer schön laut sein.

  9. Stephan Schleim Antworten | Permalink

    ich finde das eher nervig

    Ich bin it ein paar Jahren Mitglied bei RG aber nicht sehr aktiv; dazu fehlt mir einfach die Zeit. Diskussionen habe ich hier bei den Blogs ja mitunter schon genug. Bisher nerven mich die häufigen Mails, die ich von RG erhalte, obwohl ich das schon mehrmals abstellen wollte, eher
    Dennoch finde ich es gut, wenn die Alternativen entwickeln. Wenn sich das etabliert, dann mache ich gerne mit.

  10. Martin Uecker Antworten | Permalink

    ResearchGate: Unethische Spammer

    Ich habe meinen Account dort geloescht. ResearchGate verkauft sich als nuetzliches Social Network fuer Wissenschaftler, das neue Kommunikationsformen eroeffnen will. Leider ist der Mehrwert so gering, das nur wenige von selbst Mitglied wurden. Was machen sie: Anstatt ihr Produkt zu verbessern, schicken ungefragt Invitation Spam mit gefaelschten Absender an alle Koautoren, der den Eindruck erweckt, man haette sie persoenlich eingeladen. Eine unethische Aktion auf Level von Viagra-Verkaeufern. Die Sache mit RG-Score ist aehnlich gelagert. Verkauft als bessere Alternative zu bisheriger Publikationsmetriken, entpuppt er sich doch sofort als viel schlimmer: Anstatt ein ehrlicher Versuch den Beitrag von Wissenschaftlern zu messen, manipuliert der Score von Anfang an im Sinne der privaten wirtschaftlichen Interessen von ResearchGate.

  11. BLugger Antworten | Permalink

    Spam

    @Martin Das klingt wirklich nach unlauteren Methoden.
    "schicken ungefragt Invitation Spam mit gefaelschten Absender an alle Koautoren, der den Eindruck erweckt, man haette sie persoenlich eingeladen."
    Was bedeutet mit gefälschtem Absender? Stand dann dort Ihr Name mit einer RG-Email?

  12. Martin Uecker Antworten | Permalink

    Spam

    @BLugger

    yes, they send emails like the following where X Y is your name and Z is the name of a coauthor. I received such emails (a lot) and was also told by collegues that they received emails from me with my name in the adress and that they thought it was me personally inviting them to researchgate.

    From: X Y
    To: Z
    Subject: X Y invited you to join ResearchGate

    X Y invited you to join ResearchGate and confirm authorship of:

    title of paper

  13. Yen Zotto Antworten | Permalink

    Spam

    Ich kann die Aussagen von Martin Uecker zum Thema "Spam von ResearchGate" nur bestätigen. Anders als offenbar er habe ich mich nie bei ResearchGate registriert oder dem Unternehmen sonstwie meine Kontaktdaten übermittelt. Dennoch bekomme ich sehr oft unerwünschte Werbemails, die zumeist als Absender den Namen von mir persönlich bekannten Kollegen tragen. Bei näherem Hinsehen ist es aber eine automatisch erstellte E-mail von Researchgate.net. Keiner meiner Kollegen hat je absichtlich den Versand einer solchen E-mail veranlasst. Das ist klar irreführend und Identitätsdiebstahl. Außerdem ist es eine Praxis, die ich noch nie bei irgendwelchen anderen ernsthaften Unternehmen gesehen habe, insbesondere auch nicht bei den Konkurrenten von RG.

  14. Yen Zotto Antworten | Permalink

    Nicht nur Spam ist dubios

    Seltsam ist auch, dass zwar einerseits ResearchGate immer wieder als deutsches Unternehmen bezeichnet wird, andererseits aber auf der Homepage www.researchgate.net die in Deutschland gesetzlich vorgeschriebene Information zu Adresse usw. ("Impressum") oder ein Link dorthin zu fehlen scheinen. Jedenfalls ist es mir nicht gelungen, diese Informationen ausfindig zu machen. Für mich ist das ein weiterer Hinweis auf fragwürdiges Geschäftsgebaren.

  15. Yen Zotto Antworten | Permalink

    Und noch etwas

    Ein weiteres problematisches Verhalten von RG habe ich in meinen Kommentaren oben noch vergessen zu erwähnen:

    Einige Zeit lang hat ResearchGate.net meine berufliche E-mail-Adresse auf einer mir gewidmeten "Profil"-Seite zusammen mit meinem bürgerlichen Namen für die Allgemeinheit offen sichtbar (egal ob RG-Mitglied oder nicht) angezeigt - die Seite war über Google ohne weiteres auffindbar.

    Ich hatte mich allerdings weder jemals bei ResearchGate angemeldet noch diese Informationen sonstwie übermittelt oder eine Einwilligung zu deren Veröffentlichung durch RG gegeben. Die Informationen waren vermutlich automatisiert irgendwelchen Veröffentlichungen von mir entnommen worden und ohne jegliche Nachfrage um Erlaubnis online gestellt worden.

    Wie genau ein solches Verhalten legal zu beurteilen ist, weiß ich nicht. Anständig finde ich es aber nicht.

  16. Yen Zotto Antworten | Permalink

    Interessenkonflikt

    Erstaunlich finde ich, dass in Medienberichten zu RG und diesem "RG-Score" niemals das Problem thematisiert wird, dass man, um seinen RG-Score zu verbessern, scheinbar bei ResearchGate selbst aktiv sein muss. Das heißt doch, dass es sich nicht um eine neutrale Methode handelt, sondern dass RG einen massiven Interessenkonflikt hier hat, nach dem Motto: "Nur wer uns hilft, kriegt Punkte".

    Dass scheinbar akademische Forscher wie die im Artikel erwähnte St. Galler Gruppe ein solches Konzept als potentiell relevant zur Evaluierung ihrer Kollegen einstufen, gibt schon Anlass zur Sorge.

  17. Yen Zotto Antworten | Permalink

    Erratum zum Impressum

    Meinen Post vom 12.12.2012, 15:40 muss ich korrigieren: der Webauftritt von Researchgate.net enthält - zumindest inzwischen - sehr wohl eine ladungsfähige Anschrift, so wie es die gesetzlichen Regelungen erfordern.

    Meine Angaben zu dem aggressiven Werbeverhalten von Researchgate bleiben davon natürlich unbenommen.

  18. Blugger Antworten | Permalink

    Merkel und Rösler besuchen ResearchGate

    Hoher Besuch steht bei REsearchGate an.

    https://www.researchgate.net/aboutus.AboutUsPressPage.html?page=aboutus.AboutUsPressPage2013March1

    Prima Lobbyarbeit (und PR), offenbar.

  19. Hans-Jürgen Stellbrink Antworten | Permalink

    Braucht man das wirklich ?

    Wer seine Zeit nicht auf sozialen Netzwerken verplempern will, wird wohl keine Punkte machen. Ob sich das für die Beurteilung einer wissenschaftlichen Qualifikation eignet ? ResearchGate mag hip sein, manch einer zieht aber wohl konventionelle Formen der Kommunikation vor, wie das Gespräch. Wahrscheinlich gilt so einer bereits als Dinosaurier; kurzfristiges Aussterben wird erwartet.

  20. Yen Zotto Antworten | Permalink

    Warum Leute RG nützlich finden

    Herr Stellbrink: der Hauptnutzen von ResearchGate für Wissenschaftler ist wohl eher der, dass man benachrichtigt wird, wenn ein Fachkollege eine neue Veröffentlichung in ResearchGate einstellt. Die restlichen "Social Network"-Funktionen dürften weit weniger genutzt werden. Außerdem kann man bei RG scheinbar die PDFs der Volltexte einstellen, und diese sind dann auch Nichtmitgliedern zugänglich. Das garantiert natürlich Zugriffe. Ob aber die Rechteinhaber das auf Dauer dulden werden? Frau Merkel und Herr Rösler scheinen darob keine Berührungsängste zu haben. Nun ja, die Kanzlerin hatte ja einst auch dem Megaupload-Gründer Kim Schmitz öffentliche Audienzen gewährt.

  21. Biologiefrustrant Antworten | Permalink

    Alternativen zum impact factor

    In der letzten Zeit werden verzweifelt alternativen -zum immer staerker kritisierten Impact Factor- gesucht, aber nicht gefunden. Leider muessen (Bio)Wissenschaftler angeblich immer irgendwie bewertet werden und die Leistungen zu einem gewissen Grad quantifizierbar sein. Ich finden den Impact factor genauso nichtssagend wie den RG score. Die groessten wissenschaftlichen Betruege wurden bisher in "high impact factor journals" publiziert und diese Hochglanzpublikationen weisen die hoechsten Fehlerraten auf! Deswegen sagt eine Fachpublikation in so einem Journal ersteinmal gar nix ueber die Faehigkeiten eines Forschers aus. Der RG score kann aber nicht ersnthaft als eine Alternative angedacht werden. Warum werden andere Beamte (der Stadtverwaltung etc., Lehrer etc.) eigentlich nicht genauso bewertet oder bekommen nur 1-2 Jahres Vertraege bevor diese einen neuen Antrag auf weitere Gelder stellen muessen? Der (Biomedizinische-)Forschungsbetrieb ist einfach nur noch eine Lachnummer! Kein Wunder warum die Besten ins Ausland fliehen oder in der Industrie hochbezahlte Jobs annehmen, echt frustrierend!

  22. Blugger Antworten | Permalink

    Impact Factor

    @Biologiefrustrant
    Immerhin bist Du nicht alleine. Auch die großen Wissenschaftsorganisationen und Publisher machen sich Gedanken. Siehe die aktuelle San Francisco declaration on research Assessment (DORA)

    http://www.sciencemag.org/content/340/6134/787.full

Einen Kommentar schreiben


× zwei = 8