„Altmetriken“ – alternative Messung von Impact und Reputation?

Wenn wissenschaftliche Kommunikation in sozialen Medien stattfindet, dann werden sämtliche Kommunikationsschritte dokumentiert und können den Gegenstand quantitativer oder qualitativer Auswertungen bilden. Dieser Möglichkeit bildet die Grundlage für die Berechnung sogenannten Altmetriken, ein Begriff, der erst 2010 von Priem et al. eingeführt wurde[i], um auch soziale Medien für die Berechnung des Impacts eines wissenschaftlichen Artikels einzubeziehen. Altmetriken sind allerdings dazu geeignet, nicht nur Artikel, sondern auch Personen, Institutionen, Bücher, Präsentationen oder Forschungsprimärdaten mit einem Score zu belegen. So bewertet der „RG Score“, eine auf ResearchGate berechnete Altmetrik, Nutzer mit ihrer Bedeutung im Netzwerk und nur indirekt deren Publikationen.

Auch wenn etwa von Alhoori und Furuta festgestellt wird, dass Altmetriken durchaus keine völlig anderen Ergebnisse erbringen als traditionelle zitationsorientierte Berechnungsweisen von Impact-Faktoren[ii], werden doch zunehmend eigenständige Verfahren entwickelt, die neuartige Analysemethoden fruchtbar machen.[iii] Auch die Art der Interaktion mit dem Forschungsartikel gerät zunehmend in den Blick. Lin und Fenner schlagen dafür eine Klassifikation vor, bei der ausgehend vom reinen Aufruf eines Artikels über den Download, die Diskussion, die Empfehlung bis hin zur Zitation die dabei graduell anwachsende Verbindlichkeit der Bezugnahme berücksichtigt wird.[iv]

Während diese quantitativen Verfahren mittlerweile als gut etabliert gelten können, da sie sich mit anerkannten Verfahren der Bibliometrie in Verbindung setzen lassen, gibt es zwei Bereiche, bei denen zukünftig erhebliche Bedeutungszuwächse zu verzeichnen sein werden. Dies ist zum einen das algorithmische Bewerten von Wissenschaftlern selbst, zum anderen die qualitativ inhaltliche Auswertung von Kommunikationsprozessen. Für den ersten Bereich gibt es, anders als beim Scoring von Artikeln, keine Vergleichswerte. Inwieweit sich der „Impact“ eines Wissenschaftlers unabhängig von seinen Publikationen messen lässt und in welcher Weise sein kommunikatives Verhalten dabei einzufließen hat, ist eine offene Frage. Trotzdem haben soziale Netzwerke im Bereich der Wissenschaft wie etwa ResearchGate damit begonnen, solche Scores zu berechnen.

Der zweite Bereich, der sehr viel deutlicher in den Vordergrund treten wird, ist die qualitative Auswertung von Kommunikationsprozessen. Während in der Bibliometrie eine über die Zitation als solche hinausgehende Analyse der Bezugnahme auf einen Artikel nur ansatzweise geschieht[v], werden mit den Methoden der Sentiment Analysis seit einiger Zeit Meinungen, Einschätzungen und Trends, auch in ihrem zeitlichen Verlauf, aus sozialen Medien extrahiert. Dabei kommen Verfahren der computerlinguistischen Analyse zum Einsatz, die die Formulierung der Erwähnungen von Personen, Produkten, Publikationen oder Themen berücksichtigen. Derartige Verfahren arbeiten entweder mit Lernalgorithmen[vi] oder mit Wissensrepräsentationen[vii]. Weitergehende Sentiment-Analysen würden nicht nur die lokal verfügbaren linguistischen Informationen berücksichtigen, sondern auch den größeren Zusammenhang, das heißt auf Text- oder Diskursebene. Anhand von derartigen Verfahren werden zukünftig Kommunikationsprozesse in sozialen Medien auch inhaltlich sehr viel genauer ausgewertet und entsprechende Altmetriken deutlich verbessert werden können.

Sofern das Nutzerverhalten für die Berechnung derartiger Scores herangezogen wird, eröffnen sich damit auch neue Möglichkeiten für die Manipulation. Ansätze sind heute schon in sozialen Medien zu verzeichnen. Eine einfache Möglichkeit besteht darin, die Kommunikation über sogenannte Bots zu automatisieren. Es gibt Schätzungen, nach denen etwa auf Twitter zehn Prozent aller Accounts nicht von Menschen, sondern von Programmen betrieben werden. Im Bereich der Wissenschaft ließe sich dies leicht mit einem Inventar von Zitaten, Links und Referenzen realisieren, vorzugsweise mit Publikationen eines Autors, dessen Altmetrik-Score auf diese Weise erhöht werden soll. Eine weitere Möglichkeit besteht im Aufbau ganzer Gruppen künstlicher Accounts, die gegenseitig miteinander kommunizieren, um etwa Erwähnungen, Bezugnahmen und Diskussionen zu bestimmten Autoren oder Publikationen zu erzeugen. Zwar ist es durchaus möglich, aufgrund des Kommunikationsverlaufs solche unechten Diskussionen zu identifizieren, aber die Anpassung an menschliches Verhalten wird in diesem Bereich schnell zu erzielen sein. Für die Betreiber von wissenschaftlichen Social Media-Plattformen erwächst daraus die kontinuierliche Aufgabe, der Entwertung einer verwendeten Altmetrik entgegenzusteuern, so wie Suchmaschinen-Betreiber dauerhaft die Manipulation durch „Suchmaschinen-Optimierung“ zu bekämpfen haben, bei der für bestimmte Web­-Seiten mit ähnlichen Mitteln ebenfalls höhere Scores erzielt werden sollen, um sie weiter oben in den Ergebnislisten zu platzieren.

 

Anmerkungen:

[i] Priem, Jason, Dario Taraborelli, Paul Groth & Cameron Neylon (2010). Altmetrics: A Manifesto. http://altmetrics.org/manifesto/ (4.1.2016).

[ii] Alhoori, Hamed; Furuta, Richard (2014): Do Altmetrics Follow the Crowd or Does the Crowd Follow Altmetrics? Piscataway, NJ (2014 IEEE/ACM Joint Conference on Digital Libraries (JCDL) 8th-12th September 2014, City University London, London, United Kingdom).

[iii] Zur Kategorie „Netzwerk-Zentralität“ s. z.B. Hoffmann, Christian Pieter; Lutz, Christoph; Meckel, Miriam (2015): A relational altmetric? Network centrality on ResearchGate as an indicator of scientific impact. In: Journal of the Association for Information Science and Technology. DOI: 10.1002/asi.23423.

[iv] Lin, Jennifer & Martin Fenner (2013). Altmetrics in Evolution: Defining and Redefining the Ontology of Article-Level Metrics. Information Standards Quarterly 25 (2): 20–26.

[v] Vgl. etwa Shotton, David (2010). CiTO, the Citation Typing Ontology. Journal of Biomedical Semantics 1 (S6).

[vi] Vgl. z.B. Scheible, Christian (2014). Supervised and semi-supervised statistical models for word-based sentiment analysis. Diss. Stuttgart: Universitätsbibliothek der Universität Stuttgart.

[vii] Vgl. Wiegand, Michael (2011). Hybrid approaches for sentiment analysis. Diss. Saarbrücken: Universität des Saarlandes.

Avatar-Foto

Veröffentlicht von

www.lobin.de

Henning Lobin ist seit 2018 Direktor des Leibniz-Instituts für Deutsche Sprache in Mannheim (Mitglied der gemeinsam vom Bund und allen 16 Bundesländern finanzierten Leibniz-Gemeinschaft) und Professor für Germanistische Linguistik an der dortigen Universität. Zuvor war er ab 1999 Professor für Angewandte Sprachwissenschaft und Computerlinguistik an der Justus-Liebig-Universität Gießen. Seine Forschungsschwerpunkte bilden die Auswirkungen der Digitalisierung auf die Sprache, Texttechnologie, Grammatik, Wissenschaftskommunikation und Politolinguistik. Er ist Sprecher der Sektion "Geisteswissenschaften und Bildungsforschung" und Präsidiumsmitglied der Leibniz-Gemeinschaft, Mitglied germanistischer Fachbeiräte von DAAD und Goethe-Institut und des Forschungsbeirats der Stiftung Wissenschaft und Politik. Lobin ist Autor von neun Monografien und hat zahlreiche Sammelbände herausgegeben. Zuletzt erschienen sind Engelbarts Traum (Campus, 2014, polnische Übersetzung 2017, chinesische Übersetzung 2018), Digital und vernetzt. Das neue Bild der Sprache (Metzler, 2018) und Sprachkampf (Duden, 2021). Bei den SciLogs ist Henning Lobin seit 2014 Autor des Blogs "Die Engelbart-Galaxis", nachdem er dort bereits ab 2008 am Gruppenblog "Interactive Science" beteiligt war.

1 Kommentar

  1. Pingback:Fast forward: Gastbeiträge im Akademien-Blog "Wissenschaftskommunikation hoch 3" » Die Engelbart-Galaxis » SciLogs - Wissenschaftsblogs

Schreibe einen Kommentar


E-Mail-Benachrichtigung bei weiteren Kommentaren.
-- Auch möglich: Abo ohne Kommentar. +