„Altmetriken“ – alternative Messung von Impact und Reputation?

25. Februar 2016 von Henning Lobin in Allgemein

Wenn wissenschaftliche Kommunikation in sozialen Medien stattfindet, dann werden sämtliche Kommunikationsschritte dokumentiert und können den Gegenstand quantitativer oder qualitativer Auswertungen bilden. Dieser Möglichkeit bildet die Grundlage für die Berechnung sogenannten Altmetriken, ein Begriff, der erst 2010 von Priem et al. eingeführt wurde[i], um auch soziale Medien für die Berechnung des Impacts eines wissenschaftlichen Artikels einzubeziehen. Altmetriken sind allerdings dazu geeignet, nicht nur Artikel, sondern auch Personen, Institutionen, Bücher, Präsentationen oder Forschungsprimärdaten mit einem Score zu belegen. So bewertet der „RG Score“, eine auf ResearchGate berechnete Altmetrik, Nutzer mit ihrer Bedeutung im Netzwerk und nur indirekt deren Publikationen.

Auch wenn etwa von Alhoori und Furuta festgestellt wird, dass Altmetriken durchaus keine völlig anderen Ergebnisse erbringen als traditionelle zitationsorientierte Berechnungsweisen von Impact-Faktoren[ii], werden doch zunehmend eigenständige Verfahren entwickelt, die neuartige Analysemethoden fruchtbar machen.[iii] Auch die Art der Interaktion mit dem Forschungsartikel gerät zunehmend in den Blick. Lin und Fenner schlagen dafür eine Klassifikation vor, bei der ausgehend vom reinen Aufruf eines Artikels über den Download, die Diskussion, die Empfehlung bis hin zur Zitation die dabei graduell anwachsende Verbindlichkeit der Bezugnahme berücksichtigt wird.[iv]

Während diese quantitativen Verfahren mittlerweile als gut etabliert gelten können, da sie sich mit anerkannten Verfahren der Bibliometrie in Verbindung setzen lassen, gibt es zwei Bereiche, bei denen zukünftig erhebliche Bedeutungszuwächse zu verzeichnen sein werden. Dies ist zum einen das algorithmische Bewerten von Wissenschaftlern selbst, zum anderen die qualitativ inhaltliche Auswertung von Kommunikationsprozessen. Für den ersten Bereich gibt es, anders als beim Scoring von Artikeln, keine Vergleichswerte. Inwieweit sich der „Impact“ eines Wissenschaftlers unabhängig von seinen Publikationen messen lässt und in welcher Weise sein kommunikatives Verhalten dabei einzufließen hat, ist eine offene Frage. Trotzdem haben soziale Netzwerke im Bereich der Wissenschaft wie etwa ResearchGate damit begonnen, solche Scores zu berechnen.

Der zweite Bereich, der sehr viel deutlicher in den Vordergrund treten wird, ist die qualitative Auswertung von Kommunikationsprozessen. Während in der Bibliometrie eine über die Zitation als solche hinausgehende Analyse der Bezugnahme auf einen Artikel nur ansatzweise geschieht[v], werden mit den Methoden der Sentiment Analysis seit einiger Zeit Meinungen, Einschätzungen und Trends, auch in ihrem zeitlichen Verlauf, aus sozialen Medien extrahiert. Dabei kommen Verfahren der computerlinguistischen Analyse zum Einsatz, die die Formulierung der Erwähnungen von Personen, Produkten, Publikationen oder Themen berücksichtigen. Derartige Verfahren arbeiten entweder mit Lernalgorithmen[vi] oder mit Wissensrepräsentationen[vii]. Weitergehende Sentiment-Analysen würden nicht nur die lokal verfügbaren linguistischen Informationen berücksichtigen, sondern auch den größeren Zusammenhang, das heißt auf Text- oder Diskursebene. Anhand von derartigen Verfahren werden zukünftig Kommunikationsprozesse in sozialen Medien auch inhaltlich sehr viel genauer ausgewertet und entsprechende Altmetriken deutlich verbessert werden können.

Sofern das Nutzerverhalten für die Berechnung derartiger Scores herangezogen wird, eröffnen sich damit auch neue Möglichkeiten für die Manipulation. Ansätze sind heute schon in sozialen Medien zu verzeichnen. Eine einfache Möglichkeit besteht darin, die Kommunikation über sogenannte Bots zu automatisieren. Es gibt Schätzungen, nach denen etwa auf Twitter zehn Prozent aller Accounts nicht von Menschen, sondern von Programmen betrieben werden. Im Bereich der Wissenschaft ließe sich dies leicht mit einem Inventar von Zitaten, Links und Referenzen realisieren, vorzugsweise mit Publikationen eines Autors, dessen Altmetrik-Score auf diese Weise erhöht werden soll. Eine weitere Möglichkeit besteht im Aufbau ganzer Gruppen künstlicher Accounts, die gegenseitig miteinander kommunizieren, um etwa Erwähnungen, Bezugnahmen und Diskussionen zu bestimmten Autoren oder Publikationen zu erzeugen. Zwar ist es durchaus möglich, aufgrund des Kommunikationsverlaufs solche unechten Diskussionen zu identifizieren, aber die Anpassung an menschliches Verhalten wird in diesem Bereich schnell zu erzielen sein. Für die Betreiber von wissenschaftlichen Social Media-Plattformen erwächst daraus die kontinuierliche Aufgabe, der Entwertung einer verwendeten Altmetrik entgegenzusteuern, so wie Suchmaschinen-Betreiber dauerhaft die Manipulation durch „Suchmaschinen-Optimierung“ zu bekämpfen haben, bei der für bestimmte Web­-Seiten mit ähnlichen Mitteln ebenfalls höhere Scores erzielt werden sollen, um sie weiter oben in den Ergebnislisten zu platzieren.

 

Anmerkungen:

[i] Priem, Jason, Dario Taraborelli, Paul Groth & Cameron Neylon (2010). Altmetrics: A Manifesto. http://altmetrics.org/manifesto/ (4.1.2016).

[ii] Alhoori, Hamed; Furuta, Richard (2014): Do Altmetrics Follow the Crowd or Does the Crowd Follow Altmetrics? Piscataway, NJ (2014 IEEE/ACM Joint Conference on Digital Libraries (JCDL) 8th-12th September 2014, City University London, London, United Kingdom).

[iii] Zur Kategorie „Netzwerk-Zentralität“ s. z.B. Hoffmann, Christian Pieter; Lutz, Christoph; Meckel, Miriam (2015): A relational altmetric? Network centrality on ResearchGate as an indicator of scientific impact. In: Journal of the Association for Information Science and Technology. DOI: 10.1002/asi.23423.

[iv] Lin, Jennifer & Martin Fenner (2013). Altmetrics in Evolution: Defining and Redefining the Ontology of Article-Level Metrics. Information Standards Quarterly 25 (2): 20–26.

[v] Vgl. etwa Shotton, David (2010). CiTO, the Citation Typing Ontology. Journal of Biomedical Semantics 1 (S6).

[vi] Vgl. z.B. Scheible, Christian (2014). Supervised and semi-supervised statistical models for word-based sentiment analysis. Diss. Stuttgart: Universitätsbibliothek der Universität Stuttgart.

[vii] Vgl. Wiegand, Michael (2011). Hybrid approaches for sentiment analysis. Diss. Saarbrücken: Universität des Saarlandes.

Einen Kommentar schreiben

Dies ist eine moderierte Diskussion. Wir behalten uns vor, Kommentare gar nicht oder gekürzt zu veröffentlichen, um die Diskussion für unsere Leser möglichst relevant und interessant zu gestalten.


− vier = 2

E-Mail-Benachrichtigung bei weiteren Kommentaren.
-- Auch möglich: Abo ohne Kommentar. +