Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1...

71
1 Universitätsbibliothek Vertrauen ist gut – prüfen ist besser : Qualitätskriterien für wissenschaftliche Publikationen Simone Schütte und Heike Thomas (Freie Universität Berlin)

Transcript of Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1...

Page 1: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

1

Universitätsbibliothek

Vertrauen ist gut – prüfen ist besser : Qualitätskriterien für wissenschaftliche Publikationen

Simone Schütte und Heike Thomas (Freie Universität Berlin)

Page 2: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

2

Vertrauen ist gut – prüfen ist besser1 Allgemeine Qualitätskriterien2 Peer Review3 Bibliometrie4 Zitationsbasierte Verfahren4.1 Impact-Faktor 4.2 CiteScore Metrics4.3 Eigenfactor4.4 Hirsch- oder H-Index 5 Altmetriken 5.1 Altmetrics5.2 Plum Analytics 5.3 PLOS-Article-Level Metrics6 Bibliometrie – überall?

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 3: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

3

1 Allgemeine Qualitätskriterien

• Zielgruppe: Fachwissenschaftler• Autorenschaft: - eindeutig belegt

- Zuordnung zu einer wissenschaftlichen Einrichtung• Verlag: - renommiert

- spezialisiert auf wissenschaftliche Publikationen- Top Domain Level der URL (.gov, .org, .edu)

• Inhalt: - Fachsprache- Genauigkeit, Verifizierbarkeit- Tiefe und Breite der Information- Aktualität- Verständlichkeit

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 4: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

4

1 Allgemeine Qualitätskriterien

• Referenzen, Verweise, Zitate, Links• Qualitätssicherung durch den Verlag:

- Peer Review- Herausgeberteam, Editorial Board- renommierte Autoren

• Rezensionen: - Publikation wird in Rezensionsorganen oder Fachzeitschriftenbesprochen. Zu recherchieren u.a. in: Web of Science, Internationale Bibliographie der Rezensionen (IBR).

- Reviews, Empfehlungen und Kommentare im Internet

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 5: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

5

2 Peer ReviewWas ist Peer Review?

Der Begriff Peer Review bezeichnet die Bewertung wissenschaftlicher Arbeitendurch unabhängige Gutachter, Wissenschaftler des selben Fachgebiets.

• das gängigste Verfahren der Qualitätsprüfung vor Veröffentlichung von Beiträgen in wissenschaftlichen Zeitschriften

• gilt als wichtiger Faktor bei der Einschätzung der Bedeutung einer wissenschaftlichen Zeitschrift

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 6: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

6

2 Peer ReviewMögliche Beurteilungskriterien:

• Sind Forschungsfrage und Methoden klar beschrieben?

• Ist die Forschungsfrage wichtig und interessant?

• Bringt die Forschungsarbeit etwas Neues?

• Wurden wissenschaftlich relevante Quellen

(Literatur, Daten, Studien…) verwendet?

• Sind die Schlussfolgerungen nachvollziehbar und belegt?

• Ist ein grundlegender Mangel zu erkennen?

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 7: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

7

2 Peer ReviewSchwächen des Verfahrens, Kritik

• Sorgfalt, inhaltliche Tiefe des Gutachten unbekannt, nicht nach einheitlichen

Kriterien angefertigt → Vergleichbarkeit?

• Plagiate, Betrug, Täuschung werden häufig nicht aufgedeckt. ( Beispiel:Artikel aus dem

Spiegel online vom 23.5.2017: „Forscher narren Fachzeitschrift mit Quatsch-Studie“

(http://www.spiegel.de/wissenschaft/natur/penis-schuld-am-klimawandel-forscher-narren-fachmagazin-a-1148845.html )

• Einige wenige renommierte Wissenschaftler begutachten für viele Zeitschriften

und beherrschen eine ganze Disziplin.

• Autor und Gutachter kennen und unterstützen sich gegenseitig.

• Autor und Gutachter sind Konkurrenten.

Das Peer Review zeigt, dass sich der Verlag um wissenschaftliche Qualität seiner Veröffentlichungen bemüht und sollte ein wichtiger Hinweis für den Leser sein.

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 8: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

8

2 Peer Review„Predatory Publishing / Raubjournale /Fake Science“

Unter dem Stichwort „Predatory Publishing“ werden Geschäftspraktikenzusammengefasst, bei denen Publikationsgebühren erhoben werden,jedoch keine bzw. eine unzureichende redaktionelle Bearbeitung der Artikelund keine validen Qualitätssicherungsprozesse stattfinden.

• Wissenschaftler publizieren schnell• bezahlen z.T. hohe Gebühren• werden betrogen oder unterstützen Betrug• da mit Peer Review wird geworben, ohne dass es durchgeführt wird

Unseriöse Verlage bringen Open Access und Peer Review insgesamtin Verruf.

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 9: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

9

2 Peer Review„Predatory Publishing / Raubjournale /Fake Science“

Wie kann Vertrauenswürdigkeit und Seriosität einer Zeitschriftüberprüft werden?

Bei Unsicherheit, ob eine Zeitschrift den wissenschaftlichen Standards entspricht,sollen folgende Punkte geprüft werden:Wird die Zeitschrift in dem Directory of Open Access Journals gelistet?Das DOAJ verzeichnet nur Zeitschriften, die über geprüfte Qualitätssicherungs-verfahren verfügen. Die zugrundeliegenden Kriterien sind in den "Principles ofTransparency and Best Practice in Scholarly Publishing" formuliert.

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 10: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

10

2 Peer Review„Predatory Publishing / Raubjournale /Fake Science“

Wie kann Vertrauenswürdigkeit und Seriosität einer Zeitschriftüberprüft werden?• Wird die Zeitschrift in den einschlägigen Fachdatenbanken oder Katalogen

nachgewiesen? (z.B. Web of Science, Scopus, ERIH PLUS)?• Ist der Verlag Mitglied bei "Open Access Scholarly Publishers Association„

(OSPA) oder "Committee on Publication Ethics" (COPE)?• Werden die Zeitschrift oder der Verlag in Beall's list of predatory publishers &

journals gelistet? • Die Leitfragen und Kriterien, die in der Checkliste Think.Check.Submit

zusammengestellt wurden, bieten eine gute Orientierung bei der Bewertung, obes sich um eine vertrauenswürdige Zeitschrift handelt.

Quelle: https://www.fu-berlin.de/sites/open_access/weiteres/informationen_predatory_publishing/index.htmlLost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 11: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

11

2 Peer ReviewOpen Peer ReviewFür den offenen Peer-Review hat sich bislang kein einheitlicher Standard durchgesetzt. Mögliche Eigenschaften sind unter anderem: • Der Autor eines eingereichten Beitrags ist den Peers bekannt.• Die begutachtenden Peers werden nach Abschluss des Verfahrens zusammen mit

dem Beitrag veröffentlicht.• Die Kommentare der Peers werden zusammen mit dem Beitrag veröffentlicht.• Eingereichte Beiträge werden als Preprint sofort veröffentlicht.• Die Begutachtung findet offen einsehbar statt.• Der Autor kann auf Kommentare der Peers antworten.• Es können öffentliche Kommentare zu eingereichten Beiträgen abgegeben werden

(anonym oder namentlich gekennzeichnet, von allen ausgewählten Lesern).• Beiträge können in einem Wiki offen bearbeitet und korrigiert werden.

https://de.wikipedia.org/wiki/Offenes_Peer-Review

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 12: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

12

2 Peer Review

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 13: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

13

3 Bibliometrie

Bibliometrie“statistical bibliography”, “application of mathematical and statistical methods to books and other media of communication” (Pritchard 1969)

statistischen Analyse bibliographischer Informationen (Havemann 2009)

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

statistische Bibliographie

Szientometrie

Infometrie

Librametrics Webometrie

Page 14: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

14

3 Bibliometrie

Bradfords Gesetz (1934)

Die entscheidenden wissenschaftlichen Publikationen erscheinen in

wenigen Kernzeitschriften.

Lotkas Gesetz (1926)

Der Publikationsausstoß ist umgekehrt proportional zur Anzahl der

Wissenschaftler.

Wenige Autoren haben viele, viele Autoren wenige Publikationen.

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 15: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

15

3 Bibliometrie

Bibliometrische Daten

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

→ Datengrundlage

→ Aussagekraft→ Anwendungsgebiete→ Auswirkungen

Page 16: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

16

3 Bibliometrie

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

BibliometrischeVerfahren

Inhaltliche Beurteilung

Impact-FaktorCiteScore Metrics

H-Index Altmetriken… ↔

Peer ReviewRezensionen

berechnet

→ objektiv?

individuelles Urteil

→ subjektiv?

Page 17: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

17

4 Zitationsbasierte Verfahren

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Citations30%!

Page 18: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

18

4 Zitationsbasierte Verfahren 4.1 Impact-Faktor

• setzt die Anzahl der in einer Zeitschrift erschienen Artikel mit der Anzahl der Zitierungen dieser Artikel ins Verhältnis

• bezieht sich auf den Zeitraum von zwei Jahren

Zahl der Zitate im Bezugsjahr auf die Artikel der vergangenen zwei JahreZahl der Artikel in den vergangenen zwei Jahren

• Grundlage: die Zitationsdatenbanken Science Citation Index undSocial Science Citation Index aus dem Web of Science

• wird häufig als Qualitätssiegel für Zeitschriften angesehen• Vergleich von Zeitschriften nach Zitierhäufigkeit und Impact-Faktor in den

Journal Citation Reports des Web of Science

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 19: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

19

4.1 Impact-Faktor

Beispiel:

Krugman, Paul: Debt, Deleveraging, and the Liquidity Trap: A Fisher-Minsky-Koo Approach. In: QUARTERLY JOURNAL OF ECONOMICS. 2012. 127,3

pp: 1469-1513

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 20: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

20

4.1 Impact-Faktor

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 21: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

21

4.1 Impact-Faktor Impact Factor: Journal Citation Reports®

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 22: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

22

4.1 Impact-FaktorSelbstzitierungen:• Selbstzitierungen des Autors• Ein Artikel zitiert frühere Artikel aus der gleichen Zeitschrift.• Manche Redaktionen fordern sogar die Autoren auf, aus den Zeitschriften des

eigenen Verlags zu zitieren, um so den Impact-Faktor zu erhöhen.

Anzahl der Zitierungen – Anzahl der SelbstzitierungenAnzahl der Artikel im gegebenen Zeitraum

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Immediacy Index:• dient der Ermittlung der Rezeptionsgeschwindigkeit• sagt aus, wie viele Artikel noch innerhalb des Erscheinungsjahres zitiert wurden

Anzahl der Zitierungen im ErscheinungsjahrAnzahl der Artikel im gleichen Jahr

Page 23: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

23

4.1 Impact-Faktor

Journal Citation Reports Beispiele:

• Welche Zeitschrift hat den höchsten Impact-Faktor?

• Welche Zeitschrift aus dem Fach Linguistik hat den höchsten Impact-Faktor?

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 24: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

24

4.1 Impact-Faktor

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Welche Zeitschrift hat den höchsten Impact-Faktor?

Page 25: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

25

4.1 Impact-Faktor

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Welche Zeitschrift aus der Linguistik hat den höchsten Impact-Faktor

Page 26: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

26

4.1 Impact-FaktorFazit:• Hinweis auf Qualität einer Zeitschrift, wenn sie im WOS / JCR berücksichtigt wird.• Nicht alle Artikel einer Zeitschrift werden häufig zitiert.• Vergleichbarkeit nur innerhalb des gleichen Fachgebiets• Englischsprachige Veröffentlichungen finden mehr Beachtung.• Ergebnis manipulierbar (z.B. durch „Zitierkartelle“)• keine Aussage zur Qualität eines Artikels oder zur Qualität der Arbeit eines

Wissenschaftlers

Der Impact-Faktor hilft, den Stellenwert einer Zeitschrift innerhalb ihres→ Fachgebiets zu beurteilen. (Wie viel Aufmerksamkeit erhält sie?)

→ Bei Berufungen / Einstellungen kann festgestellt werden, ob die Kandidaten in renommierten Zeitschriften veröffentlicht haben und wie oft und von wem ihrePublikationen zitiert wurden.

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 27: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

27

4.2 CiteScore Metrics (Scopus)

CiteScore ist eine Zahl, die ebenfalls angibt, wie häufig aus einer Zeitschrift zitiert wird.

Anzahl der Zitate aus einer Zeitschrift in 2015 Anzahl der Artikel in den 3 vorhergehenden Jahren (2012-14)

Grundlage für die Berechnung ist Journal Metrics (https://www.scopus.com/sources ),das auf die 22 256 Titel, die in Scopus ausgewertet werden zugreift. Journal Metrics ist frei verfügbar im Internet zu finden.

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 28: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

28

4.2 CiteScore Metrics

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 29: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

29

4.2 CiteScore Metrics

Journal Metrics (Scopus) Beispiele:

• Welche Zeitschrift hat den höchsten CiteScore?

• Welche Zeitschrift aus dem Fach Linguistik hat den höchsten CiteScore?

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 30: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

30

4.2 CiteScore Metrics

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

WOS / Impact-Faktor: 244,585

Welche Zeitschrift hat den höchsten CiteScore?

Page 31: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

31

4.2 CiteScore MetricsWelche Zeitschrift aus dem Fach Linguistik hat den höchsten CiteScore?

JCR: American Historical Review: JIF 1.339

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 32: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

32

4.2 CiteScore Metrics

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 33: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

33

4.2 CiteScore Metrics

SNIP = Source normalized impact per paper:SNIP bildet die durchschnittliche Zitierhäufigkeit der Artikel einer Zeitschriftab und berücksichtigt dabei die Zitierkultur der verschiedenen Disziplinen.

Journal’s citation count per paperCitation potential in its subject field

SJR: SCImago Journal Rank:SJR misst den Rang einer Zeitschrift, indem es neben der Zitierhäufigkeit auch den Rang der zitierenden Zeitschrift berücksichtigt.

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 34: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

34

4.2 CiteScore Metrics

Fazit:CiteScore soll als Konkurrenz zum Impact-Faktor ebenfalls den Stellenwert von Zeitschriften innerhalb ihres Fachgebiets zeigen.

→ CiteScore misst die Aufmerksamkeit, die eine Zeitschrift erhält, ohne die inhaltliche Qualität der Artikel zu bewerten und kann als ein Kriterium in die Beurteilung eingehen.

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 35: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

35

4.3 Eigenfactor

• seit 2007 kostenfreies Angebot des Bergstrom Laboratory des Fachbereichs Biologie der University of Washington zur Bestimmung des wissenschaftlichen Einflusses wissenschaftlicher Zeitschriften mit Hilfe der gegenseitigen Zitationen von Artikeln

• abweichend errechnete bibliometrische Kennzahl für Zeitschriften aus dem Web of Science

• Alternative zum kostenpflichtigen Impact-Faktor des Journal Citation Reports von Thomson Reuters

• Grundlage: Zeitschriften aus dem Web of Science und über 115.000 weitere Referenzen aus Zeitungen, Zeitschriften und anderen Quellen

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 36: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

36

4.3 EigenfactorVorteile:

• Eigenzitationen werden nicht gezählt

• mehr Gewicht für Zitate aus Zeitschriften mit höheren Einfluss

• Zitationsentwicklung über fünf Jahre

• berücksichtigt auch die unterschiedlichen Zitierstandards und Zeitmaßstäbe verschiedener wissenschaftlicher Disziplinen

→ Wie Impact-Faktor und SNIP Messung der Aufmerksamkeit, die eine Zeitschrift erhält, ohne Aussage zur inhaltlichen Qualität eines Aufsatzes

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 37: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

37

4.3 Eigenfactor

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 38: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

38

4.4 Hirsch-Index / h-Index

Der von dem argentinischen Physiker Jorge E. Hirsch entwickelte H-Index ist eine bibliometrische Kennzahl zur Bewertung der wissenschaftlichen Leistung eines Autors.

Er wird berechnet aus der Anzahl der Publikationen eines Autors und der Häufigkeit der Zitationen des einzelnen Artikels. Grundlage können das Web of Science, Scopus, Google Scholar, Research Gate und ? sein.

Der Index h eines Wissenschaftlers wurde definiert als die Anzahl der Publikationen dieses Wissenschaftlers, die mindestens h mal zitiert wurden.

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 39: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

39

4.4 Hirsch-Index / h-IndexBeispiele:Bei Zitathäufigkeiten 10, 9, 8, 7, 6, 5, 4, 3, 2, 1 ist der Hirschfaktor 5, weil fünf Veröffentlichungen mindestens fünfmal, die restlichen höchstens fünfmal zitiert wurden.

Bei Zitathäufigkeiten 100, 100, 2, 2, 2, 2, 2, 2, 2, 2 ist der Hirschfaktor 2, weil zwei Veröffentlichungen mindestens zweimal, die restlichen höchstens zweimal zitiert wurden.

Grafiken aus : Wikipedia

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 40: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

40

4.4 Hirsch-Index / h-Index

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 41: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

41

4.4 Hirsch-Index / h-Index

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 42: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

42

4.4 Hirsch-Index / h-Index

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 43: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

43

4.4 Hirsch-Index / h-IndexWie kann sichergestellt werden, dass Publikationen bei Namensgleichheit der korrekten Person zugeordnet werden?

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

http://www.researcherid.com

Page 44: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

44

4.4 Hirsch-Index / h-IndexWie kann sichergestellt werden, dass Publikationen bei Namensgleichheit der korrekten Person zugeordnet werden?

https://orcid.org/

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 45: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

45

4.4 Hirsch-Index / h-IndexVorteile: • Zitierhäufigkeit bezieht sich auf einen Artikel und seinen Autor.• Alle Artikel eines Autors und ihre Zitierungen werden beurteilt.• weniger leicht manipulierbar• in vielen Berufungsverfahren als Standardindikator etabliertNachteile: • Besonders hoch zitierte Artikel werden nur wenig berücksichtigt.• Ältere Wissenschaftler werden begünstigt → Anzahl der Publikationen, Zeitraum

für Zitierungen• Publikationskultur der unterschiedlichen Disziplinen wird nicht berücksichtigt.

→ Die Produktivität eines Wissenschaftlers und die Aufmerksamkeit, die seinePublikationen erhalten, werden abgebildet, ohne jedoch die inhaltliche Qualität zuberücksichtigen.

→ Der H-Index ermöglicht nur Vergleiche innerhalb eines Fachgebiets.

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 46: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

46

5 Altmetriken• alternative Metriken als Weiterentwicklung der traditionellen

bibliometrischen Verfahren• berücksichtigen neue Techniken wissenschaftlichen Arbeitens

und Quellen des Web 2.0

Gemessen werden Aktionen, die Webdokumente• nutzen (aufrufen und herunterladen)• besprechen und verlinken, auf Webseiten von wissenschaftlichen

Institutionen oder Nachrichtenportalen• diskutieren und liken z.B. in Blogs, auf Twitter, in anderen sozialen Netzwerken• referenzieren in webbasierten Literaturmanagementsystemen wie Mendeley

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 47: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

47

5 AltmetrikenVorteile:• Altmetriken berücksichtigen die durch das Internet veränderten

Arbeitsweisen und Kommunikationswege.• Die Aufmerksamkeit, die eine Publikation erhält wird deutlich

vielfältiger abgebildet.• Beurteilung konkret für Artikel, nicht nach Quelle, in der er

veröffentlicht wurde• Open Access-Publikationen werden berücksichtigt.• Ausdehnung auf weitere Veröffentlichungsformen neben Zeitschriftenartikeln• Erwähnung in Netzwerken schneller als bei klassischen Veröffent-

lichungsformen/Zitationen• Transparenz: meist aus offenen Quellen über offene Schnittstellen• nicht beschränkt auf wissenschaftliche Reaktionen (Nachteil?)• Einbinden auf Verlagsseiten, universitären Repositorien usw. möglich

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 48: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

48

5 Altmetriken

Schwächen der Methode:• Qualität der Auseinandersetzung mit der Publikation kann nicht

beurteilt werden.• Zahlen können leicht manipuliert werden.• Populäre Autoren und Themen finden im Internet besonders viel Beachtung.• nicht beschränkt auf wissenschaftliche Reaktionen • wichtige Portale nicht berücksichtigt, da keine offenen Schnittstellen

z.Zt. Research Gate, academia.edu

Hintergrundwissen wie bei allen Methoden erforderlich z.B.: Werden Tweets von Bots bereinigt?

Werden Tweets und Retweets ohne Unterscheidung gezählt?

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 49: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

49

5.1 Altmetric

Altmetric – alternative metrics

Altmetric Score von Altmetric.com: Zählung verschiedener Webquellen, bei denen eine Aktion zu einer Publikation erfolgte. Es werden nach Quellentyp kategorisierte Einzelwerte und ein zusammenfassender, gewichteter Score ausgegeben.

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 50: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

50

5.1 Altmetric

www.altmetric.com/about-our-data/the-donut-and-score

Einbinden auf Verlagsseiten, universitären Repositorien usw. möglich

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 51: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

51

5.1 Altmetric

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 52: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

52

5.1 Altmetric

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 53: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

53

5.1 Altmetric

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 54: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

54

5.1 Altmetric

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 55: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

55

5.1 Altmetric

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 56: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

56

5.1 Altmetric

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 57: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

57

5.2 Plum Analyticsgegründet 2012seit Februar 2017 Angebot von Elsevier

http://plumanalytics.com/learn/about-artifacts/

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 58: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

58

5.2 Plum AnalyticsAusweitung auf weitere Quellen, die wissenschaftlichen Output Beachtung schenken

Lost in Dissertation: Vetrauen ist gut – prüfen ist besserhttp://plumanalytics.com/learn/about-metrics/

Page 59: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

59

5.2 Plum Analytics

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 60: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

60

5.2 Plum Analytics

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 61: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

61

5.3 PLOS- Article-Level Metrics (ALMs)

PLOS - Public Library of Sciencenichtkommerzielles Open-Access-Projekt für wissenschaftliche Publikationen in den USA

Beispiele:• PLOS Medicine: Journal Impact Faktor 11.675 (2017), Rank 9/155• PLOS Biology: Journal Impact Faktor 9,163 (2017), Rank 18/293

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 62: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

62

5.3 PLOS- Article-Level Metrics (ALMs)

http://www.lagotto.io/plos/#citationInfo

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 63: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

63

5.3 PLOS- Article-Level Metrics (ALMs)

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 64: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

64

5.3 PLOS- Article-Level Metrics (ALMs)

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 65: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

65

6 Bibliometrie – überall?

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 66: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

66

6 Bibliometrie – überall?

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Empfehlungsdienst für Artikel in der Biologie und Medizin erstellt von ca. 8000 Experten weltweit, Datenbank mit Reviews

Page 67: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

67

6 Bibliometrie – überall?

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Kompetenzzentrum Bibliometrieseit Ende 2008 durch BMBF gefördertZiele und Aufgaben des Kompetenzzentrums Bibliometrie:•der Auf- und Ausbau sowie die Pflege einer qualitativ gesichertenDateninfrastruktur für bibliometrische Anwendungen,

•die Entwicklung geeigneter bibliometrischer Methoden und Indikatoren,•Forschung zur Wirkung und Aussagekraft bibliometrischer Verfahren und Indikatoren,•die Förderung des wissenschaftlichen Nachwuchses im Bereich der Bibliometrie,•Bereitstellung von Dienstleistungen, insbesondere in Form von bibliometrischenAnalysen, für Dritte, sowie Beratung bei der Anwendung und Interpretation von bibliometrischen Informationen.

http://www.bibliometrie.info/

Page 68: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

68

6 Bibliometrie – überall?

https://metrics-project.net/Projekt der Deutschen Forschungsgemeinschaft über 2 JahreErforschung und Evaluierung von Altmetrikenu.a. Aufbau eines Social-Media-Registry

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 69: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

69

6 Bibliometrie – überall?Denkschrift "Sicherung guter wissenschaftlichen Praxis" der Deutschen Forschungsgemeinschaft (DFG) S. 20/21„Sowohl das Zählen von Publikationen als auch das Nachschlagen (womöglichmit folgender Addition) von „impact factors“ sind jedoch offenkundig für sichgenommen keine angemessene Form der Leistungsbewertung. Von einer Würdigungdessen, was die Qualität wissenschaftlicher Leistung ausmacht, nämlichihre Originalität, ihre „Innovationshöhe“, ihr Beitrag zum Erkenntnisfortschritt,sind sie weit entfernt, und ihr immer häufigerer Gebrauch bringt sie in Gefahr,von Hilfsmitteln zu Surrogaten des Qualitätsurteils zu werden. […] Diese inhaltliche Auseinandersetzung, die Zeit und Sorgfalt kostet, ist derKern des „peer review“, der durch nichts ersetzt und durch den oberflächlichenGebrauch von quantitativen Indikatoren nur entwertet oder verschleiert werdenkann.“

https://www.dfg.de/download/pdf/dfg_im_profil/reden_stellungnahmen/download/empfehlung_wiss_praxis_1310.pdf

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 70: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

70

6 Bibliometrie – überall?Leiden ManifestoGrundsatzpapier über die Nachteile derzeit genutzter bibliometrischer Indikatoren und 10 Prinzipien, die bei der Forschungsevaluation beachtet werden solltenhttp://www.leidenmanifesto.org/http://tuprints.ulb.tu-darmstadt.de/5016/1/leiden_manifesto_german_leidener_manifest.pdfhttps://vimeo.com/133683418

ZeitschriftenScientometrics. 1978-Bibliometrie – Praxis und Forschung. 2012-

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Page 71: Vertrauen ist gut – prüfen ist besser : …...2 Vertrauen ist gut – prüfen ist besser 1 Allgemeine Qualitätskriterien 2 Peer Review 3 Bibliometrie 4 Zitationsbasierte Verfahren

71

6 Bibliometrie – überall?

Lost in Dissertation: Vetrauen ist gut – prüfen ist besser

Bildnachweis: J. Delasalle u. A. Plume: Research impact metrics for librarian: calculation & context. Library Connect Webinar. 19.5.2016https://www.slideshare.net/Library_Connect/research-impact-metrics-for-librarians-calculation-context [Abgerufen am