Download - Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Transcript
Page 1: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Forschungsdatenmanagement bei wirtschaftswissenschaftlichen Zeitschriften

- Einblicke aus dem DFG-Projekt EDaWaX

Sven Vlaeminck | Leibniz-Informationszentrum Wirtschaft (ZBW)6. Konferenz für Wirtschafts- und Sozialdaten | 20./21.02.2014 | Berlin

Quelle: Economics-EJournal Quelle: American Economic Review Quelle: EDaWaX-Projekt

Page 2: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Vorteile der Offenlegung v. Forschungsdaten

Quelle: Brian Hole, ubiquitiy Press. http://www.slideshare.net/brianhole/ubiquity-press-eifl130830

Page 3: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Vorteile der Offenlegung v. Forschungsdaten

Quelle: Brian Hole, ubiquitiy Press. http://www.slideshare.net/brianhole/ubiquity-press-eifl130830

Page 4: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Vorteile der Offenlegung v. Forschungsdaten

Quelle: Brian Hole, ubiquitiy Press. http://www.slideshare.net/brianhole/ubiquity-press-eifl130830

Page 5: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

“If I have seen further it is by standing on the shoulders of giants” (I. Newton)

> Offenlegen von Daten & Berechnungen sind wesentlicher Aspekt wissenschaftlichen Arbeitens -> Gütekriterien empirischer Forschung.

> Replizierbarkeit von Ergebnissen ist wichtiger Aspekt dieser Gütekriterien. (Einige) Vorteile replizierbarer Forschung: – Nachvollziehbarkeit v. Methodik und erzielten Ergebnissen =>

Vertrauen in erzielte Ergebnisse.

– Der wissenschaftliche Erkenntnisprozess wird beschleunigt.

– Forschungsergebnisse sind besser geprüft

– Wissenschaftliches Fehlverhalten wird reduziert.

– Erlernen wissenschaftlicher Methoden wird erleichtert.

Page 6: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Zur Replizierbarkeit volkswirtschaftlicher Forschung

Einige Beispiele aus der wirtschaftswissenschaftlichen Praxis.

Page 7: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Trauen Sie volkswirtschaftlicher Forschung?

> Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

> Es gelang bei zwei Artikeln (3,7%).

> McCullough et al. (2006) versuchten 62 Veröffentlichungen des JMCB zu replizieren.

> Sie konnten 14 Artikel (22,6%) replizieren.

> McCullough et al. (2008) versuchten 117 Artikel der Federal Reserve Bank of St. Louis Review zu replizieren.

> Es gelang Ihnen bei 9 Artikeln (7,7%).

> McCullough: „Despite claims that economics is a science, no applied economics journal can demonstrate that the results published in its pages are replicable, i.e., that there exist data and code that can reproduce the published results.”

Page 8: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Auswirkungen nicht replizierbarer Forschung:

> 2010: Paper der US-Starökonomen Rogoff und Reinhart über den Zusammenhang von Staatsverschuldung und Wirtschaftswachstum.

> 2012/2013: EU-Währungskommissar Olli Rehm und US-Präsidentschaftskandidat Paul Ryian nutzten die Ergebnisse zur Rechtfertigung von Austeritätspolitik.

> 2013 entdeckt ein Student verschiedene Fehler in den Berechnungen und den zugrunde liegenden Daten.

> Starkes Argument für replizierbare Forschung!

“Dr. Kenneth Rogoff at a Canada 2020 Luncheon” by canada.2020/flickr.com

Lizenz beider Bilder: CC BY-NC-ND 2.0

“Carmen M. Reinhart - World Economic Forum Annual Meeting 2011” by World Economic Forum /flickr.com

Page 9: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Quelle:http://openeconomics.net/principles/

Page 10: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Quelle:http://www.socialpolitik.org/docs/ethikkodex.pdf

Page 11: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.
Page 12: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Verfügbarkeit von Forschungsdaten in wirtschaftswissenschaftlichen FachzeitschriftenErgebnisse einer Studie des EDaWaX –Projekts.

Page 13: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Im Projektkontext wurde ein Sample von 141 Fachzeitschriften (darunter viele Top‐Journals) auf die Verfügbarkeit von Data Policies evaluiert.

Replizierbare Forschung in Fachzeitschriften

Page 14: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Wir konnten 40 Journals finden, die angaben über eine „Data Policy“ zu verfügen.  

Replizierbare Forschung in Fachzeitschriften

Page 15: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

29 verfügten über eine sinnvolle „Data Availability Policy“  

Replizierbare Forschung in Fachzeitschriften

Page 16: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

24 dieser 29 waren verpflichtend. 

Replizierbare Forschung in Fachzeitschriften

Page 17: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Replizierbare Forschung in Fachzeitschriften

Nur 12 Journals verlangten auch den wichtigen Berechungscode. 

Page 18: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Replizierbare Forschung in Fachzeitschriften

Nur 4 Journals hatten  für mehr als jeden zweiten Artikel im Archiv Forschungsdaten hinterlegt.

Page 19: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Infrastruktur zur Bereitstellung von Forschungsdaten in Fachzeitschriften

Ergebnisse einer Studie des EDaWaX –Projekts.

Page 20: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Forschungsdatenbereitstellung in Journals

Page 21: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Bereitstellung von Daten am Beispiel der AER

Page 22: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Probleme der Bereitstellung per zip-File:

> Wie zitiere ich solche Datensätze?

> Wie finde ich solche Datensätze (abseits des Artikels)?

> Woher weiß ich bei geschützten oder proprietären Datensätzen welches die verwendete Version des Datensatzes ist?

> Wie häufig werden die Daten nachgenutzt?

Page 23: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Ein Lösungsweg: Die EDaWaX Pilotapplikation

Page 24: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Übermittlung von Daten & Metadaten

Page 25: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Upload von Forschungsdaten und Syntax

Page 26: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Forscher wählen „Metadatenlevel“ selbst!

Page 27: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Ansicht: Forschungsdaten im Datenarchiv

Test-Datensatz!

Page 28: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Test-Datensatz!

Page 29: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Feature: Forschungsdatenpreview

Page 30: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

EDaWaX-Evaluierungsworkshop mit Herausgebern von Fachzeitschriften (18.11.2013)

Podiumsdiskussion zum Thema „Data Sharing“ bei der Jahrestagung des Vereins für Socialpolitik (VfS)(06.09.2013)

Page 31: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

Vielen Dank für Ihr Interesse!

Gibt es Anregungen, Fragen oder Kommentare ?

Kontakt:

Sven Vlaeminck | [email protected]

ZBW – Leibniz Informationszentrum Wirtschaft

Neuer Jungfernstieg 21

20354 Hamburg Alle Inhalte dieser Präsentation sind mit der CC BY-NC-SA 3.0 DE Lizenz versehen.

Paper, Reports, etc.:http://www.edawax.de/downloads