Ein ressourcen-basiertes Instrument

zur Abbildung

geisteswissenschaftlicher Forschung

am Beispiel der Theologie

Wie soll man Forschungsqualität

in Geisteswissenschaften messen?

Dr. Wolfgang Schatz

Dr. Silvia Martens

Magdalena Dampz, MA

14.02.2017 2Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

1. Einleitung

2. Zielsetzung

3. Methodik

4. Resultate

5. Implementierung

6. Schlussfolgerungen

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

Gliederung

14.02.2017

• Evaluationsinstrumente - qualitative und quantitative

bibliometrische Daten

• breite Akzeptanz bei Natur-,

Technikwissenschaften, Medizin

• grosse Skepsis bei

Geistes- und Sozialwissenschaften

3Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

Wie kann man Forschungsleistungen messen?

14.02.2017

• Publikationsform (Monographie)

• Publikationsart: Print vs. online

• Publikationssprache

• Nationale Themen

(z.B. Rechtswissenschaften)

4Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

Probleme bei Geistes- und Sozialwissenschaften

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017 5

Deutschsprachige Zeitschrift

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

1. Monographie

2. Sammelband

3. Tagungsband

4. Hand-/Lehrbuch

5. Internationale Zeitschrift

6. Deutschsprachige Zeitschrift

7. Arbeitsbericht

8. Sonstige

Monographie

Welche Publikationsformen sind in Ihrer Disziplin wichtig?

Geistes- und

Sozialwiss.

Ingenieur-

wiss.

Natur-

wiss.

Lebenswiss. Heise, C., 2015, Umfrage:

Von Open Access zu Open Science Daten

14.02.2017 6

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

Theologische Fakultät, Universität Luzern, (Friesenhahn, 2012)

Publikationssprachen

14.02.2017

• Forschungsprojekte

• Nationales Expertennetzwerk

• Tagungen/Publikationen

http://www.performances-recherche.ch

7

Nationale Initiative

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017

1. Kriterienkatalog

beschreibt umfassend theologische Forschung

beschreibt Qualität der Forschung

2. Empfehlungen zur Forschungsevaluation in der

Theologie

3. Implementation der Ergebnisse

8Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

Ressourcen-basiertes Instrument zur Abbildung geisteswissenschaftlicher Forschung am Beispiel der Theologie

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017

• Differenzen zwischen

Fachbereichen

Konfession

Professorenschaft – Mittelbau

Sprachregion (= Wissenschaftskultur)

9Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

Hypothesen

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017

1. Forschungsprojekte

2. Forscherin/Forscher

3. Forschungsumgebung (institutionelle Aspekte)

i. prospektiv und retrospektiv

ii. deskriptiv und summativ

10Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

Dimensionen

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017 11Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

Kriterienkatalog

1Literatur

Experten-

interviews

Fokusgruppen

Kriterienkatalog

2Umfrage 1

Bewertung Kriterien

Zusätzliche Kriterien (offene Frage)

Mögliche Indikatoren

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017 12Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

Kriterienkatalog

2

Kriterienkatalog

3Umfrage 2

Experten-

gespräche

Bewertung Kriterien

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017 13Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

Kriterienkatalog

finalUmfrage 3

Experten-

gespräche

WorkshopsBewertung Indikatoren

Kriterienkatalog

3

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017

1. 17 Kriterien und 56 Subkriterien

Allgemeine Akzeptanz (>66% Zustimmung)

2. Grösste Akzeptanz bei Forschungsprojekten:

Klare Fragestellung und Zielsetzung

Angemessenheit der Methoden

Gewinn neuer Erkenntnisse

…

14Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

Ergebnisse

14.02.2017

3. Geringe Akzeptanz:

kompetitiv eingeworbene Drittmittel

Vernetzung und Forschungskooperationen

Interdisziplinarität

…

15Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017

4. Deutliches Misstrauen gegen quantitative Indikatoren (Bibliometrie, Drittmittel..)

5. Qualitative Beurteilung durch Peers gewünscht

6. Informed Peer Review akzeptiert

7. Theologie viele Gemeinschaften mit anderen

(Geistes-)wissenschaften

8. Kriterien bezogen auf Kirchenpraxis nur in

bestimmten Fachgebieten

16Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017

Ziele:

Erkenntnisse (Kriterienkatalog) in

Praxisanwendung umsetzen

Forschung sichtbar machen

(Forschungsqualität und Forschungsprofile)

17Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

Implementierungsprojekt

«Software zur Analyse und Visualisierung von Forschung»

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017

• Open Source Software

• https://www. unilu.ch/resqual

• keine Datenspeicherung

18Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017

1. Forschungsprojekte (prospektiv: Gesuche, retrospektiv:

abgeschlossene Projekte)

2. Forschende (z.B. Kandidaturen für eine Professur oder Stelle)

3. Forschungseinrichtungen oder Forschungsgruppen

19Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

Analysearten

14.02.2017

1. Default

Auswahl der Kriterien und Gewichtung aus dem

Theologieprojekt

2. Expertenmodus

Auswahl der Kriterien und Gewichtung wählbar

Einstellungen können lokal gespeichert werden

20Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

Modi

14.02.2017

5. Implementierung

21Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

14.02.2017

5. Implementierung

22Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

14.02.2017

Differenzen zwischen

Fachbereichen

Konfession

Professorenschaft – Mittelbau

Sprachregion (= Wissenschaftskultur)

23Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

gering

Ja

nein

gering

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

Hypothesen

14.02.2017

• Multidimensionaler Kriterienkatalog für Theologie (resp.

Geistes- und Sozialwissenschaften)

• Quantitative Indikatoren (informed peer review)

• Adaptive Software für objektive Bewertung und

Beschreibung von Forschung

24Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

1

Einleitung

2

Zielsetzung

3

Methodik

4

Resultate

5

Implemen-

tierung

6

Schluss-

folgerungen

14.02.2017 25Tagung Qualität verstehen – Komplexität managen – Graz, 2.-3. Februar 2017

Fragen?

14.02.2017 26

Vielen Dank für Ihre Aufmerksamkeit!