Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar |...

Was ist und wie misst man Qualität in der Wissenschaft?

Dr. Sigrun Nickel | DAAD-Lektoren Seminar | 22.Juli 2014

Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 2

Agenda

1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international

2. Überblick über Qualitätsbegriffe

3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung

4. Literaturhinweise


Agenda






Einen großen Raum nehmen Informationen ein, die eine Beurteilung von Leistungen in Forschung, Lehre und Studium in Hochschulen und Forschungseinrichtungen ermöglichen. Methoden: Indikatorgestützte Leistungsvergleiche, Peer Reviews/Evaluationen, wissenschaftliche Studien.

Längst geht es nicht mehr nur um die Offenlegung wissenschaftlicher Ergebnisse gegenüber Politik und Gesellschaft, sondern verstärkt auch um die Bewertung und Kontextualisierung erbrachter Leistungen etwa in Form von Evaluationen, Akkreditierungen, Benchmarks, indikatorgestützter Leistungsvergleiche und wissenschaftlicher Studien.

Vor diesem Hintergrund hat sich eine vielfältige Szene an Institutionen etabliert, die solche Informationen bezogen auf Hochschulen und Forschungseinrichtungen produzieren.

Hintergründe für gestiegenen Bedarf an

Informationen zur Qualitätsbeurteilung

5Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

In Deutschland aktive nationale Institutionen mit Informations-angeboten zur Leistungsbeurteilung in der Forschung

Quelle: Nickel, Duong, Ulrich 2013:Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium.

6Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014

In Deutschland aktive nationale Institutionen mit Informations-angeboten zur Leistungsbeurteilung in Studium und Lehre


7

In Deutschland aktive internationale Institutionen mit Informationsangeboten zur Leistungsbeurteilung in der Forschung

Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014


In Deutschland aktive internationale Institutionen mit Informationsangeboten zur Leistungsbeurteilung in Studium und Lehre


- Diskussion um europäisches Ranking während der Französischen Ratspräsidentschaft Im Zusammenhang mit European Classification: Classification

und Ranking als Instrument der Transparenz

Französische „Presidency Declaration“

- Alternative zu Shanghai-Ranking (genauer vgl. Ranking-Übersicht: http://www.che-ranking.de/cms/?getObject=47&getLang=de)

- Online-Portal U-Multirank: http://www.multirank.eu/

- Beteiligung aktuell: 879 Hochschulen in 70 Ländern weltweit


Projekt „Global University Ranking“

http://www.che-ranking.de/cms/?getObject=47&getLang=de

http://www.multirank.eu/

1. Schemes on education Types of degrees offered Range of subjects offered Orientation of degrees

(academic/professional) European educational profile

2. Schemes on reasearch and innovation Research intensiveness Innovation intensiveness

research European research profile

3. Schemes of students and staff profile International orientation Involvement in life-long-learning

4. Institutional schemes Size Mode of delivery Community services Public/Private funding Legal status

10

Diversifizierung im europäischen

Hochschulraum


2010 dritte Projektphase beendet: http://www.u-map.eu/

2005 Projektstart: Classifying European Institutions of Higher Education (CEIHE) – Mapping Diversity

http://www.u-map.eu/


U-Multirank bildet Hochschulprofile ab

Aufbauend auf U-Map, vgl. Folie 10


Agenda





„Qualität ist flüchtig, gleichzeitig aber die ‚driving force‘ des Hochschulsystems.“

Ada Pellert, 2002

Qualität ist anspruchsvoll

„Quality should be seen as a multi-dimensional und subjective concept. Good quality depends upon the objectives and criteria a person or group judges to be relevant in a specific context.“

Frans van Vught, 1994

Qualität ist relational

„Die Qualität von Forschung, Lehre und Studium zeigt sich in den sichtbaren Ergebnissen“.

Qualität ist nachweisbar

Sigrun Nickel, 2014

Exzellenz

Ziel- und Zweckerfüllung („fitness for purpose“)

Eignung des Ziels („fitness of purpose“)

Erfüllung formaler Richtlinien („compliance“)

Erfüllung von Standards

Kundenzufriedenheit

Gegenwert für Investitionen („value for money“)

Verantwortlichkeit („accountability“)

Fähigkeit zum institutionellen Wandel („capacity for change“)


Verbreitete Qualitätsbegriffe im

Hochschulbereich


Agenda






Kausalkette im Qualitätsmanagement

Zielqualität Prozessqualität Ergebnisqualität

Qualität der Zielsetzungen in Forschung sowie Lehre und Studium

Qualität der internen Prozesse einer Hochschule

Qualität der Ergebnisse der Studienangebote und Forschungsbereiche einer Hochschule

Qualität der Wirkungen der Studienangebote und Forschungsbereiche einer Hochschule


Unterschiedliche Qualitätsebenen in

Hochschulorganisationen


Qualitätsziele entscheidend bestimmt…

20

Agenturen für Qualitätssicherung

Stiftungen

Institute für Ranking/Rating

Studierende

Arbeitgeber

Weiterbildungsnachfrager

Scientific Community

Staat / Ministerien

BetriebeStaatliche und private Hochschulen

Staatliche und private Forschungsinstitute

Weiterbildungs-anbieter

Schulen

Politische Parteien

Kommunalverwaltung

Wirtschaft

Verbände

Ministerien

Forschungsförderung

EU

Medien

Alumni

Eltern Potentielle und aktuelle Arbeitgeber der Absolventen

PotentielleStudierende

Hochschule

MitbewerberÖffentlichkeit

Stadt / Region

S

taat

Leistungsabnehmer

Private Einrichtungen

… durch hochschulinterne und -externe Anspruchsgruppen

Nach Urs Scheidegger (2001): Management des Strategiepro-zesses von Universitäten

Zielqualität


Spezifisch: verständlich und einfach auf einen speziellen Sachbereich

hin formuliert

Messbar: der Erreichungsgrad kann anhand von Daten festgestellt werden

Anspruchsvoll: herausfordernd

Realistisch: umsetzbar

Terminiert: der Zeitraum, in dem das Ziel erreicht werden soll, ist angegeben; evtl. Meilensteine

Qualitätsbeurteilung

Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 22Messe ich Performanz oder Qualität?

Qualität ist

eine Eigenschaft oder ein Bündel an Eigenschaften

Indikatoren sind (meist) ‚Proxies‘

Frage: Welche Informationen sind für die Qualitätsentwicklung der Hochschule relevant?

Indikatoren messen in der Regel nicht genau das, was gesteuert werden soll und sind in erster Linie Kommunikationsanlässe.

Bezug von Indikatoren zu Zielen muss klar sein

Frage: Warum messen wir gerade das? Zeitpunkt der Messung beachten

Für Qualitätssicherung sind Frühwarnsignale wertvoll Verhaltenssteuernde Wirkungen von Indikatoren reflektieren

Frage: Was soll durch die Messung erreicht werden?

Nebenwirkungen beachten


Indikatoren – Was muss man

beachten?


„The application of mathematical and statistical methods to books and other media of communication“ (Pritchard, 1969).

Bibliometrie ist mit dem Aspekt der quantitativen Untersuchung der Wissenschaft ein Teilgebiet der Wissenschaftssoziologie, mit dem Aspekt der quantitativen Untersuchung von (publizierten) Informationen Teilgebiet der Informationswissenschaft und hat ihre Ursprünge in der Bibliothekswissenschaft.

Bibliometrische Indikatoren:

- Publikationen als Proxy für Produktivität (-> Spezialisierung)

- Koautorenschaften als Proxy für Kooperation (-> Netzwerkanalysen)

- Zitierungen als Proxy für Wahrnehmung in der wiss. Community

Forschungsindikatorik am Beispiel

Bibliometrie


Für die Gewinnung bibliometrischer

Daten genutzte Datenbanken

Web of Science (WoS) – vor allem Science Citation Index

Scopus Database (Elsevier)

Chemical Abstracts Service (CAS) Literaturdatenbank

INSPEC database for Physics, Electronics & Computing

Physical Review Online Archive (PROLA)

SAO/NASA Astrophysics Data System (ADS)

Google Scholar Citations

Wissenschaftsrat: Forschungsrating

Soziologie 2008, Bewertungskriterien


Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln. http://www.wissenschaftsrat.de/texte/pilot_ergeb_sozio.pdf


Soziologie 2008



Qualität in Lehre und Studium als

mehrdimensionales Konstrukt


Multifaktorielles Modell der Lehrveranstal-tungsqualität Quelle: Rindermann 2009

Beispiele Qualitätsindikatoren

Studium und Lehre


Qualitätsindikator Gewichtung

Benotung der Lehrveranstaltung (LV) insgesamt durch Studierende

50 %

Einschätzung der Angemessenheit des Arbeitsaufwandes

12,5 %

Einschätzung der Strukturierung der LV 12,5 %

Einschätzung des Engagements und der Motivation des Dozenten/der Dozentin

12,5 %

Einschätzung der Fähigkeit des Dozenten/der Dozentin, auf Fragen und Belange der Studierenden einzugehen

12,5 %

Nach: Craanen, Michael 2009: Fakultätsübergreifende Evaluation der Lehre am Karlsruher Institut für Technologie - KIT


31 verschiedene Indizes

„Kernset“ von 13 Indizes, die für alle Fächer verwandt werden

Indizes werden 1-10 Einzelitems gebildet

Skala von 1-sehr gut bis 6-sehr schlecht

Einteilung in Spitzen-, Mittel- und Schlussgruppe nach (nicht) signifikanter Abweichung vom Bundesmittelwert (im jeweiligen Fach)

31

Indikatorenbildung beim nationalen

CHE-Ranking: Studierendenurteile


Indikator Mittelwert Fallzahl GruppeMittelwert für alle

Hochschulen

Gesamturteil 3,63 52 3 2,91

Lehrangebot 3,5 52 3 2,92

E-Learning 2,89 41 3 2,43

Methodenausbildung 2,77 52 2 2,38

Praxisbezug 3,65 51 2 3,45

Studienorganisation 3,71 52 3 2,96

Betreuung 3,16 50 3 2,41

Kontakt Studierende 2,49 50 3 2,15

Arbeitsmarktbezug 3,4 45 2 3,29

IT-Infrastruktur 2,19 44 2 2,39

Räume 3,64 49 3 2,95

Bibliotheken 2,64 47 3 2,25

Auslandsaufenthalte 3,44 32 3 2,78

Evaluationen 3,69 41 3 2,85

[1] 1 = Spitzengruppe, 2 = Mittelgruppe, 3 = Schlussgruppe, 100 = nicht gerankt

Überblick Indizes (ein Fachbereich)


Lehrangebot MittelwertGesamt-

MittelwertStandard-

abweichungFallzahl

Anteil gut bis

sehr gut

Anteil mangel-haft bis

un-genügend

Inhaltliche Breite des Lehrangebots

3,37 2,69 1,24 52 28,8% 19,2%

Forschungsbezug der Lehrveranstaltungen

3,24 2,89 1,22 49 28,6% 22,4%

Internationale Ausrichtung des Lehrangebots

3,8 3,35 1,38 46 19,6% 34,8%

Interdisziplinäre Bezüge innerhalb des Lehrangebots

3,32 2,66 1,32 47 27,7% 17%

Didaktische Vermittlung des Lehrstoffs

3,39 2,77 1,13 51 23,5% 19,6%

Möglichkeit, frühzeitig an der Forschung teilzunehmen

4,00 3,24 1,30 47 14,9% 42,6%

33

Detaildaten auf Einzelitemebene (ein FB)


Agenda






Harvey, L. / Green, D. (1993): Defining Quality. In: Assessment and Evaluation in Higher Education, Vol. 18, No 1, S. 9-34.

Hornbostel, S. (2010): (Forschungs)Evaluation. In: Simon, D. / Knie, A. / Hornbostel, S. (Hg.): Handnbuch Wissenschaftspolitik. Wiesbaden, S. 293-309

Kehm, B.M. (2014): Global university rankings: impacts and unintended effects. In: European Journal of Education, 49 (1), S. 102-112. Download: 10.1111/ejed.12064, abgerufen am 15.07.14.

Lessenich, S. (2014): Gibt es richtiges Leben im Falschen? Eine Warnung. In: DUZ 06/2014, S. 22.

Pellert, A. (2002): Hochschule und Qualität. In: Reil, T. / Winter, M. (Hg.): Qualitätssicherung an Hochschulen: Theorie und Praxis. Bielefeld, S. 21-29.

Nickel, S. (Hg.) (2014): Implementierung von Qualitätsmanagementsystemen. Erfahrungen aus der Hochschulpraxis. Gütersloh. Download: http://www.che.de/downloads/CHE_AP_163_Qualitaetsmanagementsysteme_2014.pdf,

Nickel, S. / Duong, S. / Ulrich, S. (2013): Informationsstrukturen zur Beurteilung von Leistungen in Forschung, Lehre und Studium. Akteure und Datenangebote in Deutschland. Download: http://www.che.de/downloads/CHE_AP_172_Leistungsbewertung_in_der_Wissenschaft.pdf, abgerufen am 15.07.14.

Literaturhinweise

http://dx.doi.org/10.1111/ejed.12064%20%3Chttp:/dx.doi.org/10.1111/ejed.12064%3E

http://www.che.de/downloads/CHE_AP_163_Qualitaetsmanagementsysteme_2014.pdf

http://www.che.de/downloads/CHE_AP_172_Leistungsbewertung_in_der_Wissenschaft.pdf


Rindermann, H. (2009): Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerba sierten Unterrichts. 2. Leicht korrigierte Auflage. Landau.

van Vught, F. A. (ed.) (2009): Mapping the Higher Education Landscape. Towards a European Classification of Higher Education. Towards a European Classification of Higher Education. Dordrecht.

van Vught, F.A. / Ziegele, F. (eds.) (2012): Multidimensional Ranking. The Design and Development of U-Multirank. Dordrecht.

Schmooch, U. (2014): Trotz alledem: Mitmachen lohnt sich. Eine Entwarnung. In: DUZ 06/2014, S. 23.

Serrano-Velarde, K. (2008): Evaluation, Akkreditierung und Politik. Zur Organisation von Qualitätssicherung im Zuge des Bologna-Prozesses. Wiesbaden.

Sondermann, M. / Simon, D. / Scholz, A.-M. / Hornbostel, S. (2008): Die Exzellenzinitiative: Beobachtungen aus der Implementierungsphase. iFQ-Working Paper No. 5. Bonn. Download: http://www.forschungsinfo.de/Publikationen/Download/working_paper_5_2008.pdf, abgerufen am 24.06.2013.

Literaturhinweise

http://www.forschungsinfo.de/Publikationen/Download/working_paper_5_2008.pdf

Vielen Dank für

Ihre Aufmerksamkeit!

[email protected]

Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar |...

Documents

Transcript of Was ist und wie misst man Qualität in der Wissenschaft? Dr. Sigrun Nickel | DAAD-Lektoren Seminar |...