Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine...

29
Notwendiges Übel oder ungenutzte Chance? Workload mehr als eine Kennzahl?! Stefen Müller, Technische Universität Kaiserslautern Zentrum für Lehrerbildung / Referat für Qualität in Studium und Lehre Leipzig, 23. Juni 2016

Transcript of Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine...

Page 1: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Notwendiges Übel oder ungenutzte Chance?

Workload ‐mehr als eine Kennzahl?! 

Stefen Müller, Technische Universität KaiserslauternZentrum für Lehrerbildung / Referat für Qualität in Studium und Lehre

Leipzig, 23. Juni 2016

Page 2: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Inhalt

Einordnung und Kontext

Annahmen und Bedingungen zur Workloaderfassung

Workloadkurve− Verfahrensdarstellung− Möglichkeiten der Ergebnisdarstellung− Strukturvergleich von Studiengängen

Zusammenfassung

Page 3: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Begrifflichkeiten und kontextueller Rahmen

Bologna− Aufbau eines Europäischen Hochschulraums− Veränderung  der Studiengangstruktur und ‐inhalte− Qualitätssicherung an Hochschulen

Qualität− … ist das, was der Kunde verlangt (ökon.)− … im Spannungsfeld normativer Faktoren (päd.)

Qualitätsmanagement− „Erkennen und Beschreiben von Qualität knüpft direkt an das Managen von Qualität an.“ Faber (2009). Organisation und Innovation in der Bildung.

Page 4: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

„Die Hochschulen haben die Studierbarkeit des Studiums unterBerücksichtigung der Arbeitsbelastung der Studierenden im Akkreditierungsverfahren nachvollziehbar darzulegen.“ 

Funktionierende und administrierbare Studienorganisation

Sinnvolle Modularisierung

Adäquate Prüfungsorganisation

Praktikable Anerkennungsregeln

Angemessene Beratungs‐ und Betreuungsangebote

Realistischer Arbeitsaufwand (Workload)

Studierbarkeit als Merkmal von Qualität

Vgl. Köcher (2012). Sicherung der Studierbarkeit durch Qualitätsmanagement in Studium und Lehre. 

KMK (2010). Ländergemeinsame Strukturvorgaben für die Akkreditierung von Bachelor und Masterstudiengängen.

Page 5: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Exkurs: Operationalisierung im Bildungscontrolling

Definition von Parametern− Themenbereiche, Zustände, Leistungen

Messung − Direkt als Kennzahl − Indirekt als Indikator

Beurteilung− Festlegung von Kriterien und Standards zur Beurteilung der gemessenen Ausprägung

Schöni (2006). Handbuch Bildungscontrolling.

Page 6: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Exkurs: Operationalisierung im Bildungscontrolling

Definition von Parametern− Themenbereiche, Zustände, Leistungen

Messung − Direkt als Kennzahl − Indirekt als Indikator

Beurteilung− Festlegung von Kriterien und Standards zur Beurteilung der gemessenen Ausprägung

Schöni (2006). Handbuch Bildungscontrolling.

… als Beitrag zum besseren Verständnis und zur Verbesserung

… liefern kein vollständiges Abbild der Realität und können zudem den Messgegenstand verändern

… sollen die Steuerungsprozesse unterstützen und nicht bestimmen

Page 7: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

„Die ECTS‐Credits beruhen auf dem Arbeitsaufwand der Studierenden, der erforderlich ist, die erwarteten Lernergebnisse zu erreichen.“ 

60 ECTS Credits entsprechen dem Arbeitsaufwand eines Vollzeitstudiums eines typischen akademischen Jahres; 1 ECTS Credit entspricht 25 bis 30 Arbeitsstunden (Kontakt‐ und/oder Selbstlernzeit)

„Bei der Abschätzung des studentischen Arbeitsaufwands müssen Institutionen die Gesamtzeit ermessen, die von den Studierenden benötigt wird, um die gewünschten Lernergebnisse zu erzielen.“

„Workloaderhebungen: Bitte dokumentieren Sie die Ergebnisse der Workloaderhebungen anhand entsprechender Dokumente (z.B. Evaluationsberichte, Protokolle von Gesprächen, Auswertung von Lerntagebüchern o.a.).“ 

Workload Rahmenbedingungen

Europäischen Gemeinschaften (2009). ECTS‐Leitfaden.

AQAS (2011). Leitfaden zur Erstellung eines Akkreditierungsantrags.

Page 8: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

DatenerhebungFragebogenInterviewsTagebücher

Einfache vs. komplexe Designs

Studiengang‐ vs. Modul‐ vs. Veranstaltungsbezogen

Online / Paper & Pencil / Mixed

Charakteristika von Workloaderhebungen

Burck, Heil & Böhres.  Quantitative Workloaderhebungen.In: Steinhardt (2011). Studierbarkeit nach Bologna.

Retrospe

ktivitä

t

Paper & PencilOnline Mixed 

stark

mittel

schw

ach

StOEHn

ZEITlast

FELZ

steigend

er Aufwand

Page 9: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Ergebnisse bisheriger Studien (FELZ, ZEITlast, StOEHn …)

Ungleiche Belastungsverteilung im Semester

Starke interindividuelle Streuung

Starke studiengangbezogene Streuung

Workload wird unter‐/ überschätzt

Loser Zusammenhang von Noten und Workload

Messung reiner Arbeitszeitbelastung liefert kaum Anhaltspunkte für Verbesserungen

Page 10: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Annahmen und Bedingungen zur Workloaderfassung

Unterschiedliche Konzeptualisierungen von Zeit− objektiv messbare Zeit  vs. erlebte Zeit− Wahrnehmung von Zeit ist abhängig von Tätigkeiten, individueller Verfassung, sozialen Faktoren

Wird reines Zählen von Stunden Workload gerecht?

Workload ist „dreidimensional“− Zeiteinheit− Zeitintervall− Inhaltsbezug

„30 Stunden pro Woche“

Roth‐Ebner (2015). Der effiziente Mensch.

Page 11: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Annahmen und Bedingungen zur Workloaderfassung

Verfahrenskultur: Einschätzungsfähigkeit der Beteiligten

a) Einzeleinschätzung: Individuum  b) Mittlere Einschätzung der Gruppe: durchschnittliche  

Studierende

Konstruktionsbedingungen− Praktikabilität, Effizienz− Starker Bezug zu Beteiligten− Quantitative und qualitativen Komponente− Einbindung in Onlinebefragungen− Motivation durch Interaktivität− Selbstreflexivität zur Erfassung intangibler Faktoren

Page 12: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Workloadkurve der TU Kaiserslautern

• Abbildung der Workloadkurve‐ Konfigurierbare Abszisse (x‐Achse) für Zeitintervall/‐verlauf ‐ Grafisches Rating auf der Ordinate (y‐Achse) für Workloadausmaß‐ Textfelder für Inhaltsdimension

• Interaktive Online‐Umsetzung‐ Modellierung mit visueller Bestätigung ‐ Interpolationsmöglichkeit (explizite vs. implizite Punkte)

• Realisation als Flash‐Applet (Actionscript3)‐ Einbindung in beliebigen HTML Kontext (iFrame)‐ Datenaustausch über PHP/JAVAScript‐ Speicherung in MySQL Datenbank

Page 13: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Workloadkurve der TU Kaiserslautern

Beschreibung

1) Punktepool

2) Arbeitsfläche

3) Kurvenmodellierung

4) Beschriftungsfeld

5) Löschen

Page 14: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Möglichkeiten der KurvenbetrachtungIndividuelle Einzelkurvenanalyse Aggregierte Kurvenanalyse, Kurvengang (interpoliert) und visuelle Kurvenvergleiche ggf. gesplittet nach Merkmalsgruppen

Jeweils normierte Werte zwischen 0 und 1 Kurvenmittelwert (M)Minimum (Min.), Maximum (Max.) Range (R)Volatilität (V)

Workloadkurve – entwickelte Kenndaten

Page 15: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Workloadkurve Stichprobendaten

Einbettung in Online Fragbogen

796 Kurven; 6138 Datenpunkte (4799 beschriftet); 7‐8 Punkte pro Person

SoSe 

2011

WiSe

2011/2012

SoSe

2012

SoSe

2014*WiSe 2014/2015

Kontext  reine Workloadbefragung integriert in Studiengangbefragung

Lehramt Fachwissenschaftliche Studiengänge

StudiengangBio/Che/Mat/Soz

Geo/Spo

BCI 

(Ba)

BI 

(Ba)

EIT 

(Ba)

EIT 

(Ma)

WiWi

(Ba)

WiWi 

(Ma)

ausgefüllte Online‐Fragebögen 211 244 321 10 56 31 27 151 66

Workloadkurven (bereinigt) 150 199 213 9 27 20 20 104 54

Ausfüllrate Workloadkurve 71% 82% 66% 90% 48% 65% 74% 69% 82%

Datenpunkte 1175 1650 1578 77 225 168 127 768 370

Datenpunkte beschriftet 893 1250 1174 68 192 143 97 634 348

Beschriftungsquote 76% 76% 74% 88% 85% 85% 76% 83% 94%

Datenpunkte pro Person** 7,8 8,3 7,4 8,6 8,3 8,4 6,4 7,4 6,9

* 3x Kurve und 24% Fragebogenrücklauf** von max. 13 möglichen Punkten

Page 16: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Workloadkurve Auswertung  ‐ Beispiel im Lehramt

• Zeitraum 1. April ‐ 30. September • Maximal 13 Datenpunkte 

(2 Wochenrhythmus)• Einbettung in Onlinefragebogen• Fächer:

‐ Biologie ‐ Chemie‐ Mathematik‐ Sozialkunde

• Anzahl ‐ N = 150 

• Mittelwert‐ M = .662

Y‐Achsemin = 0; max = 1 

Page 17: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Workloadkurve – Vergleichsmöglichkeiten

Max .775Range .284Min .492

Max .819Range .347Min .472

Mathematik n = 49 M = .626

GesamtN = 150 M = .662

Y‐Achsemin = 0; max = 1 

Page 18: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Auswertung Datenpunktbeschriftungen

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

Häufigkeiten kategorisierte Nennungen im Fächervergleich gewichtet (NPersonen = 150;  NDatenpunkte = 860)  

Gesamt

BIO

CHE

MAT

SOZ

Page 19: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Verhältnis ausgewählter Arbeitsformen

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

t1 t2 t3 t4 t5 t6 t7 t8 t9 t10 t11 t12 t13

Praktika

Leistungsformen Uni

Lernen / Vor‐ / Nachbereitung

Klausur/Prüfungen

n 77 16 27 34 44 41 55 90 50 58 49 53 59

Page 20: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Bauingenieurwesen (Bachelor)

Page 21: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Elektro‐ und InformationstechnikBachelor Master

Page 22: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

WirtschaftswissenschaftenBachelor  Master

Page 23: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Zur Struktur von Studiengängen

Modulhandbuch als zentrales (Steuerungs‐) Dokument von Studiengängen …

… beschreibt Anforderungen 

… kontextualisiert Lehrveranstaltungen

… benennt zeitlichen Aufwand 

Übrigens: durchschnittlich 65 % des Workloads werden als Selbststudienzeit ausgewiesen.

Kerres & Schmidt. Zur Anatomie von Bologna‐studiengängen. In: Hanft et al. (2011). Studium 2020.

Page 24: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Ansätze einer Typologie der Studiengänge?!

Kontinuierlich Hoch‐

geforderte

Punktuell Spitzen‐

geforderte

Wechsel‐geforderte

Dauer‐geforderte

AbkürzungenBI = BauingenieurwesenWiWi = WirtschaftswissenschaftenEIT = Elektro‐ und InformationstechnikBCI = Bio‐ und Chemieingenieurwesen

Page 25: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Einzelkurve: Individuum − Sensibilisierung für WL− Individuelle Studienberatung− Selbstreflexion− Aspekte der Selbstwirksamkeit

− Entwicklung Selbstkompetenz

Kurvenschar: Studiengang− Sensibilisierung für WL− Workloadverteilung im Studiengang

− Monitoring− Studiengangentwicklung− Qualitätssicherung

Nutzungsszenarien

Anstoß zu Überlegungen wie z.B. stärkere Reflexion des Selbststudiums im Kontaktstudium (Studierende & Lehrende)

Page 26: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Baustein evidenzbasierter Qualitätsentwicklung, Monitoring

Ergänzung der Akkreditierungsforderungen 

Ergänzender Überblick zu Evaluation auf Fach‐, Modul‐, Studiengangebene 

Explorative „Problemidentifikation“

Generierung von Gesprächsanlässen

Reflexionsinstrument

Nutzungsszenarien

Page 27: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Grenzen des Verfahrens

Eigenes Kennzahlensystem‐> Vergleichsdaten müssen generiert werden

Im Kontext zu interpretieren‐> dialogisches Prinzip 

Keine Zeitmessung ‐> individuelle Selbsteinschätzung

Kein Zeitbezug der Ordinate ‐> semantische Ausprägung 

Retrospektiv ‐>Grad der Retrospektivität frei wählbar

Page 28: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Zusammenfassung

Studentisch akzeptiertes Verfahren / Positive Rückmeldung

Generierung leicht zugänglicher Darstellungen

Sensibilisierung von Studierenden, Lehrenden und Hochschulleitung

Unterschiede zwischen den Fächern

Ansätze einer Typologie

Konzentration von Arbeitsformen über das Semester

Anlassinduzierter Workload

Page 29: Workload mehr als eine Kennzahl?! - quantel.uni-leipzig.de€mehr... · Workload ‐mehr als eine ... −Indirekt als Indikator Beurteilung −Festlegung von Kriterien und Standards

Vielen Dank!

Stefen Müller

Technische Universität KaiserslauternZentrum für Lehrerbildung / Referat für Qualität in Studium und Lehre

[email protected]‐kl.de

http://www.uni‐kl.de/workload