Qualitätsentwicklung & Evaluation von E-Learning – eine kritische Zwischenbilanz

Prof. Dr. Patricia ArnoldHochschule München

Campus Innovation, 26.11.09, Hamburg

Folie 2Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Anlass: Zeit für einen Rückblick…Anlass: Zeit für einen Rückblick… Qualitätsentwicklung im e-Learning Qualitätsentwicklung im e-LearningBis 2003 (Arnold et.al. 2004) DIN 9000ff.

EFQM

LQW

ZFU Leitfaden

Seit 2004 PAS 1032-1/2 („Prozessmodell) 2004

ISO 19796-1/3 (Internationaler Standard) 2005/2009

PAS 1037 „QM-Stufenmodell“) 2004

PAS 1068 „Beipackzettel“ 2006

PAS 1069 „Leitfaden“ 2009

Qualitätsplattform Lernen

Gütesiegel TU Darmstadt

E-Learning Label TU Darmstadt

Certificate of E-Learning (CEL)

…

Folie 3Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Struktur des VortragsStruktur des Vortrags

1. Herausforderung Qualität im E-Learning

2. Qualitätsentwicklung im Überblick

3. E-Learning Label der TU Darmstadt

4. Referenzprozessmodell PAS 1032-1

5. Qualitätsplattform Lernen (QPL)

6. Zwischenbilanz - und neue Herausforderungen

Folie 4Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Herausforderung: Qualität im E-Learning Herausforderung: Qualität im E-Learning

„Eine Eigenart von Bildung insgesamt, die sie von anderen Dienstleistungen unterscheidet, ist, dass der Abnehmer der Leistung die Leistung selber mitproduziert.

Bildungsarbeit ist die Leistung derjenigen, die sich bilden, sie ist ein Prozess, der wesentlich subjektive Faktoren integriert, wie Interesse, Emotionalität und Engagement.“ (Küchler 2000)

Qualität wird „erst im Prozess des Lernens von den Lernenden selbst hergestellt.“ (Zimmer/Psaralidis 2000)

Ko-Produzentenverhältnis von Qualität im Bereich Bildung berücksichtigen!

Folie 5Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Qualität - ein vielschichtiges KonzeptQualität - ein vielschichtiges Konzept

Begriffsdimensionen Einhalten / Über-

treffen von Standards

Fehlerlosigkeit

Zweckmäßigkeit

Angemessener Gegenwert

Transformation: Lernergebnis

Qualitätsebenen• Input-Aspekte• Durchführungs-Aspekte• Output-Aspekte

„Über Qualität […] lässt sich also nicht abstrakt, sondern nur in einem definierten Kontext verhandeln.“ (Küchler 2000)

• Produktqualität• Prozessqualität

Bezugspunkt

Folie 6Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Herausforderung: Qualität im E-Learning II Herausforderung: Qualität im E-Learning II

• E-Learning hochgradig interdisziplinär, zahlreiche verschiedene Akteure beteiligt, mit je unterschiedlichen Akteursperspektiven auf Qualität:

Lernende, Lehrende, Autoren, Medienentwickler, Teletutoren etc.

• Im Hochschulkontext: Fakultäten, Rechenzentren, Hochschulleitungen etc.

Verständigungsprozess über unterschiedliche Akteursperspektiven auf Qualität notwendig

Nachweis von Qualitätsmanagementsystemen zunehmend gefordert z.B. in der Anerkennungs- und Zulasssungsverordnung Weiterbildung (AZVW) im Bereich der beruflichen Bildung

Folie 7Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Qualitätsentwicklung im ÜberblickQualitätsentwicklung im Überblick

1 Qualität auf der Ebene des E-Learning-Produkts (Mikroebene) Z.B. TU Darmstadt Gütesiegel, ZFU-Leitfaden

2 Qualität auf der Ebene eines Bildungsangebots/Studiengangs (Mesoebene) Z.B. TU Darmstadt E-Learning Label, Certifcate of E-Learning

3 Qualität auf Prozessebene der Organisation (Makroebene): Z.B. QM-Modelle PAS 1032-1 (ISO 19796-1), PAS 1037 QM Stufenmodell

4 Qualität durch Preise/Auszeichnungen entwickeln – E-Learning Awards

5 Qualität durch Qualifizierung der Lehrenden/Online-Tutoren entwickeln

Folie 8Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Beispiel: Online-Studiengang Beispiel: Online-Studiengang BA Soziale Arbeit (basa-online)BA Soziale Arbeit (basa-online)

Mikroebene

Mesoebene

Makroebene

Online-Module mit multimedial aufbereiteten Studienmaterialien entwickeln

Online-Studiengang an den einzelnen Hochschulen (als Angebot des lebenslangen Lernens gemäß Bologna-Zielen) etablieren

Weiterentwicklungsprozesse (Aktualisierung, Evaluation etc.) auf Ebene des Anbieter-Hochschulverbundes entwickeln

Folie 9Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Beispiel E-Learning Label TU DarmstadtBeispiel E-Learning Label TU Darmstadt

Funktionen

Definition von EL-Veranstaltungen

Kennzeichnung von EL- Angeboten

Sicherung einer Mindestqualität

Etablierung von Evaluationsmaßnahmen zur Weiterentwicklung

Selbstevaluation mittels Online-Fragebogen

Evaluation durch Befragung der Studierenden

Durchführung

Lernerorientierung

Erweiterung der Lehr/Lerninhalte

Unterstützung der Selbststudiums-phasen

Betreuung und Beratung der Studierenden

Erweiterung der Lernzugänge

Aktivierung der Studierenden Im Lehr/Lernprozess Sonnberger 2008

Folie 10Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Überblick über EvaluationsverfahrenÜberblick über Evaluationsverfahren

Evaluation von E-Learning

Expertenverfahren Empirische VerfahrenKriterien-kataloge

Cognitive walkthrough

…Logfile-Analyse Befragun

gen

Beobach-tungen

+ geringer Aufwand, scheinen ...Qualität objektiv zu messen

- Berücksichtigen Lerner und ...Rahmenbedingungen nicht

+ reale Lernsituation berücksichtigt

+ Evaluationsdesigns mit Handlungsforschung …möglich

+ Lernerorientierung

- aufwändiger, je spezifisches Design

…

Folie 11Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Prozessmodell PAS 1032-1 (ISO 19796-1)Prozessmodell PAS 1032-1 (ISO 19796-1)

Konzeption des Medien- und Interaktions-designs

KonzeptionMedieneinsatz

Konzeption der Kommunikations-möglichkeiten und -formen

Anforderungsermittlung

Rahmen-bedingungen

Konzeption…

Produktion…

Einführung…

Durch-führung

Evaluation…

Konzeption Produktion Einführung

Folie 12Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Qualitätsmanagementmodelle im ÜberblickQualitätsmanagementmodelle im Überblick

. DIN EN ISO 9000ff.

LQW(Lernerorientierte Qualitätstestierung in der Weiterbildung)

PAS 1032-1/2(Aus– und Weiterbildung mit Schwerpunkt E-Learning)

generisch spezifisch

„Hauskonzept“

Spezifische Entwicklung für die eigene Organisation

EFQM(European Foundation for Quality Management)

Branchenunabhängig, „Übersetzungsleistung“ erforderlich

für Bildungssektor

PAS 1037(Organisationen der wirtschaftsorientierten Aus- und Weiter-bildung: QM STUFEN-MODELL)

ISO 19796-1/3(Informationstechnik - Lernen, Ausbilden und Weiterbilden )

für E-Learning

Folie 13Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Weitere Spezifikationen für E-LearningWeitere Spezifikationen für E-Learning

PAS 1068:2006

Aus- und Weiterbildung unter besonderer Berücksichtigung von e-Learning – Leitfaden zur Beschreibung von Bildungsangeboten

„Beipackzettel“ zur Förderung von Transparenz im E-Learning

PAS 1069:2009

Aus- und Weiterbildung unter besonderer Berücksichtigung von E-Learning - Leitfaden zum Referenzprozessmodell für Qualitätsmanagement und Qualitätssicherung - Planung, Entwicklung, Durchführung und Evaluation von Bildungsprozessen und Bildungsangeboten : Leitfaden und Qualitätsprofile für die PAS 1032-1

Leitfaden zur Umsetzung der PAS 1032-1 mit Praxisbeispielen

Folie 14Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Qualitätsplattform Lernen (QPL) Qualitätsplattform Lernen (QPL)

Verschiedene etablierte Instrumente der Qualitätsenwicklung sind integriert: Prozessmodell der ISO/IEC 19796-1 (bzw. PAS 1032-1 ), PAS 1068 „Leitfaden für die Begutachtung von Fernlehrgängen“ (ZFU), Qualitätssiegel E-Learning QSEL sowie alle derzeit relevanten

Zertifizierungsmodelle wie z.B. LQW, EFQM Kriterienkataloge z.B. des TU Darmstadt-Gütesiegels,.

Modularer Aufbau Teil A: Qualität von Bildungsangeboten Teil B: Qualität von Organisationen - Basic Teil C: Qualität von Organisationen – Exzellenz

Steht seit Juni 2009 unter Creative-Commons- Lizenz "BY-NC-SA 3.0" online zur Verfügung

Folie 15Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Zwischenbilanz …Zwischenbilanz …

Es liegen eine Reihe E-Learning spezifischer Zertifizierungsmodelle, Spezifikationen sowie ein internationaler Standard ISO 19796 vor - auf Prozess- wie auch auf Produktebene

Qualitätsentwicklung muss aber immer kontextualisiert erfolgen, d.h. auf die eigene Organisation, die Rahmenbedingungen, die Lernenden und die Ziele angepasst werden

Komplexer Aushandlungsprozess, der Ressourcen und Kommunikation benötigt („QM muss leben“)

Qualitätsentwicklung ist ein zyklischer, iterativer Prozess

Formative Evaluationen mit unterschiedlichen empirischen Verfahren integrieren

...und neue Herausforderungen:

Folie 16Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Neue Herausforderungen…Neue Herausforderungen…

Wie lassen sich Qualitätsstandards, Prozessmodelle und Spezifikationen auf E-Learning 2.0 (mit Wikis, Weblogs, Online Communities)sowie im Bereich der Freien Bildungsressourcen (Open Educational Resources OER) anwenden bzw. hier umsetzen?

Auf der Agenda 2010 der European Foundation for Quality in E-Learning (EFQUEL)

“Promote the use of Open Educational Resources through the identification of suitable methods for quality development for Open Educational Resources

Increasing usage in Open Educational Resources by creating mechanisms which improve the trust in Open Educational Resources within and outside of education” http://www.qualityfoundation.org/:

Folie 17Campus Innovation 2009Patricia Arnold, arnold@hm.edu

Vielen Dank… Vielen Dank…

…..für Ihre Aufmerksamkeit!

Kontakt:

Prof. Dr. Patricia Arnold

Fakultät für angewandte Sozialwissenschaften

Hochschule München

arnold@hm.edu