Wie misst man den Einsatz von OER und deren Wirkung?

Dr. Dominic Orr, Leitender WissenschaftlerFiBS-Institute for Educational and Socio-Economic Research, Berlin, [email protected](zum Teil mit Input von Prof. Fred Mulder, Internationaler OER Experte / Emeritus UNESCO Chair [email protected] )

Wie misst man den Einsatz von OER und deren Wirkung? Erste Ideen aus der Arbeit in einer neuen internationalen Arbeitsgruppe zu einem globalen Monitoringsystem

Campus Innovation 2016 &Konferenztag Digitalisierung von Lehren und LernenHamburg, 18 November, 2016

mailto:[email protected]

mailto:[email protected]

2Campus Innovation 201618/11/2016

Orr

Inhalt

1. Warum messen?2. UNESCO-Aktivitäten3. Lernen vom Monitoring-Bericht für den Bologna Prozess4. Drei politische Steuerungsinstrumente für OER5. Fokus auf OER-Impact6. Prozess rund um Monitoring7. Übersicht der Bereiche für ein Monitoring von OER


Orr

OER-Initiativen überall in der ganzen Welt

- https://oerworldmap.org/ - http://open-educational-resources.de/16/atlas/

https://oerworldmap.org/

http://open-educational-resources.de/16/atlas/


Orr

Warum den Einsatz von OER und deren Wirkung messen?

*Abbott, K. W., Genschel, P., Snidal, D., & Zangl, B. (Eds.). (2015). International Organizations as Orchestrators. Oxford University Press.

Für das Mainstreaming von OER bedarf es Information über den weltweiten Einsatz von OER und zu deren Wirkung, um Akzeptanz für OER zu entwickeln (OER nicht als beängstigend,

sondern normal) Evidenzen zu sammeln, die das Potential von OER aufzeigen Unterstützung durch politische Maßnahmen zu erreichen, die

über Rahmenveränderungen, Finanzierung und Informationskampagnen das Potenzial für die Verbesserung des Lehrens und Lernens fördern

Viele OER-Initiativen wollen „machen“, sammeln aber seltener Informationen / Daten über ihre Erfolge

Mainstream


Orr

Slowenien ist in 2017 Gastgeber für den 2. OER-Weltkongress, der ein Meilenstein nach der Paris OER Deklaration in 2012 darstellt. Initiiert und angeführt von UNESCO es verfolgt das Ziel OER für Bildung weltweit und für alle einzusetzen.

UNESCO will die Entwicklung von nun verpflichtenden Empfehlungen für OER-Umsetzung fortsetzen, aber die Vereinbarung eines solchen normativen Instrumentes mit allen UN-Mitgliedern ist unwahrscheinlich.

Monitoring / Benchmarking kann als ein alternatives, weiches Steuerungsinstrument verwendet werden

Monitoring kann eine überzeugende, verbindliche Kraft entwickeln, die internationalen Organisationen nutzen können, um ihre Ziele im Rahmen der unterschiedlichen nationalen Begebenheiten zu erreichen. * So wurde es erfolgreich im Rahmen des Bologna-Prozesses verwendet.

UNESCO-Vorhaben: Monitoring zu OER-Einsatz und -Auswirkungen

*Abbott, K. W., Genschel, P., Snidal, D., & Zangl, B. (Eds.). (2015). International Organizations as Orchestrators. Oxford University Press.


Orr

• Der Bologna-Prozess ist eine kollektive Initiative von Behörden, Universitäten, Lehrer/inne/n und Schüler/inne/n, Interessenverbänden, Arbeitgebern, Qualitätssicherungsagenturen, internationalen Organisationen und Institutionen und der EU

• Koordination der Berichterstattung war (und ist) von einer Arbeitsgruppe aus Ländervertreter/inne/n und begleitet von den so genannten Datensammlern (Eurostat, Eurydice, EUROSTUDENT).

• Im Jahr 2009 wurden zwei Berichte produziert, einer der hauptsächlich qualitative / normative Ziele verwendete um die Erfüllung von gesetzten Zielen zu überprüfen und der andere, der versuchte die qualitativen Ziele mit Hilfe quantitativer Indikatoren abzubilden. In den 2012 und 2015 Berichten wurden beide Ansätze zusammengeführt.

Was können wir vom Bologna Prozess lernen?


Orr

Was wir lernen können…

• Formulierung von normativen Zielen (die für jede Monitoring-Welle aktualisiert werden)

• Einstufung durch Farbe (angepasstes Ampelsystem)

• NB: Es dauerte 12 Jahre (oder 4 Drei-Jahres-Wellen), um ein stabiles Monitoring-Instrument zu entwickeln


Orr

Regulationen – „Peitsche“Regelungen einsetzen (von leitenden bis zu legislativen), die versuchen, den Einsatz von OER zu stimulieren und möglicherweise zu sichern.Ökonomische Mittel – „Zuckerbrot“Regierungen tragen zum Einsatz von OER bei durch die Art der Investition in Bildung im allgemeinen und durch spezielle finanzielle Unterstützung.Information – „Predige“Regierungen unterstützen den Einsatz von OER, indem sie Informations- und Verbreitungsaktivitäten, aber auch Forschung fördern.

Drei politische Steuerungsinstrumente für OER*

*Bemelmans-Videc, M.-L., Rist, R. C., & Vedung, E. (Eds.). (1998). Carrots, Sticks, and Sermons: Policy Instruments and Their Evaluation. Transaction Publishers.


Orr

Drei politische Steuerungsinstrumente für OER*Regulierung, z.B. Finanzierung, z.B. Information, z:B.

Relative Bedeutung von OER in nationalen Strategiedokumenten

OER-förderliche Regulierungen für OER-Produktion (z.B. wenn öffentlich gefördert, müssen Produkte frei lizenziert werden)

Qualitätssicherung fördert Flexibilität und Weiterentwicklung bei Lernressourcen

OER-Einsatz sowie Zusammenarbeit zwischen Lehrpersonal wird bei der Ausbildung, Weiterbildung sowie Evaluation von Lehrpersonal berücksichtigt

Projekt- oder Program-finanzierung für die Produktion und den Einsatz von OER

Angebot von freiwilligen oder verpflichtenden (Weiterbildungs-)Kurse für Lehrpersonal zum Einsatz von OER (ggf. mit Freizeitausgleich für die Teilnahme)

Preisausschreibungen für beste Praxen bei OER-Produktion und Einsatz

Investition in Infrastruktur, die für OER förderlich ist (z.B. Kollaborationstools)

Institutionelle Finanzierung abgängig von OER-Strategien

Informationskampagnen (Teilnahme an OER World Map)

Broschüre, Berichte, Videos zu den Vorteilen und Herausforderungen von OER

Gezielte Forschungsförderung sowie wissenschaftliche Begleitung bei OER-Initiativen


Orr

Impact: Was kann OER aus einer bildungspolitischen Perspektive?

Anzahl der Länder für die ein Argument überhaupt nicht wichtig, weniger wichtig, sehr wichtig war für die Begründung einer Förderung von OER (2014)*

Orr, D., Rimini, M., & van Damme, D. (2015). Open Educational Resources - A catalyst for innovation. OECD Publishing. http://doi.org/10.1787/9789264247543-en

sehr wichtig


Orr

Wichtige politische Ziele und OER-Wirkungserwartungen

• Zugänglichkeit von Bildung - erhöhen, da sie online frei verfügbar sind

• Qualität von Bildung - Qualitätsverbesserung durch OER erleichtern, weil der offener Charakter von OER es viele Experten und Benutzern erlaubt, sich in die Entwicklung von Lernmaterialien einzubringen, diese zu überprüfen und zu bewerten.

• Effizienz von Bildung – erhöhen, da das Prinzip des Teilens die Rechtfertigung von mehreren groß angelegten Entwicklungen ähnlicher Kurse von verschiedenen Bildungseinrichtungen in Frage stellt.

• & Innovation – stimulieren durch gleichzeitige Veränderungen von Zugänglichkeit, Qualität und Effizienz

*Mulder, F. (2013). The LOGIC of National Policies and Strategies for Open Educational Resources. IRRODL, 14(2), 5–9. http://www.irrodl.org/index.php/irrodl/article/view/1536/2505

http://www.irrodl.org/index.php/irrodl/article/view/1536/2505

http://www.irrodl.org/index.php/irrodl/article/view/1536/2505


Orr

Es gilt zwei Arten der Wirkung von OER zu unterscheiden: (Orr/Mulder 2016):

OER als (wahrscheinliche) direkte Ursache• z.B. eine Verringerung der Kosten für den Zugriff auf Lernmaterialien, eine Erhöhung

des Innovationsgehalts, eine Erhöhung der Aktualität der Lernmaterialien (z.B. die offenen Lehrbuch-Initiativen des USA-Community-College-Sektors).

OER mit indirekter Wirkung• OER als wichtiger Katalysator für bestimmte Tätigkeiten oder Auswirkungen, die auch

ohne OER auftreten könnten. So kann OER z.B. zu neuen (besseren) Lernsituationen beitragen. Aber sehr oft wird dieses mit einer anderen Maßnahme in Beziehung stehen (wie problembasiertes Lernen oder kompetenzbasiertes Lernen), so dass der beobachtete Effekt nicht direkt oder vollständig auf OER zurückzuführen ist.

Auswirkungen von OER schwer zu bewerten, da Ursache/ Wirkung unsicher sind

Daher für Monitoring schwierig, aber mit dem Ansatz “Most-Significant-Impact”* können Fallstudien und Forschungsstudien im

Monitoring-Bericht integriert werden

*Dav

ies,

R.,

& D

art,

J. (2

004)

. The

“M

ost S

igni

fican

t Cha

nge”

(M

SC) T

echn

ique

. http

://d

oi.o

rg/1

0.11

04/p

p.11

0.15

9269


Orr

Die entscheidende Bedeutung einer angemessenen Rahmung des Prozesses

Die OER Gemeinschaft steht für offene Diskussionen unter ihren Mitgliedern und wird stark durch das Argumentieren für die „gute Sache“ angetrieben.

solche Gemeinschaften sind gefährdet, "exklusiv" (geschlossen für Nicht-Mitglieder) und nicht empfänglich für Fragen von der Außenwelt zu werden.*

Breite Akzeptanz und Nutzung des Monitorings hängt wahrscheinlich von zwei Bedingungen ab:

politische Entscheidungsträger/innen sind in allen Prozessstufen beteiligt, von dem Indikator-Design bis zur Begleitung der Arbeitsgruppe.

OER-Wirkungen werden im Kontext von nationalen politischen Debatten und allgemeinem Bildungskontext verortet (z.B. Beispiel USA: OER tragen zur Erschwinglichkeit des Bildungszugangs durch billige oder kostenfreie Lehrbücher, aber die Wirkung erscheint nur da, wo Lehrbücher wichtig sind).

*Littlejohn, A., Falconer, I., Mcgill, L., & Beetham, H. (2014). Open Networks and Bounded Communities: Tensions Inherent in Releasing Open Educational Resources. In A. Littlejohn & C. Pegler (Eds.), Reusing Open Resources: learning in open networks for work, life and education (pp. 57–69). Oxon: Routledge.

Gemeinschaft von OER- Experten und -Aktivisten

Regierungen, politische

Entscheidungsträger und Geschäftsführer


Orr

Bereiche für Monitoring – auf internationaler, nationaler und Projektebene

Einsatz-IndikatorenRegulation ……. ……. …….

Ökonomische Mittel ……. ……. …….

Information ……. ……. …….

WirkungsindikatorenZugänglichkeit ……. ……. …….

Qualität Innovation ……. ……. ……. ……. ……. …….

Effizienz Nachhaltigkeit ……. ……. ……. ……. ……. …….

(direkte Ursache/ indirekte Wirkung)

Wie misst man den Einsatz von OER und deren Wirkung?

Education

Transcript of Wie misst man den Einsatz von OER und deren Wirkung?