Post on 05-Apr-2015
© Maria Gutknecht-Gmeiner 2008
Einführung in das Europäische Peer Review
- die Projekte - das Verfahren
- Peer Review und der CQAF
© öibf, Gutknecht-Gmeiner 2008 2
Was Sie heute erwartet…
Projekte Peer Review in initial VET
Peer Review Extended
Peer Review Extended II
Das Europäische Peer Review Verfahren
Peer Review und der Gemeinsame Bezugsrahmen für Qualitätssicherung (CQAF)
Ausblick
Website und Kontakt
© öibf, Gutknecht-Gmeiner 2008 3
Peer Review in initial VET Projektziel: Entwicklung und Testierung eines Europäischen Peer Review
Verfahrens für die berufliche Erstausbildung Hintergrund/Idee: Mandat der TWG Quality in VET (2003) Projektlaufzeit: Oktober 2004 bis September 2007 Partnerschaft: 22 (25) Partner aus 11 Europäischen Ländern
AT, DE, DK, FIN, HU, IT, NL, PT, RO, UK, CH 13 (15) Einrichtungen der beruflichen Erstausbildung
Hauptprodukte: Europäisches Peer Review Handbuch Peer-Schulungsprogramm (webbasiert)
Pilotphase 2006: 15 transnationale Peer Reviews erfolgreich pilotiert in 8 Ländern (AT, DK, FIN,
IT, NL, PT, RO, UK); Peer-Pool (92), Evaluation der Pilotphase; Fertigstellung des Handbuchs 2007
© öibf, Gutknecht-Gmeiner 2008 4
Peer Review Extended Ziele: basierend auf den Ergebnissen des Projekts "Peer Review in initial VET"
den Beitrag von Peer Review für die Weiterentwicklung des Gemeinsamen Bezugsrahmen für die Qualitätssicherung (CQAF) ausloten
Einbezug neuer Länder (DE, HU, ES) Weiterentwicklung des Europäischen Peer Review Hanbuchs; Toolbox mit praktischen
Handreichungen für Schulen Szenarien für eine Implementierung von Peer Review auf nationaler/regionaler Ebene (AT,
IT, FI, HU, ES) Projektdauer: Jänner 2007 – Dezember 2007 9 Partnereinrichtungen aus 6 Europäischen Ländern
4 Einrichtungen der beruflichen Bildung (AT, DE, ES, HU), 3 Koordinierende Partner (AT, ES, HU), 3 Entwicklungspartner (AT, FI, IT)
Hauptprodukte (überarbeitetes Europäisches Peer Review Handbuch), Toolbox Berichte: 1) Nationale Szenarien (siehe oben) 2) Beitrag von Peer Review zum CQAF
Pilotphase 2007 4 transnationale Peer Reviews pilotiert (AT, DE, HU, ES) Sept. – Okt. 2007
© öibf, Gutknecht-Gmeiner 2008 5
Peer Review Extended II Ziele: "Innovationstransfer" basierend auf "Peer Review in initial VET" & "Peer Review Extended"
Anpassung des Europäischen Peer Review Verfahrens an neue Länder und an die berufliche Weiterbildung Entwicklung einer face-to-face Peer Schulung Weitere praktische Erprobung, Verbreitung
Dauer: November 2007 – Oktober 2009 14 Partnereinrichtungen aus 9 Ländern, 3 „neue“ Länder (CZ, SI, TR) Hauptprodukte
Europäisches Peer Review Handbuch für die berufliche Weiterbildung Curriculum für Peer Schulung Verbreitung und Informationsmaterialien
Pilotphase April 2008 – April 2009 6 Peer Reviews geplant
Aktueller Status Produkte in Bearbeitung Pilotphase laufend (bis Frühjahr 2009) Peer Schulung: in Wien im Oktober 2008
© öibf, Gutknecht-Gmeiner 2008 6
Was ist Peer Review?
Externe Evaluation
Durchgeführt von "Peers", d.h. gleichgestellten, unabhängigen (Fach)KollegInnen aus anderen (vergleichbaren) Institutionen
Baut auf einer Selbstevaluierung auf
Schließt einen Peer Besuch ein
Evaluationsverfahren mit langer Tradition im Hochschulbereich
© öibf, Gutknecht-Gmeiner 2008 7
Allgemeines Ziel des Europäischen Peer Reviews
Das Europäische Peer Review Verfahren
unterstützt Bildungseinrichtungenin ihren Bemühungen
zur Verbesserung der Qualität ihres Bildungsangebots.
© öibf, Gutknecht-Gmeiner 2008 8
Das Europäische Peer Review Verfahren
Grundlegende Charakteristika
Ablauf - Phasen eines Europäischen Peer Review
Peers
Qualitätsbereiche
© öibf, Gutknecht-Gmeiner 2008 9
Peer Review als formative Evaluation
Europäisches Peer
Review
WachstumKontrolle
Macht Dialog
VerantwortungVertrauen
Evaluationslandkarte nach Nisbet 1990
Entwicklungnach innen
nach außenRechenschaft
© öibf, Gutknecht-Gmeiner 2008 10
Grundlegende Charakteristika Peer Review Externe formative Evaluation Ziel: Unterstützung der Qualitätsentwicklung an der
evaluierten Schulen ("improve not prove") innerhalb der Profession (in der Berufsbildung) durch "kritische
FreundInnen" freiwillige Entscheidung der Schule zur Teilnahme, Ergebnisse
ergehen an die Schule, die über die weitere Nutzung entscheidet qualitatives Verfahren:
qualitative Evaluationsmethoden, Nutzung von existierenden quantitativen Daten
Evaluation im Netzwerk
© öibf, Gutknecht-Gmeiner 2008 11
Phasen eines Peer Reviews
© öibf, Gutknecht-Gmeiner 2008 12
Wer ist ein Peer?Ein/e Peer ist eine Person, die gleichgestellt ist mit der Person bzw. den Personen, deren Leistung
überprüft wird die im gleichen oder einem ähnlichen Fachbereich arbeitet und/oder in
einer vergleichbaren Einrichtung die extern (d.h. aus einer anderen Einrichtung kommt) und unabhängig ist
(ohne persönliche/institutionelle Parteilichkeiten)
und die über spezifische professionelle Fachkenntnisse und Expertise verfügt
(ähnliche Ausbildung, Werte, professionelle Kompetenzen und Haltungen, gemeinsame Sprache etc.) und
damit bis zu einem gewissen Grad „Insiderwissen“ über den zu evaluierenden Bereich in den Prozess einbringt und dieses mit der externen Sichtweise verbindet („externe/r InsiderIn“).
© öibf, Gutknecht-Gmeiner 2008 13
Zusammensetzung der Peer Teams4 Peers Beruflicher Hintergrund /
Institutionelle HerkunftErforderliche Kenntnisse und Kompetenzen
2 (min.) KollegInnen aus anderen Schulen (LehrerInnen, Management, Qualitätsbeauftragte, etc.)
Qualitätsbereiche Unterrichtserfahrung Qualitätssicherung und
Evaluation
1 VertreterInnen von Stakeholdergruppen (Unternehmen, zubringende und abnehmende Systeme, Sozialpartner, etc.)
Qualitätsbereiche Qualitätssicherung und
Evaluation
1 ProfessionelleR EvaluatorIn (kann auch von einer/m Peer der anderen Kategorien abgedeckt werden)
Expertise in Evaluation, Moderation and Kommunikation
Berufsbildungssystem
Gender Mainstreaming Expertise; ein Peer aus einem anderen Land
© öibf, Gutknecht-Gmeiner 2008 14
Was wird evaluiert?
Institutionelle Evaluierung: Schulen oder Teile von Schulen (keine Evaluierung von Personen!)
"Kerngeschäft" Lehren und Lernen im Mittelpunkt Prinzipiell mit jedem Qualitätsrahmen verwendbar
Österreich z.B. Q-Matrix in jeweiliger Ausprägung Transnationale Peer Reviews:
"Europäische Qualitätsbereiche" (14 Qualitätsbereiche)4 Bereiche zum Thema "Lernen und Lehren"Zuordnung der nationalen Qualitätsrahmen möglich sowie nationale Ergänzungen
© öibf, Gutknecht-Gmeiner 2008 15
Europäische Qualitätsbereiche QA 1: Lehrpläne QA 2: Lernen und Lehren QA 3: Prüfen und Beurteilen QA 4: Lernergebnisse und
berufliche Verwertbarkeit QA 5: Sozioökonomisches Umfeld
und Zugang QA 6: Management und
Verwaltung QA 7: Ziele & Werte und
strategische Planung
QA 8: Infrastruktur und finanzielle Ressourcen
QA 9: Personal: Planung, Rekrutierung, Entwicklung
QA 10: Arbeitsbedingungen QA 11: Außenbeziehungen und
Internationalisierung QA 12: Partizipation und soziale
Beziehungen QA 13: Gender Mainstreaming QA 14: Qualitätsmanagement und
Evaluierung
Mindestens einen der Qualitätsbereiche 1-4 "Schlüsselprozesse"
© öibf, Gutknecht-Gmeiner 2008 16
Peer Review & CQAF
Peer Review Prozess
(Analyse des Selbstberichts; Peer Besuch)
Follow-up(Konsequenzen aus dem Peer Review Bericht und Follow-up Aktivitäten) Peer Review
Bericht (Stärken &
Empfehlungen zur
Verbesserung)
Selbstevaluierung der
Einrichtung(Selbstbericht
)
Peer Review
Methode
CQAF Modell im Europäischen Peer Review
Peer Review als Methode
Beitrag zu externer Evaluierung
Verwendung von Indikatoren
Beitrag zu gegenseitigem Vertrauen, Transparenz
Peer Review unterstützt die Weiterentwicklung des CQAF
© öibf, Gutknecht-Gmeiner 2008 17
Peer Review als Evaluationsverfahren Peer Review als Instrument externer
Qualitätsbewertung (3. Element des CQAF-Modells). Flexibles Verfahren, baut auf bestehenden
Qualitätsaktivitäten auf (keine Dopplungen) Einfache Anwendbarkeit für Schulen (auch für
“Anfänger" in externer Evaluation) Kombination von interner und externer Evaluation:
Qualitätsentwicklung und Nachvollziehbarkeit. Kostengünstig
© öibf, Gutknecht-Gmeiner 2008 18
Peer Review als Evaluationsverfahren Hohe Nützlichkeit aus Sicht der Anwender Effizienz/Effektivität
(Beitrag zum 4. Element des CQAF-Modells): Verantwortlichkeit der Schule – unterstützt Effizienz. Hohe Akzeptanz von Peers in den Schulen. Wiederkehrende Reviews steigern fortlaufende Qualitätsentwicklung.
Innovationstransfer und Netzwerkbildung Öffnung, Dialog gegenseitiges Lernen (Nutzen für alle Beteiligten);
Ergebnisse und Erfahrungen bleiben „im System“.
Stärkt Qualitätsbewusstsein bei den Beteiligten im System (bottom-up) – passt zu Dezentralisierungsstrategien.
© öibf, Gutknecht-Gmeiner 2008 19
Die Qualitätsbereiche und der CQAF
DurchführungQualitätsbereiche 2, 8, 9, 10, 11, 12
ÜberprüfungQualitätsbereiche
13, 14
Evaluierung & Bewertung
Qualitätsbereiche 3, 4
PlanungQualitätsbereich
e5, 6, 7, 1
Peer ReviewMethode
2) Qualitätszirkel in jedem Qualitätsbereich enthalten.
1) Zuordnung der Qualitätsbereiche zu den Elementen des CQAF-Modells.
© öibf, Gutknecht-Gmeiner 2008 20
Ausblick
ENQA-VET: Thematische Gruppe zu Peer Review (2008-2009)
Nationale/regionale Implementierung in: Österreich, Finnland, Italien, Ungarn, Katalonien (Spanien)
Weitere eigeninitiative Aktivitäten in Berufsbildungseinrichtungen in verschiedenen Ländern
© öibf, Gutknecht-Gmeiner 2008 21
Peer Review Website
Die Peer Review Website bietet Information zu dem Europäischen Peer Review Verfahren den Peer Review Projekten Erfahrungen mit Peer Review Peer Review Implementierung
und Literatur und praktische Materialen: Peer Review Handbuch Peer Review Toolbox Berichte, Artikel, Publikationen, Erfahrungen
www.peer-review-education.net
© öibf, Gutknecht-Gmeiner 2008 22
Kontakt
Europäische Peer Review KoordinationÖsterreichisches Institut für Berufsbildungsforschung(öibf)
Mag. Dr. Maria Gutknecht-Gmeiner m.gutknecht-gmeiner@oeibf.at Mag. Judith Proinger j.proinger@oeibf.at
+43 – 1 – 31 0 33 34 - 0
www.oeibf.at
www.peer-review-education.net