DeGEval AKSchule 2016-06-02 Nieder Seiberth · » Externe Evaluation in Form von Normüberprüfung...

Hessische Lehrkräfteakademie

Dr. Tanja Nieder-Seiberth & Dr. Susanne Frühauf

Schulevaluation und Schulentwicklung: Ohnmacht der internen – Krise der externen Evaluation


Gliederung

� Externe Schulevaluation: Merkmale der Evaluationsmodelle der Bundesländer

» Gemeinsame Merkmale

» Variierende Merkmale

� Interne Schulevaluation:

» Im Vergleich mit der externen Schulevaluation

» Interne Schulevaluation (in Hessen): Sachstand

� Schulevaluation und Schulentwicklung:

» Ohnmacht der internen Schulevaluation

» Krise der externen Schulevaluation


Externe Schulevaluation


Externe Schulevaluation: Gemeinsame Merkmale

� Als Reformmaßnahme in nahezu allen Bundesländern als Element eines „umfassenderen Qualitätssicherungssystems “ eingeführt

� zusätzlich zur Schulaufsicht im Gesamtsystem eingeführt

» In Abgrenzung zur Aufsicht als (teil-)standardisiertes wissenschaftlich fundiertes Verfahren

� Evaluationsgegenstand ist die Schule als Organisation, erster Adressat für Ergebnisberichte ist die Schule (v. a. Schulleitung)

� Gegenstandsbereich ist normativ über landeseigene Referenzrahmen eindeutig festgelegt, umfasst eine Vielzahl von Qualitätsmerkmalen

� Funktionale Mischform: Impuls für die Entwicklung der Einzelschule und evidenzbasierte Steuerungsunterstützung durch Datenaggregation


Externe Schulevaluation: Variierende Merkmale

� Institutionelle Einbindung und Zusammenarbeit mit Schulaufsicht

» eigenständige Institution, Teil des Landesinstituts, Zuordnung von Inspektionsteams zur regionalen Schulaufsicht, Referat im Ministerium

» komplette Ausgrenzung, Mitwirkung im Inspektionsteam, Mitwirkung bei der schulinternen Ergebnisverarbeitung, Zielvereinbarungen nach der Inspektion

» Personalstatus der Inspektor*en (feste Planstelle vs. AO)

� Auswahl der Schulen» Freiwilligkeit / Verpflichtung, Zufallsauswahl, Auswahl nach Aufsichtskriterien, Repräsentativität

� Einbezug von Schülerleistungsdaten und Kontextdaten

� Ergebnisberichte» mehr oder weniger deskriptiv, datenbasiert und formalisiert, Handlungsempfehlungen,

Veröffentlichung

Maritzen, 2015 Kodex-Tagung Berlin


Interne Schulevaluation


Interne Schulevaluation

� steht in den meisten Ländern im verbindlichen Zusammenhang mit der Schulprogrammarbeit (z.B. HSchG)

» § 88 (2) 1[die Schulleiterin der Schulleiter] ist insbesondere verpflichtet, für die Entwicklung, Fortschreibung und Umsetzung des Schulprogramms sowie für die interne Evaluation zu sorgen.

» § 127 (2) Sie überprüft regelmäßig in geeigneter Form die angemessene Umsetzung des Programms und die Qualität ihrer Arbeit (interne Evaluation).

� soll langfristig sicherstellen, dass sich Schulen selbstständig und kontinuierlich der Qualität ihrer Arbeit vergewissern und die Ergebnisse interner Evaluationen effektiv in ein schulisches Qualitätsmanagement einbinden


Vergleich interne und externe Schulevaluation

Interne Schulevaluation Externe Schulevaluation

Gegenstandsbereich hochgradig individuell Gegenstandsbereich normativ eindeutig festgelegt

auf engen (schulrelevanten) Wirklichkeitsausschnitt konzentriert

„Überprüfungsbereich“ ist breit, umfasst Vielzahl von Qualitätsmerkmalen,

breite Beteiligung des Personals „Beteiligung“ vor allem der Schulleitung

formativ in Prozesse eingebunden summativ als turnusmäßiger Statusbericht

schulindividuell in Konzeption, Durchführung und Verarbeitung

hochgradig standardisiert

Betonung der Schulentwicklungsfunktion im Rahmen der Schulprogrammarbeit

Funktionenmix aus Schulentwicklung und Rechenschaftslegung

Evaluationskompetenz nicht ausreichend vorhanden qualifiziertes Personal für eine Evaluationsmaßnahme

Methodenkompetenz und Instrumente nicht ausreichend vorhanden

Anwendung eines Mix an sozialwissenschaftlichen Methoden


Interne Schulevaluation: Hessen (Zweijahresbericht der

Schulinspektion, 2013, N = 748)

gute Praxis


Durchführung interner Evaluation an Schulen

� in rund einem Drittel der Schulen finden Evaluationen in relevanten Bereichen statt

� eingesetzte Instrumente sind oftmals nicht angemessen für die Evaluationsfrage

� 90% der Schulen haben Probleme, Indikatoren für die Zielerreichung zu formulieren

� Aber: Schulen haben Interesse an interner Evaluation und Fragen, die sie an die Schulgemeinde richten wollen. Über die Hälfte der hessischen Schulen entscheidet sich für eine schulspezifische Anpassung des Schulinspektionsverfahrens:

» Ein Drittel der Schulen wählt eine Profilschwerpunktevaluation

» Ein Viertel der Schulen ergänzt die Onlinebefragung um eigene Fragen


Durchführung interner Evaluation an Schulen

� in rund einem Drittel der Schulen finden Evaluationen in relevanten Bereichen statt

� eingesetzte Instrumente sind oftmals nicht angemessen für die Evaluationsfrage

� 90% der Schulen haben Probleme, Indikatoren für die Zielerreichung zu formulieren

� Aber: Schulen haben Interesse an interner Evaluation und Fragen, die sie an die Schulgemeinde richten wollen. Über die Hälfte der hessischen Schulen entscheidet sich für eine schulspezifische Anpassung des Schulinspektionsverfahrens:

» Ein Drittel der Schulen wählt eine Profilschwerpunktevaluation

» Ein Viertel der Schulen ergänzt die Onlinebefragung um eigene Fragen

» Die Rückmeldungen über die Nützlichkeit der Ergebnisse für die schulische Weiterarbeit unterscheiden sich nicht zwischen Profilschwerpunkt und externem Standardkanon


Schulevaluation und Schulentwicklung: Ohnmacht der internen

Schulevaluation

� Probleme der internen Schulevaluation (Janssens und van Amelsvoort 2008; Blok et al.

2008; Blok et al. 2008; Schildkamp und Visscher 2010; Vanhoof et al. 2011).:

» Mangelndes Knowhow bei Durchführung von Evaluationen

» Probleme bei der Interpretation der Ergebnisse

» Verknüpfung von interner Evaluation mit den Zielen der Schule ist oft nicht vorhanden (nicht systematisch eingebunden, keine umfassendes QM)

» mehrheitlich Beschreibung der Qualität der eigenen Arbeit, ohne Bewertung

» mangelnde Einbindung der Betroffenen in Evaluation

» oftmals nur grobe Beschreibung der Maßnahmen, ohne konkrete Maßnahmenplanung

» häufig nur Zufriedenheitsbefragungen bei schulischen Gruppen

» (…)



Schulevaluation

„Insgesamt ist gegenwärtig zu konstatieren, dass Schulen kaum in der

Lage sind, interne Evaluation durchzuführen und als kontinuierlichen

Entwicklungsprozess zu betreiben“

(Gärtner, 2013)

Um die Entwicklungsfunktion zu erfüllen, müssen Schulen in die Lage zu versetzt werden, gute Evaluationen durchzuführen.

(Landwehr, 2011)

„Die Entwicklungsfunktion kann durch eine gute interne

Evaluation vollumfänglich abgedeckt werden.“


Schulevaluation und Schulentwicklung: Krise der externen

Schulevaluation

� Verschiedenartigkeit der konkreten Ausgestaltung erschwert Konturierung eines Berufsbildes und Standards

� Konflikt- und Kooperationslinien mit der Schulaufsicht sind nicht ausreichend geklärt, dadurch konstruktive Zusammenarbeit erschwert


Schulevaluation und Schulentwicklung: Krise der externen

Schulevaluation

� Externe Evaluation ist nicht eindeutig und mit eindeutiger Funktionszuschreibung im Gesamtsystem verankert

» Externe Evaluation agiert im Spannungsfeld der Funktionszuschreibung und Wirkungserwartungen: Impuls für die Entwicklung der Einzelschule und evidenzbasierte Steuerungsunterstützung durch Datenaggregation (Rechenschaftslegung)

» Externe Schulevaluation steckt in einem „Funktionen-Mix-Wirksamkeits-

Fokussierungs-Dilemma“ - „hybride Grundsignatur“ der Inspektionsmodelle (Maritzen, 2015) vs. einseitige Fokussierung auf die Entwicklungsfunktion


Wirksamkeitsannahmen/ Funktionen externer

Schulevaluation (Landwehr, 2011)

16


Annahmen / Wirkungserwartungen

� Schulen werden durch externe Schulevaluationen besser

� Lernen und Entwicklung über Einsicht und Erkenntnis

� Inspektionsberichte motivieren und befähigen Schulen, „Defizite“ zu beseitigen und Stärken auszubauen

� Wenn die externe Evaluation auf Akzeptanz stößt, steigt die Wahrscheinlichkeit, dass Ergebnisse verarbeitet werden daraus Entwicklungsimpulse resultieren (Ehren & Visscher, 2006)

� Wenn die Qualität der Inspektion stimmt, wird sie hohe Entwicklungswirksamkeit erzeugen


Empirische Befunde

� hohe Akzeptanz der externen Schulevaluation (vor allem bei Schulleitungen)

� hohe wahrgenommene Qualität des Verfahrens

� kaum Auswirkungen der externen Schulevaluation auf Schul- und Unterrichtsentwicklungsmaßnahmen – trotz Nutzung der Daten bei Planung (Zweijahresbericht der Schulinspektion Hessen)

� wenig „Inbesitznahme“ des zur Verfügung gestellten Wissens (Schule, Aufsicht, Ministerium)




19

Bo

tto

m-u

p




20

Bo

tto

m-u

pTo

p-d

ow

n


Annahmen / Wirkungserwartungen

� Externe Schulevaluation verhilft Normen (z.B. aus Referenzahmen) durch deren Überprüfung zur Wirksamkeit

� Schulen passen sich externem Druck an, indem sie sich auf die SI vorbereiten und dabei sich mit Qualitätsnormen auseinandersetzen.

� Organisationen entwickeln sich durch Induktion und Nutzung von Sanktions-Druck (Internalisierung durch äußeren Zwang)

� Externe Evaluation wirksames Mittel zur Steuerung der Qualitätsentwicklung


Empirische Befunde

� Ankündigung der externen Evaluation setzt Auseinandersetzung mit Schulqualität in Gang

� Der Wirkmechanismus der Erwartungsbildung durch Normenkommunikation dominiert den Wirkmechanismus schulinterner Feedbackverarbeitung (Altrichter et a.,

2016)

» Schulentwicklung eher antizipierender Anpassungseffekt und weniger die Konsequenz gesteigerter Einsicht aufgrund intensiver Verarbeitung von Feedback

� Je klarer und mit je mehr normativem Druck Kriterien kommuniziert, überprüft und Nichterreichung sanktioniert werden, desto eher Anstoß für Selbstevaluation und Entwicklungsaktivitäten (allerdings auch Nebenwirkungen)




23

Bo

tto

m-u

pTo

p-d

ow

n


Bewusstmachung von Normen – Angleichung der

Qualitätseinschätzung

Intensität der Auseinandersetzung mit den Ergebnissen

der ersten Inspektion

Differenz der Einschätzung der

Qualitätsmerkmale (Schulleitung / SI-

Team) in der zweiten Inspektion

3. Themen der Zielvereinbarungen sind in den

Entwicklungsvorhaben des Schulprogramms enthalten.

2. Die Zielvereinbarungen mit den Staatlichen Schulämtern

basieren auf den Schulinspektionsergebnissen.

1. Die Ergebnisse der Schulinspektion werden zur Planung

konkreter Vorhaben genutzt.


Bewusstmachung von Normen –Angleichung der Qualitätseinschätzung

0.84

0.68

0.75

0.80

0.73

0.66

0.66

0.64

- 0.42

0.29

0.53

0.44

0.36

0.47

0.56

0.57

0.59

1.00 0.83

AUS 1

AUS 2

AUS 3

DIF QB 3Führung

DIF QB 2Qualitäts-Entwick-lung

DIF QB 4Professio-nalität

DIF QB 6Lehren/Lernen

DIF QB 5Schul-kultur

AUSDIF

Selbst/

Fremd

Perels, Frühauf, Zahn (2016) unveröffentlicht



und Krise der externen Schulevaluation

� Interne und externe Schulevaluation wirken auf unterschiedliche Weise nicht (wie gedacht) auf Schulentwicklung

» Für eine effektive entwicklungstreibende und steuernde interne Schulevaluation fehlt es den Schulen an Mitteln (Kompetenzen, Instrumenten, Unterstützung) und Kultur

» Externe Schulevaluation bewirkt (nicht unbedingt) eine einsichtsgetriebene evidenzbasierte Schulentwicklung

» Externe Evaluation wirkt eher über (gesteuerte) Normenkommunikation und Normenüberprüfung

» Externe Evaluation in Form von Normüberprüfung ist damit eher ein Instrument der Rechenschaftslegung gegenüber politischen Entscheidungsträgern und kann diese in ihren Entscheidungen unterstützen



und Krise der externen Schulevaluation

� Interne und externe Schulevaluation wirken auf unterschiedliche Weise nicht (wie gedacht) auf Schulentwicklung

» Für eine effektive entwicklungstreibende und steuernde interne Schulevaluation fehlt es den Schulen an Mitteln (Kompetenzen, Instrumenten, Unterstützung) und Kultur

» Externe Schulevaluation bewirkt (nicht unbedingt) eine einsichtsgetriebene evidenzbasierte Schulentwicklung

» Externe Evaluation wirkt eher über (gesteuerte) Normenkommunikation und Normenüberprüfung

» Externe Evaluation in Form von Normüberprüfung ist damit eher ein Instrument der Rechenschaftslegung gegenüber politischen Entscheidungsträgern und kann diese in ihren Entscheidungen unterstützen

(Landwehr, 2011)

Die Rechenschaftslegung ist vermutlich für die externe Schulevaluation die wichtigere

Existenzberechtigung als die Entwicklungsfunktion.


Schlussfolgerung / Fazit

� In einem „umfassenden“ System zur Qualitätssicherung und Entwicklung sollten die interne und die externe Schulevaluation getrennt, mit spezifischer systemischer Profilierung und einer zur Funktion passenden Wirkungserwartung verankert werden

» Interne Evaluation muss aufgebaut und Teil der innerschulischen Profession werden

» Interne Evaluation sollte systematisch unterstützt werden, damit sie effektiv an den Fragen der Schule orientiert in zyklische Entwicklungsprozesse eingebunden werden kann

» Externe Schulevaluation sollte als (legitimes) Instrument der Normenkommunikation und -Überprüfung implementiert werden und zur evidenzbasierten systemischen Qualitätsentwicklung genutzt werden (Rechenschaftslegung )

» Referenzsysteme bilden die normative Hintergrundfolie für alle Evaluations- und Entwicklungsprozesse (→ Überarbeitungen erforderlich? posiUve vs. negaUve Normierung)


Vielen Dank…

� …für Ihre Aufmerksamkeit

DeGEval AKSchule 2016-06-02 Nieder Seiberth · » Externe Evaluation in Form von Normüberprüfung...

Documents

Transcript of DeGEval AKSchule 2016-06-02 Nieder Seiberth · » Externe Evaluation in Form von Normüberprüfung...