Was macht die Professionalität von Schulinspektoren aus? … · empirische und theoretische...

Deutsche Gesellschaft fürBildungsverwaltung

Professionalisierung von Schulinspektion und SchulaufsichtTagung der AG QualitätssicherungBad Kreuznach, 2.-3. März 2012

Was macht die Professionalität von Schulinspektoren aus?Hans Anand PantHumboldt-Universität zu Berlin Institut zur Qualitätsentwicklung im Bildungswesen (IQB)

2 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht

1. Forschungsstand zur Professionalität und Professionalisierung von Schulinspektion?

2. Die Güte von Inspektionsurteilen als Indikator professionellen Handelns

3. Transfer von Modellen der Lehrerkompetenz auf die Schulinspektion?

4. Fazit

Übersicht


Evaluation als Kontrolle vs. Evaluation als Entwicklung

„Während die Kontrollfunktion der Schulevaluation darauf abzielt, Lernergebnisse und die Ergebnisse schulischer Entwicklungsprozesse zu messen und zum Zwecke der Soll-Sicherung Soll-Ist-Vergleiche anzustellen, dient die „Evaluation als Entwicklung“ dazu, konkrete Verbesserungen in der schulischen Praxis einzuleiten und Schulentwicklungsprozesse im Sinne einer formativen Evaluation zu begleiten.“

Zielfunktionen von Schulinspektion

Oder nach Hopkins 1989:

evaluation of vs.

evaluation for vs.

evaluation as school improvement

Quelle: Kotthoff & Böttcher 2009


Typisierung von Evaluationsformen(van Ackeren & Klemm, 2009, S. 160)


Quelle: Ehren & Visscher 2006, S. 66

Wirkmodell von Schulinspektion


Quelle: Ehren & Visscher 2006, S. 55

Kommunikationsstile von Schulinspektor/innen


Desiderata für diagnostische Professionalität

Komplexe diagnostische Aufgaben:Diagnostische Kompetenz für Unterrichtsbeobachtungen (Diagnostisches Handeln der Lehrkraft nachvollziehend erkennen können)Diagnostische “Meta”-Kompetenz, um die Angemessenheit des diagnostischen Lehrkrafthandelns kriterienorientiert beurteilen zu können.Organisationsbezogene Diagnosekompetenz: Beurteilung, inwieweit (un-) angemessenes diagnostisches Handeln an einer Schule systemisch verankert ist und welche Akteure/ Prozesse dafür entscheidend sind. (“Multi-Level-Kompetenz”)Idealerweise sollten Inspektoren nicht nur das diagnostische Verhalten an einer Schule beurteilen können, sondern ebenso die daraus (nicht) abgeleiteten Interventionen


Handlungsrahmen Schulqualität in Berlin (SenBWF, 2007)

Diejenigen Aspekte des Handlungsrahmens, die im Zuge der Schulinspektion betrachtet werden, sind farblich unterlegt


Kernelemente von Qualitätsrahmen der Länder

Unterrichtsqualität (Lehrangebote, Lernklima) Professionalität der Lehrkräfte (didaktische und

Fachkompetenz, Kooperation) Schulführung und Schulmanagement (Kommunikation,

Verwaltungsablaufe) Innerschulische und außerschulische Partnerschaften

(Kooperation mit Vereinen) Qualitätssicherung und -entwicklung (Schulprofil,

Selbstevaluation)


Klassische AuffassungValidität als Inhalts- Konstrukt- und Kriteriumsvalidität

Samuel Messick (1995, American Psychologist)Validität als Argument, nicht als Koeffizient (APA, AERA, NCME)

• Validität ist für Messick (1995) die allgemeine Bewertung des Grades, in demempirische und theoretische Evidenz für die Angemessenheit von Interpretationenund Handlungen, die auf diagnostischen Messungen beruhen, vorliegen.

• Dies bedeutet, dass alles drei, die Bedeutung, die Interpretation und die darausabgeleiteten Handlungen von Messungen valide sein müssen.

• Validierung bedeutet demnach die kontinuierliche, empirische Evaluation vonMesswertinterpretationen sowie der Konsequenzen, die sich aus diesenInterpretationen ergeben.

Definition von Validität nach Messick


Definition von Validität nach Messick

Validierung bedeutet die kontinuierliche, empirische Evaluation von Messwertinterpretationen und diagnostischen Urteilen sowie der Konsequenzen, die sich aus diesen Interpretationen ergeben.

“Alles ist Konstruktvalidität”

Valid

itäts

teila

spek

t

Inha

lt

Subs

tanz

Stru

ktur

Gene

ralis

ierb

arke

it

Exte

rnal

Wirk

unge

n


Die Evaluation des substanziellen Aspekts von diagnostischen Instrumenten erfordert, dass nicht nur die Inhalte eines diagnostischen Verfahrens repräsentativ sind, sondern auch die Prozesse, die zur Erzielung guter Messergebnisse benötigt werden.

Werden die Prozesse, welche innerschulisch die Basis für Schul- und Unterrichtsqualität bilden, im Rahmen der Schulinspektion ausreichend repräsentiert?

Gibt es überhaupt prozesssensitive Messungen? (Snapshots vs. Movies)

Der Kern des substanziellen Aspektes von Validität besteht im Bereich der Schulinspektion sicher aus der Unterrichtsbeobachtung und betrifft hier im speziellen die Frage, ob diese Beobachtung geeignet ist, die Unterrichtsprozesse abzubilden, welche Lernprozesse tatsächlich beeinflussen (Oberflächen- vs. Tiefenmerkmale).

Substanzaspekt der Validität


Empirische Validierungsstrategie der Strukturüberprüfung

ReliabilitätsanalyseBeziehen sich die jeweiligen Indikatoren eines Qualitätsmerkmals im Sinne einer internen Konsistenz auf EIN Konstrukt.

FaktorenanalyseSpiegelt sich die in den Qualitätsrahmen definierte Struktur in den empirisch ermittelbaren Zusammenhängen wieder?

Strukturaspekt der Validität


16

Transparenz der Indikatoren („Macht des Faktischen“):

Das Betonen (oder Weglassen) bestimmter Qualitätsaspekte wird als normative Botschaft verstanden, worauf es im Unterricht ankommt.

Beispiel Sachsen



17

Transparenz der Indikatoren („Macht des Faktischen“):

Das Betonen (oder Weglassen) bestimmter Qualitätsaspekte wird als normative Botschaft verstanden, worauf es im Unterricht ankommt.

Beispiel Hamburg: 1-seitiger Bogen

+ Appendix



DA FB UB INT SR

Inf. Inf. Inf. Inf. Inf.

IND IND IND IND IND

PM PM

Ergebnisse Reliabilitätsanalyse

α n Profilmerkmal (PM),54 6 PM 3: Zufriedenheit

,45 7 PM 4: Schuleigene Lehrpläne,43 3 PM 5: Classroom Management,59 4 PM 6: Aktiver Lernprozess,56 6 PM 7: Zielgerichteter Lernprozess,42 5 PM 8: Klassen- und Arbeitsklima,18 4 PM 9: Transparente

Leistungsanforderungen,51 4 PM 10: Diagnostik und individuelle

Förderung,57 5 PM 11: Aktive Beteiligung am

Schulleben,19 4 PM 12: Schulkooperationen,79 5 PM 13: Führungsverantwortung,75 6 PM 14: Qualitätsmanagement,30 3 PM 15: Unterrichtsorganisation,49 5 PM 16: Personalentwicklung,59 4 PM 17: Schulprogramm

,59 5 PM 18: Qualitätsentwicklung



19

Zweckmäßige Organisation des Unterrichts α = .645.1 Die Unterrichtszeit wird effektiv genutzt5.2 Umgang mit Normen, Regeln, Störungen5.3 Klasseneinrichtung und Lernumgebung unterstützen den Lernprozess (geringe Trennschärfe)Aktives und selbstständiges Lernen α = .796.1 Anregungen zu aktiver Teilnahme6.2 Anregungen zur Zusammenarbeit und gegenseitigen Unterstützung6.3 Schüler/innen planen bzw. verwirklichen selbstständig den Lernprozess6.4 Schüler/innen legen eigene Lösungen dar bzw. reflektieren darüberUnterrichtliches Vorgehen α = .807.1 Deutlich strukturierter Unterricht7.2 Deutliches Erklärverhalten, Aufgabenverständlichkeit7.3 Regelmäßige Überprüfung des Verstehens7.4 Niveauunterschiede berücksichtigt (geringe Trennschärfe)7.5 Wechselnde Arbeitsformen7.6 Der Lebenswelt der Schülerinnen/Schüler entsprechend (geringe Trennschärfe)Pädagogisches Verhalten α = .858.1 Entspannte und anregende Lernatmosphäre8.2 Förderung positiven Umgangs untereinander8.3 Fairer, respektvoller Umgang mit Schülerinnen/Schülern8.4 Positive Erwartungen an Schülerinnen/Schüler8.5 Realistische Ansprüche an Einsatz und Leistung (geringe Trennschärfe)



20

Klassenmanagement α = .645.1 Die Unterrichtszeit wird effektiv genutzt5.2 Umgang mit Normen, Regeln, StörungenUnterricht strukturieren, Methoden variieren α = .807.1 Deutlich strukturierter Unterricht7.2 Deutliches Erklärverhalten, Aufgabenverständlichkeit7.3 Regelmäßige Überprüfung des Verstehens7.5 Wechselnde Arbeitsformen7.6 Der Lebenswelt der Schülerinnen/Schüler entsprechendAktives und selbstständiges Lernen α = .826.1 Anregungen zu aktiver Teilnahme6.2 Anregungen zur Zusammenarbeit und gegenseitigen Unterstützung6.3 Schüler/innen planen bzw. verwirklichen selbstständig den Lernprozess6.4 Schüler/innen legen eigene Lösungen dar bzw. reflektieren darüber7.4 Niveauunterschiede berücksichtigtKlassenklima α = .858.1 Entspannte und anregende Lernatmosphäre8.2 Förderung positiven Umgangs untereinander8.3 Fairer, respektvoller Umgang mit Schülerinnen/Schülern8.4 Positive Erwartungen an Schülerinnen/Schüler8.5 Realistische Ansprüche an Einsatz und Leistung



21

Interview schwächste Methode der Datenerhebung

Datenverlust • Daten werden nicht oder falsch erfasst (unabsichtlich)• Thema wurde bereits erwähnt / als unwichtig eingeschätzt (absichtlich) • These: Datenverlust zwischen 20 und 60%

Falsche / interpretative Aussagen• falsche Zahlen • unzulässige Verallgemeinerungen• ungenaue Verwendung der Protokollformulare• Interviewkrisen werden nicht protokolliert• Interpretationen (selten): Meinungen werden als Handlungen ausgelegt,

Planungen als realisierte Umsetzungen, Unsicherheit als Nichtwissen.• Fixierung auf Defizite oder eigene Hypothesen



22



23


Eine Faktorenanalyse deutet auf hohe Zusammenhänge zwischen allen Bewertungen des Unterrichtsbeobachtungsbogens. Dies kann zweierlei bedeuten

die bewerteten Qualitätskriterien hängen in der Realität ebenfalls hoch zusammenes liegt ein Beurteilungsfehler im Sinne eines Globaleindrucks vor

Einzig ein Faktor Aktivierung lässt sich von den übrigen Bewertungen trennen.


Transformation von Inspektorenurteilen in ein kriteriales Niveaumodell:

Ein empirisches Stufenmodell der Unterrichtsqualität


Quelle: Jahresbericht der Schulinspektion Hamburg 2009-2010 (2011, S. 67)

Das Hamburger Modell der Stufen von Unterrichtsqualität


Die Suche nach dem „guten Lehrer“ – ein Modell für die Suche nach dem „guten Inspektor“?

Frühe Lehrerforschung (1960-70er Jahre)

Welche Persönlichkeitsmerkmale sind wichtig für Lehrer? Wenig Erkenntnisse, die konstruktiv nutzbar waren (vgl. Bromme, 1997; Bromme &

Haag, 2004)

Prozess-Produkt-Paradigma (ab 1970er Jahre)

Verlagerung des Fokus: Betrachtung von Unterrichtsprozessen (z. B. Brophy & Good, 1986)

Expertise-Forschung (ab 1990er; z. B. Ericson & Smith, 1991)

Domänenspezifisches Wissen als erklärungsmächtiger Faktor für erfolgreiches Handeln in vielen Bereichen

Übertragung auf Lehrerkräfte: Diskussion um die Rolle von fachspezifischem Wissen (Shulman, 1986, 1987; Bromme, 1992)


Kompetenzmodell von COACTIV

Professionelle Kompetenz von Lehrkräften

reichhaltiges Repertoire an Handlungsmöglichkeiten Professionswissen, Überzeugungen, motivationale

Orientierungen und selbstregulative Fähigkeiten Domänenspezifische und allgemeine Kompetenzaspekte

Unterrichten als Kernaufgabe

Klassenführung (effektive Zeitnutzung) Kognitive Aktivierung (durch Aufgabenselektion und

Implementation) Konstruktive Unterstützung (Aufmerksamkeit, Geduld,

individuelle Anpassung)(Baumert & Kunter, 2006; Kunter et al., 2011)


Aspekte professioneller Kompetenz von Lehrkräften

Überzeugungen/Werthaltungen/

Ziele

MotivationaleOrientierungen

Professions-wissen

Beratungs-wissen

Pädagogisches Wissen

Organisations-wissenFachwissen

Fach-didaktisches

Wissen

Kom

pete

nzbe

reic

heK

ompe

tenz

face

tten

Wis

sen

über

das

m

athe

mat

isch

e D

enke

n vo

n S

chül

er(in

nen)

Tief

es V

erst

ändn

is d

er

Sch

ulm

athe

mat

ik

Wis

sen

über

mat

hem

atis

che

Auf

gabe

n

Erk

läru

ngsw

isse

n

Wis

sen

über

effe

ktiv

e K

lass

enfü

hrun

g

Wis

sen

über

Met

hode

n

Wis

sen

über

Lern

proz

esse

Selbstregulation


29

1. Weiterentwicklung der Instrumente der Unterrichtsbeobachtung hinsichtlich Transparenz / Inhalt / Struktur

2. Starker Ausbau der Vorabbefragungen, insbesondere in Bezug auf die Erfassung der Wahrnehmung des Unterrichts durch SuS

3. Abschwächung der Bedeutung der InterviewsInterview weniger als eigenständige Methode der Datengewinnung, sondern vielmehr als offene Methode (Beispiel Sachsen: Rückmeldung von Stärken / Schwächen der Schule aus Sicht von LK, SuS und Eltern)

Fazit Weiterentwicklung Instrumentarium


Fragen bezüglich der Festsetzung von Schwellenwerten (insbesondere: ab wann gilt eine Schule als unter Standard)

Kriteriale oder soziale NormenSchwellenwert aufgrund der Unterschreitung eines Kriteriums oder anhand der Gesamtbewertung, nicht-kompensatorisch, kompensatorisch oder gemischtSchwellenwert nur für Schulen unter Standard oder für mehrere Kategorien (gute Schule, exzellente Schule, …)Beteiligte Gruppen am Prozess der FestlegungTrennung zwischen Diagnose und anschließender Entscheidung

Vorschlag: da einzelne Kriterien zu unreliabel sind, sollte die Entscheidung „unter Standard“ stets auf einer Art Gesamtbewertung fallen.

Fazit: Professionelle Urteilsprozesse verbessern


31

Fazit: Weiterentwicklung zu einem dialogischen Instrumentarium aller Akteure


32

33

[email protected]

Vielen Dank für Ihre Aufmerksamk it!

34 | plietsch! Bildungsstandards als Qualitätsmonitor

Wirkannahmen nach dem Modell von Gärtner

Schulinspektion als Rückmeldesystem mit Fokus auf schulischen Prozessen

SchuleSchule

Reak-tionen

der Schule

auf Ankündi-

gung Insp

ektio

nser

gebn

is

Rezep-tion

Reflex-ion

Aktion Evalua-tion

Individuelle Bedingungen SL / LK

Organisationale Bedingungen

Intendierte Wirkungen

Veränderung der Schüler-

leistung

Nebeneffekte

Vor der Inspektion Nach der Inspektion

Insp

ektio

n

Externe Bedingungen

Was macht die Professionalität von Schulinspektoren aus? … · empirische und theoretische...

Documents

Transcript of Was macht die Professionalität von Schulinspektoren aus? … · empirische und theoretische...