Potsdam 09/2007 Dortmunder Akademie für pädagogische Führungskräfte Hans-Günter Rolff Folie 1...

Folie 1Potsdam 09/2007

Dortmunder Akademiefür pädagogische Führungskräfte

Hans-Günter Rolff

Konsequenzen aus Schulleistungsstudien/Bildungsmonitoring

und ihre Umsetzung auf der Ebene:

Einzelschule/Unterricht

Ein Input

von

Prof. Dr. H.G. Rolff

Auf dem OECD/CERI Regionalseminar der deutschsprachigen Länder in

Potsdam, am 27. September 2007



Hans-Günter Rolff

1. Vom Datenloch zum Datenhoch

Es sind kaum 10 Jahre her, da hatten Schulen und

Schulbehörden so gut wie gar keine Daten

Seit 10 Jahren ist eine unerwartete und ungeheure Datenfülle herangewachsen

„Mir werden haufenweise Daten über den Zaun geworfen,

ohne dass klar ist, was sich damit anfangen soll“ (Ein Schulleiter)

Der Datenhunger kommt nicht aus den Schulen, sondern aus den Behörden

Daten sind das eigentlich Neue



Hans-Günter Rolff

2. Datenquellen

TIMMS

PISA (1,2 und im Dezember 3)

IGLU (1 und im Dezember 2)

DESIMerkmale: Stichprobenerhebungen

Für Behörden gedacht;

zur Entwicklung von Einzelschulen nicht geeignet, weil der

Stichprobenfehler (Schätzfehler) zu groß ist

2.1 System-Monitoring



Hans-Günter Rolff

2.2 Lernstandserhebungen

Jahrgang 4, jetzt 3 (VERA)

Jahrgang 9, jetzt 8 (LSE)

Merkmale: Vollerhebungen

Für Schulen und Klassen valide, deshalb für Schul-

und Unterrichtsentwicklung geeignet.

Für die Diagnose von einzelnen Schülern nicht geeignet, weil

keine diagnostischen Tests benutzt werden

Gute Handreichung des MSW-NRW zur Nutzung der Daten



Hans-Günter Rolff

2.3 Schulinspektion/Qualitätsanalyse

Vorteil:

„Breites“, umfassendes Qualitätsverständnis

(gegen Trend zur „Drei-Fächer-Schule“)

Problem:

Wird häufig vor interner bzw. Selbst-Evaluation durchgeführt

(wenn noch keine Evaluationskultur in der Schule entstanden ist)

Wirksamer ist umgekehrte Reihenfolge



Hans-Günter Rolff

2.4 Service-Agenturen

IFS-Barometer

SEIS (Selbstevaluation in Schulen)

IQES (Schweiz)

andere

Vorteil:

Unaufwändig und preiswert

Problem:

Nicht schulgenau



Hans-Günter Rolff

2.5 Schuleigene, selbsterhobene Daten

Handreichungen zur Selbstevaluation der Ministerien

Evaluationshandbücher

Internetseite des IFS (www.ifs-dortmund.de – Link: Service – Link: Werkzeugkasten)

Andere „Instrumenten-Koffer“

Vorteil:

Die Forschung sagt, selbsterhobene Daten sind am wirksamsten für Schul- und Unterrichtsentwicklung

Problem:

Aufwändig



Hans-Günter Rolff

3. Datenreich und wissensarm? - Grundsätzliches

Es gibt noch mehr Datenquellen:

Ergebnisse zentraler Prüfungen

Schulstatistik („Oktoberstatistik“)

Kostendaten

Sozialindex

usw.

Aber was folgt aus ihnen? Zunächst nichts!



Hans-Günter Rolff

Variationen von Datensätzen

Juxtapositionsverhältnis von Datenrückmeldung und Nutzung – Rückmeldungen sind Interventionen

an Auftraggeber: System Monitoring

Lehr-plan

BildungspolitikSchulentwicklung

Variationen von Erläuterungen

Fach-lehrer

an Einzelschulen: Innerschulische

Nutzung

Schul-leitung

Fach-konfe-renzen

?

Program-me

Res-sourcen

Beratung/Trainings Daten-Rückmeldungen

„Das System, in das interveniert wird, entscheidet selbst, was es damit anfängt.“



Hans-Günter Rolff

Zum Juxtapositionsverhältnis

„Zwei-Welten-Theorie“

Wissenschaftliches Wissen vs. praktisches bzw. Handlungswissen

Serienregelung vs. Einzelfallregelung

Diagnose vs. Therapie

Zudem: Lehrpersonen haben eine „funktionale

Vetostellung“ (Brüsemeister)

Also: Nur „lose Kopplung“ von zentraler Steuerung (via

Daten) und innerschulischer Nutzung



Hans-Günter Rolff

Es handelt sich nicht um Unvereinbarkeit, aber um komplexe „Übersetzungsprozesse“, die über technische Lösungen oder Patentrezepte (z.B. „Druck machen“) weit hinausgehen.

Auch Rekontextuierung genannt

Sie setzen Kompetenz voraus (Datennutzung und Schulentwicklung)

Sie setzen Vertrauen voraus. Überall, wo Menschen mit anderen kooperieren müssen, die sie nicht kennen, ist Vertrauen notwendig (Brüsemeister)

Lösungs-Perspektive



Hans-Günter Rolff

Wandel durch Datennutzung (nach Argyris)MentalesModell

von Handlungen

veränderte Handlung

veränderte

s

erweiterter Kreislauf

Überprüfungder

Handlung

Handlung

geschlossenerKreislauf

neuesHandlungswissen

IFS- Rolff 06/02

Verlautbarte Theorie

durchdatengestützte Intervention

Gebrauchstheorie

Gebrauchstheorie

implizite

explizite



Hans-Günter Rolff

Umgang mit Daten ist Professionalisierung

Zeitgemäße Professionalität hat zum Kern,

datengestützte und

zielorientierte

Dialoge über die eigene Arbeit.

engl.: evidence based(D.Schön)

Professionalität verlangt traditionell nach einem akademischen Hintergrund, orientiert sich an Einzelfällen und setzt eine gewisse Autonomie der Berufsausbildung voraus.



Hans-Günter Rolff

4. Dilemmata

Wer bekommt die Daten?

Nur die Schule? Auch die Schulaufsicht/Eltern? Neutrale Instanzen –

wie z.B. Bildungsbüros? Presse?

Dilemma 1: Schulen sind öffentlich – aber: Bei uneingeschränkter Öffentlichkeit werden Daten in Watte gepackt (Daten, die etwas bewirken, müssen auch weh tun)

Dilemma 2: Wenn Personenschutz, dann Datenaggregation, dann gibt es keine Einzel-(Lehrer-)Rückmeldungen; wenn keine Einzelrückmeldung, dann entstehen Enttäuschungen (bei Inspektion, Peer-Review, SEIS usw.)



Hans-Günter Rolff

5. Zum Schluss einige Praxistipps



Hans-Günter Rolff

Auch „kleinere“ Datensätze können große Wirkung haben

Selbsterhobene Daten sind am wirksamsten für Schulentwicklung, verstanden als Entwicklung der eigene Schule.

Es gibt Daten, die jede Schule ohne viel Aufwand selbst erheben und auswerten kann:

- Lernkreuz

- Zielscheibe guten Unterrichts

- Diagnoseblatt zum Unterricht

- Schuldaten-Blatt



Hans-Günter Rolff

Lernkreuz

Bitte notiert zwei bis drei Sachen, die beim Lernen

•

•

•

•

•

•



Hans-Günter Rolff

Diagnose-Zielscheibe



Hans-Günter Rolff

Oben =Unten =

Diagnoseblatt zum Unterricht



Hans-Günter Rolff

Schuldaten-Blatt

Anmeldezahlen für Eingangsklassen

Grundschulempfehlungen

Übergänge in andere Schulformen

Migranten-Anteile

Daten zur Lese- und Sprachförderung

Personalbestandsdaten

Schul-Abschlüsse

usw.



Hans-Günter Rolff

6. Auswertungsdidaktik von Datensätzen

Es bietet sich ein Dreischritt an:

1. Gemeinsame Analyse der Daten (in Fach- oder Jahrgangskonferenzen bei Fachleistungsdaten, in Stufen- oder gesamtschulischen Konferenzen bei den übrigen Daten)

2. Gemeinsame Bestimmung eines Entwicklungsschwerpunktes: Woran wollen wir primär weiterarbeiten?

3. Umsetzung durch Schulentwicklungsprojekte

Zu empfehlen ist Unterstützung durch eine Steuergruppe

1.



Hans-Günter Rolff

Hinweise zur Reduzierung großer Datenmengen

Was überrascht?

Wo sind die größten Diskrepanzen zwischen

- Ist/Soll und

- Schüler-Lehrer- (und vielleicht Eltern) Angaben

und was bedeuten sie?

Welches sind die drei oder vier bedeutsamsten Ergebnisse?



Hans-Günter Rolff

7. Ein Beispiel aus NRW: Lernstandserhebungen

Schulinternes Vorgehen - idealtypischer Ablauf

Um das schulinterne Verfahren bei der Auswertung und Reflexion der Ergebnisse in der Lernstandserhebung zu erleichtern, empfehlen wir, die Vor- und Aufbereitung der

Ergebnisse auf verschiedenen Ebenen anzugehen:

1. Auswertung auf der Ebene der unterrichtenden Fachlehrkraft 2. Auswertung auf der Ebene der Fachgruppe (Fachlehrkräfte der

Jahrgangsstufe) – ggf. unter Mitarbeit der/ des Fachkonferenzvorsitzenden

3. Diskussion und Überlegungen zu Konsequenzen auf der Ebene der Fachkonferenz



Hans-Günter Rolff

Die vorgeschlagenen Beratungsebenen (2) und (3) können auch zusammengelegt werden. Dies gilt vor allem für Kollegien, die die Lernstandserhebungen gemeinsam in der Fachgruppe korrigiert und ausgewertet haben. Für jede dieser Ebenen werden Hinweise aufgeführt. Diese sollen als Anregungen verstanden werden, nicht als vollständig abzuarbeitende Liste.

Die Ergebnisse der Beratungen werden zu einer Information der Schulaufsicht zusammengestellt.



Hans-Günter Rolff

1. Auswertung auf der Ebene der unterrichtenden Fachlehrkraft

Zur Vorbereitung der Fachkonferenz empfiehlt es sich, dass die Kolleginnen und Kollegen ihre Erfahrungen und Eindrücke mit der Lernstandserhebung zunächst anhand folgender exemplarischer Fragen aufbereiten:

A) Vorbereitung:• Sind angemessene Strategien zur Testbewältigung vorhanden (test

wiseness)? • Sind Text- und Aufgabenformate bekannt bzw. wurden diese im

Unterricht geübt? B) Bedingungen bei der Testdurchführung:• Gibt es Hinweise auf mangelnde Testbereitschaft oder mangelndes

Instruktionsverständnis? • Gab es außergewöhnliche Umstände, die das Testergebnis u. U.

negativ beeinflusst haben (z. B. aus dem Praktikum gerufen, Nichtteilnahme bestimmter Schülergruppen)?



Hans-Günter Rolff

C) Betrachtung der Ergebnisse

… allgemein:

Welche Ergebnisse sind auffällig, unerwartet oder erklärungsbedürftig? Sind die Schwierigkeiten offensichtlich grundsätzlicher Natur oder auf

einen bestimmten Bereich/Aufgabentypus bezogen? Lässt sich bei einzelnen Fehlerschwerpunkten eine Systematik

erkennen? In welchem Verhältnis stehen die Ergebnisse zu Zeugnisnoten,

Parallelarbeiten, Klassenarbeiten? Können die Ergebnisse auf Merkmale des eigenen Unterrichts bezogen

werden? Lassen sich aus den Ergebnissen unmittelbare Konsequenzen für den eigenen Unterricht ableiten?

Welche Ergebnisse müssen in der Fachgruppe, welche in der Fachkonferenz besprochen werden?



Hans-Günter Rolff

... auf der Kompetenzebene:

In welchem Verhältnis stehen die Ergebnisse der eigenen Klasse/des eigenen Kurses zu den Ergebnissen in der eigenen Schulform bzw. in den jeweiligen Standorttypen?

Wie verteilen sich die Schülerinnen und Schüler meiner Klasse/meines Kurses auf die Kompetenzniveaus, wie verteilt sich hier die gesamte achte - bzw. im neuen Schuljahr neunte - Jahrgangsstufe meiner Schule?

Stimmen die Ergebnisse mit den eigenen Erwartungen überein?



Hans-Günter Rolff

... auf der Aufgabenebene:

Stimmen die Ergebnisse mit den eigenen Erwartungen überein? Welche fachlichen Anforderungen stellen einzelne Aufgaben? Bei welchen dieser fachlichen Anforderungen haben Schülerinnen

und Schüler besondere Stärken oder Schwächen gezeigt? Lässt sich bei einzelnen Fehlerschwerpunkten eine Systematik

erkennen? Welche Ergebnisse sollten in der Fachgruppe, welche in der

Fachkonferenz besprochen werden?



Hans-Günter Rolff

2. Auswertung auf der Ebene einer Fachgruppe (Fachlehrkräfte der Jahrgangsstufe)

Die individuellen Erkenntnisse aus den kompetenz- undaufgabenbezogenen Rückmeldungen zu der eigenen Klasse/zum eigenen Kurs sollten in einer kleineren Fachgruppe (z. B. den Fachlehrkräften der Jahrgangsstufe 9, ggf. unter Mitarbeit der/des Fachkonferenzvorsitzenden) gewichtet und gebündelt werden. Dazu eignen sich u.a. folgende Verfahren:

Austausch von Erfahrungen bei der Vorbereitung, Durchführung und Auswertung der Lernstandserhebungen

Vergleichende Sichtung der Ergebnisse der Klassen/ Kurse vor dem Hintergrund des Jahrgangsstufenergebnisses bzw. der landesweiten Ergebnisse: Zeigen sich ähnliche Muster in allen Klassen/Kursen? Liegen die Ergebnisse im Bereich der eigenen Erwartungen?



Hans-Günter Rolff

Suche nach Auffälligkeiten: Gibt es spezielle „Ausreißer“? Inwieweit lassen sich Erklärungsmuster für die Ergebnisse finden?

Welche möglichen Ursachen lassen sich benennen? Können diese Bedingungen (kurzfristig, mittelfristig) geändert werden? Wer sollte dafür angesprochen werden?

Auf dieser Basis sollte eine Ergebnisvorlage für die Fachkonferenz erarbeitetwerden, die folgende Punkte enthält:

Zusammenstellung zentraler Ergebnisse auf Kompetenz- und Aufgabenebene,

Reflexion der Ergebnisse vor dem Hintergrund des schulinternen Lehrplans,

Formulierung von Hypothesen zur Erklärung der schuleigenen Ergebnisse,

Erste Überlegungen zu möglichen Konsequenzen im Hinblick auf Schul- und Unterrichtsentwicklung.



Hans-Günter Rolff

3. Diskussion und Überlegungen zu Konsequenzen durch die Fachkonferenz

Eine sensible und verantwortungsvolle Beschreibung der Situation an der eigenen Schule und eine Ursachenforschung beziehen u.a. folgende Aspekte ein:

Unterrichtsgestaltung (Lehr- und Lernformen, Unterrichtsklima, ...) Didaktisch-methodisches Vorgehen (thematisch-inhaltliche

Schwerpunktsetzungen, Wahl der Lernmittel und Medien, ...) Schulischer Kontext (schulorganisatorische Voraussetzungen,

Zusammensetzung der Lerngruppen, Unterrichtsausfall, Lehrerwechsel, ...)

Voraussetzungen der Schülerinnen und Schüler (Lernvoraussetzungen, Motivation, Anstrengungsbereitschaft, …)

Soziale Herkunft der Schülerinnen und Schüler (Bildungsnähe des Elternhauses, sozialer Status der Eltern, Migrationshintergrund)



Hans-Günter Rolff

Die Fachkonferenz beschäftigt sich vor allem

mit der Sichtung und Diskussion der aktuellen Ergebnisse (auch der anderen an den Lernstandserhebungen beteiligten Fächer),

mit der Überprüfung der Stimmigkeit und Validität der Einschätzungen aus den Vorjahren

mit der Sichtung und Diskussion der Vorschläge der Kolleginnen und Kollegen sowie der Fachgruppe(n),

mit einer systematischen Ursachenforschung und Aufarbeitung erkannter Defizite (auch vor dem Hintergrund der Erkenntnisse und der Strategien aus vorausgegangenen Lernstandserhebungen),

mit der Überprüfung der Angemessenheit der als Konsequenz aus den Ergebnissen der Lernstandserhebungen beschlossenen Maßnahmen,

mit der Erarbeitung eines Berichts an die schulischen Gremien sowie die Schulaufsicht.



Hans-Günter Rolff

Mögliche Konsequenzen der Beratungen können sein:

Verabredung einer systematischen Variation von Aufgabentypen, die in den Lernstandserhebungen besondere Schwierigkeiten verursacht haben,

systematische inhaltliche Aufarbeitung von Kompetenzbereichen (z. B. ausgewählter inhalts- bzw. prozessbezogener Kompetenzen), die an der eigenen Schule Schwierigkeiten verursacht haben,

Auseinandersetzung mit den Beschreibungen von Kompetenzniveaus – insbesondere mit den anspruchsvolleren Niveaus, deren Besetzung in der eigenen Schule (noch) nicht angemessen erscheinen

Einsatz gezielter Fördermaßnahmen für besonders auffällige Schülergruppen bewirken

Festlegung von Fortbildungsschwerpunkten innerhalb des Kollegiums erzielen



Hans-Günter Rolff

4. Aufgabe der Schulleitung

Die Schulleitung muss sicherstellen, dass diese Prozesse auch tatsächlich stattfinden

und die betroffenen Lehrpersonen Prozesse der Unterrichtsentwicklung einleiten.

Am Besten ist jedoch, die Lehrpersonen tun das aus eigener Initiative!



Hans-Günter Rolff

8. Zehn Gründe gegen Rankings

1. Rankings untergraben Vertrauen (fördern Abschulen und Mogeln)

2. Rankings sind Momentaufnahmen, interessanter wären Lernzuwächse

3. Rankings bilden nur einen sehr eingeschränkten Ausschnitt von Schulqualität ab

4. Rankings wirken deshalb auch gegen ein ausdifferenziertes Schulprofil

5. Der Ranking-Wert ist ein Artefakt. Er kann aus sehr guten Leseleistungen und schlechten Mathe-Leistungen bestehen



Hans-Günter Rolff

6. Rankings stoßen bei der Lehrerschaft auf Abwehr-Routinen

7. Rankings vergrößern die Ungleichheit (Prangereffekte)

8. Rankings lenken von Wichtigerem ab.

9. Rankings werden überwiegend nur von Eltern genutzt, die sich sowieso gut im Schulbereich auskennen

10.Rankings sind nicht geeignet, die Schülerleistungen zu erhöhen.

Zur Klarstellung:

Ich bezeichne mit Ranking nur eindimensionale Rangordnungen (wie beim Thermometer), nicht Indikatorensysteme und Gruppenvergleiche



Hans-Günter Rolff

Fazit: Vier Kernaussagen für die Diskussion

1. Interne Evaluation ist vorrangig (vor externer)

2. Selbsterhobene Daten bewirken mehr als fremdgelieferte

3. Aber: Fremdgelieferte Daten sind unumgänglich (Rechenschaft und Spiegelung); Deren Nutzung erfordert jedoch zumeist zusätzliche Qualifikation und Unterstützung.

4. Rankings sind nicht nur nicht nützlich, sie können sogar schädlich sein.

Ich bin gespannt, ob Sie zustimmen



Hans-Günter Rolff

Wo geht’s lang?Literaturhinweise

ARGYRIS, Ch: Wissen in Aktion. Stuttgart 1997

ROLFF, H.G.: Studien zu einer Theorie der Schulentwicklung. Weinheim/Basel 2007

Potsdam 09/2007 Dortmunder Akademie für pädagogische Führungskräfte Hans-Günter Rolff Folie 1...

Documents

Transcript of Potsdam 09/2007 Dortmunder Akademie für pädagogische Führungskräfte Hans-Günter Rolff Folie 1...