Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an...

30
Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller Rückmeldung am Beispiel des Oberstufen-Kollegs Bielefeld

Transcript of Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an...

Page 1: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen

Der Umgang mit institutioneller und individueller Rückmeldung am Beispiel des Oberstufen-Kollegs

Bielefeld

Page 2: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

Inhalt• (1) Hintergrundinformationen

• Besonderheiten des Oberstufen-Kollegs Bielefeld• Untersuchung zu den Aspekten der

Lernausgangslage und der Lernentwicklung (LAU) – Anlage und Durchführung

• Notwendige Rahmenbedingungen & Voraussetzungen für Large-Scale-Assesments (LSA) an einer Einzelschule

Page 3: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

Inhalt

• (2) LAU am OS• Möglichkeiten und Grenzen der Datenauswertung• institutionelle Rückmeldungen• individuelle Schülerrückmeldungen

• (3) Zusammenfassung und Bewertung• (4) Implikationen für die sich anschließende KESS-

Erhebung, oder: was haben wir gelernt?

Page 4: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

• Versuchsschule des Landes Nordrhein-Westfalen seit 1974

• Wissenschaftliche Einrichtung Oberstufen-Kolleg (an der Fakultät für Erziehungswissenschaft der Universität Bielefeld)

• bis 2002 vierjährig, Anlehnung an das US-amerikanische College- Modell (Teile des Grundstudiums während der Ausbildung)

• ab 2002 Veränderung zur dreijährigen Reformoberstufe Abschluss: Allgemeine Hochschulreife (Abitur)

(1) Hintergrundinformationen: Besonderheiten des Oberstufen-Kollegs Bielefeld I

Page 5: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

• seit 2008 Teilnahme am Zentralabitur in den Studienfächern

• besondere Bedingungen:- eigene Ausbildungs- und Prüfungsordnung- Aufnahme von KollegiatInnen ohne Qualifikationsvermerk- eigenes Curriculum

(1) Hintergrundinformationen: Besonderheiten des Oberstufen-Kollegs Bielefeld

II

Page 6: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

Beispiel: Deutschausbildung am OS

Beginn der Ausbildung

Jahrgang 11 Jahrgang 12 Jahrgang 13

Abschluss der

Ausbildung

Eingangstest in Deutsch, Mathematik und Englisch

Aufgrund der Ergebnisse: Zuweisung von Brückenkursen

vor Beginn

Brückenkursefür einige KollegiatInnen 2 Std.

Basiskurse*für alle KollegiatInnen4 Std.

Studienfachkurse in Deutsch 6 Std.

oder

Deutsch als Querschnittsaufgabe Sequenz in Literatur verpflichtend (8

Std.)

*sofern als 1. oder 2. Studienfach Deutsch gewählt wurde, wird dieser Kurs ab dem zweiten Semester zusätzlich zu

den Basiskursen belegt (6 Std.)

Page 7: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(1) Hintergrundinformationen: LAU – Anlage und Durchführung I

• bundeslandspezifische Schulleistungsstudie (Hamburg)

• Funktion: Bildungssystem-Monitoring• Erhebungszeitraum: 1996 (LAU 5) bis 2005 (LAU13)

im Abstand von 2 Schuljahren (5,7,9,11,13)• Erhebungsform: flächendeckend, längsschnittlich

Page 8: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(1) Hintergrundinformationen: LAU – Anlage und Durchführung II

• Testbereiche: Deutsch (Wissen zur Texterschließung/Leseverstehen/ Textproduktion/Rechtschreibung / Fehlersuche/Lesegeschwindigkeit), Mathe, 1. Fremdsprache

• Kontextvariablen: schul- und unterrichtsbezogene Einstellungen (Schülerfragebögen)

• Rückmeldeform: Klassenbezogene Schulrückmeldung in absoluten Zahlen

Page 9: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

Abbildung: Bsp. einer klassenbezogenen Rückmeldung aus LAU 7 (Quelle: Weinert, F. E.

(2002) Leistungsmessungen in Schulen.

Page 10: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(1) Hintergrundinformationen: LAU – Anlage und Durchführung III

• LAU am OS: Anstoß und Erwartungen

- Anstoß zur Kooperation mit dem LI in HH: durch externe Evaluation des OS (Peer-Review) und des Projektes: Basiskompetenzen im Deutschen

- Kritik an der Konzeption des Projekts- vorgeschlagenes „Curriculum“ sei zu kleinschrittig- Niveau sei nicht angemessen- interne Nachweise von Lernerfolgen wurden als nicht ausreichend beurteilt

• Erwartung des OS an die Vergleichsuntersuchung: Nutzung der Untersuchungsergebnisse für die Schulentwicklung des OS

Page 11: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(1) Hintergrundinformationen: LAU – Anlage und Durchführung IV

Erwartungen und Ziele• Nutzung der Untersuchungsergebnisse für die

inhaltliche Kurskonzeption der Basis- und Brückenkurse Deutsch

• Instrumentenvergleich: Eingangsdiagnose (internes Instrument) vs. LAU (externes Instrument)

• Ergebnisse für die Entwicklung der Einrichtung nutzbar machen (institutionelle & individuelle Rückmeldung)

• Nutzung der Untersuchungsergebnisse für die Kollegiat/innen in Form individueller Ergebnisrückmeldungen Darstellung der individuellen Lernausgangslage und Lernentwicklung (in anonymisierter Form)

Page 12: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(1) Hintergrundinformationen: LAU – Anlage und Durchführung V

Beantwortung der Fragen zur:• (Individuellen) Lernentwicklung während der

Kursphase• Nachhaltigkeit der Lernzuwächse bis zum

Ausbildungsabschluss • Lernausgangslage (Benchmark mit Hamburg)

- Welchen Einfluss hat die Zusammensetzung der Schülerschaft auf die Ergebnisse?

Page 13: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(1) Hintergrundinformationen: LAU – Anlage und Durchführung VI

LAU am OS - Schritte• Grundlegend: Kooperation mit LI in Hamburg

(Kooperationsvertrag) / „Kooperation auf Augenhöhe“• Adaptation der Instrumente (Itemauswahl z.B. in Hinblick auf

curriculare Aspekte)• Fort- und Weiterbildung von Teammitgliedern (z.B.

Testleiterschulungen, Auswertungsmethoden)• Durchführung der Erhebungen am OS (vgl. Design)• regelmäßige Treffen zwischen LI und OS (Austausch, externe

Auswertung durch das LI bzw. HU Berlin)• Verknüpfung der Leistungsdaten mit Hintergrundvariablen• Rückmeldungen auf individueller und institutioneller Ebene

Page 14: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

13.1

12.1

11.1

11.2

12.2

13.2

Schulhalbjahre 13.1

12.1

11.1

Aug/2006 März/2009

11.2

12.2

13.2

März/2007

Schulhalbjahre

LAU 11 (2002)

Untersuchungsdesign LAU

Sept/2007 Feb/2008 Feb/2010

Testzeitpunkte der Jahrgänge

Legende:

= Aufnahmejahrgang 2006

= Aufnahmejahrgang 2007

LAU 13 (2005)

Page 15: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(1) Hintergrundinformationen: Notwendige Voraussetzungen für

LSA an Einzelschulen I

• die pädagogische Arbeit und die damit verbundenen Ziele der Schule müssen berücksichtigt werden

• Einbringen individueller Fragen der Einzelschule• es müssen wiederholte Messungen stattfinden• es muss eine ausreichend große Stichprobe getestet

werden• ggfs. Adaptation der Instrumente an die Einrichtung

Page 16: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(1) Hintergrundinformationen: Notwendige Voraussetzungen für

LSA an Einzelschulen II• schulübergreifende Kooperation: Instrumente müssen

verfügbar gemacht werden und externe Auswertung der Daten muss gesichert sein

• Schulungen & Fortbildungen zur Testdurchführung und Datenauswertung

• Rückmeldungen (institutionell & individuell) als Grundlage für Veränderungsprozesse (z.B. zur inneren Differenzierung (institutionell) oder für Beratungs- und Unterstützungsangebote (individuell))

• Kontextmerkmale mit einbeziehen („fairer Vergleich“)

Page 17: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(2) LAU am OS:Möglichkeiten und Grenzen der

Datenauswertung IBeispiel Textproduktion:• subjektiv erfasste Schwierigkeiten:

- Übungseffekte durch wiederholten Einsatz der gleichen Aufgabe (Beschwerdebrief)- Konkretheit der Aufgabenstellung hat Einfluss auf qualitative und quantitative Aspekte der Textproduktion- es entstand der Eindruck, dass oftmals das

Leistungspotential nicht ganz ausgeschöpft wurde (so konnten bspw. kaum Prozeduren der Selbstkorrektur beobachtet werden)- Faktoren der Testmotivation beeinflussen die Ergebnisse

• Datenauswertung: - Skalierungsschwierigkeiten aufgrund der

Stichprobengröße

Page 18: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(2) LAU am OS:Institutionelle Rückmeldung I

• die institutionelle Rückmeldung der Leistungsdaten, die auf Grundlage von Large- Scale- Instrumenten erhoben wurden, können folgendermaßen genutzt werden:• inhaltliche Weiterentwicklung des Unterrichts (hier: der Basis- und Brückenkurse Deutsch)• Schwächen und Stärken aufzeigen, Bedarfe ermitteln• Benchmark („Außenvergleich“)

Page 19: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(2) LAU am OS:Institutionelle Rückmeldung II

• Selbstvergewisserung (durch den Benchmark mit HH)• Nachweis von Leistungszuwächsen• Schülerschaft genauer beschreiben• Nachhaltigkeit der Lernergebnisse prüfen

Page 20: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(2) LAU am OS:Individuelle Rückmeldung I

• die individuelle Rückmeldung von Leistungsdaten auf Schülerebene, die auf Grundlage von Large- Scale- Instrumenten erhoben wurden, wird derzeit kritisch diskutiert

• Vertreter sprechen sich für die Nutzung dieser Daten auch auf individueller Ebene aus, sofern diese Daten von weiteren Erhebungen (z.B. schulinterne Instrumente, Noten, Schülerbeobachtungen) flankiert werden

• Gegner der Nutzung dieser Daten für die individuelle Rückmeldung betonen, dass für formatives Assessment andere Erhebungsformate notwendig sind (z. B. höhere Reliabilität durch höhere Itemanzahl)

Page 21: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(2) LAU am OS:Individuelle Rückmeldung II

• Prinzipiell sollte die Impulsgebung für die Instrumentenauswahl immer die Funktionalität des Instrumentes und der diagnostische Ansatz sein („Was will ich wissen?“; „Was ist das Ziel?“)

• Aber: „Nebenprodukte“ können und sollen genutzt werden, auch wenn diese messfehlerbehaftet sind

Page 22: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(2) LAU am OS:Individuelle Rückmeldung III

Ziele: • Transparenz für die Kollegiat/innen schaffen• Individuelle Ergebnisrückmeldung als Unterstützung

bei der Planung weiterer Ausbildungsschritte (Verknüpfung von Diagnostik und Förderung)

• Rückmeldung sollte abgekoppelt von den schulischen Lernprozessen erfolgen

• Rückmeldung sollte nicht über die Lehrpersonen erfolgen (keine Informationsweitergabe über Individualleistungen)

Page 23: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(2) LAU am OS:Individuelle Rückmeldung: Konkrete

Durchführung

1. Verfahren der doppelten Anonymisierung2. Rückmeldung durch die Forschungsgruppe3. Präsentation der Ergebnisse in Form eines Booklets 4. Erläuterung der Ergebnisse (auf Wunsch) durch die

Mitglieder des WE-Teams5. Lernberatung auf Grundlage der Ergebnisse (auf

Wunsch)

Page 24: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

Page 25: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

Page 26: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

Page 27: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(3) Zusammenfassung und Bewertung I

• Rücklaufquote (sinkendes Interesse bei den Kollegiat/innen über die Zeit)

• Ergebnisse spiegeln lediglich Momentaufnahmen wieder

• Einfluss motivationaler Aspekte (insbesondere zum letzten Testzeitpunkt)

• keine prognostische Einschätzung möglich (geringe Itemanzahl)

• Rückmeldung verlief nicht optimal (Potential nicht voll ausgeschöpft)

Page 28: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(3) Zusammenfassung und Bewertung II

• Benchmarking vs. Qualitätssicherung Abstimmung der Testzeitpunkte aufs Curriculum

• deskriptive Darstellung der Schulleistungen, keine Ursachenforschung Hintergrundinformationen mit einbeziehen, zusätzliche von den Lehrkräften entwickelte Items

• Quasi-Längsschnitt vs. echter Längsschnitt

Stichprobe verringert sich im Verlauf der Erhebung

Page 29: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(3) Zusammenfassung und Bewertung III

• mit der individuellen Rückmeldung auf Grundlage von Large- Scale-Assessments ist ein Schritt zur Schulevaluation und Schulentwicklung getan

• die Ergebnisse können Einzelpersonen ggfs. für ihre Ausbildungsbiografie nutzen

• Rückmeldung an alle betroffenen Gruppen bilden die Grundlage für einzuleitende Veränderungsprozesse vor Ort

• Verständnissicherung muss gewährleistet sein (Wie kann dies an einer Regelschule gelingen in Hinblick auf Ressourcen?)

• reine Informationsweitergabe nicht sinnvoll, es muss ein Beratungsangebot (Was fange ich mit den Ergebnissen an?) vor Ort bestehen

Page 30: Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Oberstufen-Kolleg Bielefeld

(4) Implikationen für KESS

• Motivationale Aspekte mehr beachten• Ausweitung auf andere Fachbereiche (an welchen

Stellen sinnvoll/welche Ziele werden verfolgt)• Optimierung der individuellen Rückmeldung

•Organisatorische Umsetzung der Rückmeldung •Bessere Flankierung der Leistungsdaten mit weiteren Schülerdaten (Verknüpfung)•Bessere Kooperation mit Lehrkräften und Lernberatern•Deutlichere Ableitungen von Empfehlungen und Hilfestellungen für die Kollegiat/innen