1 BBS Hamburg Maritzen 09/2005 Standards und Tests - Teufelswerkzeug oder Wunderwaffe für die...
-
Upload
irmgard-reeck -
Category
Documents
-
view
104 -
download
0
Transcript of 1 BBS Hamburg Maritzen 09/2005 Standards und Tests - Teufelswerkzeug oder Wunderwaffe für die...
1
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
Standards und Tests -Standards und Tests -Teufelswerkzeug oder Teufelswerkzeug oder
Wunderwaffe für die Schul- und Wunderwaffe für die Schul- und Unterrichtsentwicklung?Unterrichtsentwicklung?
Vortrag an der Universität Graz Vortrag an der Universität Graz
am 22. September 2005am 22. September 2005
2
ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen
Schritt 2Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung
Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
3
ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen
Schritt 2Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung
Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
4
„PISA“ – Symptom für eine tiefgreifende Aufmerksamkeitsverschiebung „Krise“: Erfindung, um über Alarm-szenarien Geld zu akquirieren, Politik in Gang zu setzen, Erlösungsversprechen abzugeben, Legitimationsnotstände zu kaschieren Traditionslosigkeit der Evaluation: Ambivalenz von Heilserwartung („finnische Verhältnisse“) und Untergangsszenarien („amerikanische Verhältnisse“) kaum empirische „Erdung“ der Schul- und Unterrichtsentwicklung
Signaturen des Krisengeredes
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
5
Hamburg: Stadtstaat mit knapp 2 Mio Einwohnern; ca. 460 staatliche Schulen hohe Bildungsinvestitionen bei einbrechenden Steuereinnahmen 19,5 % Schüler/-innen mit nicht deutscher Staatsangehörigkeit, mehr als 30%mehr als 30% mit Migrations-hintergrund mehr als 90 gesprochene Sprachen seit Mitte der 90er Jahre Erfahrung mit flächendeckenden Schulentwicklungprogrammen und Schulleistungsuntersuchungen im Längsschnitt Einführung verbindlicher testbasierter Vergleichsarbeiten in Klasse 3, 6 und 8 zentrale Abschlussprüfungen in Klasse 9 bzw. 10
Perspektive eines Systemverantwortlichen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
6
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5 0
10
20
30
40
50
60
70
80
BB DEU BY HE BW HHHH NW HB
Sch
üle
r in
Pro
zent
Die Angaben stammen aus dem Lehrerfragebogen. Die Daten für Hamburg basieren auf der Erhebung im Rahmen von KESS 4 aus dem Jahr 2003.
Gute schulische Leistungen werden an unserer Schule öffentlich hervorgehoben Misserfolge von Schülern werden an unserer Schule den Lehrern angelastetSchulversagen wird bei uns als Problem der Schule und weniger des Schülers gesehen
IEA: Progress in International Reading Literacy Study © IGLU-Germany
Stellung der Schule zu Schulerfolg und Schulversagen nach Auskunft der Lehrkräfte in
einigen Ländern der Bundesrepublik Deutschland
7
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
0
5
10
15
20
25
0 25 50 75 100 125 150 175 200
Pro
zen
t
Hauptschule Realschule GesamtschuleGymnasium Gesamtschule
Universität Hamburg: Kompetenzen und Einstellungen von Schülerinnen und Schülern © KESS 4
Schullaufbahnenempfehlungen von Lehrkräften für Hamburg differenziert nach Lesekompetenz in
Prozent – Gesamtskala Lesen
8
0,0
10,0
20,0
30,0
40,0
50,0
60,0
70,0
80,0
90,0
100,0
0 10 20 30 40 50 60
ohne
Abschl.
%
nichtdt.
Her-
kunftspr.
%
Warum Standards und Tests?HH: Anteile der Hauptschulabsolventen ohne
Abschluss P
rozen
t
Schulen (N= 57)
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
9
Warum Standards und Tests?Leistungsentwicklung nach Schulen in Mathematik
(LAU 9/11)
Le
istu
ng
se
ntw
icklu
ng
Ma
the
ma
tik I
170
160
150
140
130
120
110
H/R Gesamtschulen Gymnasien BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
10
Hamburg
500
550
600
650
700
750
0 5 10 15 20 25
Mat
hemat
ik T
estlei
stun
g
Hamburg
Warum Standards und Tests?Mittlere Mathematikleistungen in PISA 2000E
von Gymnasiasten der 9. Jahrgangsstufe mit einer Mathematiknote von 1 oder 2 nach Schulen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
11
500
550
600
650
700
750
0 5 10 15 20 25
Mat
hem
atik
Tes
tlei
stun
g
Bayern
Hamburg
Warum Standards und Tests?Mittlere Mathematikleistungen in PISA 2000E
von Gymnasiasten der 9. Jahrgangsstufe mit einer Mathematiknote von 1 oder 2 nach Schulen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
12
400
450
500
550
600
650
700
Note 1 Note 2 Note 3 Note 4 Note 5
Mat
hem
atik
Tes
tlei
stun
g
Schule 1
Schule 2
Warum Standards und Tests?
Testleistung in Bezug zu Noten
PISA 2000 E
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
13
Erreichung von Mindeststandards Vergleichbarkeit von Abschlüssen Bezugsnormen bei Leistungsbeurteilungen Verteilungsgerechtigkeit bei der Berechtigungsvergabe Chancengleichheit bei der Bildungsbeteiligung extrem heterogene Ausgangslagen der Schulen Streuung zwischen sehr günstigen und ungünstigen Standortentwicklungen trotz vergleichbarer Ausgangslagen
Sind das keine Probleme der Schulentwicklung???
ProblemstauLokalisierbarer !!!B
BS
Ham
bu
rgM
ari
tzen
0
9/2
00
5
14
ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen
Schritt 2Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung
Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
15
„Tests“ – Versuch einer Ordnung der Landschaft 1
1. Schulleistungsuntersuchungen
-Stichprobe vs. Fläche - Querschnitt vs. Längsschnitt - mit/ohne Berücksichtigung
der Lernausgangslage - mit/ohne
Ergebnisrückmeldung an Lehrkraft, Schulleitung, Schul-aufsicht
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
16
2. „Vergleichsarbeiten“ -zentral vs. dezentral gestellte
Aufgaben - standardisiert/nicht
standardisiert - zentrale vs. dezentrale
Auswertung - mit/ohne Zusammenhang zum
Berechtigungswesen - Ergebniskenntnis bei
Lehrkräften, ggf. Schulleitung, Schulaufsicht
„Tests“ – Versuch einer Ordnung der Landschaft 2
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
17
3. Pädagogische Diagnostik -dezentral, von Lehrkräften und
anderen Professionen administriert und ausgewertet
- i. d. R. standardisiert - Ergebniskenntnis bei
Lehrkräften, ggf. Schulleitung, Schulaufsicht
- ggf. Rückmeldung der Ergebnisse an die getestete Person
„Tests“ – Versuch einer Ordnung der Landschaft 3
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
18
„Tests“ – Funktionsvielfalt
Schul- leistungs- unter- suchung
„Vergleichsarbeit“
diagnost. Test
Generierung von Steuerungswissen Schulevaluation Vergleiche zwischen Gruppen Überprüfung der Standard-erreichung Vergabe von Abschlüssen oder Zugangsberechtigungen öffentliches Ranking Impulse zur Unterrichtsentwick-lung: professionelle Verständigung über Anforderungen und Aufgaben individuelle Förderung
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
19
Erklärungsabstand zwischen Erklärungsabstand zwischen „PISA“ und „meinem „PISA“ und „meinem
Unterricht“Unterricht“ aggregierte Maße für Mittelwerte und aggregierte Maße für Mittelwerte und StreuungenStreuungen extern verantwortete Veranstaltungen mit extern verantwortete Veranstaltungen mit geringer praktischer Anschlussfähigkeit geringer praktischer Anschlussfähigkeit „ „Time-lagTime-lag“ zwischen Anwendung und “ zwischen Anwendung und BerichterstattungBerichterstattung
Standards und Tests müssen/können zeitnah auf den konkreten Unterricht, auf seine Voraussetzungen, Bedingungen und Ergebnisse bezogen werden. Standards und Tests müssen/können die lerndiagnostische Kompetenz der Lehrkräfte unterstützen und erweitern. Standards und Tests müssen/können die didaktische Phantasie konkret anregen.
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
20
„Vergleichsarbeiten“B
BS
Ham
bu
rgM
ari
tzen
0
9/2
00
5Vergleichsarbeiten unterscheiden sich von Schulleistungsstudien (z.B. PISA) durch flächendeckende Einbeziehung der Schulen (nicht nur Stichprobe) die enge Bindung an Standards einheitliche Aufgabensätze für Lerngruppen (kein „Multimatrix-Sampling“) die Konzentration auf ausgewählte Teilleistungsbereiche der Fächer eine Korrektur/Auswertung durch Lehrkräfte das Angebot von empirisch abgesicherten Referenzwerten zu Aufgabenschwierigkeiten und Schülerleistungen (ermöglicht faire Vergleiche) die systematische Einbindung in einen schulischen Entwicklungsprozess
21
Orientierung der Aufgaben an Lehrplänen und den Bildungsstandards der KMK
Akzentsetzungen auf ausgewählte Teilleistungs- bzw. Kompetenzbereiche
Unterrichtsnähe
Balance zwischen begrenzten und komplexen Anforderungen
Anforderungsprofile und Orientierungen zur Beurteilung
Berücksichtigung diagnostischer Perspektiven
Auswertbarkeit in den Schulen
„Vergleichsarbeiten“:Anforderungen an die Aufgabenentwicklung
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
22
„Vergleichsarbeiten“:Anforderungen an die Aufgabenentwicklung
Ermittlung und Beschreibung schwierigkeits-bestimmender Merkmale von schwierigkeits-bestimmender Merkmale von AufgabenAufgaben: Kontext, Textlänge, sprachliche Komplexität, Anzahl und Verknüpfung der Lösungsschritte, Anzahl zu verarbeitender „Größen“, Schwierigkeit der zu beweisenden Kompetenz, Antwortformat, eine/mehrere Lösungen...)
systematische Variation von Schwierigkeits-merkmalen
Kontextualisierung vs. Dekontextualisierung
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
23
„Vergleichsarbeiten“:externes Feedback und interne Reflexion von Schülerleistungen
Analyse von Lösungshäufigkeiten der einzelnen Analyse von Lösungshäufigkeiten der einzelnen Aufgaben: Beschreibung von Aufgaben: Beschreibung von Kompetenzprofilen der KlassenKompetenzprofilen der Klassen
Ergebnisdarstellung in Form von Ergebnisdarstellung in Form von Kompetenzstufen: Kompetenzstufen: inhaltliche Beschreibung von Lernständeninhaltliche Beschreibung von Lernständen
Vergleich der Ergebnisse von parallelen Vergleich der Ergebnisse von parallelen KlassenKlassen
Vergleich der Ergebnisse mit Vergleich der Ergebnisse mit schulübergreifenden Referenzwertenschulübergreifenden Referenzwerten
systematische Fehleranalysensystematische Fehleranalysen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
24
Beispiel: Lösungshäufigkeiten einzelner Aufgaben im Vergleich zu den Referenzwerten
0 20 40 60 80 100
A
A
B
B
C
C
Au
fga
be
n n
ac
h
Te
ille
istu
ng
sb
ere
ich
en
Anteil von Schülern, die die Aufagaben gelöst haben
Klasse Landesdurchschnitt Kontextgruppe
Perspektiven der Ergebnisdarstellung
(Lösungshäufigkeiten)
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
25
Perspektiven der Ergebnisdarstellung (Kompetenzstufen)
Beispiel: Vergleich der Verteilung auf Kompetenzstufen mit Referenzwerten
25
35
30
10
20
30
35
15
30
40
25
5
05
1015
2025
3035
4045
I II II IV
Kompetenzstufen
An
teil
de
r S
ch
üle
r
Klasse
Landesdurchschnitt
Kontextgruppe
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
26
Perspektiven der Ergebnisdarstellung
(Fehlermuster)Beispiel: Analyse von Fehlermustern
0 20 40 60 80
richtige Lösung
Alternative 2
Alternative 3
Alternative 4
Alternative 5
nicht gelöst
Häufigkeit, mit der bestimmte Alternativen gewählt wurden
Häufigkeit in der Klasse Häufigkeit in der Referenzgruppe
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
27
Testergebnisse: Ansatzpunkte für Diagnostik
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
Lernvoraus-Lernvoraus-setzungen: setzungen: individuell, individuell, Gruppen Gruppen
Professionelle Professionelle diagnostische diagnostische
VerfahrenVerfahren
Koppelung an Koppelung an individuelle individuelle
FördermaßnahmFördermaßnahmenen
Verknüpfung mit Verknüpfung mit Beobachtungen Beobachtungen
von von Lernentwicklungen Lernentwicklungen
und Prozessenund Prozessen
AnalyseAnalyseVergleicheVergleiche
InterpretationInterpretationBezug auf Bezug auf
TeilbereicheTeilbereiche
28
differenziertere Wahrnehmung von Schülerleistungen
in vergleichender Perspektive
Klasse/Kurs
Parallelklassen
vergleichbare Schulen
landesweite Orientierung
Bezugsgruppen-/ Normorientierung
Kriterienorientierung
(zunächst auf einer vorläufigen Basis)
fachliche und fachdidaktische
Kriterien
empirisch geklärte
Schwierigkeitsgrade
Zuordnung zu Kompetenzstufen
29
Einzelschule:Ansatzpunkte und
Instrumente
1
4
7
2
5
8
3
6
9
Ausgangs-kompetenzen der Schüler
diagnostische Tests
Prozesse Ergebniss
e
Unterricht
Fachgruppe
Schulleitung
Voraus-setzunge
n Schülerleistungen gemessen an
Kriterien kompetenzorien-tierte Klassen-
arbeiten
Leistungen von Parallelklassen standardisierte
Vergleichs-arbeiten
Entwicklung der Schülerleistungen/Vergleichsgr
uppen Monitoring von Leistungsdaten
Unterstützung kumulativer
LernprozesseUnterrichts-
feedback
Unterrichtspla-nung u.
Diagnostik Auswertung von
Vergleichs-arbeiten
Rückkopplung von Daten an
Interne/Externe jährlicher
Bericht mit Kennzahlen
schulinternes Curriculum
Absprachen zu Standards im Unterricht
Analyse schulspezifische
r Ausgangslagen Befragungen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
30
Thema: Jahrgangsstufe: Fach:Thema: Jahrgangsstufe: Fach:
ErkenntniErkenntnis-s-
gewinnungewinnungg
AnwendunAnwendungg
Kommuni-Kommuni-kationkation BewertenBewerten
Alltags-Alltags-wissenwissen
FachwisseFachwissenn
prakt-prakt-techn. techn. WissenWissen
MetawissMetawissenen
Einzelschule: Absprachen zu Standards
In der In der Tageszeitung Tageszeitung
forschen, welche forschen, welche Bedeutung ein Bedeutung ein
Gewässer für die Gewässer für die Gemeinde hatGemeinde hat
Lebewesen am Lebewesen am Gewässer Gewässer
beobachtenbeobachten
Mit einem Mit einem Untersuchungs-Untersuchungs-koffer Wasser koffer Wasser analysierenanalysieren
Nachforschen, Nachforschen, wie Angler das wie Angler das
Gewässer Gewässer beurteilenbeurteilen
Untersuchen, wie Untersuchen, wie sich Wasser bei sich Wasser bei verschiedenen verschiedenen Temperaturen Temperaturen
verhältverhältDen Wasserkreis-Den Wasserkreis-
lauf anhand lauf anhand verschiedener verschiedener Experimente Experimente
nachvollziehennachvollziehen
Bestimmungs-Bestimmungs-schlüssel für schlüssel für
Pflanzen Pflanzen anwendenanwenden
Vorschläge für Vorschläge für eine eine
Uferbepflanzung Uferbepflanzung machenmachen
Die Bedeutung Die Bedeutung eines Gewässers eines Gewässers für die Gemeinde für die Gemeinde
diskutierendiskutieren
Den Den Wasserkreislauf Wasserkreislauf
als Puzzle als Puzzle rekonstruierenrekonstruieren
Als Experte Als Experte einem Mitschüler einem Mitschüler
eine eine Untersuchungs-Untersuchungs-
methode methode erläuternerläutern
Als Experte Als Experte einem Mitschüler einem Mitschüler
eine eine Untersuchungs-Untersuchungs-
methode methode erläuternerläutern
Mit den Sinnen Mit den Sinnen entscheiden, ob entscheiden, ob man in einem man in einem
Gewässer baden Gewässer baden kannkann
Biologische Biologische Gewässergüte Gewässergüte
beurteilenbeurteilen
Die Eignung Die Eignung eines eines
Messverfahrens Messverfahrens einschätzeneinschätzen
Die Die Sinnesprüfung u. Sinnesprüfung u.
die naturwiss. die naturwiss. Untersuchung als Untersuchung als
Alternativen Alternativen vergleichenvergleichen
GewässeruntersuchunGewässeruntersuchungg
66 NWNW
TunWisse
n
© Udo Klinger 2005
31
ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen
Schritt 2Schritt 2 Tests – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung
Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen Prinzipien
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
32
Einige Voraussetzungen: Schule
schulinternes Monitoring von „Daten“ zu Leistungsentwicklungen, Abschlüssen, Schullaufbahnabbrüchen usw. datenbasierte Planungs- u. Entscheidungs-verläufe als Grundlage für Schulprogramme Bildung von „learning communities“ z. B. zum didaktischen Training u. Coaching oder für Maßnahmen der Unterrichtsevaluation „Fachleiter/-innen“ mit Kompetenz schulinterne Qualifizierung „instructional leadership“
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
33
Einige Voraussetzungen: System
Orientierungsrahmen „Schulqualität“
auf Dauer gestelltes Feedback
Tools mit Verfahren / Instrumenten
diagnostischer und didaktischer Support
verbindliche Rechenschaftslegung und Transparenz
technische Infrastrukturen
früh einsetzende Fördersysteme
Intervention in schulische Zeitstrukturen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
34
Risiken und Nebenwirkungen
Risiko des Wissens Unterschätzung des Zeitbedarfs und der systemischen Zusammenhänge Technologieüberschuss auf der Steuerungsebene vs. Technologie„defizit“ auf der Ebene des pädagogischen Handelns Transparenz von Ergebnissen, für deren Zustandekommen nur uneindeutige Praktiken zur Verfügung stehen Verschärfung des Selektionssystems Nachahmung von vermeintlich „Erfolgreichen“
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
35
Ende
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5