1

Erfassung von Kompetenzen und deren Entwicklung in den schulbezogenen

Projekten der DFG-Forschergruppe BiKS

Cordula ArteltUniversität Bamberg

Vortrag im Rahmen der 4. Konferenz für Sozial- und Wirtschaftsdaten Wiesbaden, 20 Juni 2008

2

Gliederung

1. Kompetenzmessungen im Schullängsschnitt von BiKS• Überblick zu den Studien der Forschergruppe BiKS• Anforderung an die Messung von Kompetenzen in BiKS• Design & Instrumentierung• Ausgewählte Ergebnisse• Schwächen der ersten drei Erhebungswellen

2. Herausforderung der Kompetenzmodellierung im Längsschnitt

3. Ausblick: Nationales Bildungspanel

3

DFG-Forschergruppe BiKS „Bildungsprozesse, Kompetenzentwicklung und Formation von Selektionsentscheidungen im Vor- und Grundschulalter“

Primarbereich Sekundarbereich

Schul- L ä n g s s c h n i t tBiKS-8-12

1. Schul-jahr

2. Schul-jahr

3. Schul-jahr

4. Schul-jahr

5. Schul-jahr

6. Schul-jahr

7. Schul-jahr

2. Kinder-garten-

jahr

3. Kinder-garten-

jahr

1. Kinder-garten-

jahr

Elementarbereich

Kindergarten-L ä n g s s c h n i t tBiKS-3-8

Einschulung

Übergang in Sekundarbereich

Leitungsteam: Artelt, Blossfeld, Faust, Roßbach Weinert

4

Erhebungszeitpunkte im Schullängsschnitt

2005 2006 2007 2008 2009 2010

Wechsel in den Sekundarbereich

MZP1 MZP2 MZP3Pre-test I

MZP4

MZP5 MZP6

InstrumenteKompetenzerhebungen

Befragungen von Schüler/-innen, Lehrer/-innen und Eltern

Verschiedene qualitative Interviewreihen

3. Kl 4. Kl 5. Kl 6. Kl 7. Kl

Pre-test II

N=2.600 Schüler aus Bayern und Hessen

5

Soziologische Perspektive: Formation von Bildungsent-scheidungen – besonders beim Übergang in die Sekundarstufe

Pädagogische Perspektive: Einfluss von Bildungsinstitution und Elternhaus auf die Kompetenzentwicklung

Psychologische Perspektive: Analyse von Bedingungen und Veränderungsverläufen

Besondere Berücksichtigung von sozialer Herkunft, Migrationsstatus

Kompetenzmessung in BiKS Perspektiven - Anforderungen

6

grundlegende, eher bildungsferne Fähigkeiten (eher culture fair)

erworbene, bildungs-und kulturabhängige Fertigkeiten

curriculumsnahe curriculumsferne Kompetenzen

nonverbale Aufgaben sprachliche Aufgaben

Teilfähigkeiten/Fertigkeiten Komplexe/integrative Fähigkeiten

Kompetenzmessung in BiKS Einige grundlegende Unterscheidungen

7

Instrumente Deutsch bzw. verbaler Teilbereich

Welle 1 Welle 2 Welle3

Wortschatz

(CFT20)

Wortschatz

(CFT 20)

Wortschatz

(CFT 20)

Rechtschreiben

(DRT3)

Rechtschreiben (DRT 4)

Textverstehen

(ELFE 1-6)

Textverstehen

(ELFE 1-6)

Textverstehen

(ELFE 1-6 +E)

Zusätzlich, nur in der Hälfte der Testhefte in je einer WelleHörverstehen (KNUSPEL) und Gammatik (TROG-D) bzw.Lesefertigkeit (SLS 1-4) und IGLU Aufgaben

Wortschatz: curriculumsfern, erworben, verbal, TeilfähigkeitRechtschreiben: curriculumsnah, erworben, verbal, TeilfähigkeitTextverstehen: curriculumsnah, erworben, verbal, integr. Fähigkeit

8

Wortschatz (CFT 20,WS)

Weiß, R.H. (1998) CFT 20 Grundintelligenztest Skala 2 (CFT 20) mit Wortschatztest (WS) und Zahlenfolgentest (ZF) (4. Auflage) Göttingen: Hogrefe

Beispielaufgaben

Anforderung:Wort finden, das gleiche oder ähnliche Bedeutung hat.

9

Rechtschreiben (DRT3)

Müller, R. (2003) DRT Diagnostischer Rechtschreibtest für 3. Klassen DRT3 (ZF) (4. Auflage) Göttingen: Hogrefe.

Beispielaufgaben

Karl ________ einen Brief. schreibt

Spielt nicht auf der ________. Straße

Die Taube _______ auf den Baum. fliegt

Manfred _______ die Tür zu. schlägt

Mit Rauch kann man Mücken ___________. vertreiben

Monika _________ ihren Lehrer. grüßt

Martin _________ den Bleistift an. spitzt

Horst _________ seinen Namen. nennt

10

Textverstehen (ELFE Textverständnis)

Anforderungen beim Textverstehen: Auffinden von Informationen, satzübergreifendes Lesen, schlussfolgerndes Denken

Beispielaufgabe

Lenhard, W. & Schneider, W. (2006). ELFE. Ein Leseverständnistest für Erst- bis Sechstklässler. Göttingen: Hogrefe

11

Instrumente Mathematik und allg. kogn. Fähigkeiten

Welle 1 Welle 2 Welle 3

Mathe – Arithmetik (DEMAT 3+)

Mathe – Arithmetik (DEMAT 4)

Mathe – Arithmetik (DEMAT 4)

Reasoning 1

(CFT 20-R)

Reasoning 1

(CFT 20-R)

Zusätzlich, nur in der Hälfte der Testheft zu Welle 1 bzw. 3Reasoning 2 (CFT 20) bzw.Metagedächtnis (Würzburger Testbatterie)

Mathematik: curriculumsnah, erworben, non-verbal, integr. FähigkeitReasoning: curriculumsfern, eher cultural-free, non-verbal, Teilfähigkeit

12

Reasoning (CFT 20 R – Martizen)

Weiß, R.H. (1998) CFT 20 Grundintelligenztest Skala 2 (CFT 20) (4. Auflage) Göttingen: Hogrefe

13

Ausgewählte Ergebnisse

14

Ausgewählte ErgebnisseVeränderungen im Wortschatz

• Gewählte Schulform• Migrationshintergrund

(a) Geburtsland Eltern (b) Sprache im Elternhaus

• Schulabschluss der Mutter • Schulabschluss des Vaters

Signifikante Zunahme über die Zeit Signifikante Unterschiede zwischen Subgruppen pro ZeitpunktAber: Parallele Entwicklungen für unterschiedliche Subgruppen über die Zeit

15

Wortschatzentwicklung in Abh. von der gewählten Schulform

300319813274 33

16

Veränderungen in den kognitiven Grundfähigkeiten

• Gewählte Schulform • Migrationshintergrund

(a) Geburtsland Eltern (b) Sprache im Elternhaus

• Schulabschluss der Mutter • Schulabschluss des Vaters

Signifikante Zunahme über die Zeit Signifikante Unterschiede zwischen Subgruppen pro ZeitpunktAber: Parallele Entwicklungen für unterschiedliche Subgruppen über die Zeit

17

Veränderungen der Schulleistungen in Mathematik

• Gewählte Schulform sich öffnende Schere• Migrationshintergrund

(a) Geburtsland Eltern (b) Sprache im Elternhaus

• Schulabschluss der Mutter sich öffnende Schere• Schulabschluss des Vaters

Signifikante Zunahme über die Zeit Signifikante Unterschiede zwischen Subgruppen pro ZeitpunktZudem: Differenzielle Entwicklungen für einige der Subgruppen über die Zeit

18

N36495670567

HE Zeitpunkt: p=.00HE Schulform: p= .00Zeitpunkt x Schulform: p= .00

Mathematikleistung in Abh. vom Schulabschluss der Mutter

19

N567957

Mathematikleistung in Abh. von der gewählten Schulform (rekodiert)

HE Zeitpunkt: p=.00HE Schulform: p= .00Zeitpunkt x Schulform: p= .00

20

Veränderungen in der Lesekompetenz (Textverstehen)

• Gewählte Schulform sich öffnende Schere• Migrationshintergrund

(a) Geburtsland Eltern (b) Sprache im Elternhaus

• Schulabschluss der Mutter• Schulabschluss des Vaters

Signifikante Zunahme über die Zeit Signifikante Unterschiede zwischen Subgruppen pro ZeitpunktZudem: Differenzielle Entwicklungen für einige der Subgruppen über die Zeit

21

Bilder zum Textverstehen

N567957

Lesekompetenz in Abh. von der gewählten Schulform (rekodiert)

HE Zeitpunkt: p=.00HE Schulform: p= .00Zeitpunkt x Schulform: p= .00

22

Schwächen der ersten drei Erhebungswellen von BiKS

• Veränderungsmessung Z.T. möglich über die wiederholte Vorgabe gleicher Testverfahren

(Wortschatz, kognitive Grundfähigkeiten, Textverstehen) - Aber: Testwiederholungseffekte und Gefahr von Deckeneffekten

Z.T. nicht möglich, da Verfahren mit gleicher Bezeichnung* weder gemeinsame Aufgaben (Ankeraufgaben) aufweisen noch nach anderen Equating- oder Linking- Verfahren aufeinander beziehbar sind. keine intra-individuelleVeränderung, nur relative Positionsstabilität

keine zur Verfügung stehenden Instrumente für längsschnittliche Messungen im Bereich bildungsbezogener Kompetenzen

Notwendigkeit, Verfahren zu erweitern bzw. eigene Verfahren zu entwickeln

* z.B. Rechtschreibtests: DRT3 u. DRT4 bzw. z.B. lehrplanvalider Mathematiktest DEMAT 3 u. DEMAT 4

23

Instrumente – Welle 4 (5. Klasse)

Textverstehen (Eigenkonstruktion+ Ankeraufgaben.)

Wortschatz

(KFT 4-12+R)

Mathematische Kompetenz

(Eigenkonstruktion)

Reasoning 1

(CFT 20-R)

Englisch C-Test Englisch Stolperwörtertest

Fortsetzung im Längsschnitt Neu ab der 5. Kl.

24

Generelle Herausforderungen bei der Modellierung von Kompetenzen

Besonders bei längeren Zeitintervallen:• Problem der inneren Differenzierung und strukturellen Veränderung

einzelner Kompetenzen im Entwicklungsverlauf • Kompetenzmodelle (z.B. Niveau- bzw. Strukturmodelle) sind primär

querschnittlich angelegt bzw. umfassen – wenn überhaupt – nur vergleichsweise kurze Entwicklungsetappen

• Problem zunehmende größerer Kompetenzunterschiede adaptive Testung

Bereits bei kurzen Zeitintervallen:• Für Interpretationen im Sinne intra-individueller Veränderungen ist es

notwendig, Verfahren zu verlinken und somit eine gemeinsame Metrik zu erstellen (Alternativ: Testwiederholung)

25

• Area A: Domain-general cognitive functions (e.g., indicators of fluid intelligence)• Area B: Domain-specific cognitive competencies

German Language competencies, specifically, Reading Literacy and listening comprehension

Mathematical Literacy Scientific Literacy indicators of foreign language competencies.

• Area C: Metacompetencies and social competencies Indicators of procedural and declarative metacognition and self-regulation ICT literacy Social competencies

• Area D: Stage-specific (curriculum or job related) competencies and outcome measures

Ausblick: Nationales Bildungspanel (NEPS)Messung von Kompetenzen

26

Multicohort Sequence Design

27

Vielen Dank für Ihre Aufmerksamkeit!