Allgemeiner, differenzierter und differenzieller ... · Allgemeiner, differenzierter und...

Allgemeiner, differenzierter und differenzieller Kompetenzzuwachs durch Merkmale des Praxissemesters:Selbsteinschätzungen jenseits von Likert-Skalen

ERNST HANY, CAROLIN STOTZKA, MADLEN PROTZEL

ERFURT SCHOOL OF EDUCAT I ON, UNI VERS I TÄT ERFURT

Internationaler Kongress: Lernen in der Praxis 2017Professionalisierungsprozesse im Kontext von schulpraktischen Studien in der Lehrerbildung6.–8. März 2017, Ruhr-Universität Bochum

Hany, Stotzka & Protzel (2017): Kompetenzzuwachs durch Merkmale des Praxissemesters. Internationaler Kongress: Lernen in der Praxis 2017, Bochum, 6.-8. 3. 2017

Hintergrund des VortragsSeit WS 2014/15 Halbjahrespraktikum für das Lehramt an der Universität Erfurt.

Qualitätsentwicklung der schulpraktischen Phasen erfordert Effektmessung.

Testinstrumente für das Performance Assessment in vivo liegen nicht vor.

Selbst- und Fremdbeurteilung sind bewährte Ansätze, aber fehleranfällig. Für eine erste Effektmessung schien diese Methodik ausreichend.

Versuch der Konstruktion von Selbsteinschätzungen mit Bezug zu Kompetenzniveaus.

Dargestellt werden Methodik, Instrument, Design und Ergebnisse zum „Komplexen Schulpraktikum“ aus dem Studienjahr 2015/16 (längsschnittliches N=215).

Einführend wird das System der Praktika an der Universität Erfurt vorgestellt.


Gestuftes System Schulpraktischer Studien


Berufsorientierendes Schulpraktikum – BOS Ziele

o Anforderungen des beruflichen Alltags erleben

o eigene Berufsvorstellungen reflektieren

Rahmenbedingungen

o 80 Stunden Praktikum

o unterrichtliche und außerunterrichtliche Handlungsfelder

o zusammenhängend oder an einzelnen Tagen

o an einer oder mehreren Schulen

Entwicklungsangeboteo Komplexität des Settings: niedrig

o Aufgaben / Anforderungen an Reflexion: niedrig


Ziele

oWechsel von der Schüler/innen- zur Lehrer/innen/perspektive anbahnen

o Berufswahl prüfen

o Hospitation und Beobachtung

Rahmenbedingungen


o 2 Wochen zusammenhängend

o Vor- und Nachbereitung durch Vorlesung und Seminaranteil

Entwicklungsangeboteo Komplexität des Settings: niedrig

o Aufgaben / Anforderungen an Reflexion: mittel

Vorbereitetes Schulpraktikum – VOS


Interdisziplinäre bildungswissenschaftliche Grundlagen – IBG

Ziele

o erste eigene Lehrerfahrungen

o Unterrichtsversuch planen, durchführen und reflektieren (Direkte Instruktion)

o Berufswahl prüfen

Rahmenbedingungen


o individuell mit der Schule vereinbart

o Vorbereitung durch Vorlesung und Seminaranteil

Entwicklungsangeboteo Komplexität des Settings: mittel



Bildungswissenschaftliche Praktika – BW 01Ziele

o Lernvoraussetzungen von Schülerinnen und Schülern diagnostizieren

o Durchführen gezielter Beobachtungen zur Leistungserfassung und -rückmeldung

o Planung und Erprobung von Maßnahmen zur individuellen Lernförderung

Rahmenbedingungen






Bildungswissenschaftliche Praktika – BW 02Ziele

o Schwierigkeiten und Konflikte im Plenum oder mit einzelnen Lernenden erkennen

und erfassen

o Auseinandersetzung mit möglichen Lösungsansätzen

o Entwurf von Maßnahmen der Konfliktregulierung

Rahmenbedingungen


o 2 zusammenhängende Unterrichtswochen an einer Schule





Fachdidaktische PraktikaZieleo Auseinandersetzung mit fachdidaktischen Konzepteno Planung von Unterricht, exemplarische Konzeption von Lerneinheiten, Durchführen von Unterrichtsversucheno Reflexion des Entwurfs und der Durchführung von Unterricht

Rahmenbedingungeno mind. 30 Stunden Hospitation inkl. eigenem Unterrichtsversucho in kleinen Gruppeno 1-2 Unterrichtsstundeno parallel zur Vorlesungszeit oder im Block (z.B. Projektwoche) o auch als schulpraktische Übung (an der Universität möglich)

Entwicklungsangeboteo Komplexität des Settings: mittelo Aufgaben / Anforderungen an Reflexion: hoch


Komplexes Schulpraktikum – KSP Ziele

o Erleben des Schulalltags in seiner Komplexität

o Zusammenführung der in vorangegangenen Praktika punktuell erworbenen Kompetenzen

Rahmenbedingungen

o 15 zusammenhängende Schulwochen

o 4 Tage Lernort Schule, 1 Tag Lernort Universität

o 1. oder 2. Schulhalbjahr (9. oder 10. Semester)

Entwicklungsangeboteo Komplexität des Settings: hoch

o Aufgaben / Anforderungen an Reflexion: hoch


Funktionen von Praktika und ForschungsansätzeSubjektive und institutionelle Erwartungen an Praktika (Makrinus, 2013, S. 85)◦ Erweiterung von berufsspezifischen

Kompetenzen

◦ Persönlichkeitsbildung

◦ Ort der Vermittlung von Theorie und Praxis

◦ Biographischer Entwicklungs- und Gestaltungsraum

◦ Reflexionsauslöser

Forschungsansätze zur Professiona-lisierung (Košinár, Schmid & Leine-weber, 2016, S. 14)◦ strukturtheoretisch

◦ kompetenztheoretisch

◦ Beschreibung/Erklärung

◦ Veränderung/Entwicklung

◦ Evaluation

◦ berufsbiografisch


Ansatz der Studie: Effektmessung im Evaluationsdesign nach Stufflebeam

Black Box-Modell der Lehr-/Lern-Prozesse im Praktikum

Vorher-/Nachher-Messung


Selbsteinschätzungen von Kompetenzen(für Evaluationszwecke)

Vorteile◦ Die Erfassung erfolgt ökonomisch.

◦ Skalen können schulart- und fächerübergreifend eingesetzt werden.

◦ Eine wiederholte Messung ist unschädlich.

◦ Das Auflösungsniveau der Kompetenzfacetten kann gesteuert werden.

Nachteile◦ Es wird eine objektive Selbstbeobachtung und Selbstbeurteilung unterstellt.

◦ Individuelle Tendenzen der Selbstpräsentation und der Selbstharmonisierung sind nicht ausgeschlossen.

◦ Faktisch werden keine Kompetenzen erfasst, sondern nur damit korrelierte Variablen (Hartig & Jude, 2007).


Befunde zum Internal/External Frame ofReference Model (Marsh)

Quelle: Steinmayr & Spinath, 2015, S. 209; ASC = academic self-concept;Stichprobe: 342 Schüler/innen von Gymnasien in NRW, Kl. 11 und 12


Selbsteinschätzungen von KompetenzenBefunde◦ Die Einschätzungen von Lehramtsstudierenden und ihren Mentoren korrespondieren stark

(Moser & Hascher, 2000; Bach, 2013).

◦ Lehramtsstudierende beurteilen sich strenger als ihre Mentoren dies tun (Boekhoff et al., 2008).

◦ Selbsteinschätzungen von Kompetenzen korrespondieren mit der subjektiven Erfolgsein-schätzung (Frey & Balzer, 2003).

◦ Selbsteinschätzungen bestimmen, wie motiviert und engagiert man an eine Aufgabe herangeht (Mills & Fullagar, 2017), aber die objektiven Kompetenzen bestimmen, wie gut man sie löst (Ackerman, Kanfer & Goff, 1995).

◦ Subjektive Einschätzungen korrelieren mit objektiven Messungen, in mittlerer Höhe (bereichsspezifische Skalen bis .45; Stankov, 2013); objektive Erfolge hängen jedoch mehr von objektiven als von subjektiven Messungen ab (Ackerman et al., 2013).


Effekte eines ErwartungshorizontsStudie von Jaeger-Flor (2012) an 175 Bachelorstudierenden (Ziel: Lehramt) nach dem ersten vertiefenden Schulpraktikum (15 Unterrichtstage unter Aufsicht der Studienseminare). Voran gingen zwei orientierende Praktika mit ebenfalls jeweils 15 Unterrichtstagen. Der Erwartungshorizont für den Kompetenzstand wurde in Workshops mit Lehrkräften erarbeitet.

Ich nutze die Entwicklungsschritte der Schüler/innen als Grundlage für ihre Beratung.

(jeweils ca. Hälfte der Stichprobe)

Prozentangaben


Auswahl/Entwicklung von 43 Items und acht Skalen zu Handlungskompetenzen

Konstrukte (nach Meier, 2015) phz Meier inTASC T & B eigen

Umgang mit Heterogenität 3 2

Strukturierung von Unterricht 3 1 2

Motivierung/Klassenführung 1 2 2

Erziehen 1 3 1

Beurteilen 2 1 2 1

Innovieren 2 2 1

Didaktische Planungskompetenz 6

Reflektieren 5

Itemquellen

Quellen: phz = Professionsstandards der PH Zug (2004); Meier = Meier (2015): Kompetenzen von Lehrkräften; inTASC = Interstate Teacher Assessment and Support Consortium (InTASC) Model Core Teaching Standards (2011); T & B = Thiel & Blüthmann (2009). Ergebnisse der Evaluation der lehrerbildenden Studiengänge an der Freien Universität Berlin - Sommersemester 2009.


ItembeispieleKonstrukte (nach Meier, 2015) Item

Umgang mit Heterogenität den Unterricht auf die unterschiedlichen Lernvoraussetzungen ausrichten

Strukturierung von Unterricht vielfältige Methoden des Unterrichtens klassenzentriert sach-, ziel- und adressatengerecht einsetzen

Motivierung/Klassenführung den Schülerinnen und Schülern fördernde Rückmeldung geben

Erziehen auf Störungen so reagieren, dass der Unterricht möglichst wenig beeinträchtigt wird

Beurteilen den Lernfortschritt nach unterschiedlichen Kriterien und mit unterschiedlichen Instrumenten erfassen

Innovieren sich mit Fragen der Schulentwicklung auseinander setzen und sich an Projekten der Schulentwicklung aktiv und verantwortlich beteiligen

Didaktische Planungskompetenz einen praxistauglichen Unterrichtsentwurf anfertigen

Reflektieren die eigenen Unterrichtserfahrungen analysieren und Gründe für Verlauf und Ergebnis erkennen


Konstruktion der AntwortskalierungDifferenzierte Erfassung von acht Handlungsbereichen mit in Infinitivform formulierten Items.

Selbsteinschätzung mit Bezug zu Expertise-Niveaus (Dreyfus, 2004):• Ich komme damit nicht zurecht.

• Es gelingt mir ansatzweise.

• Ich handle in Standardsituationen sicher.

• Ich komme auch in unterschiedlichen Situationen sehr gut zurecht.

• Ich beherrsche die Tätigkeit (fast) perfekt und tue schon automatisch das Richtige.

Selbsteinschätzung der eigenen Kompetenzen vor und nach dem Halbjahres-praktikum, ohne direkt auf das Praktikum Bezug zu nehmen.


Skalen zu Lerngelegenheiten und Kompetenzen

Konstrukte (nach Meier, 2015) theoretischeLern-

gelegenheit*

praktischeLern-

gelegenheit**

Kompe-tenzein-

schätzung

Umgang mit Heterogenität

Strukturierung von Unterricht

Motivierung/Klassenführung

Erziehen

Beurteilen

Innovieren

Didaktische Planungskompetenz

Reflektieren

* Wie intensiv gehört/gelesen?• nichts erfahren• ansatzweise beschäftigt• umfassend

auseinandergesetzt

** Wie intensiv selbst praktiziert?• nichts getan• ansatzweise ausprobiert• umfassend geübt

(vgl. ähnlich Oser/Oelkers, 2001)


Verrechnung der ItemsBetrachtung der 5-6 Items pro Kompetenzbereich und Bestimmung des Medians(im Sinne eines repräsentativen Kompetenzniveaus).

Berechnung des Gesamtmedians über alle acht Kompetenzbereiche als individuelles Gesamtkompetenzniveau.

Gleiches Vorgehen bei den Lerngelegenheiten.

Auswertung der Ordinalskalen soweit möglich mit nicht-parametrischen Verfahren.

„Reparametrisierung“ im Sinne von Oser und Oelkers (2001) für anspruchs-vollere Analysen im Rahmen des linearen Modells.


Untersuchungsfragestellungen(evaluationsrelevant)

H1: Die mittleren Kompetenzeinschätzungen steigen durch das Komplexe Schulpraktikum (allgemeiner Effekt).

H2: Die bereichsspezifischen Kompetenzeinschätzungen fallen unterschiedlich aus und verbessern sich bereichsspezifisch (differenzierte Effekte).

H3: Die bereichsspezifischen Kompetenzeinschätzungen verbessern sich um so mehr, je mehr spezifische Lerngelegenheiten wahrgenommen wurden (differentielle Effekte).

H4: Die mittleren Kompetenzeinschätzungen liegen niedriger als bei der Verwendung von Likert-Skalen (aus der Erhebung ein Jahr zuvor).


Stichprobe und DesignZielgruppe: Die Studierenden, die im Wintersemester 2015/16 oder im Sommersemester 2016 das Komplexe Schulpraktikum absolvierten.

◦ Studierende teilen sich etwa zur Hälfte auf die beiden Semester auf.

Fragebogenerhebung vor und nach dem Halbjahrespraktikum (Längsschnitt).

◦ Zweite Hälfte kann als Wartekontrollgruppe dienen (Vergleich Posttest 1. Gruppe – Prätest 2. Gruppe).

Datensätze

◦ Im WS 15/16 ca. 120 Studierende, davon 101 für Längsschnitt

◦ Im SoSe 16 ca. 151 Studierende, davon 117 für Längsschnitt

◦ insgesamt 215 (79 %) relativ vollständige längsschnittliche Datensätze (Mittelwertsubstitution fehlender Werte)

Merkmale

◦ 151 Grundschule, 64 Regelschule; 176 weiblich, 37 männlich; Alter MW 25.0, Range 22-42


Allgemeiner Effekt: Kompetenzen(Gesamtmedian über alle Skalen)

Kompetenzniveau Prätest Posttest

Ich komme damit nicht zurecht. 1 % 0 %

Es gelingt mir ansatzweise. 31 % 12 %

Ich handle in Standardsituationen sicher. 62 % 60 %

Ich komme auch in unterschiedlichen Situationen sehr gut zurecht.

6 % 27 %

Ich beherrsche die Tätigkeit (fast) perfekt und tue schon automatisch das Richtige.

0 % 1 %

Wilcoxon-Test für gepaarte Stichproben: N=107; T=459.0; Z=7.55; p < .001

nach Tages- und Blockpraktika


Allgemeiner Effekt: Lerngelegenheiten(Gesamtmedian über alle Skalen)Theoretisches Erfahrungsniveau (gelesen) Prätest Posttest

nichts erfahren 2 % 6 %

ansatzweise beschäftigt 88 % 80 %

umfassend auseinandergesetzt 9 % 14 %

Wilcoxon-Test für gepaarte Stichproben: N=48; T=552.0; Z=.37; p > .70

Praktisches Erfahrungsniveau (getan) Prätest Posttest

nichts getan 12 % 1 %

ansatzweise ausprobiert 85 % 79 %

umfassend geübt 3 % 20 %

Wilcoxon-Test für gepaarte Stichproben: N=68; T=167.5; Z=6.14; p < .001


Differenzierte Effekte(Mediane der einzelnen Skalen)Skala nicht

zurechtansatz-weise

Stan-dardsit.

diverse Sit.

auto-matisch

Wil-coxon

Umgang mit Heterogenität 1 34 53 12 0

Strukturierung von Unterricht 0 13 59 27 1

Motivierung/Klassenführung 0 14 61 21 3

Erziehen 5 40 47 7 1

Beurteilen 4 67 26 3 0

Innovieren 0 20 68 9 2

Didaktische Planungskompetenz 0 12 52 34 2

Reflektieren 2 18 49 25 6

PrätestAlle Angaben in Prozent

Für die Kompetenzen des Prätests: Friedmans ANOVA; Chi² (N = 215, FG = 7) = 709.3; p < .001


Differenzierte Effekte(Mediane der einzelnen Skalen)Skala nicht

zurechtansatz-weise

Stan-dardsit.

diverse Sit.

auto-matisch

Wil-coxon

Umgang mit Heterogenität 1 / 1 34 / 17 53 / 54 12 / 27 0 / 1 p < .001

Strukturierung von Unterricht 0 / 0 13 / 4 59 / 36 27 / 53 1 / 7 p < .001

Motivierung/Klassenführung 0 / 0 14 / 4 61 / 41 21 / 47 3 / 7 p < .001

Erziehen 5 / 0 40 / 19 47 / 56 7 / 23 1 / 2 p < .001

Beurteilen 4 / 2 67 / 32 26 / 52 3 / 14 0 / 0 p < .001

Innovieren 0 / 0 20 / 6 68 / 73 9 / 16 2 / 5 p < .001

Didaktische Planungskompetenz 0 / 0 12 / 4 52 / 37 34 / 52 2 / 8 p < .001

Reflektieren 2 / 0 18 / 9 49 / 42 25 / 41 6 / 7 p < .001

Prätest / PosttestAlle Angaben in Prozent

Für die Kompetenzen des Posttests: Friedmans ANOVA; Chi² (N = 215, FG = 7) = 731.8; p < .001


Differenzierte Effekte(Mediane der einzelnen Skalen)

Prätest und Posttest

Multivariate Varianzanalyse mitMesswiederholungen

Haupteffekt Messzeitpunkt:F(1, 214) = 165.5; p <.001;part. ɳ² = .44

Haupteffekt Kompetenzart:F(1, 214) = 289.2; p <.001;part. ɳ² = .57

Interaktionseffekt:F(7, 1498) = 4.4; p <.001;part. ɳ² = .02

Het. Strukt Motiv. Erzie. Beurt. Inno. Plan. Refl.

Kompetenzen

1,5

2,0

2,5

3,0

3,5

4,0

Niv

ea

ustu

fe

Prätest Posttest


Differenzielle Effekte(Spearman-Rangkorrelationen für die Mediane)

(1) (2) (3) (4) (5) (6) (7) (8)

(1) Umgang mit Heterogenität 1,00 0,58 0,57 0,49 0,59 0,38 0,61 0,37

(2) Strukturierung von Unterricht 1,00 0,67 0,42 0,48 0,27 0,64 0,39

(3) Motivierung/Klassenführung 1,00 0,52 0,54 0,27 0,57 0,39

(4) Erziehen 1,00 0,50 0,30 0,34 0,19

(5) Beurteilen 1,00 0,39 0,48 0,31

(6) Innovieren 1,00 0,29 0,20

(7) Didaktische Planungskompetenz 1,00 0,39

(8) Reflektieren 1,00

Alle Korrelationen sind mit p < .05 signifikant. Die Korrelationen sprechen für einen systematischen Haupteffekte („positive manifold“), aber auch für individuelle differenzielle Effekte.

Posttest


Differenzielle Effekte(Spearman-Rangkorrelationen für Kompetenzen und praktische Lerngelegenheiten)

Kompetenzen / prakt. Lerngelegenheiten (1) (2) (3) (4) (5) (6) (7) (8)

(1) Umgang mit Heterogenität 0,35 0,25 0,22 0,10 0,17 0,06 0,30 0,10

(2) Strukturierung von Unterricht 0,35 0,42 0,38 0,14 0,21 0,20 0,38 0,26

(3) Motivierung/Klassenführung 0,28 0,37 0,48 0,21 0,33 0,19 0,33 0,29

(4) Erziehen 0,30 0,31 0,26 0,32 0,25 0,16 0,25 0,13

(5) Beurteilen 0,25 0,16 0,19 0,09 0,40 0,12 0,19 0,12

(6) Innovieren 0,20 0,17 0,12 0,04 0,19 0,28 0,19 0,08

(7) Didaktische Planungskompetenz 0,27 0,27 0,21 0,01 0,24 0,11 0,46 0,26

(8) Reflektieren 0,22 0,25 0,24 0,11 0,17 0,06 0,27 0,51

Alle theoretisch erwarteten Korrelationen sind mit p < .05 signifikant. Die spezifischen Korrelationen sprechen für individuelle differenzielle Effekte.

Posttest


Differenzielle Effekte: Einfluss des eigenen Engagements auf die prakt. Lerngelegenheiten – Angebots-Nutzungs-Modell(Spearman-Rangkorrelationen)

Eigenaktivität Ausmaß prakt. Lerngelegenh.en

Ich versuchte, die täglichen Aufenthalte an der Praktikumsschule so kurz wie möglich zu halten.

-.20*

Ich habe versucht, an der Praktikumsschule so viele Aufgaben wie möglich zu übernehmen.

.30*

Ich probierte bewusst bestimmte Methoden oder Maßnahmen aus, um zu sehen, wie die Schüler/innen darauf reagieren.

.33*

Meine Unterrichtsstunden im Praktikum bereitete ich sehr umfassend vor. .10ns

Ich vermied es, den Lehrpersonen an der Schule Fragen zu stellen. -.10ns

Wenn im Unterricht eine Methode nicht so funktionierte wie erwartet, habe ich sie ein andermal bewusst variiert, um zu sehen, was herauskommt.

.18*

Ich beschäftigte mich auch an den Wochenenden freiwillig mit Themen und Aufgaben aus dem Praktikum.

.27*


Niveauvergleich

Het. Strukt Motiv. Erzie. Beurt. Inno. Plan. Refl.

Kompetenzen

1,5

2,0

2,5

3,0

3,5

4,0

4,5

Niv

ea

ustu

fe

Prätest Posttest

Längsschnitt; MANOVA mit Messwh.Aktueller Effekt: F(5, 545)=23.0, p<.001

InstruierenIndivid.

Klassenfü.Motiv.

BeurteilenDiagnost.

Kompetenzbereiche

1,5

2,0

2,5

3,0

3,5

4,0

4,5

Gra

d d

er

Zustim

mung

vor dem KSP nach dem KSP

Kompetenzstufen: Erhebung 2015/16 Likertskalen: Erhebung 2014/15


Diskussion

Die Einschätzungen auf den Kompetenzniveau-Skalen erscheinen glaubwürdig, weil sie◦ realistische Ausprägungen aufweisen,

◦ je nach Lernbereich unterschiedlich hoch ausfallen,

◦ konsistente interindividuelle Unterschiede aufweisen,

◦ mit den erlebten Lerngelegenheiten eindeutig zusammenhängen,

◦ am Ende des Studiums im Allgemeinen die erwarteten Niveaus aufweisen.


DiskussionDie erworbenen Kompetenzen hängen mit den Lerngelegenheiten zusammen, und zwar insgesamt, interindividuell und intraindividuell.

Dadurch bieten sich Ansatzpunkte, die Lerngelegenheiten insgesamt und individuell zu optimieren.

Insofern ist der Messansatz für Evalua-tionszwecke und zur Qualitätsentwick-lung nützlich.

Grundannahme: Die Studierenden sind Expert*innen ihrer eigenen Entwicklung und stakeholders der Evaluation.

Posttest


DiskussionWas messen wir eigentlich?◦ Im Grunde werden resümierende Selbstüberzeugungen erfasst, die eine

enge Beziehung zu Selbstwirksamkeitserwartungen aufweisen. (Kann man komplexe Kompetenzen überhaupt besser als mit Beurteilungsverfahren messen?)

◦ Diese Selbstüberzeugungen sind berufsbiografisch für die Entwicklung des „professionellen Selbst“ und die Verarbeitung, Bewertung und Nutzung des Studiums wichtig.

◦ Kompetenztheoretisch fallen sie unter die motivationalen Merkmale, die für das Engagement im Beruf (Chesnut & Burley, 2015) und das professionelle Lernen (De Neve et al., 2015) wichtig sind.


Vielen Dank für Ihre Aufmerksamkeit!

Allgemeiner, differenzierter und differenzieller ... · Allgemeiner, differenzierter und...

Documents

Transcript of Allgemeiner, differenzierter und differenzieller ... · Allgemeiner, differenzierter und...