IncludeMe Ergebnisse der summativen Evaluation. Präsentation auf dem 6. Koordinationstreffen in...
-
Upload
emerick-drach -
Category
Documents
-
view
109 -
download
0
Transcript of IncludeMe Ergebnisse der summativen Evaluation. Präsentation auf dem 6. Koordinationstreffen in...
InclIncludeudeMeMeErgebnisse der summativen Ergebnisse der summativen
EvaluationEvaluation
Kurzer RückblickKurzer Rückblick
Geplant war:Geplant war: Befragung von Austausch-TeilnehmerInnen in allen Befragung von Austausch-TeilnehmerInnen in allen
drei Wellendrei Wellen Ab der zweiten Phase Befragung von MentorInnen Ab der zweiten Phase Befragung von MentorInnen In den letzten Phase Expertenrating der Materialien In den letzten Phase Expertenrating der Materialien
(survival kids) und der Öffentlichkeitsarbeit (Internet-(survival kids) und der Öffentlichkeitsarbeit (Internet-Seite, Flyer, CD-Rom….)Seite, Flyer, CD-Rom….)
Kurzer RückblickKurzer RückblickRealisiert wurde aRealisiert wurde auf der Basis der Festlegungen der Arbeitstreffen in Kiel und Madrid: Frühjahr 2004 halb-standardisierte Befragung der Koordinatoren -> (Festlegung der Konstrukte und Indikatoren; Schwerpunkt Lernergebnis, Identifikation typischer Probleme in der Startphase (mentoring!); Rückmeldung auf der Audiokonferenz (Juni 2004) und in Madrid (Sept. 2004); Ende 2004 Evaluations-Zwischenbericht standardisierte und in den Aufnahme- bzw. Berichtsprozess integrierte Befragung der TeilnehmerInnen des Austauschs 2005; Befragungs- und Ergänzungsformulare verschickt im März 2005; schleppender Rücklauf bis Spätsommer 2005; Ergebnisse werden auf dem letzten Arbeitstreffen in Kiel präsentiert Halb-strukturierte Interviews mit TeilnehmerInnen und MentorInnen im Februar 2005 in Tallin, schriftliche Zusammenfassung an alle Koordinatoren im März 2005Überarbeitung des Mentoren-Fragebogens (Endversion Nov. 2005); Einsatz letzter Austausch 2006, Datenanalyse Mai 06.
StichprobenbeschreibungStichprobenbeschreibung
Befragung der TeilnehmerInnenBefragung der TeilnehmerInnen 30 Bögen von Studierenden zwischen 21 30 Bögen von Studierenden zwischen 21
und 30 Jahren, nur 14 vollständige und 30 Jahren, nur 14 vollständige Datensätze Datensätze
81,5% weiblich81,5% weiblich Teilnehmer kommen vorwiegend aus Teilnehmer kommen vorwiegend aus
Deutschland, Litauen und Estland Deutschland, Litauen und Estland (Herkunfts- und Gastland) (Herkunfts- und Gastland)
Befragung der MentorInnenBefragung der MentorInnen 20 Bögen von Lehrenden zwischen 24 und 54 Jahren, 20 Bögen von Lehrenden zwischen 24 und 54 Jahren,
viele unvollständigviele unvollständig Rücklauf am besten in Deutschland und EstlandRücklauf am besten in Deutschland und Estland
Wer nimmt an Includeme teil?Wer nimmt an Includeme teil?
Wissen über IncludemeWissen über Includeme
Erste Frage : ¼ können nicht die beteiligen Länder Erste Frage : ¼ können nicht die beteiligen Länder nennen nennen Kenntnis der Erwartungen an (potentielle) Teilnehmer Kenntnis der Erwartungen an (potentielle) Teilnehmer (im Flyer 7 Punkte) eher gering (1*0, 3*1, 6 *2, 3*3, 6*4 (im Flyer 7 Punkte) eher gering (1*0, 3*1, 6 *2, 3*3, 6*4 0*5 1*6 Punkte) 0*5 1*6 Punkte) Unterschiede in der Lehrerausbildung: nur 2 Pbn Unterschiede in der Lehrerausbildung: nur 2 Pbn wissen, daß Organisation und Dauer anders sind, einige wissen, daß Organisation und Dauer anders sind, einige vermuten Unterschiede in den Schwerpunktsetzungen vermuten Unterschiede in den Schwerpunktsetzungen (Fachlich / Didaktik), 14 von 20 formulieren (Fachlich / Didaktik), 14 von 20 formulieren Allgemeinplätze (z.B. Unterschiede im Schulsystem, in Allgemeinplätze (z.B. Unterschiede im Schulsystem, in Schulkultur) Schulkultur) Frage 4 (Unterschiedliche Voraussetzungen für Frage 4 (Unterschiedliche Voraussetzungen für Unterricht) wurde z.T. nicht richtig verstanden und Unterricht) wurde z.T. nicht richtig verstanden und konnte nicht ausgewertet werden. konnte nicht ausgewertet werden.
Unterschiede in der Lehrerausbildung Unterschiede in der Lehrerausbildung aus Sicht der Mentorenaus Sicht der Mentoren
Dt. Refrendariat, daher Alter der LehrerDt. Refrendariat, daher Alter der Lehrer
FächerkombinationenFächerkombinationen
UnterrichtsmethodenUnterrichtsmethoden
GestaltungsmöglichkeitenGestaltungsmöglichkeiten
Umgang mit SchülernUmgang mit Schülern
Persönlichkeitsprofile der TeilnehmerInnenPersönlichkeitsprofile der TeilnehmerInnen(keine signifikanten Alters-, Geschlechts- oder (keine signifikanten Alters-, Geschlechts- oder
länderbezogene Effekte; schwache Interkorrelationen)länderbezogene Effekte; schwache Interkorrelationen)
1 2 3 4
Need for cognition
Simplicissimus
Theorieorient.
Weltoffenheit
intrinsische Motivation
Persönlichkeitsmerkmale und selbsteingeschätzte Persönlichkeitsmerkmale und selbsteingeschätzte (Schlüssel-)Kompetenzen(Schlüssel-)Kompetenzen
Need for Need for cognitioncognition
Simpli-Simpli-cissimuscissimus
Theorie-Theorie-orient.orient.
Welt-Welt-offenheitoffenheit
Intrins. Intrins. Motiv.Motiv.
EigenständigkeitEigenständigkeit .47*.47* .52*.52*
FlexibilitätFlexibilität .44+.44+ .52*.52*
DurchsetzungsvermögenDurchsetzungsvermögen
ProblemlösefähigkeitProblemlösefähigkeit .60*.60*
AufgeschlossenheitAufgeschlossenheit .42*.42* .45+.45+
Soziale KompetenzSoziale Kompetenz
Eingangseinstellungen, angestrebter Lernzuwachs und Eingangseinstellungen, angestrebter Lernzuwachs und derzeitiger Kenntnisstandderzeitiger Kenntnisstand
Need for Need for cognitioncognition
Simpli-Simpli-cissimuscissimus
Theorie-Theorie-orientierungorientierung
Welt-Welt-offenheitoffenheit
Intrins. Intrins. MotivationMotivation
KompetenzfelderKompetenzfelder
(2) Erzieher(2) Erzieher -.60*-.60*
(3) Experte(3) Experte -.52*-.52*
(7) in einem Schulteam(7) in einem Schulteam -.45*-.45*
(9) europ. Unterrichtssystem(9) europ. Unterrichtssystem .56*.56*
Kenntnisstand – HeimatKenntnisstand – Heimat
Politisches SystemPolitisches System -.49*-.49*
LehrerausbildungLehrerausbildung .48*.48* .41+.41+
Kenntnisstand – europ. LänderKenntnisstand – europ. Länder
Politisches SystemPolitisches System -.41+-.41+
Bildungspolit. DiskussionenBildungspolit. Diskussionen .42+.42+
HochschulstrukturHochschulstruktur .53*.53*
LehrerausbildungLehrerausbildung .58*.58*
Struktur des SchulsystemsStruktur des Schulsystems .51*.51*
Bereitschaft der Teilnehmer, Zeit in die Evaluation Bereitschaft der Teilnehmer, Zeit in die Evaluation zu investierenzu investieren
70%
25%
0% 5%
30 Min. pro Tag
2 Std. pro Woche
max halben Tag
weniger als einen Tag
Eingangsvorausetzungen aus Sicht Eingangsvorausetzungen aus Sicht der Mentorender Mentoren
sichere Sprachkenntnisse (8)sichere Sprachkenntnisse (8) Neugierde, Offenheit für neue Erfahrungen (7)Neugierde, Offenheit für neue Erfahrungen (7) Flexibilität (5)Flexibilität (5) fachliche Kompetenz, Selbstbewußtsein durch fachliche Kompetenz, Selbstbewußtsein durch eigene Unterrichtserfahrungen (4) eigene Unterrichtserfahrungen (4) Soziale Kompetenz / Kooperationsfähigkeit (3)Soziale Kompetenz / Kooperationsfähigkeit (3) Weltoffenheit, Eigenständigkeit (2)Weltoffenheit, Eigenständigkeit (2) Lebenserfahrung, Vorstellung von Lebenserfahrung, Vorstellung von angemessenen Schüleranforderungen, angemessenen Schüleranforderungen, Anpassungsfähigkeit, Reflexionsfähigkeit, Anpassungsfähigkeit, Reflexionsfähigkeit, Studierfähigkeit (1) Studierfähigkeit (1)
Fremdsprachenkenntnisse der Fremdsprachenkenntnisse der MentorenMentoren
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
englisch
deutsch
spanisch
keine geringe durchschnittlich gut fließend
Kenntnisstand bezogen auf das Kenntnisstand bezogen auf das HeimatlandHeimatland vor vor und nach dem Austauschund nach dem Austausch
(Kenntnisstand gesamt: 3.03 vs. 3.23; t=-1,71; p=.10)(Kenntnisstand gesamt: 3.03 vs. 3.23; t=-1,71; p=.10)
1 2 3 4
Bildungssystem
Hochschule
Lehrerausbildung
Schulsystem
Politik
Tagesthemen
Vorher
nachher
Kenntnisstand bezogen auf Kenntnisstand bezogen auf andere europäische andere europäische LänderLänder vor und nach dem Austausch vor und nach dem Austausch (Kenntnisstand gesamt: 2.19 vs. 2.76; t=-5.4; p<.001)(Kenntnisstand gesamt: 2.19 vs. 2.76; t=-5.4; p<.001)
1 2 3 4
Bildungssystem
Hochschule
Lehrerausbildung
Schulsystem
Politik
Tagesthemen
Vorher
nachher
Erweiterung des Kenntnisstands bezogen auf Erweiterung des Kenntnisstands bezogen auf andere europäische Länderandere europäische Länder – Mentorenurteil (in %) – Mentorenurteil (in %)
0 0,2 0,4 0,6 0,8 1
Schulsystem
Bildungssystem
Lehrerausbildung
Tagesthemen
Politik
Hochschule
gar nicht etwas sehr stark
Wahrgenommene Veränderung in PersönlichkeitsmerkmalenWahrgenommene Veränderung in Persönlichkeitsmerkmalen
1
1,5
2
2,5
3
3,5
4
4,5
5
gleich geblieben
stärker geworden
deutlichstärker
geworden
geringergeworden
deutlich geringer
geworden
Wahrgenommene Veränderung in PersönlichkeitsmerkmalenWahrgenommene Veränderung in Persönlichkeitsmerkmalen
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Aufgeschlossenheit
Weltoffenheit
Flexibilität
Beziehungsfähigkeit
Entscheidungskompetenz
soziale Kompetenz
Verantw ortungsbew ußtsein
PLF
Eigenständigkeit
Kreativität
Kritikfähigkeit
Organisationsfähigkeit
Studierfähigkeit
Durchsetzungsvermögen
deutlich geringer
etwas geringer
gleich geblieben
etwas stärker
deutlich stärker
Veränderung in Persönlichkeitsmerkmalen – Selbst- und FremdurteilVeränderung in Persönlichkeitsmerkmalen – Selbst- und Fremdurteil
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Aufgeschlossenheit
A-Mentor
Weltoffenheit
W-Mentor
Flexibilität
F-Mentor
Beziehungsfähigkeit
B-Mentor
deutlich geringer
etwas geringer
gleich geblieben
etwas stärker
deutlich stärker
Veränderung in Persönlichkeitsmerkmalen – Selbst- und FremdurteilVeränderung in Persönlichkeitsmerkmalen – Selbst- und Fremdurteil
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Entscheidungskompetenz
E-Mentor
soziale Kompetenz
SK_Mentor
Verantw ortungsbew ußtsein
V-Mentor
PLF
PLF-Mentor
Eigenständigkeit
E-Mentor
deutlich geringer
etwas geringer
gleich geblieben
etwas stärker
deutlich stärker
Veränderung in Persönlichkeitsmerkmalen – Selbst- und FremdurteilVeränderung in Persönlichkeitsmerkmalen – Selbst- und Fremdurteil
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Kreativität
K-Mentor
Kritikfähigkeit
K-Mentor
Organisationsfähigkeit
O-Mentor
Studierfähigkeit
S-Mentor
Durchsetzungsvermögen
D-Mentor
deutlich geringer
etwas geringer
gleich geblieben
etwas stärker
deutlich stärker
Veränderung in Persönlichkeitsmerkmalen Veränderung in Persönlichkeitsmerkmalen (Differenz vorher-nachher)(Differenz vorher-nachher)
-0,5
-0,4
-0,3
-0,2
-0,1
0
0,1
0,2
0,3
0,4
0,5
gleich geblieben
stärker geworden
geringergeworden
Wahrgenommene Veränderungen in der Wahrgenommene Veränderungen in der FremdsprachkompetenzFremdsprachkompetenz
0
5
10
15
20
25
30
35
40
45
eigener Ausdruck Texte verstehen
gar nicht verbessert
etwas verbessert
ziemlich verbessert
sehr stark verbessert
Veränderungen in der Fremdsprachkompetenz vorher-nachherVeränderungen in der Fremdsprachkompetenz vorher-nachher(keine signifikanten Veränderungen)(keine signifikanten Veränderungen)
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
Englisch Deutsch Spanisch andere
vorher
nachher
Angestrebte Erweiterung der Perspektive auf 10 Angestrebte Erweiterung der Perspektive auf 10 KompetenzfeldernKompetenzfeldern
0% 20% 40% 60% 80% 100%
Mitglied eines Kulturkreises
Parnter eines EU Bsystems
Partner in einem Team
Lernbegleiter
Innovator
Erzieher
Organisator
Parnter von externen
Experte
Partner der Eltern
geringe Priorität
hohe Priorität
höchste Priorität
Wahrgenommene Erweiterung der Perspektive Wahrgenommene Erweiterung der Perspektive in 10 Kompetenzfeldernin 10 Kompetenzfeldern
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Parnter eines EU Bsystems
Mitglied eines Kulturkreises
Organisator
Partner in einem Team
Innovator
Lernbegleiter
Erzieher
Experte
Parnter von externen
Partner der Eltern
gar nicht dazugelernt etwas ziemlich sehr stark
Relevanz der Kompetenzfelder aus Sicht Relevanz der Kompetenzfelder aus Sicht der Mentorender Mentoren
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Lernbegleiter
Erzieher
Experte
Organisator
Innovator
Partner der Eltern
Partner im Schulteam
Partner von Externen
Partner EU
verzichtbar eher nicht wichtig eher wichtig sehr wichtig
Korrelationen zwischen angestrebtem (Zeilen) und Korrelationen zwischen angestrebtem (Zeilen) und wahrgenommenem (Spalten) Kompetenzzuwachswahrgenommenem (Spalten) Kompetenzzuwachs
11 22 33 44 55 66 77 88 99 1010
(1) Lernbegleiter(1) Lernbegleiter -.13 -.13 nsns
.39+.39+ .43+.43+
(2) Erzieher(2) Erzieher .69*.69* .68*.68* .43*.43* .45*.45* .45*.45* .63*.63* .38+.38+
(3) Experte(3) Experte .43+.43+ ..47*47* .42+.42+ .39+.39+
(4) Organisator(4) Organisator .45+.45+ .11 .11 nsns
(5) Innovator(5) Innovator .58*.58* .48*.48* .49*.49* .78*.78* .68*.68* .37+.37+
(6) Partner d. Eltern(6) Partner d. Eltern .42+.42+ .46*.46* -.04 -.04 nsns
.51*.51*
(7) in einem Schulteam(7) in einem Schulteam .02 .02 nsns
(8) von externen (8) von externen OrganisationenOrganisationen
.46+.46+ .40*.40* .39+.39+ .17 .17 nsns
(9) eines europ. (9) eines europ. UnterrichtssystemsUnterrichtssystems
-.40+-.40+ .20 .20 nsns
(10) in einem Kulturkreis(10) in einem Kulturkreis -.10 -.10 ns.ns.
Korrelationen zwischen Einstellungen und Korrelationen zwischen Einstellungen und Kompetenzzuwachs (10 Lernfelder, Sprachkompetenz)Kompetenzzuwachs (10 Lernfelder, Sprachkompetenz)
Need for Need for cognitioncognition
Simpli-Simpli-cissimuscissimus
Theorie-Theorie-orientierungorientierung
Welt-Welt-offenheitoffenheit
Intrins. Intrins. MotivationMotivation
(1) Lernbegleiter(1) Lernbegleiter .54*.54* .45+.45+
(2) Erzieher(2) Erzieher .46*.46*
(3) Experte(3) Experte
(4) Organisator(4) Organisator .42+.42+
(5) Innovator(5) Innovator .54*.54*
(6) Partner d. Eltern(6) Partner d. Eltern
(7) in einem Schulteam(7) in einem Schulteam .39+.39+
(8) von externen Organisationen(8) von externen Organisationen .45*.45* -.55*-.55*
(9) eines europ. Unterrichtssystems(9) eines europ. Unterrichtssystems .64*.64*
(10) in einem Kulturkreis(10) in einem Kulturkreis .51*.51*
Fähigkeit, sich in Wort & Schrift auszudrücken
.43+
Fähigkeit, Texte zu verstehen .44+
Strategien zur Erweiterung des eigenen Strategien zur Erweiterung des eigenen kulturbezogenen Wissenskulturbezogenen Wissens
1 2 3 4
TV-Nachrichten
Tageszeitungen
Reisen ins Ausland
multimediale Infos
pers. Kontakte zuAusländern
Lektüre / Bibliothek
trifft gar nicht zu trifft eher nicht zu trifft eher zu trifft sehr zu
Wahrgenommene Veränderungen in den Strategien zur Wahrgenommene Veränderungen in den Strategien zur Erweiterung des eigenen WissensstandesErweiterung des eigenen Wissensstandes
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Lektüre / Bibliothek
Zeitungen
TV-Nachrichten
multimediale Infos
Reisen
pers. Kontakte zu Ausländern
weniger als bisher genauso wie bisher stärker als bisher
Fazit I: Fazit I: Wer nimmt an Includeme teil?Wer nimmt an Includeme teil?
Teilnehmer beschreiben sich als weltoffen, neugierig auf intellektuelle Herausforderungen, finden Theorie und Praxis wichtig, sind intrinsisch motiviert; Diese Persönlichkeitsmerkmale hängen systematisch mit Selbsteinschätzungen, angestrebtem Lernzuwachs und Eingangswissen.
Wissen über Includeme.....
Keine differentiellen Voraussetzungen bei Teilnehmern unterschiedlichen Geschlechts oder Alters
Substantieller Teil der Mentoren spricht fließend englisch, gut deutsch, wenige Spanisch oder andere Sprachen (Italienisch, Kroatisch, Russisch)
Mentoren finden insbesondere „klassische“ Kompetenzfelder (Lernbegleiter, Erzieher, Experte, Organisator....) wichtig
Fazit II: Fazit II: Wirkt“ Includeme? Wirkt“ Includeme?
In der Retrospektive signifikante Veränderungen in Persönlichkeitsmerkmalen (insbesondere Flexibilität, Weltoffenheit, Beziehungsfähigkeit, Weltoffenheit) sowie deutlicher Zuwachs in Fremdsprachenkompetenzen (insbesondere Textverstehen)
Mentoren attestieren den Teilnehmern Veränderungen in 14 Eigenschaften, insbesondere in denen, in denen auch Teilnehmer Veränderung wahrnehmen (Aufgeschlossenheit, Flexibilität, Eigenständigkeit, Weltoffenheit....)
Veränderungen von t1 zu t2 im Wissen (vs. Kenntnisse über andere Länder), aber nicht in Fremdsprachenkomptenzen und Einstellungen
Fazit II: Fazit II: Wirkt“ Includeme? Wirkt“ Includeme?
Durchschnittlich wahrgenommene Veränderung in 10 Kompetenzfeldern korrespondiert mit der Prioritätensetzung zu t1, Korrelationen deuten jedoch darauf hin, dass vor allem solche Teilnehmer (durchgängigen) Lernzuwachs wahrnehmen, die lernen wollen, wie man als Erzieher und Innovator agiert.
Wahrgenommener Lernzuwachs (Komptenzfelder, Fremdsprachen) ist höher bei Teilnehmer mit ausgeprägtem „need for cognition“
Strategien zur Erweiterung des eigenen Wissens haben sich insofern verändert, als man stärker den persönlichen Kontakt zu ausländischen Personen / Mitbürgern sucht.
Fazit der MentorenFazit der Mentoren generelles Problem: generelles Problem:
Viele erleben Teilnehmer nur sporadisch in 2-3 Wochen und können so keine Viele erleben Teilnehmer nur sporadisch in 2-3 Wochen und können so keine Einschätzung abgebenEinschätzung abgeben
Viele sind sich unsicher in ihrer Rolle, wissen nicht was von ihnen erwartet wird Viele sind sich unsicher in ihrer Rolle, wissen nicht was von ihnen erwartet wird (keine Abstimmung mit Mentor im Vorfeld).(keine Abstimmung mit Mentor im Vorfeld).
Vorteile: Vorteile: wertvolle interessante Erfahrung, regt zur Reflexion des eigenen Arbeitsalltags an, wertvolle interessante Erfahrung, regt zur Reflexion des eigenen Arbeitsalltags an,
alle lernen andere Schulsysteme und Länder / Kulturen kennenalle lernen andere Schulsysteme und Länder / Kulturen kennen Junge Menschen werden auf Länder aufmerksam, die nicht im touristist. Interesse Junge Menschen werden auf Länder aufmerksam, die nicht im touristist. Interesse
liegen liegen Schüler erleben Abwechslung im UnterrichtSchüler erleben Abwechslung im Unterricht
Probleme: Probleme: Mangelnde Kompabilität der Systeme erzeugt hohen Druck für Teilnehmer, Mangelnde Kompabilität der Systeme erzeugt hohen Druck für Teilnehmer,
VersagensangstVersagensangst Mangelnde Vorbereitung der AuslandspartnerMangelnde Vorbereitung der Auslandspartner Aufnehmende Schulen müssen frühzeitiger in die Planung einbezogen werdenAufnehmende Schulen müssen frühzeitiger in die Planung einbezogen werden Sprachbarriere vor allem bei Unterrichtsgestaltung (Fachvokabular)Sprachbarriere vor allem bei Unterrichtsgestaltung (Fachvokabular) Strukturelle Probleme (GHR-Studierende unterrichten JugendlicheStrukturelle Probleme (GHR-Studierende unterrichten Jugendliche Mentoren-Austausch sinnvoll(er), da Anforderungen an die angehenden Lehrkräfte Mentoren-Austausch sinnvoll(er), da Anforderungen an die angehenden Lehrkräfte
zu unterschiedlichzu unterschiedlich