Evaluation eines Projekts zur Schulsozialarbeit · 2014. 11. 26. · Ziele des Projekts: (1)...
Transcript of Evaluation eines Projekts zur Schulsozialarbeit · 2014. 11. 26. · Ziele des Projekts: (1)...
-
Evaluation eines Projekts zur Schulsozialarbeit:Welche Herausforderungen zeigten sich bei der Umsetzung eines multidimensionalen Forschungsdesigns?
Petra WagnerFakultät für Gesundheit und Soziales, FH Oberösterreich
-
Überblick zum Vortrag
• Ausgangslage der Evaluation
• Ziele der Evaluation
• Methodisches Vorgehen
• Evaluationsergebnisse
• Diskussion
-
Ausgangslage für Evaluation
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Der Verein NEUSTART bietet seit März 2009 ein Projekt zur Schulsozialarbeit an zwei Pflichtschulen in der Sekundarstufe I in Oberösterreich an, das vom Land Oberösterreich finanziert wird.
Projekt-schule 1
Projekt-schule 2
Schultyp HS POLYAnzahl der Schüler(innen) 210 95Anzahl der Klassen 10 5Anzahl der Lehrkräfte 33 12Anzahl der Sozialarbeiter(innen) 2 1Stundenausmaß pro Woche 8 4
-
Ausgangslage für Evaluation
Ziele des Projekts:(1) Unterstützung der Lehrkräfte, Schüler(innen) und
Eltern bei der Bewältigung von sozial schwierigen Situationen im schulischen Kontext
(2) Verbesserung des Klassen- bzw. Schulklimas
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Ausgangslage für Evaluation
Sozialarbeiterische Maßnahmen:(1) Beratung von Lehrkräften, Schüler(innen) und
Eltern(2) Unterstützung der Lehrkräfte bei der Erarbeitung
von Verhaltensvereinbarungen(3) Beratende Funktion bei pädagogischen
Konferenzen(4) Unterstützung bei der Vorbereitung und Umsetzung
von themenspezifischen Projektwochen(5) Durchführung von themenspezifischen
Klassenprojekten
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Ausgangslage für Evaluation
Klassenprojekte:(1) Umgang mit Konflikten in der Klasse(2) Umgang mit Gewalt(3) Verbesserung der Klassengemeinschaft
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Ziele der Evaluation
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
• Analyse der Wirksamkeit des Projekts• Prüfung der Zielerreichung• Analyse des Optimierungspotenials
ZIELEXPLIKATION
-
Ziele der Evaluation
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Workshop zur Zielexplikationam 20. November 2009 – 9 Monate nach dem Projektstart
Bei dem Workshop anwesend waren:• 1 Person – Vertreter der im Projekt tätige
Schulsozialarbeiter(innen)• 2 Personen – Vertreter der Projektverantwortliche
des Vereins NEUSTART• 3 Personen – Evaluationsteam
-
Methodisches Vorgehen
(1) Multi-informant approach(2) Multi-evaluation level approach(3) Multi-method approach
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Methodisches Vorgehen
• Schulsozialarbeiter(innen)• Lehrkräfte• Schüler(innen)
(1) Multi-informant approach(2) Multi-evaluation level approach(3) Multi-method approach
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Methodisches Vorgehen
Evaluationsstichprobe Projekt-schulenVergleichs-
schulenSchulsozialarbeiter(innen) 3Lehrkräfte 26Schüler(innen) 242 326 Mädchen 111 160Burschen 131 166
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Methodisches Vorgehen
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Auswahlkriterien für Vergleichsschulen
Vergleichbarkeit auf Ebene der Schulen:• Schultyp• Schulgröße• Schulstandort (regionale Struktur)• Klassenstruktur
(Anzahl der Klassen, Zusammensetzung der Klassen, Anzahl der SchülerInnen mit Migrationshintergrund)
Unterschiedlichkeit auf Ebene der Schulen:• Projekt zur Schulsozialarbeit
-
Methodisches Vorgehen
Vier-Stufen-Modellvon Kirkpatrick (2002)
(1) Multi-informant approach(2) Multi-evaluation level approach(3) Multi-method approach
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Methodisches Vorgehen
Vier-Stufen-Modellvon Kirkpatrick (2002)
ReactionZufriedenheit
Akzeptanz
I
LearningLernerfolg
Einstellungs-änderung, Wissens-erwerb
II
BehaviorTransfer-
erfolg
Transfer des Gelernten auf
Alltags-situationen
III
ResultsUnternehmens-
erfolg
Veränderungen in Organisation/
System
IV
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Methodisches Vorgehen
Vier-Stufen-Modellvon Kirkpatrick (2002)
ReactionZufriedenheit
Akzeptanz
I
LearningLernerfolg
Einstellungs-änderung, Wissens-erwerb
II
BehaviorTransfer-
erfolg
Transfer des Gelernten auf
Alltags-situationen
III
ResultsUnternehmens-
erfolg
Veränderungen in Organisation/
System
IV
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Methodisches Vorgehen
(1) Multi-informant approach(2) Multi-evaluation level approach(3) Multi-method approach
Datenerhebung• Interviews• FragebögenDatenanalyse• direkte Veränderungsmessung• indirekte Vergleichsmessung
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Methodisches Vorgehen
(1) Multi-informant approach(2) Multi-evaluation level approach(3) Multi-method approach
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Nicht durchführbar:indirekte Veränderungsmessung
anhand eines Pre-/Posttestdesigns
-
Evaluationsdesign
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Evaluationsergebnisse
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Ausgewählte Ergebnisse:(1) Befragung der Lehrkräfte(2) Befragung der Schüler(innen)
-
Lehrkräfte - Zufriedenheit
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
1
1,5
2
2,5
3
3,5
4
Bera
tung
sges
präc
h
Paus
enge
sprä
ch
Proj
ekt:
Umga
ng m
itKo
nflik
ten
Proj
ekt:
Umga
ng m
itGe
walt
Proj
ekt:
Klas
seng
emein
scha
ft
Mitte
lwer
t
überhaupt nicht hilfreich
sehr hilfreich
Wie hilfreich waren die Aktivitäten der Schulsozialarbeiter(innen)?
-
Lehrkräfte – Lern- und Transfereffekte
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Direkte Veränderungsmessung
Lerneffekt Mittelwert SAIn Konfliktsituationen kenne ich jetzt Verhaltensweisen… 2,37 0,50
TransfereffekteDie Klasse versteht sich mit den Lehrkräften durch die SSA… 2,16 0,38
Ich fühle mich in der Klasse durch die SSA… 2,33 0,48
Die Klassengemeinschaft ist durch die SSA… 2,37 0,50
Streitereien in der Klasse sind durch die SSA… 2,38 0,50
Außenseiter(innen) in der Klasse sind durch die SSA… 2,43 0,51
-
Schüler(innen) - Zufriedenheit
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Wie hilfreich waren die Aktivitäten der Schulsozialarbeiter(innen)?
überhaupt nicht hilfreich
sehr hilfreich
1
1,5
2
2,5
3
3,5
4
Bera
tung
sges
präc
h
Paus
enge
sprä
ch
Proj
ekt:
Umga
ng m
itGe
walt
Proj
ekt:
Umga
ng m
itKo
nflik
ten
Proj
ekt:
Klas
seng
emein
scha
ft
Mitte
lwer
t
-
Schüler(innen) - Zufriedenheit
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Befinden der Schüler(innen)nach dem Gespräch
-
Schüler(innen) – Lern- und Transfereffekte
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Direkte Veränderungsmessung
-
Schüler(innen) – Lern- und Transfereffekte
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Lerneffekte Mittelwert SA
In Konfliktsituationen kenne ich jetzt Verhaltensweisen… 2,34 0,54
Transfereffekte
Ich fühle mich in der Klasse durch die SSA… 2,18 0,50Die Klasse versteht sich mit den Lehrkräften durch die SSA… 2,21 0,50
Ich verhalte mich bei Streitereien durch die SSA… 2,21 0,52
Ich kann mich durch die SSA an Klassenregeln… 2,22 0,49
Ich kann mit meinen Gefühlen durch die SSA… 2,23 0,56
Die Klassengemeinschaft ist durch die SSA… 2,25 0,51
Außenseiter(innen) in der Klasse sind durch die SSA… 2,27 0,55
-
Schüler(innen) – Lern- und Transfereffekte
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Indirekte Vergleichsmessung
Ebenen Determinanten SkalenLearning Einstellung zur Aggression 1
Behavior Bully-Verhalten der Schüler(innen) 3
Victim-Verhalten der Schüler(innen) 3
Bully-Verhalten der Lehrkräfte 1
Soziales Klima in der Klasse 3
Delinquentes Verhalten der Schüler(innen) 1
-
Schüler(innen) – Lern- und Transfereffekte
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Victim-Verhalten der Schüler(innen) – PS 2
00,10,20,30,40,50,60,70,80,9
1
Offene Aggression Relational Aggression Victimization
Skale
nmitt
elwer
tProjektschule Vergleichsschule
-
Schüler(innen) – Lern- und Transfereffekte
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Bully-Verhalten der Lehrkräfte – PS 2
11,21,41,61,8
22,22,42,62,8
3
Mädchen Burschen
Skale
nmitt
elwer
tProjektschule Vergleichsschule
-
Schüler(innen) – Lern- und Transfereffekte
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Soziales Klima in der Klasse – PS 2
11,21,41,61,8
22,22,42,62,8
33,23,43,6
Qualität der Klassengemeinschaft Unterstützung durch Lehrkräfte
Skale
nmitt
elwer
t
Projektschule Vergleichsschule
-
Gesamtbewertung
Ausgangslagefür Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Projektzufriedenheit wird positiv bewertet:
• Schulsozialarbeiter(innen)• Lehrkräfte• Schüler(innen)
Lern- und Transfereffekte:• differenzierte Ergebnisse• eindeutigere Effekte in Projektschule 2 – vor
allem bei indirekter Vergleichsmessung
-
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
Evaluationsvergabe nach Projektbeginn• Identifikation von passenden Vergleichsschulen• Direkte Veränderungsmessung
Widersprüchliche Evaluationsergebnisse• Multi-informant approach• Multi-method approach
Nachweis von Lern- und Transfereffekten• Multi-evaluation level approach
Diskussion von Herausforderungen
bei dieser Wirksamkeitsprüfung im schulischen Kontext
-
Diskussion
Soziale Systeme sind lebenden Systeme – keine Maschinen…
Ausgangslage für Evaluation
Ziele der Evaluation
Methodisches Vorgehen
Evaluations-ergebnisse
Diskussion
-
Herzlichen Dankfür Ihre
Aufmerksamkeit!