Evaluation eines Projekts zur Schulsozialarbeit · 2014. 11. 26. · Ziele des Projekts: (1)...

33
Evaluation eines Projekts zur Schulsozialarbeit: Welche Herausforderungen zeigten sich bei der Umsetzung eines multidimensionalen Forschungsdesigns? Petra Wagner Fakultät für Gesundheit und Soziales, FH Oberösterreich

Transcript of Evaluation eines Projekts zur Schulsozialarbeit · 2014. 11. 26. · Ziele des Projekts: (1)...

  • Evaluation eines Projekts zur Schulsozialarbeit:Welche Herausforderungen zeigten sich bei der Umsetzung eines multidimensionalen Forschungsdesigns?

    Petra WagnerFakultät für Gesundheit und Soziales, FH Oberösterreich

  • Überblick zum Vortrag

    • Ausgangslage der Evaluation

    • Ziele der Evaluation

    • Methodisches Vorgehen

    • Evaluationsergebnisse

    • Diskussion

  • Ausgangslage für Evaluation

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Der Verein NEUSTART bietet seit März 2009 ein Projekt zur Schulsozialarbeit an zwei Pflichtschulen in der Sekundarstufe I in Oberösterreich an, das vom Land Oberösterreich finanziert wird.

    Projekt-schule 1

    Projekt-schule 2

    Schultyp HS POLYAnzahl der Schüler(innen) 210 95Anzahl der Klassen 10 5Anzahl der Lehrkräfte 33 12Anzahl der Sozialarbeiter(innen) 2 1Stundenausmaß pro Woche 8 4

  • Ausgangslage für Evaluation

    Ziele des Projekts:(1) Unterstützung der Lehrkräfte, Schüler(innen) und

    Eltern bei der Bewältigung von sozial schwierigen Situationen im schulischen Kontext

    (2) Verbesserung des Klassen- bzw. Schulklimas

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Ausgangslage für Evaluation

    Sozialarbeiterische Maßnahmen:(1) Beratung von Lehrkräften, Schüler(innen) und

    Eltern(2) Unterstützung der Lehrkräfte bei der Erarbeitung

    von Verhaltensvereinbarungen(3) Beratende Funktion bei pädagogischen

    Konferenzen(4) Unterstützung bei der Vorbereitung und Umsetzung

    von themenspezifischen Projektwochen(5) Durchführung von themenspezifischen

    Klassenprojekten

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Ausgangslage für Evaluation

    Klassenprojekte:(1) Umgang mit Konflikten in der Klasse(2) Umgang mit Gewalt(3) Verbesserung der Klassengemeinschaft

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Ziele der Evaluation

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    • Analyse der Wirksamkeit des Projekts• Prüfung der Zielerreichung• Analyse des Optimierungspotenials

    ZIELEXPLIKATION

  • Ziele der Evaluation

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Workshop zur Zielexplikationam 20. November 2009 – 9 Monate nach dem Projektstart

    Bei dem Workshop anwesend waren:• 1 Person – Vertreter der im Projekt tätige

    Schulsozialarbeiter(innen)• 2 Personen – Vertreter der Projektverantwortliche

    des Vereins NEUSTART• 3 Personen – Evaluationsteam

  • Methodisches Vorgehen

    (1) Multi-informant approach(2) Multi-evaluation level approach(3) Multi-method approach

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Methodisches Vorgehen

    • Schulsozialarbeiter(innen)• Lehrkräfte• Schüler(innen)

    (1) Multi-informant approach(2) Multi-evaluation level approach(3) Multi-method approach

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Methodisches Vorgehen

    Evaluationsstichprobe Projekt-schulenVergleichs-

    schulenSchulsozialarbeiter(innen) 3Lehrkräfte 26Schüler(innen) 242 326 Mädchen 111 160Burschen 131 166

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Methodisches Vorgehen

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Auswahlkriterien für Vergleichsschulen

    Vergleichbarkeit auf Ebene der Schulen:• Schultyp• Schulgröße• Schulstandort (regionale Struktur)• Klassenstruktur

    (Anzahl der Klassen, Zusammensetzung der Klassen, Anzahl der SchülerInnen mit Migrationshintergrund)

    Unterschiedlichkeit auf Ebene der Schulen:• Projekt zur Schulsozialarbeit

  • Methodisches Vorgehen

    Vier-Stufen-Modellvon Kirkpatrick (2002)

    (1) Multi-informant approach(2) Multi-evaluation level approach(3) Multi-method approach

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Methodisches Vorgehen

    Vier-Stufen-Modellvon Kirkpatrick (2002)

    ReactionZufriedenheit

    Akzeptanz

    I

    LearningLernerfolg

    Einstellungs-änderung, Wissens-erwerb

    II

    BehaviorTransfer-

    erfolg

    Transfer des Gelernten auf

    Alltags-situationen

    III

    ResultsUnternehmens-

    erfolg

    Veränderungen in Organisation/

    System

    IV

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Methodisches Vorgehen

    Vier-Stufen-Modellvon Kirkpatrick (2002)

    ReactionZufriedenheit

    Akzeptanz

    I

    LearningLernerfolg

    Einstellungs-änderung, Wissens-erwerb

    II

    BehaviorTransfer-

    erfolg

    Transfer des Gelernten auf

    Alltags-situationen

    III

    ResultsUnternehmens-

    erfolg

    Veränderungen in Organisation/

    System

    IV

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Methodisches Vorgehen

    (1) Multi-informant approach(2) Multi-evaluation level approach(3) Multi-method approach

    Datenerhebung• Interviews• FragebögenDatenanalyse• direkte Veränderungsmessung• indirekte Vergleichsmessung

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Methodisches Vorgehen

    (1) Multi-informant approach(2) Multi-evaluation level approach(3) Multi-method approach

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Nicht durchführbar:indirekte Veränderungsmessung

    anhand eines Pre-/Posttestdesigns

  • Evaluationsdesign

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Evaluationsergebnisse

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Ausgewählte Ergebnisse:(1) Befragung der Lehrkräfte(2) Befragung der Schüler(innen)

  • Lehrkräfte - Zufriedenheit

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    1

    1,5

    2

    2,5

    3

    3,5

    4

    Bera

    tung

    sges

    präc

    h

    Paus

    enge

    sprä

    ch

    Proj

    ekt:

    Umga

    ng m

    itKo

    nflik

    ten

    Proj

    ekt:

    Umga

    ng m

    itGe

    walt

    Proj

    ekt:

    Klas

    seng

    emein

    scha

    ft

    Mitte

    lwer

    t

    überhaupt nicht hilfreich

    sehr hilfreich

    Wie hilfreich waren die Aktivitäten der Schulsozialarbeiter(innen)?

  • Lehrkräfte – Lern- und Transfereffekte

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Direkte Veränderungsmessung

    Lerneffekt Mittelwert SAIn Konfliktsituationen kenne ich jetzt Verhaltensweisen… 2,37 0,50

    TransfereffekteDie Klasse versteht sich mit den Lehrkräften durch die SSA… 2,16 0,38

    Ich fühle mich in der Klasse durch die SSA… 2,33 0,48

    Die Klassengemeinschaft ist durch die SSA… 2,37 0,50

    Streitereien in der Klasse sind durch die SSA… 2,38 0,50

    Außenseiter(innen) in der Klasse sind durch die SSA… 2,43 0,51

  • Schüler(innen) - Zufriedenheit

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Wie hilfreich waren die Aktivitäten der Schulsozialarbeiter(innen)?

    überhaupt nicht hilfreich

    sehr hilfreich

    1

    1,5

    2

    2,5

    3

    3,5

    4

    Bera

    tung

    sges

    präc

    h

    Paus

    enge

    sprä

    ch

    Proj

    ekt:

    Umga

    ng m

    itGe

    walt

    Proj

    ekt:

    Umga

    ng m

    itKo

    nflik

    ten

    Proj

    ekt:

    Klas

    seng

    emein

    scha

    ft

    Mitte

    lwer

    t

  • Schüler(innen) - Zufriedenheit

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Befinden der Schüler(innen)nach dem Gespräch

  • Schüler(innen) – Lern- und Transfereffekte

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Direkte Veränderungsmessung

  • Schüler(innen) – Lern- und Transfereffekte

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Lerneffekte Mittelwert SA

    In Konfliktsituationen kenne ich jetzt Verhaltensweisen… 2,34 0,54

    Transfereffekte

    Ich fühle mich in der Klasse durch die SSA… 2,18 0,50Die Klasse versteht sich mit den Lehrkräften durch die SSA… 2,21 0,50

    Ich verhalte mich bei Streitereien durch die SSA… 2,21 0,52

    Ich kann mich durch die SSA an Klassenregeln… 2,22 0,49

    Ich kann mit meinen Gefühlen durch die SSA… 2,23 0,56

    Die Klassengemeinschaft ist durch die SSA… 2,25 0,51

    Außenseiter(innen) in der Klasse sind durch die SSA… 2,27 0,55

  • Schüler(innen) – Lern- und Transfereffekte

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Indirekte Vergleichsmessung

    Ebenen Determinanten SkalenLearning Einstellung zur Aggression 1

    Behavior Bully-Verhalten der Schüler(innen) 3

    Victim-Verhalten der Schüler(innen) 3

    Bully-Verhalten der Lehrkräfte 1

    Soziales Klima in der Klasse 3

    Delinquentes Verhalten der Schüler(innen) 1

  • Schüler(innen) – Lern- und Transfereffekte

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Victim-Verhalten der Schüler(innen) – PS 2

    00,10,20,30,40,50,60,70,80,9

    1

    Offene Aggression Relational Aggression Victimization

    Skale

    nmitt

    elwer

    tProjektschule Vergleichsschule

  • Schüler(innen) – Lern- und Transfereffekte

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Bully-Verhalten der Lehrkräfte – PS 2

    11,21,41,61,8

    22,22,42,62,8

    3

    Mädchen Burschen

    Skale

    nmitt

    elwer

    tProjektschule Vergleichsschule

  • Schüler(innen) – Lern- und Transfereffekte

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Soziales Klima in der Klasse – PS 2

    11,21,41,61,8

    22,22,42,62,8

    33,23,43,6

    Qualität der Klassengemeinschaft Unterstützung durch Lehrkräfte

    Skale

    nmitt

    elwer

    t

    Projektschule Vergleichsschule

  • Gesamtbewertung

    Ausgangslagefür Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Projektzufriedenheit wird positiv bewertet:

    • Schulsozialarbeiter(innen)• Lehrkräfte• Schüler(innen)

    Lern- und Transfereffekte:• differenzierte Ergebnisse• eindeutigere Effekte in Projektschule 2 – vor

    allem bei indirekter Vergleichsmessung

  • Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

    Evaluationsvergabe nach Projektbeginn• Identifikation von passenden Vergleichsschulen• Direkte Veränderungsmessung

    Widersprüchliche Evaluationsergebnisse• Multi-informant approach• Multi-method approach

    Nachweis von Lern- und Transfereffekten• Multi-evaluation level approach

    Diskussion von Herausforderungen

    bei dieser Wirksamkeitsprüfung im schulischen Kontext

  • Diskussion

    Soziale Systeme sind lebenden Systeme – keine Maschinen…

    Ausgangslage für Evaluation

    Ziele der Evaluation

    Methodisches Vorgehen

    Evaluations-ergebnisse

    Diskussion

  • Herzlichen Dankfür Ihre

    Aufmerksamkeit!

    [email protected]