Wirkungsevaluation mit Augenmaß - DZI · 2015-05-26 · Wirkungsevaluation mit Augenmaß...

Wirkungsevaluation mit Augenmaß Analyseansätze und Beispiele gelungener Wirkungsberichterstattung

Präsentation im Rahmen des DZI Spenden-SiegelFORUM 2015 in Berlin

Dr. Stefan Silvestrini Geschäftsführer der CEval GmbH

DZI, Berlin, 18. Mai 2015

Gliederung

Wirkungsevaluation – eine kurze Einführung Begriffsbestimmung Evaluation

Ziele und Ablauf von Evaluationen

Wirkungsorientierung und Ansätze zur Wirkungsevaluation

Voraussetzungen für eine valide und reliable Wirkungsmessung Hypothesengeleitete Vorgehensweise

Triangulation

Partizipative Vorgehensweise

Beispiele von Wirkungsevaluationen und guter Wirkungsberichterstattung Fairtrade Wirkungsstudie

World Vision Wirkungsbericht

2 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin

Wirkungsevaluation – eine kurze Einführung


Begriffsbestimmung Evaluation

An (sozial-)wissenschaftlichen Standards ausgerichtete systematische Untersuchung und Bewertung von Organisationen und Projekten/Programmen

Anwendung empirischer Methoden zur Informationsgewinnung

Bewertung anhand offengelegter, intersubjektiv nachprüfbarer Kriterien

Allgemein: Bewertung des Nutzens eines Objekts Organisationen

Strukturen & Prozesse

Maßnahmen, Projekte, Programme

Politiken/Strategien, Sektoren, Länder

Generierung steuerungsrelevanter Informationen


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen

Hypothesengeleitete Vorgehensweise

Triangulation

Partizipation

Beispiele

Fairtrade Wirkungsstudie


Ziele von Evaluation

Grundfragen Primäre Zielsetzung Festlegung der Bewertungskriterien Leistungen der Evaluation Verantwortlichkeiten Methodische Herangehensweise

5

Erkenntnis

Lernen

Kontrolle

Legitimation

Evaluation

Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin

Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Ablauf von Evaluationen

6

Klärung der Ziele, Adressaten und weiteren

Stakeholder der Evaluation

Entwicklung eines Datenerhebungsplans:

Formulierung der Evaluationsfragen und zu

überprüfenden Hypothesen

Indikatorenentwicklung

Identifikation der Datenquellen

Entwicklung eines Untersuchungsdesigns und der

Erhebungsinstrumente

Datenerhebung und Überprüfung der Datenqualität

Datenaggregation und -analyse

Reporting:

Interpretation der Untersuchungsergebnisse

Ableitung von Schlussfolgerungen und

Empfehlungen

Daten verfügbar?

Ja

Nein

Ja

Nein Daten ausreichend?


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Wirkungsorientierung

Nicht Planung und Umsetzung (Prozesse) stehen im Vordergrund sondern erzielte Ergebnisse und direkte Wirkungen

Fokus liegt auf Identifikation erzielter Ergebnisse und darauf wie (durch was) diese Ergebnisse zustande kamen

Wichtig: Erfassung der Nettowirkungen! Beobachtbare intendierte Veränderungen + Beobachtbare nicht-intendierte Veränderungen = Bruttowirkungen – intervenierende Faktoren – Design-Effekte = Nettowirkungen


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



‚Berechnung‘ der Nettowirkungen

8

Indikator „I“ Intervention

t1 Erhebungszeitpunkt t2

Differenz von I zwischen Ziel- und Vergleichsgruppe

nach Interventions-teilnahme (t2)

t0

Differenz von I zwischen Ziel- und Vergleichsgruppe vor

Interventionsteilnahme (t0)

Mittelwert von I für die Zielgruppe

Mittelwert von I für die Vergleichsgruppe

Geschätzter kontrafaktischer Mittelwert von I für die Zielgruppe

Nettowirkung


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Wirkungsevaluationsansätze

Wissenschaftlich orientierte Ansätze (Auswahl)

Experimentelle Designs (Randomized Control Trial)

Quasi-experimentelle Untersuchungsdesigns

Regression Discontinuity Design

Strukturgleichungsmodellbasierte Designs

Zeitreihendesigns

Pipeline-Designs

Problem: Hohe Anforderungen an Methodenkompetenz, Ressourcenintensiv, setzen z.T. bestimmte Programmkonzeptionen voraus

Praxisorientierte Ansätze (Auswahl)

Participatory Impact Monitoring

Method for Impact Assessment of Programs and Projects

Most Significant Change

Problem: Mangelnde Validität der Ergebnisse, erlauben i.d.R. keine eindeutige Wirkungsattribution, Gefahr subjektiver Bewertungsergebnisse


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Regression Discontinuity Design I


6 6+ 5- 5 5+ 4- 4 4+

Notenverteilung der ersten Klassenarbeit

3- 3 3+ 2- 2 2+ 1- 1

Schwellwert

L L L L L K K K K K K K K

J J J J J 6

6+

5-

4-

4

4+

3-

3

2-

2

2+

5

5+

1-

3+

1 Notenverteilung der zweiten Klassenarbeit

L

L

K

K

K K

K

J

J

K

K K

K

K

J

J

J

J

Differenz an der Schnittstelle der Regressionsgeraden

Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Regression Discontinuity Design II

Möglich bei Programmen bei denen die Teilnahme von einem bestimmten Schwellwert abhängt (z.B. aktuelles Einkommen bei Förderprogram zur Einkommenssteigerung)

Vergleich der Wirkungsindikatoren von ZG- und VG-Mitgliedern, deren Werte sehr nah an dem Schwellwert liegen

Verfahren erlaubt nur Identifikation von lokalen Effekten des Programms in der Nähe des Schwellwerts

Bei nicht linearen Regressionsfunktionen Gefahr der Fehlinterpretation von Kurvensteigerungen als Wirkung


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Voraussetzungen für eine valide und reliable Wirkungsmessung




Analyse der dem Programmkonzept zugrundeliegenden Wirkungsannahmen

Rekonstruktion des Wirkungsmodells unter Berücksichtigung externer Einflussfaktoren

Überprüfung der Plausibilität der Ursache-Wirkungsbeziehungen

Messung der in den Wirkungsfeldern beobachtbaren Veränderungen

Zuordnung der Veränderungen zu den Programmmaßnahmen oder alternativen Erklärungsansätzen

Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Triangulation

Datentriangulation

Gewinnung von Informationen zu gleichen Fragestellungen aus unterschiedlichen Datenquellen

Ziel: Verminderung von quelleninduzierten Verzerrungseffekten

Wichtig: Daten müssen unterschiedlichen Ursprungs sein

Methodentriangulation

Gewinnung von Informationen zu gleichen Fragestellungen mit unterschiedlichen Methoden

Ziel: Verminderung von methodenspezifischen Verzerrungseffekten

Wichtig: Kombination qualitativer und quantitativer Methoden

Forschertriangulation

Gewinnung, Analyse und Interpretation von Daten durch mehrere Forscher

Ziel: Verminderung von forscherinduzierten Verzerrungseffekten, Erhöhung der Objektivität

Wichtig: Kombination möglichst unterschiedlicher Expertisen


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Partizipative Vorgehensweise

Zielsetzung Verbesserung der Transparenz und Nachvollziehbarkeit

der Evaluationsergebnisse

Gewährleistung der Akzeptanz der Ergebnisse


Evaluierende Evaluierte

Informieren im Vorfeld über Ziele und Vorgehensweise

Tragen zur Operationalisierung des Untersuchungsgegenstands bei

Geben kontinuierlich Rückmeldung zur Umsetzung

Geben Zugang zu Informationsquellen bzw. stellen Infos zur Verfügung

Informieren über die Ergebnisse der Evaluation

Liefern Hinweise zur Interpretation und Bewertung der Ergebnisse

Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Beispiele von Wirkungs-evaluationen und guter Wirkungsbericht-erstattung


Fairtrade Wirkungsstudie I

Ziel der Evaluation

Vollständige Wirkungserfassung

Ermöglichung einer kausalen Ursachenzuschreibung

Zu überprüfende Wirkungshypothese: „Fairtrade hat positive Auswirkungen auf die ländliche Entwicklungen und trägt damit zur Armutsbekämpfung bei.“

Herausforderungen

Identifikation von Wirkungen auf drei Ebenen: Individuum, Organisation, Gemeinde

... und in fünf lebensweltlichen Bereichen: Soziale Strukturen, sozio-ökonomische Situation der Arbeiter und Kleinbauern, Organisation ländlicher Regionen, lokale und nationale Entwicklung, Umgang mit natürlichen Ressourcen

Verschiedene Produktgruppen, Länder, soziokulturelle Rahmenbedingungen, Produzentenorganisationen


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Fairtrade Wirkungsstudie II

Quasi-experimentelles Design


ZIELGRUPPE

Fairtrade-zertifizierte

Produzentenorganisation

+ Dörfer

VERGLEICHSGRUPPE

nicht-Fairtrade zertifizierte

Produzentenorganisation

+ Dörfer

Systematischer Vergleich

Systematischer Vergleich VORHER NACHHER

Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Fairtrade Wirkungsstudie III

Hypothesengeleiteter Multi-Methoden-Ansatz

Anwendung des Lebensverlaufs-, Innovations-, Organisationsmodell

Daten-, Methoden- und Forschertriangulation

Qualitative Daten 128 Leitfadengestützte Interviews auf allen Ebenen

32 Gruppendiskussionen

11 teilnehmende Beobachtungen

Quantitative Methoden 6 standardisierte Erhebungen mit Farmern und Arbeitern

3750 beantwortete und auswertbare Fragebögen

Blumen-, Tee-, Kaffee-, Bananen-, Kakao- und Baumwollsektor


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Fairtrade Wirkungsstudie IV


Soziale Strukturen

Forschungsfeld

Bildung

Gender

Unterthemen

Anzahl der Frauen in Führungspositionen

Messbare Indikatoren

Fehltage der Schüler

Aktive Partizipation von Frauen in lokalen Institutionen

Malariaverbreitung

Anzahl der Ärzte

Anzahl der Kinder, die auf eine weiterführende Schule gehen

Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Fairtrade Wirkungsstudie V


Anzahl der Ärzte Anwesenheit der

Schüler

Aktive Partizipation von Frauen in öffentlichen

Institutionen

Literatur- und Dokumentenanalyse

Experteninterviews

Leitfadengestützte Interviews

Standardisierte Befragungen

Gruppendiskussionen

Teilnehmende Beobachtungen

Daten-, Methoden- und Forschertriangulation

Erhoben durch:

Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



World Vision Wirkungsbericht I

Zielsetzung Darstellung der Beiträge der von World Vision geförderten

Projekten an möglichen positiven wie negativen Veränderungen in den Projektregionen

Generierung von Wissen über die Funktionsweise und Wirksamkeit der Vorhaben

Förderung von Lernprozessen bei Zielgruppen, Partnern und World Vision

Rechenschaftslegung

Stärkung der Handlungsfähigkeit der Partner und Zielgruppen


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



World Vision Wirkungsbericht II


LEAP Zyklus

© World Vision 2014

Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



World Vision Wirkungsbericht III


Ermittlung der Gesamtwirkungsbilanz

Entwicklung plausibler Wirkungszusammenhänge


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



World Vision Meta-Evaluation


Aufgabe

Analyse und Bewertung von 34 Evaluationsberichten hinsichtlich ihrer Qualität und Aussagekraft zu den Untersuchungsfragestellungen

Ableitung von Empfehlungen zu Design und Umsetzung zukünftiger Evaluationen


Einführung

Begriffsbestimmung

Ziele und Ablauf

Ansätze

Voraussetzungen


Triangulation

Partizipation

Beispiele



Vielen Dank für Ihre Aufmerksamkeit!

Wirkungsevaluation mit Augenmaß - DZI · 2015-05-26 · Wirkungsevaluation mit Augenmaß...

Documents

Transcript of Wirkungsevaluation mit Augenmaß - DZI · 2015-05-26 · Wirkungsevaluation mit Augenmaß...