Einführung in Konzeption und

Umsetzung von Monitorings und

Evaluationen

1

iDA Seminar –

14. Dezember 2016

Bea Knippenberg, Daniel Lechner, DAAD

Inhaltsübersicht

2

1. Theoretischer Hintergrund für Monitoring und

Evaluation:

Zieldefinitionen und Wirkungsgefüge

Indikatorenentwicklung

2. Wirkungsgefüge in der Praxis: Monitoringbeispiel:

IPID4all

3. Evaluationsplanung und Wirkungsgefüge

Theoretischer Hintergrund für Monitoring und Evaluation

1a. Zieldefinition anhand eines Wirkungsgefüges

3

Inputs Aktivitäten OutputOutcome

(Kurz- und mittel-

fristige Wirkungen)

Impact(Langfristige

Wirkungen)

Evaluation

Monitoring

Hinweise zur Erstellung des Wirkungsgefüges

4

Input = eingesetzte finanzielle, personelle und/oder materielle Ressourcen

(z.B. Personal, Geld, Partner, Know-How, Zeit)

Aktivitäten = durchgeführte/initiierte Tätigkeiten, die zur Erreichung der

Outputs nötig sind (z.B. Projekte, Maßnahmen wie Schulungen, Beratungen)

Output = unmittelbare, konkrete und zählbare Leistungen/Produkte (z. B.

geschulte Personen, organisierte Veranstaltungen, Publikationen)

Outcome = direkte kurz- und mittelfristige, positive und negative, beabsichtigte

und unbeabsichtigte Wirkungen, die aus der Nutzung der Outputs für die

Zielgruppe resultieren

Impact = längerfristige Wirkungen, einschl. positiver und negativer, die direkt

oder indirekt, beabsichtigt oder unbeabsichtigt durch die Maßnahme verursacht

werden

Hinweise zur Erstellung des Wirkungsgefüges II

5

Zwischen jedem Schritt in der Wirkungskette soll eine

„wenn-dann“-Beziehung bestehen. Diese wird durch

einen Pfeil visualisiert (Kausalität).

Die 2. Impact-Ebene bezieht sich auf

programmübergreifende strategische Ziele des DAAD (z.B.

aus der Strategie „DAAD 2020“).

Wirkungskette

Inputs Aktivitäten Output Outcome Impact

Kurz- &

mittelfristige

Wirkungen

Langfristige

Wirkungen Außerhalb des

direkten

Einflussbereichs des

Projekts

Input DAAD,

Hochschulen und

weitere Partner

Veranstaltungen

werden

durchgeführt

Curricula/

Lehrmodule, die

dem Stand der

Wissenschaft

entsprechen, sind

entwickelt

PartnerHS bieten

arbeitsmarktrel.

Studiengänge an,

die Kontext + Stand

der Wissenschaft

entsprechen

Programm trägt zur

struktur. Stärkung

der Lehre + Arbeits-

marktorientierung

an den Partner-HS

bei

Input OutputAktivität Outcome Impact

6

Entwicklung Wirkungsgefüge

Inputs Aktivitäten Output Outcome Impact

Implementierung

Planung

Wie?Was wollen wir?

Warum?

ResultateRessourcen

7

Entwicklung von Wirkungsgefügen

8

Input Aktivitäten

Outcome

(Direkte kurz- und

mittelfristige Wirkungen)

Impact

(Längerfristige Entwicklungswirkungen)

Inputs des DAAD

(Programmmittel,

Expertise und Beratung)

Inputs der Hochschulen

(Personal, Expertise,

Infrastruktur)

Inputs weiterer Partner

Veranstaltungen werden

durchgeführt

Fort- und Weiterbildungen

werden angeboten

Für die Projektdurch-führung relevante Lehr-/Lernmaterialien, Verbrauchsmaterialien, Kleingeräte, usw. werden identifiziert und beschafft

Praxisrelevante Curricula/

Lehrmodule, die dem lokalen

Kontext und dem Stand der

Wissenschaft entsprechen, sind

gemeinschaftlich entwickelt und

erprobt

Lehrpersonal an den

Partnerhochschulen ist

fachlich und didaktisch

qualifiziert

Strukturelle

Voraussetzungen für

Studiengänge und

studienbegleitende

Angebote sind geschaffen

Individuelle Kontakte zwischen den beteiligten Hochschulen und insbesondere zu Wirtschaftspartnern sind erweitert und konsolidiert

Partner-Hochschulen bieten arbeitsmarktrelevante Studiengänge an, die dem lokalen Kontext und dem Stand der Wissenschaft entsprechen

Hochschulen schaffen

arbeitsmarktrelevante

studienbegleitende

Angebote

Deutsche Hochschulen

haben Expertise in der

Entwicklungs-

zusammenarbeit erworben

Entwicklungsrelevante

fachliche Netzwerke

zwischen beteiligten

Institutionen und

Wirtschaftspartnern sind

etabliert

Das Programm trägt zur strukturellen Stärkung der Lehre und der Arbeitsmarktorientierung an den Partnerhochschulen bei

Das Programm trägt dazu

bei, dass sich deutsche

Hochschulen aktiv als

Partner in die

Entwicklungszusammenar

beit einbringen

Das Programm trägt zur

Internationalisierung der

beteiligten Hochschulen

bei

Das Programm trägt zur Verstetigung der Kooperationsstrukturen zwischen den beteiligten Hochschulen und Institutionen bei

Das Programm trägt zur

nachhaltigen Entwicklung

bei

Das Programm trägt zum

Aufbau leistungsfähiger

und weltoffener

Hochschulen bei

Projektbezogene

Aufenthalte werden

durchgeführt

Output

(Produkte, Dienstleistungen,

Veränderungen)

Entwicklung von Wirkungsgefügen

9

Input Aktivitäten

Outcome

(Direkte kurz- und

mittelfristige Wirkungen)

Impact

(Längerfristige Entwicklungswirkungen)

Inputs des DAAD

(Programmmittel,

Expertise und

Beratung)

Inputs der

Hochschulen

(Personal,

Expertise,

Infrastruktur)

Inputs weiterer Partner

Veranstaltungen werden

durchgeführt

Fort- und

Weiterbildungen

werden angeboten

Für die Projektdurch-führung relevante Lehr-/Lernmaterialien, Verbrauchsmaterialien, Kleingeräte, usw. werden identifiziert und beschafft

Praxisrelevante Curricula/

Lehrmodule, die dem lokalen

Kontext und dem Stand der

Wissenschaft entsprechen, sind

gemeinschaftlich entwickelt und

erprobt

Lehrpersonal an den

Partnerhochschulen

ist fachlich und

didaktisch qualifiziert

Strukturelle

Voraussetzungen für

Studiengänge und

studienbegleitende

Angebote sind geschaffen

Individuelle Kontakte zwischen den beteiligten Hochschulen und insbesondere zu Wirtschaftspartnern sind erweitert und konsolidiert

Partner-HS bieten

arbeitsmarkt-

relevante

Studiengänge an,

die dem lokalen

Kontext und dem

Stand der

Wissenschaft

entsprechen

Hochschulen schaffen

arbeitsmarktrelevante

studienbegleitende

Angebote

Deutsche Hochschulen

haben Expertise in der

Entwicklungs-

zusammenarbeit erworben

Entwicklungsrelevante

fachliche Netzwerke

zwischen beteiligten

Institutionen und

Wirtschaftspartnern sind

etabliert

Das Programm trägt zur

strukturellen Stärkung

der Lehre und der

Arbeitsmarkt-

orientierung an den

Partnerhochschulen bei

Das Programm trägt dazu

bei, dass sich deutsche

Hochschulen aktiv als

Partner in die

Entwicklungszusammenar

beit einbringen

Das Programm trägt zur

Internationalisierung der

beteiligten Hochschulen

bei

Das Programm trägt zur Verstetigung der Kooperationsstrukturen zwischen den beteiligten Hochschulen und Institutionen bei

Das Programm trägt zur

nachhaltigen Entwicklung

bei

Das Programm

trägt zum Aufbau

leistungsfähiger

und weltoffener

Hochschulen bei

Projektbezogene

Aufenthalte werden

durchgeführt

Output

(Produkte, Dienstleistungen,

Veränderungen)

Formulierungshinweise

10

Aktivitäten-Ebene: Aktive Formulierungen wählen:

„Veranstaltungen werden durchgeführt“ und nicht

„Durchführung von Veranstaltungen“

Output/Outcome-Ebene: Formulierungen sollen Ist-Zustand

beschreiben: “Internationale Kooperationen sind

gestärkt“ statt „internationale Kooperationen werden

gestärkt“

Impact-Ebene: Das Ziel sollte immer mit „das Programm

leistet einen Beitrag zu…“ beginnen.

Unterschiedliche Nutzung des Wirkungsgefüges für

Monitoring und Evaluation

11

Monitoring

Überprüfung der Erfüllung / des

Fortschritts der einzelnen

Wirkelemente

Untersuchung bis

Outcomeebene

Evaluation

Überprüfung des Fortschritts

sowie des kausalen

Zusammenhang zwischen den

Wirkelementen

Untersuchung auf nicht

intendierte Nebenwirkungen

(positiv/negativ)

Analyse je nach Dauer des

Programms bis Impactebene

Theoretischer Hintergrund für Monitoring und Evaluation

1b. Indikatorenentwicklung

12

Programm trägt zur strukturellen Stärkung der

Lehre + Arbeits-marktorientierung an den

PartnerHS bei

Programm trägt zur Internationalisierung der

beteiligten HS bei

PartnerHS bieten arbeitsmarktrelevante

Studiengänge an, die lokalem Kontext + Stand

der Wissenschaft entsprechen

Entwicklungsrelevante fachliche Netzwerke

zwischen beteiligten Institutionen und

Wirtschaftspartnern sind etabliert

Praxisrelevante Curricula/ Lehrmodule, die

dem Stand der Wissenschaft entsprechen, sind

entwickelt

Strukturelle Voraussetzungen für Studiengänge

+ Angebote sind geschaffen

Lehrpersonal an den PartnerHS ist fachlich und

didaktisch qualifiziert

Die bestehenden individuellen Kontakte

zwischen beteiligten HS + Wirtschaftspartnern

sind erweitert und konsolidiert

Lehr-/ Lernmaterialien usw. werden

bereitgestellt

Personelle Unterstützung zur Durchführung der

Projekte wird bereitgestellt

Veranstaltungen werden durchgeführt

Inputs des DAAD

Inputs der Hochschulen

Inputs weiterer Partner

Programm trägt zur

Verstetigung der

Kooperations-

strukturen zwischen

den beteiligten HS und

Institutionen bei

HS schaffen arbeitsmarktrelevante

studienbegleitende Angebote

Projektbezogene Aufenthalte werden

durchgeführt

Deutsche HS haben Expertise in der

Entwicklungs-zusammenarbeit erworben

Programm trägt dazu bei, dass sich deutsche

HS aktiv als Partner in Entwicklungszusam-

menarbeit einbringen

1b: Was ist ein Indikator?

Quantitative

Indikatoren =

Mengen oder Beträge

z.B. Anzahl fortgebildeter

Personen

„Variable oder Faktor

(quantitativer oder qualitativer Natur)

in Form eines einfachen und

verlässlichen Instruments, mit dem

Fortschritte gemessen, durch eine

Entwicklungsmaßnahme bedingte

Veränderungen wiedergegeben oder

auch Leistungen eines Akteurs

beurteilt werden können.“ (OECD, 2009)

Qualitative Indikatoren = Beurteilung eines Subjektes

z.B. Selbsteinschätzung zum Kompetenzgewinn

13

Programmziel und Indikatoren (Beispiel)

14

Programmziel / Outcome Indikatoren

Partner-Hochschulen bieten Studiengänge

an, die dem lokalen Kontext und dem

Stand der Wissenschaft entsprechen

Neue Studiengänge, die dem lokalen

Kontext und dem Stand der

Wissenschaft entsprechen werden

angeboten / sind akkreditiert bzw. im

Akkreditierungsverfahren.

Anzahl der Studierenden, die im

Berichtsjahr an einem Studiengang

studieren, für den das Curriculum seit

Beginn der Partnerschaft neu entwickelt

wurde

Fachbezogene Partnerschaften mit Hochschulen in

Entwicklungsländern

Specificpräzise und eindeutig hinsichtlich der Qualität /

Quantität - wer? was? wie?

Measurablemit angemessenem Aufwand und zu

angemessenen Kosten messbar

Attainable realistisch zu erreichen

Relevant

aussagekräftig hinsichtlich der intendierten

Veränderungen

(zeigt der Indikator tatsächlich Veränderungen auf

Output, Outcome bzw. Impact-Ebene an?)

Time-Bound auf einen klaren zeitlichen Rahmen bezogen

Qualitätskriterien für Indikatoren

15

Indikator S M A R T

Gegenseitige Anerkennung von

Studienleistungen

Gegenseitige Anerkennung von Credit Points

im MA Human Rights zwischen der Universität

Jena und der Universität Bogotá

Unterzeichnung eines Abkommens über die

gegenseitige Anerkennung von Credit Points im

MA Human Rights zwischen der Universität

Jena und der Universität Bogotá

Unterzeichnung eines Abkommens über die

gegenseitige Anerkennung von Credit Points im

MA Human Rights zwischen der Universität

Jena und der Universität Bogotá bis 2019

Output: Strukturelle Voraussetzungen für den Joint Master MA Human Rights sind geschaffen

Beispiel für einen SMARTen Indikator

16

Indikatorenentwicklung: Ein kurzer Leitfaden

17

Entwurf idealer Indikatoren, die Wirkungselemente optimal

messen würden

Ableitung realisierbarer Indikatoren, die trotz erkannter

Probleme umsetzbar erscheinen

Festlegung der Skalen und Instrumentenentwicklung

Vergleich verschiedener Indikatoralternativen

Datenerhebung und Berechnung der Indikatoren (Pretest)

Entscheidung über die Beibehaltung, Weiterentwicklung oder

die Ablehnung eines Indikators

Weiterführende Lektüre:

18

Hier der Link

Teil 2: Praxisbeispiel IPID4all

19

Mit IPID4all erhalten deutsche

Hochschulen die Möglichkeit,

durch eine Bündelung

spezifischer Maßnahmen die

Internationalisierung der

Promotionsphase

weiterzuentwickeln bzw. neue

Strategien der

Internationalisierung zu

erproben und in geeigneter

Weise langfristig zu etablieren.

Wirkungsgefüge im Monitoring: Beispiel IPID4all

20

Indikatorenbildung: Beispiel Bedarfsoriertierung von

Maßnahmen (Output 1)

21

Qualitativer

Indikator

Kontrollfrage

Operationalsierung der Indikatorenfragen. Beispiel

Fragebogen Betreuer

22

2. Angaben zu den Internationalisierungsmaßnahmen

2.2 Bewertung der Bedarfsorientierung

Bitte beurteilen Sie die Bedarfsorientierung der Internationalisierungsmaßnahmen an der [Name der Fördereinheit

auslesen] Denken Sie dabei zunächst an das Jahr 2014 zurück und beurteilen Sie die damalige Bedarfsorientierung der

Internationalisierungsmaßnahmen. Beurteilen Sie im Anschluss bitte die aktuelle Bedarfsorientierung.

Sehr gut Gut Befriedigend Ausreichend Mangelhaft Ungenügend

Keine

Bewertung

möglich

Bedarfsorientierung in 2014 ☐ ☐ ☐ ☐ ☐ ☐ ☐

Aktuelle Bedarfsorientierung ☐ ☐ ☐ ☐ ☐ ☐ ☐

Skalen

definieren

Tool-

kennt

nisse

Vom Konzept zum Onlinesurvey

23

Auswertung I: Triangulation lohnt sich!

24

95,20%

44,90%

30,80%

0%

20%

40%

60%

80%

100%

Koordinatoren Betreuer Promovierende

Anteil Befragte, die die Bedarfsorientierung der Internationalisierungsmaßnahmen als gesteigert

einstufen

Auswertungsworkshop: Ergebnisse

25

Teil 3: Evaluationsplanung und Wirkungsgefüge

Ausgangspunkt:

Definitionen von Programmzielen und Erarbeitung des

Wirkungsgefüges

Definition des Kerninteresses (Programmevaluation, Teilaspekte,

Einzelfragen, einzelne Projekte, etc. )

Erarbeitung der Terms of Reference

26

Planungsphase: OECD / DAC Kriterien zur

Leitfragendefinition

27

Relevanz – Tun wir das richtige?

Effektivität – Erreichen wir die angestrebten Ziele?

Effizienz – Werden die Ziele wirtschaftlich erreicht?

Wirksamkeit – Trägt die Maßnahme zur Erreichung übergeordneter Ziele bei?

Nachhaltigkeit – Sind positive Wirkungen von Dauer?

Exkurs: Definition des Erwartungshorizonts: Attribution

vs. Kontribution

Attribution

Ziel von Evaluationen ist es

immer den Effekt einer

Maßnahme eindeutig

nachzuweisen.

Experimentelle Designs

notwendig, meist nicht

realisierbar

Kontribution

Grundidee: Der Beitrag eines

Gebers wird gemessen

Theoriebasierte

Evaluierungsmethode, die

plausible Schlussfolgerungen

über den

Wirkungszusammenhang eines

Programms zulässt.

Analysiert warum Wirkungen

eingetreten sind

28

Exkurs: Von der Kontribution zum Mixed-Method Design

29

Ansätze

Theoriebasiert: basierend auf Programmtheorie bzw. Wirkungsgefüge

Quantitativ: basierend z.B. auf Umfragen

Qualitativ: basierend auf partizipativen Methoden und Einzelinterviews

Mixed-Method Design: Zusammenspiel aus obigen Ansätzen

Triangulation

Vorgehen: Bewusster Einsatz unterschiedlicher Erhebungsverfahren,

(Beobachtung, Leitfadeninterview, Fokusgruppen, Desk Study, etc.)

Ziel: Ausgleich verschiedenen „Fehler“ unterschiedlicher Datenquellen

Planungsphase: Vorgehen und Zusammenspiel der

Erhebungsinstrumente

30

Kaskadisches Vorgehen (Qualitativ Quantitativ, Quantitativ

Qualitativ)

Beispiel: explorative Interviews, Befragung,

Validierungsworkshop, Experteninterviews

Planungsphase: Evaluationssarten (extern)

Einzelgutachter

Kombination aus

Berichterstatter

(Berufsevaluator)

und Fachgutachter

(Professor)

Vorteil: deckt

Evaluations-

standards und

fachliche Aspekte

ab

31

Consulting Firma /

Institut

Professionelles

Institut in

Zusammenarbeit

mit lokalen

Gutachtern

Methodisch

versiert und

routiniert

Peer Review

Evaluation durch

Kommission aus

Fachgutachtern

(Professoren)

Fachliche Analyse

rückt in den

Vordergrund,

OECD DAC

Kriterien rücken in

den Hintergrund

Planungsphase: Budget & Aufwandsberechnung

32

Programmevaluation

Planungsphase: Zeitplan und Kostenkalkulation

Zeitplan wird konkretisiert

Finanzierung und Aufwand geschätzt

Ausschreibung/Vergabe erfolgt

33

Planungsphase Zusammenfassung: Erstellung der ToR /

Leistungsbeschreibung / Arbeitsplans

Zusammenfassung des

Programmhintergrundes

Erarbeitung der Leitfragen

anhand vordefinierter

Kriterien (DAC,

Wirkungsgefüge)

Methodenauswahl

Anforderungsprofil

Arbeitsaufwand und Kosten

34

Durchführungsphase

Ausarbeitung Evaluationsdesign & Erhebungsinstrumente

Erstellung Inception Report

Methodische Begleitung

Inhaltliche und organisatorische Begleitung

Organisation und Durchführung von weiteren Meetings und

Begehungen

Erstellung und Abnahme von Zwischen- und

Abschlussberichten: prüfen auf sachliche Korrektheit und

logische Stringenz

35

Durchführungsphase: Beispiel einer Evaluationsmatrix

Outcome: Kooperation zw. Forschern sind intensiviert

(Projektvorhaben, gem. Publikationen)

36

DAC

+

WG

Verwertungsphase: Management Response

37

Verwertungsphase

Implementierung der

Management Response

Prüfung der Umsetzung der

Management Response

Ggf. Dialog mit

Implementierungs-

verantwortlichen

Information Geldgeber

(BMBF, AA, BMZ, EU)

38

39

Vielen Dank für Ihre

Aufmerksamkeit!