Post on 19-Oct-2020
Relevanz2:DieRelevanzvonRelevanzBeobachtungenaussiebenMeta-StudienzuStellenwert,AnalyseundBewertungdesOECD-DACKriteriums‚Relevanz‘inEvaluaDonen
Dr.StefanSilvestriniDeGEvalArbeitskreisEntwicklungspoli7kGOPA,BadHomburg,12.April2018
Gliederung
ü ZurDefiniDonvonRelevanzü HintergrundundDatengrundlageü Fragestellungenü Ergebnisse
ü StellenwertvonRelevanzbeiEvaluaDonenü KriterienundMethodenzurBewertungvonRelevanzü BewertungvonRelevanz
ü Schlussfolgerungen
212.04.2018 Silvestrini:DieRelevanzvonRelevanz
Defini4onRelevanzI
DACDefini4on
“[…]Theextenttowhichtheobjec4vesofadevelopmentintervenDonareconsistentwithbeneficiaries’requirements,countryneeds,globalpriori4esandpartner’anddonors’policies.
Note:Retrospec4vely,thequesDonofrelevanceoZenbecomesaquesDonastowhethertheobjecDvesofanintervenDonoritsdesignares4llappropriategivenchangedcircumstances.”
BewertungaufgrundderBewertungvon
ü ÜbereinsDmmungmitdenBedarfenderBegünsDgten,ü mit(entwicklungspoliDschen)ZielsetzungendesPartnerlandes,ü mitinternaDonalenLeitlinien,ü sowiedenPartner-unddes‚Geber-‘Strategien/PoliDken.ü ImNachhinein:AngemessenheitvonIntervenDonsdesignund
-zielsetzung
312.04.2018 Silvestrini:DieRelevanzvonRelevanz
Defini4onHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
Defini4onRelevanzII
BMZDefini4on
AusgehendvonDACDefiniDon:“Ausmaß,indemdieZielederEntwicklungsmaßnahmemitdemBedarfderZielgruppen,denPoli4kendesKoopera4onslandesundderPartnerins4tu4onen,denglobalenEntwicklungszielensowiederentwicklungspoli4schenGrundausrichtungderBundesregierungübereinsDmmen.”
BewertungaufgrundderBewertungvon
ü BeitragzurLösungeines„entwicklungspoliDschwichDgenKernproblemsderZielgruppe(n)“
ü ÜbereinsDmmungmitentwicklungspoliDscherZielsetzungdesPartnerlandesàwiederumBezugaufBeitragzuProblemlösung
ü ÜbereinsDmmungmitZielenundRichtliniendesBMZü BezugzuAnspruchsniveau,heuDgemWissenstandundheuDgen
Rahmenbedingungen
412.04.2018 Silvestrini:DieRelevanzvonRelevanz
Defini4onHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
HintergrundundDatengrundlage
ü VermehrteAnfragenfürMeta-EvaluaDonenundEvaluaDonssynthesenindenvergangenenJahren
ü MimlerweileachtabgeschlosseneMeta-Studien,davonbeisiebenmitSynthesenunddabeiimpliziteoderexpliziteBewertungvonRelevanz
ü AusgearbeitetesAnalyserasterzurBewertungderQualitätderEvaluaDonensowiezuAggregaDonihrerErgebnisse
ü Zwei-undvierstufigenSkalensowieDefiniDonenfürSkalenwertebzw.AnleitungfürBewertungen
ü Insgesamtca.250EvaluaDonenmeta-analysiertmitunterschiedlichenSchwerpunkten
ü Datengrundlage:zweiStaatlicheTrägerorganisaDonen,zweiTransnaDonaleNGOsundeineSDZung
ü KeineeinheitlicheodergarrepräsentaDveDatengrundlage
512.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
Fragestellungen
ü WelchenStellenwerthatdieBewertungvonRelevanzinderEvaluierungspraxis?
ü WelcheKriterien/IndikatorenwerdenzurBewertungderRelevanzeinesProjektsoderProgrammsherangezogen?
ü GibtesspezifischeErhebungsinstrumente,AuswertungsverfahrenoderAnsätzezurRelevanzbewertung?
ü WiewirddieRelevanzbeiEvaluaDonenbewertet?
612.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
StellenwertvonRelevanz
ü WirdinnahezuallenEvaluaDonenbehandeltü Jedochauchi.d.R.kürzestesKapitelbeider
Ergebnisdarstellung
ü ZusammenfassendeBewertungbeziehtsichmeistaufPerspekDvepoliDscherAkteuresowiediederinsDtuDonellenPartner
ü EheruntergeordneteBerücksichDgungbeiSchlussfolgerungenundEmpfehlungen
712.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
KriterienzurRelevanzbewertungI
ü PrimärerBezugaufKohärenzmitentwicklungspoliDscherZielsetzungdesPartnerlandesundBedarfederdirektenZielgruppen/Mimler
ü BedarfederEndbegünsDgtenspielenhingegenoZmalseineuntergeordneteRolle
ü SehrunterschiedlicheBerücksichDgungderstrategischenLeitlinienderTrägerorganisaDonund/oderdes‚Geber-‘landes
ü ZurBewertungwerdennurseltenSMARTeKriterienherangezogen–selteneralsbeiBewertungvonEffekDvitätoderWirksamkeit
812.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
KriterienzurRelevanzbewertung–Beispiel
912.04.2018 Silvestrini:DieRelevanzvonRelevanz
4
4
1
1
1
7
8
11
3
4
14
23
27
15
16
0 5 10 15 20 25 30 35 40 45 50
Doestheinterventionmeettheneedsofthefinalbeneficiaries?(n=25)
Doestheinterventionmeettheneedsofthetargetgroups?(n=35)
Istheinterventionconsistentandsupportiveofpartnergovernments/regionalpolicies?(n=39)
IstheinterventionconsistentwithMFA'sdevelopmentpolicy?(n=19)
Istheinterventionaddressinginternationalconventions,policiesstrategiesofgoals?(n=21)
no ratherno ratheryes yes
Quelle: Silvestrini/Väth/Römling/Lieckefem/Mikkolainen(2018):Meta-evaluaDonofprojectandprogrammeevaluaDons2015-2017,imAuZragdesFinnischenAußenministeriums
InstrumenteundVerfahren
ü KeinespezifischenErhebungsinstrumenteidenDfizierbarü BeiSekundärquellenBezugnahmeaufInformaDonenaus
Programmkonzepten,-anträgen,jedochselteneraufDokumente,dieüberPartnerstrategienAuskunZgeben
ü BeiPrimärquellenv.a.BezugaufAussagenvonProjektverantwortlichenundPartnerinsDtuDonen,seltenerBegünsDgte
ü WenigDaten-undQuellentriangulaDonü BeiderAuswertungkommenfastausschließlichqualitaDve
VerfahrenzumEinsatz
ü KeinevergleichendenAnalysenü Bewertungenbasiereni.d.R.aufExperteneinschätzungen
1012.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
BewertungvonRelevanzI
ü MitAbstandambestenbewertetesOECD/DACKriteriumü KeinesystemaDschenregionalen,sektoralenoder
trägerspezifischenUnterschiedeerkennbar
ü Ebensoscheintes,dassVoluminaundIntervenDonsansätzekeinenEinflussaufdieBewertungderRelevanzvonProjekten/Programmenzuhaben
ü JedochspielenbisweilenderZeitpunktunddieZielederEvaluaDoneineRolle
ü BewertungderRelevanzeinesProjektskorreliertoffenbarmitderBewertungdessenWirksamkeit
ü HäufigunzureichendeDifferenzierungnacheinzelnenPrüffragenbzw.Kriterien
1112.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
BewertungvonRelevanz–Beispiel
1212.04.2018 Silvestrini:DieRelevanzvonRelevanz
Quelle: Stockmann/Silvestrini(2012):MetaevaluierungBerufsbildung,imAuZragderGIZ
Schlussfolgerungen
ü AlleuntersuchtenProjekteundProgrammesindrelevant?
ü BewertungvonRelevanzstelltfürGutachter/inn/enkeinProblemdar?
ü RelevanzbewertungenstützensichoZmalsnuraufTeilaspektebzw.berücksichDgennichtalleKriteriengleichermaßen
ü Relevanzbewertungenweisen–wieauchdieBewertungenandererOECD/DAC-Kriterien–methodischeSchwächenauf
ü RelevanzbewertungenhängenbisweilenvonintervenDonsunabhängigenFaktorenab
1312.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
VielenDankfürIhreAufmerksamkeit!
14