Wirtschaftlichkeit der Vorhaben...Als Bundesunternehmen unterstützt die GIZ die deutsche...

Stabsstelle Unternehmensentwicklung

Wirtschaftlichkeit der Vorhaben

Querschnittsauswertung – Hauptbericht

Im Auftrag der GIZ durchgeführt von externen Evaluator*innen

Impressum

Als Bundesunternehmen unterstützt die GIZ die deutsche Bundesregierung bei der Erreichung ihrer Ziele in

der Internationalen Zusammenarbeit für nachhaltige Entwicklung.

Als Stabsstelle Evaluierung der GIZ untersteht sie organisatorisch direkt dem Vorstand und ist vom operati-

ven Geschäft getrennt. Diese Organisationsstruktur stärkt ihre Unabhängigkeit. Die Stabsstelle Evaluierung

ist mandatiert, zur Entscheidungsfindung evidenzbasierte Ergebnisse und Empfehlungen zu generieren, ei-

nen glaubwürdigen Wirkungsnachweis zu erbringen und die Transparenz zu den Ergebnissen zu erhöhen.

f

Evaluator/innen:

Dr. Felipe Isidor-Serrano, Mainlevel Consulting AG

Tatjana Mauthofer, Mainlevel Consulting AG

Lukas von Petersdorff-Campen, Mainlevel Consulting AG

Lena Siemon Marques, Mainlevel Consulting AG

Tim Kalmey, Mainlevel Consulting AG

Autor/innen des Evaluierungsberichts:

Felipe, Isidor-Serrano, Mainlevel Consulting AG

Tatjana Mauthofer, Mainlevel Consulting AG

Consulting:

Mainlevel Consulting AG

Ludwig-Erhard-Straße 14, 65760 Eschborn

T +49 69 153240920

E [email protected]

I: https://www.mainlevel.

Konzeption, Koordination und Management

Dorothea Giesen-Thole, GIZ Stabsstelle Evaluierung,

Senior-Fachkonzeptionistin Team der Stabsstellenleitung

Cornelia Skokov, GIZ Stabsstelle Unternehmensentwick-

lung, Senior-Fachkonzeptionistin Gruppe Qualität und

Nachhaltigkeit

Verantwortlich:

Albert Engel, GIZ, Leiter Stabsstelle Evaluierung

Elke Winter, Gruppenleiterin Qualität und Nachhaltigkeit

Herausgeberin:

Deutsche Gesellschaft für

Internationale Zusammenarbeit (GIZ) GmbH

Sitz der Gesellschaft

Bonn und Eschborn

Friedrich-Ebert-Allee 32 + 36

53113 Bonn, Deutschland

T +49 228 4460-0

F +49 228 4460 - 1766

E [email protected]

I www.giz.de/evaluierung

www.youtube.com/user/GIZonlineTV

www.facebook.com/gizprofile

https://twitter.com/giz_gmbh

Design/Layout etc.:

DITHO Design GmbH, Köln

Druck und Vertrieb:

GIZ, Bonn

Gedruckt auf 100 % Recyclingpapier, nach FSC-

Standards zertifiziert.

Bonn 2020

Das vorliegende Dokument ist auf der GIZ-Website

als pdf-Download verfügbar unter

www.giz.de/evaluierung. Anfragen nach einer ge-

druckten Ausgabe richten Sie bitte an

[email protected]

mailto:[email protected]

http://www.giz.de/evaluierung

https://www.youtube.com/user/GIZonlineTV

http://www.facebook.com/gizprofile

https://twitter.com/giz_gmbh

mailto:[email protected]

3

Inhalt

Stellungnahme

Management Response

Evaluierungsbericht

1 Gegenstand und Ziele ..................................................................................................................................... 9

1.1 Gegenstand der Querschnittsauswertung ................................................................................................... 9

1.2 Ziele der Querschnittsauswertung ............................................................................................................... 9

1.3 Nutzer*innen der Ergebnisse und Kriterien ............................................................................................... 10

2 Ausgangslage ................................................................................................................................................ 11

2.1 Notwendigkeit einer Begriffsschärfung ...................................................................................................... 11

2.2 Arbeitsdefinition zur Durchführung der Untersuchung ............................................................................... 11

3 Begriffsschärfung .......................................................................................................................................... 12

4 Methodisches Vorgehen ............................................................................................................................... 15

4.1 Untersuchungsdesign – ein Überblick ....................................................................................................... 15

4.2 Datengrundlage ......................................................................................................................................... 17

4.3 Limitationen ............................................................................................................................................... 19

5 Beschreibung der Stichprobe ....................................................................................................................... 20

5.1 Allgemeine Ergebnisse der internen Berichte ........................................................................................... 20

5.2 Übersicht vergebener Codes ..................................................................................................................... 22

6 Ergebnisse der empirischen Untersuchung ............................................................................................... 23

6.1 Orientierungsgebende Kriterien bei der Planung ...................................................................................... 25

6.2 Orientierungsgebende Kriterien bei der Implementierung ......................................................................... 28

6.3 Orientierungsgebende Kriterien bei der Bewertung .................................................................................. 38

7 Ranking der Kriterien auf Basis der Sekundärdatenauswertung .............................................................. 42

8 Empfehlungen zur Operationalisierung: Leitfragen ................................................................................... 43

9 Weitere Empfehlungen .................................................................................................................................. 47

9.1 Berücksichtigung der Kriterien bei der Erstellung einer Kurzstellungnahme ............................................. 47

9.2 Berücksichtigung der Kriterien bei der Erstellung eines Modulvorschlags ................................................ 48

9.3 Berücksichtigung der Kriterien bei der Berichterstattung .......................................................................... 48

9.4 Berücksichtigung der Kriterien bei der Evaluierung ................................................................................... 49

9.5 Weitere Denkanstöße aus der Diskussion mit der Referenzgruppe .......................................................... 52

Anhang ............................................................................................................................................................... 53

4

Stellungnahme

Die GIZ will, dass die Vorhaben, die sie für ihre unterschiedlichen Auftraggeber durchführt, ihre Ziele wirt-

schaftlich erreichen. Auf Vorschlag der Task Force Wirtschaftlichkeit hatte der Managementkreis die Stabsstel-

len Unternehmensentwicklung und Evaluierung beauftragt, gemeinsam eine Analyse des Evaluierungskriteri-

ums Effizienz zu veranlassen, die auf das Anliegen zur Herleitung eines GIZ Wirtschaftlichkeitsbegriffs ein-

zahlt. Begleitet wurde die Querschnittauswertung von einer Referenzgruppe. Evaluator/innen der Mainlevel

Consulting AG haben die Querschnittauswertung Wirtschaftlichkeit der Vorhaben durchgeführt und den Bericht

verfasst. Er gibt ausschließlich deren Meinung und Wertung wieder.

Grundlage der Analyse bildeten GIZ-Projektevaluierungen im BMZ-Geschäft, externe Projektevaluierungen von

Bundesministerium für Umwelt, Naturschutz und nukleare Sicherheit , Europäischer Union und Department for

International Development und externe Prüfungen durch BMZ und Europäischer Union sowie Dokumente zum

Auftragsverfahren im BMZ-Geschäft und zum Wirtschaftlichkeitsverständnis von Bundesministerium für wirt-

schaftliche Zusammenarbeit und Entwicklung (BMZ), Ausschuss für Entwicklungshilfe der Organisation für wirt-

schaftliche Zusammenarbeit und Entwicklung, Bundesrechnungshof und Europäischer Rechnungshof,.

Neue Kriterien für Wirtschaftlichkeit von Vorhaben wurden induktiv generiert, während die empirische Überprü-

fung von bestehenden Kriterien für Wirtschaftlichkeit von Vorhaben deduktiv erfolgte. Auf Basis der identifizier-

ten Erfolgsfaktoren erfolgte eine Operationalisierung und Leitfragenentwicklung. Gemäß dem Vorschlag der

externen Evaluator*innen wurden projektphasenspezifische Kriterien entwickelt, um nicht nur Vorhaben wirt-

schaftlich bewerten (im Rahmen von Evaluierungen), sondern auch wirtschaftlich planen (Modulvorschläge,

Kurzstellungnahmen) und anschließend wirtschaftlich umsetzen (Berichterstattung) zu können. Die Kriterien

wurden mit Hilfe von Erfolgsfaktoren weiter präzisiert und mit passenden Leitfragen hinterlegt. Um die Anwend-

barkeit in der Praxis zu sichern, wurden die Leitfragen von den externen Evaluator*innen im Workshop mit der

Referenzgruppe validiert.

Erstmals liegen nun evidenzbasierte Kriterien für Planung, Durchführung und Bewertung von Vorhaben, die

sich für GIZ-durchgeführte Vorhaben als erfolgskritisch für eine positive Wirtschaftlichkeitsbeurteilung erwiesen

haben, vor. Die Querschnittauswertung liefert auch Erkenntnisse für die Begriffsschärfung von Wirtschaftlich-

keit. Sie verwendet nach Analyse entsprechender Grundlagendokumente für die wirtschaftliche Zielerreichung

den Begriff der Transformationseffizienz, die sowohl die Produktionseffizienz, das Verhältnis von Input (Kosten)

zu Leistungen (Outputs), als auch die Allokationseffizienz, das Verhältnis von Input (Kosten) zu Wirkungen

(Outcome), umfasst.

Der Managementkreis der GIZ hat die Querschnittauswertung als ausgesprochen hilfreich bewertet, sowohl um

den Wirtschaftlichkeitsbegriff zu schärfen als auch um ihn zu operationalisieren. Den herausgearbeiteten Emp-

fehlungen ist er in allen wesentlichen Aspekten gefolgt. Die Ergebnisse tragen dazu bei, die Wirtschaftlichkeit

von Vorhaben sowohl in der Konzeption als auch in der Durchführung zu stärken und damit mittelbar zu besse-

ren Bewertungen zu führen. Damit unterstützt die Querschnittauswertung die weitere Stärkung der Wirtschaft-

lichkeit der von der GIZ durchgeführten Vorhaben.

5

Management Response

Die Management Response zeigt den Umgang der GIZ mit den Erkenntnissen und Empfehlungen aus der

Querschnittauswertung. An der Erarbeitung des Maßnahmenplans waren neben den Stabsstellen Unterneh-

mensentwicklung und Evaluierung der Bereich Europa, Mittelmeer, Zentralasien (mandatiert von den operati-

ven Bereichen), der Fach- und Methodenbereich und der Bereich Auftraggeber- und Geschäftsentwicklung be-

teiligt. Die Querschnittauswertung und der Maßnahmenplan zur Umsetzung der Empfehlungen wurde mit dem

Managementkreis der GIZ diskutiert.

Erkenntnisse für die Begriffsschärfung von Wirtschaftlichkeit werden bei der Erarbeitung einer einheitlichen Be-

griffsdefinition von Wirtschaftlichkeit in der GIZ für alle Phasen eines Projekts (Planung - Durchführung - Be-

wertung) genutzt. Ein Definitionsvorschlag für den Wirtschaftlichkeitsbegriff der GIZ wird von der Stabstelle Un-

ternehmensentwicklung erarbeitet und dem Managementkreis vorgelegt. Die Ergebnisse der Studie werden im

Dialog mit dem BMZ nicht nur zur Externen Qualitätskontrolle, sondern auch zum Wirtschaftlichkeitsverständ-

nis und zum Effizienzkriterium thematisiert. Die Diskussion mit dem BMZ zu einem gemeinsamen Wirtschaft-

lichkeitsverständnis soll fortgeführt werden.

Mit der Umsetzung von Empfehlungen der Querschnittauswertung zur Anpassung von Prozesshilfen wurde

bereits begonnen: Die Arbeitshilfen für Kurzstellungnahmen und Prüfungen sowie die internen Erläuterungen

zu BMZ-Handreichungen bzgl. Modulvorschlag und Berichterstattung werden im Sinne einer handlungsleiten-

den Konkretisierung unter Nutzung der Ergebnisse der Querschnittauswertung ergänzt. Darüber hinaus wer-

den die Ergebnisse der Querschnittauswertung bei der Ergänzung der Leitfragen zu Wirtschaftlichkeit im Rah-

men der Qualitätssicherung genutzt. Weiter wird die Anpassung der Evaluierungsfragen im Evaluierungskrite-

rium Effizienz der Zentralen Projektevaluierungen im BMZ-Geschäft geprüft.

Die Kriterien, Erfolgsfaktoren und Leitfragen für die Wirtschaftlichkeit von Vorhaben sollen in zwei Jahren ggf.

überprüft werden. Veränderungen durch die Einführung der Kosten-Output-Zuordnung und Prognose können

dann sichtbar gemacht und genutzt werden. Nach einem Jahr erfolgt ein Monitoring der Umsetzung der Maß-

nahmen im Rahmen des Management Response Systems Qualitätsentwicklung.

6

Evaluierungsbericht

Dr. Felipe Isidor-Serrano

Tatjana Mauthofer

7

Abkürzungsverzeichnis

BMZ Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung

BMU Bundesministerium für Umwelt, Naturschutz und nukleare Sicherheit

BRH Bundesrechnungshof

DFID Department for International Development

EU Europäische Union

EuRH Europäischer Rechnungshof

EZ Entwicklungszusammenarbeit

FZ Finanzielle Zusammenarbeit

GIZ Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH

MA Mitarbeiter*innen

OECD Organisation for Economic Cooperation and Development

PEV Projektevaluierung (dezentrale)

QSA Querschnittsauswertung

STS EVAL Stabsstelle Evaluierung

STS UE Stabsstelle Unternehmensentwicklung

TZ Technische Zusammenarbeit

VfM Value-for-Money

ZPE Zentrale Projektevaluierung

8

Tabellenverzeichnis

Tabelle 1: Übersicht Hintergrundmaterialien zur Begriffsschärfung .................................................................... 12

Tabelle 2: Arbeitsdefinition .................................................................................................................................. 14

Tabelle 3: Übersicht interne Berichte .................................................................................................................. 17

Tabelle 4: Übersicht externe Berichte ................................................................................................................. 17

Tabelle 5: Übersicht weitere Berichte ................................................................................................................. 18

Tabelle 6: Übersicht Hintergrundmaterialien zur Begriffsschärfung .................................................................... 18

Tabelle 7: Notendurchschnitt der internen Evaluierungsberichte im BMZ-Geschäft im Kriterium Effizienz nach

Regionen ............................................................................................................................................................. 20

Tabelle 8: Notendurchschnitt der externen Evaluierungsberichte im BMU-Geschäft im Kriterium Effizienz nach

Regionen ............................................................................................................................................................. 20

Tabelle 9: Notendurchschnitt der internen Evaluierungsberichten im BMZ-Geschäft im Kriterium Effizienz nach

Sektoren .............................................................................................................................................................. 21

Tabelle 10: Effizienzrahmen der Planung, Implementierung und Bewertung ..................................................... 23

Tabelle 11: Partizipative Planung ....................................................................................................................... 25

Tabelle 12: Erkenntnisse aus (Vor)Studien ........................................................................................................ 26

Tabelle 13: Beschreibung der Nutzung von Lernerfahrungen ............................................................................ 27

Tabelle 14: Orientierungsgebende Kriterien bei der Planung auf einen Blick ..................................................... 28

Tabelle 15: Nutzung eines Monitoringsystems ................................................................................................... 28

Tabelle 16: Nutzung von Synergien .................................................................................................................... 30

Tabelle 17: Wissensmanagement ....................................................................................................................... 31

Tabelle 18: HR Management .............................................................................................................................. 32

Tabelle 19: Kommunikation von Verantwortlichkeiten ........................................................................................ 33

Tabelle 20: Partnermanagement und -nähe ....................................................................................................... 35

Tabelle 21: Maßnahmen zur Verringerung von Risiken ...................................................................................... 36

Tabelle 22: Orientierungsgebende Kriterien bei der Implementierung auf einen Blick ....................................... 37

Tabelle 23: Definition von Effizienz/Wirtschaftlichkeit ......................................................................................... 38

Tabelle 24: Kostenzuordnungen ......................................................................................................................... 39

Tabelle 25: Beschreibung der Vorteilhaftigkeit von Entscheidungen .................................................................. 40

Tabelle 26: Orientierungsgebende Kriterien bei der Bewertung auf einen Blick ................................................. 41

Tabelle 27: Ranking der Kriterien ....................................................................................................................... 42

Tabelle 29: Effizienzkriterien – Erfolgsfaktoren – Leitfragen für Planung, Durchführung und Bewertung auf

einen Blick ........................................................................................................................................................... 43

Tabelle 30: Vorgegebene Anforderungen für Wirtschaftlichkeit in der Kurzstellungnahme ................................ 47

Tabelle 31: Rahmen zur Berücksichtigung der Produktionseffizienz – GIZ ........................................................ 49

Tabelle 32: Rahmen zur Berücksichtigung der Allokationseffizienz – GIZ ......................................................... 50

Tabelle 33: Dokumentenübersicht Begriffsschärfung ......................................................................................... 57

Tabelle 34: Vorläufige Analysekriterien .............................................................................................................. 60

Tabelle 35: Analyseraster inkl. finaler Analysekriterien………………………………………………………..……..69

Abbildungsverzeichnis

Abbildung 1: Methodisches Vorgehen im Überblick ........................................................................................... 15

Abbildung 2: Übersicht der Codes für interne und externe Berichte ................................................................... 22

Abbildung 3: MaxQDA Codebaum……………………………………………………………………………………...61

9

1 Gegenstand und Ziele

1.1 Gegenstand der Querschnittsauswertung

Die Mainlevel Consulting AG (Mainlevel) wurde im März 2019 von den GIZ-Stabsstellen Evaluierung und Un-

ternehmensentwicklung beauftragt, eine Querschnittsauswertung auf Basis einer umfassenden Sekundärda-

tenrecherche durchzuführen, die darauf abzielt, tiefgreifende Erkenntnisse zur Wirtschaftlichkeit von Vorhaben

der Gesellschaft für Internationale Zusammenarbeit GmbH (GIZ) zu erlangen. Dank einer breiten Datenlage an

internen und externen Berichten sollten verlässlich fördernde und hindernde Faktoren und Pfade zur Effizienz

von Projekten identifiziert und Kriterien zur Operationalisierung erstellt sowie Empfehlungen für ein handlungs-

leitendes Wirtschaftlichkeitsverständnis in der GIZ formuliert werden.

Gegenstand der Querschnittsauswertung waren folgende Sekundärdatenquellen:

• 174 interne GIZ-Projektevaluierungen der Jahre 2015–2018: Es handelt sich um dezentral beauftragte

Projektevaluierungen (PEV; 2015-2017) und zentrale Projektevaluierungen (ZPE; ab 2018)

• 62 externe Projektevaluierungen verschiedener Geber: Berichte des Bundesministeriums für Umwelt

(BMU), des Departments for International Development Großbritanniens (DFID) und der Europäischen

Union (EU)

• 5 externe Qualitätskontrollen des BMZ zu Wirtschaftlichkeit (Jahre 2013–2018)

• 5 EU-Wirtschaftsprüfungen

• 1 Sonderuntersuchung des BMZ zu „Wirtschaftlichkeit in der Konzeptionsphase von PV“

• Weitere Hintergrunddokumente

1.2 Ziele der Querschnittsauswertung

Die Querschnittsauswertung hatte zum Ziel, eine Begriffsschärfung sowie eine Operationalisierbarkeit für Wirt-

schaftlichkeit bzw. Effizienz herbeizuführen. Als Ergebnis der Untersuchung wurden daher ein geschärftes Be-

griffsverständnis und konkrete Kriterien und Anhaltspunkte erwartet. Dabei sollte zwischen verschiedenen Pro-

jektphasen unterschieden werden, um nicht nur Vorhaben wirtschaftlich zu planen (Modulvorschläge, Kurzstel-

lungnahmen), sondern auch anschließend umsetzen zu können (Berichterstattung). Schließlich sollten diese

auch als wirtschaftlich bewertet werden können (gutes Abschneiden bei den Evaluierungen und externen Prü-

fungen). Konkret wurden folgende Ziele vereinbart:

Operationalisierung von Faktoren und Pfade für Effizienz von Projekten (Werden die Ziele wirtschaftlich

erreicht?):

• Identifikation von

o Stärken und Schwächen der Effizienz der untersuchten Projekte

o übergreifenden Erfolgsfaktoren1 für die Effizienz von Projekten

o Handlungsempfehlungen zum Erhalt bzw. zur Steigerung der Effizienz in Projekten

o Beispielen von Vorhaben mit guter Bewertung der Effizienz mit den dahinterliegenden Fakto-

ren

o Beispiele methodisch guter Effizienzmessung

1 Auf Basis der Analyse der vorhandenen Sekundärdaten konnten nur Erfolgs- aber keine Misserfolgsfaktoren identifiziert werden, da in den untersuchten Berichten lediglich ein

Fehlen bestimmter Erfolgsfaktoren mit einer schlechteren Effizienzbewertung einhergingen.

10

• Erarbeitung von Kriterien, die handlungsleitend sind, um Vorhaben effizient/wirtschaftlich zu planen. Ins-

besondere sollen die Empfehlungen dazu beitragen, die formalen Vorgaben des BMZ hinsichtlich Wirt-

schaftlichkeit zu erfüllen (Vorlage Kurzstellungnahme, Modulvorschlag, Berichterstattung), und denjeni-

gen, die diese Dokumente erstellen, die entsprechende Orientierung ermöglichen.

• Erarbeitung von Empfehlungen, die handlungsleitend sind, um Vorhaben effizient/wirtschaftlich durchzu-

führen. Insbesondere sollen die Empfehlungen dazu beitragen, Entscheidungen für die Steuerung von

Vorhaben nach Wirtschaftlichkeitsüberlegungen vornehmen und die verwendeten Evaluierungskriterien

erfüllen zu können.

• Erarbeitung von Kriterien, die handlungsleitend für die Evaluierung des Effizienzkriteriums sind.

Begriffsschärfung des Wirtschaftlichkeitsverständnisses in Projekten:

• Darstellung und Analyse des den Dokumenten (s.o. Gegenstand) zugrunde liegenden Wirtschaftlichkeits-

verständnisses und Überblick über existierende Definitionen

• Definitionsempfehlung für ein handlungsleitendes Wirtschaftlichkeitsverständnis

1.3 Nutzer*innen der Ergebnisse und Kriterien

Nutzer*innen der identifizierten Faktoren für die Wirtschaftlichkeit von Projekten sind vor allem die Mitarbei-

ter*innen (MA) der GIZ im In- und Ausland, die Projekte planen, durchführen und evaluieren. Der Fokus liegt

daher auf einer praxisorientierten Lösung. Handlungsleitend war vor allem folgende Kontrollfrage: Erhalten die

MA der GIZ eine einfache Orientierung für den gesamten Projektzyklus Planung, Durchführung und Evaluie-

rung? Die Wirtschaftlichkeitskriterien und die Empfehlungen für ein Wirtschaftlichkeitsverständnis sind zudem

für die STS UE und EVAL als auch für das BMZ von Interesse, um ein gemeinsames Begriffsverständnis zur

Wirtschaftlichkeit zu etablieren.

11

2 Ausgangslage

2.1 Notwendigkeit einer Begriffsschärfung

Es besteht Konsens darüber, dass es sowohl in der GIZ als auch zwischen GIZ und BMZ kein einheitliches

Verständnis zum Wirtschaftlichkeitsbegriff gibt. Dies wurde von beiden Stabsstellen in Vorgesprächen sowie

von Teilnehmer*innen der Referenzgruppensitzungen am 07.03.2019 und 10.05.2019 bestätigt. Untersuchun-

gen der letzten Jahre kamen ebenso zu diesem Ergebnis. Zum einen stellten die von der GIZ beauftragten

Meta-Evaluierungen, die Projektevaluierungen (PEV) aus den Jahren 2014/2015 und 2015/2016 nach ihrer

methodischen Qualität untersuchten, fest, dass das OECD-DAC-Kriterium Effizienz deutlich am schwächsten

abschnitt. Es „besteht scheinbar teils kein klares grundlegendes Verständnis der PEV-Teams darüber, was „Ef-

fizienz“ bedeutet und wie sie gemessen werden kann.“ (vgl. GIZ 2016)2. Zum anderen wurden diese Ergeb-

nisse von der Externen Qualitätskontrolle des BMZ in den Jahren 2017 und 2018 untermauert.

Eine Sonderuntersuchung zum Thema Wirtschaftlichkeit in der Konzeptionsphase von Programmvorschlägen

(Syspons 2015) zeigte, dass Wirtschaftlichkeitsanalysen in der Vorbereitungsphase nur sehr eingeschränkt

erfolgen. Die GIZ bewegt sich zudem in einem Spannungsfeld zwischen den Auffassungen zum Wirtschaftlich-

keitsverständnis der OECD, des BMZ und des Rechnungshofs. Im Rahmen dieses Auftrags sollten daher aktu-

elle Entwicklungen und Ausarbeitungen zum Thema Wirtschaftlichkeit von verschiedenen Akteuren dokumen-

tiert und Unterschiede aufgezeigt werden sowie Empfehlungen für ein handlungsleitendes Wirtschaftlichkeits-

verständnis ausgesprochen werden.

2.2 Arbeitsdefinition zur Durchführung der Untersuchung

Das Gutachter*innen-Team und die Verantwortlichen der Stabsstellen etablierten in Vorgesprächen und der

Referenzgruppensitzung einen ersten gemeinsamen Nenner hinsichtlich des Effizienz- und Wirtschaftlichkeits-

begriffs, der auf folgenden Eckpunkten basiert: Die GIZ versteht Effizienz grundsätzlich als Transformationseffi-

zienz und unterscheidet zwischen Produktionseffizienz und Allokationseffizienz 3. Daran wurde im Rahmen des

Auftrags festgehalten.

2 Auszug aus der Meta-Evaluierung der Projektevaluierungen PEV 2014–2015, durchgeführt von Syspons GmbH.

3 Palenberg (2011). Tools and Methods for Evaluating the Efficiency of Development Interventions. Bonn, Germany, S. 8.

Die Transformationseffizienz (Werden die Ziele durch die Entwicklungsmaßnahme wirtschaftlich

erreicht?) misst die Angemessenheit der für eine Entwicklungsmaßnahme eingesetzten Ressour-

cen im Hinblick auf die damit erzielten Resultate. Innerhalb der Transformationseffizienz wird wei-

terhin zwischen zwei Formen unterschieden:

(1) Das Verhältnis von Input (Kosten) zu Leistungen (Outputs) ist die Produktionseffizienz.

(2) Das Verhältnis von Input (Kosten) zu Wirkungen (Outcome) ist die Allokationseffizienz.

12

3 Begriffsschärfung

Der Fokus auf die Transformationseffizienz ist im Rahmen einer Wirtschaftlichkeitsbetrachtung in der internati-

onalen EZ gängiger Standard, der auch von OECD/DAC empfohlen wird (siehe unten). Auch seitens des BMZ

wird die Überprüfung der Transformationseffizienz seit der Veröffentlichung des Dokuments „Evaluierung aus

einem Guss“ im Jahr 2006 als verbindlicher Rahmen für Effizienzbewertungen von deutschen Vorhaben vorge-

geben. Dieses Dokument, das unter der Federführung des BMZ gemeinsam mit GIZ und KfW entwickelt

wurde, zielte darauf ab, die Evaluierungsbemühungen deutscher EZ-Organisationen zu harmonisieren, d.h.

seit 2006 sollten – im Idealfall – Effizienzbewertungen rein auf der Überprüfung der Transformationseffizienz

basieren.

Der Fokus auf die Transformationseffizienz hat mehrere Gründe. Zum einen fördert dieser Fokus die internatio-

nale Vergleichbarkeit von Maßnahmen (auch unterschiedlicher Geberorganisationen). Zum anderen sind Wirt-

schaftlichkeitsaspekte wie aus der Privatwirtschaft mit Schwerpunkt auf Sparsamkeit oder Profitabilität aus poli-

tischen und ethischen Gründen nicht angemessen und werden der Rollenvielfalt der GIZ nicht gerecht. Da die

GIZ sich in einem Spannungsfeld zwischen unterschiedlichen Auftraggebern, Mittlern und Zielgruppen bewegt

und i.d.R. Durchführungsorganisation und Partner ist und auch häufig selbst als Auftraggeber auftritt, greifen

bspw. reine Sparsamkeitsaspekte zu kurz. Vielmehr ist für Wirtschaftlichkeit in der EZ das „bestmögliche“ Ver-

hältnis von Mitteleinsatz und angestrebten Wirkungen entscheidend (siehe unten).

Auf Basis einer umfassenden Literaturstudie wurden existierende Definitionen analysiert. Dafür wurden zahlrei-

che für die Begriffsschärfung relevante Hintergrunddokumente von der GIZ bereitgestellt. Die folgende Tabelle

gibt einen Überblick über die Anzahl der Dokumente. Eine detaillierte Auflistung der Dokumente sowie Kurzbe-

schreibungen in Stichpunkten sind in Anhang I zu finden.

Zur Ableitung einer GIZ-Arbeitsdefinition war es wichtig, existierende Definitionen in den oben aufgelisteten

Dokumenten4 zu berücksichtigen und dafür Sorge zu tragen, dass die Begriffsschärfung nicht im Widerspruch

zu bestehenden Ansätzen und Definitionen in GIZ- und BMZ-Dokumenten steht und gleichzeitig ein inhaltlich

gemeinsamer Nenner beschrieben wird. Im Folgenden sind Beispiele von wichtigen Definitionen aufgelistet, die

in ähnlicher Form auch in vielen anderen Berichten der deutschen und internationalen EZ verwendet werden.

4 Die genaue Auflistung der Dokumente ist in Anhang I.

Tabelle 1: Übersicht Hintergrundmaterialien zur Begriffsschärfung

HIN

TE

RG

RU

ND

Hintergrundmaterialien zur Begriffsschärfung Anzahl

Dokumente zur Projektplanung 9

Dokumente zur Projektimplementierung 4

Dokumente zur Projektevaluierung 8

Dokumente zur methodischen Angemessenheit Effizienz 8

(Konzept-) Papiere 10

Zusätzliche Informationen 2

Summe 41

13

Auch wenn sich die Definitionen inhaltlich sehr ähneln, gibt es einen großen Interpretationsspielraum, was un-

ter Effizienz (bzw. Transformationseffizienz) zu verstehen ist bzw. subsumiert werden soll. In der nachfolgen-

den Tabelle wird daher eine mögliche Arbeitsdefinition vorgestellt, die dazu beitragen soll, den Effizienzbegriff

weiter zu schärfen. Zusätzlich zur Analyse bestehender Definitionen wurde auf Basis der identifizierten Effi-

zienzkriterien in allen Phasen des Projektzyklus ein gemeinsamer Nenner identifiziert, der als Grundlage für

eine GIZ-Arbeitsdefinition herangezogen wurde (siehe dazu auch Kapitel 6).

Efficiency: The extent to which the intervention delivers, or is likely to deliver, results in an economic

and timely way. Note: “Economic” is the conversion of inputs (funds, expertise, natural resources,

time, etc.) into outputs, outcomes and impacts, in the most cost-effective way possible, as compared

to feasible alternatives in the context. “Timely” delivery is within the intended timeframe, or a

timeframe reasonably adjusted to the demands of the evolving context. This may include assessing

operational efficiency (how well the intervention was managed). (OECD / DAC Evaluation Criteria

Definitions 2019)

Efficiency: A measure of how economically resources/inputs (funds, expertise, time, etc.) are

converted to results. (Evaluierungskriterien für die deutsche bilaterale Entwicklungszusam-

menarbeit. Eine Orientierung für Evaluierungen des BMZ und der Durchführungsorganisatio-

nen 2006 & OECD / DAC Glossary of Key Terms in Evaluation and Results Based Management

2009)

Efficiency measures the outputs – qualitative and quantitative – in relation to the inputs. It is an

economic term which is used to assess the extent to which aid uses the least costly resources pos-

sible in order to achieve the desired results. This generally requires comparing alternative approaches

to achieving the same outputs, to see whether the most efficient process has been adopted. (BMZ

Evaluation Division: Evaluation Working Paper “Tools and Methods for Evaluating the Effi-

ciency of Development Interventions” 2009)

Ökonomisches Prinzip: Nach dem ökonomischen Prinzip (auch Wirtschaftlichkeitsprinzip, Rational-

prinzip) dürfen knappe Mittel nicht verschwendet werden. Wirtschaftliches Handeln ist dann gegeben,

wenn verschiedene Handlungsoptionen aufgezeigt und anhand des ökonomischen Prinzips ausge-

wertet werden. Das ökonomische Prinzip verlangt, dass das bestmögliche Verhältnis zwischen Out-

put (Nutzen, Ertrag) und Input (Kosten, Aufwand) anzustreben ist. Wirtschaftlichkeit ist dann gege-

ben, wenn dieses Verhältnis besonders vorteilhaft ist. (GIZ-Ansätze zur Bewertung der Wirtschaft-

lichkeit von Vorhaben der Technischen Zusammenarbeit 2016)

Wirtschaftlichkeit: Wirtschaftlichkeit ist das günstigste Verhältnis zwischen dem verfolgten Zweck

einer Maßnahme und den eingesetzten Mitteln. Dabei wird zwischen dem Maximalprinzip (mit einem

bestimmten Mitteleinsatz ist das bestmögliche Ergebnis zu erzielen) und dem Minimalprinzip (ein

bestimmtes Ergebnis ist mit möglichst geringem Mitteleinsatz zu erzielen – Sparsamkeitsprinzip) un-

terschieden. (Bundesrechnungshof – Anforderungen an Wirtschaftlichkeitsuntersuchungen fi-

nanzwirksamer Maßnahmen nach § 7 Bundeshaushaltsordnung 2013)

14

Tabelle 2: Arbeitsdefinition

Wirtschaftlichkeit im GIZ-Kontext

Im Kontext der von der GIZ durchgeführten Vorhaben geht es bei der Wirtschaftlichkeit um die

Transformationseffizienz, also um die wirtschaftliche Zielerreichung, die sich in zwei Formen unter-

scheiden lässt:

1) Das Verhältnis von Input (Kosten) zu Leistungen (Outputs) ist die Produktionseffizienz.

2) Das Verhältnis von Input (Kosten) zu Wirkungen (Outcome) ist die Allokationseffizienz.

Gemäß dem ökonomischen Prinzip ist Wirtschaftlichkeit gegeben, wenn Nutzen und Kosten in ei-

nem bestmöglichen Verhältnis stehen. Im GIZ-Kontext bedeutet Wirtschaftlichkeit, dass bei gegebe-

nem Ressourceneinsatz die bestmöglichen Leistungen und Wirkungen erzielt und Verschwendun-

gen vermieden werden. Alle Maßnahmen, die sich positiv auf das Verhältnis zwischen Inputs und

Outputs auswirken, erhöhen die Produktionseffizienz. Alle Maßnahmen, die sich positiv auf das

Verhältnis zwischen Inputs und Outcomes auswirken, erhöhen die Allokationseffizienz.

Auf Grundlage der Querschnittsauswertung können folgende Aussagen getroffen werden:

Dieses Verhältnis kann in der Planungsphase vor allem dann positiv beeinflusst werden, wenn

✓ Planungsprozesse partizipativ erfolgen, in denen zielgruppenspezifische Perspektiven be-

rücksichtigt und Transparenz gefördert werden;

✓ Erkenntnisse aus Vorstudien (z.B. Baseline-Studien, Bedarfs- und Machbarkeitsanalysen)

genutzt werden können;

✓ Lernerfahrungen aus der Vergangenheit (z.B. zwischen Projektphasen) oder anderen EZ-

Vorhaben genutzt werden können.

Dieses Verhältnis kann in der Implementierungsphase positiv beeinflusst werden, wenn

✓ Monitoringsysteme (zur regelmäßigen Überprüfung der Kosten, Aktivitäten und Wirkungen)

aufgebaut und genutzt und ausreichend M&E-Ressourcen bereitgestellt werden können;

✓ Synergien (mit anderen Vorhaben, Gebern und Stakeholdern) genutzt werden können;

✓ Strukturen für ein Wissensmanagement aufgebaut sowie Wissen disseminiert und instituti-

onalisiert werden können;

✓ das HR-Management des Vorhabens einen Instrumentenmix aus AMAs und nationalen

Mitarbeitenden nutzen, Projektmitarbeitende regelmäßig qualifizieren und Personalfluktua-

tion eindämmen kann;

✓ Maßnahmen ergriffen werden können, die eine klare Kommunikation von Verantwortlich-

keiten und Rollen im Stakeholderumfeld sicherstellen;

✓ die Managementstruktur des Vorhabens so aufgestellt werden kann, dass sie an den Er-

wartungshaltungen des Partners ausgerichtet ist und eine größtmögliche soziale und räum-

liche Nähe zulässt;

✓ ein Risikomanagementsystem aufgebaut werden kann, das Risiken und potenzielle Maß-

nahmen klar beschreibt, die an Organisationen und nicht an Einzelpersonen ausgerichtet

sind.

Im Rahmen der Bewertungsphase wird zur Verbesserung der Qualität der Effizienzanalyse gera-

ten, neben den oben genannten Aspekten zusätzlich zu analysieren,

✓ welche Definition bzw. welches Verständnis von Wirtschaftlichkeit zugrunde gelegt wurde;

✓ wie die Kosten auf die unterschiedlichen Posten verteilt wurden (z.B. mithilfe des follow-

the-money-approach)

✓ ob vereinzelt die Vorteilhaftigkeit von Entscheidungen begründet werden konnte;

✓ inwieweit quantitative und qualitative Daten trianguliert werden konnten.

15

4 Methodisches Vorgehen

Mit den Verantwortlichen beider Stabsstellen wurde vereinbart, das methodische Vorgehen in dem Hauptbe-

richt nur kurz zu beschreiben. Ausführliche Beschreibungen zum methodischen Vorgehen befinden sich im

Inception Report.

4.1 Untersuchungsdesign – ein Überblick

Gemäß der Leistungsbeschreibung für diesen Auftrag sollte die Ableitung der Kriterien zur Operationalisierung

von Wirtschaftlichkeit bzw. Effizienz auf einer umfassenden Sekundärdatenauswertung basieren. Im Mittel-

punkt der Auswertungen standen die Berichte der seit 2015 durchgeführten internen und externen PEV und

der seit 2017 durchgeführten Zentralen Projektevaluierungen (ZPE). Detaillierte Informationen zu der Auswahl

der zu analysierenden Dokumente (z.B. zusätzliche GIZ Dokumente und externe Berichte von anderen Organi-

sationen) und der Stichprobengröße sind in Kapitel 3.4 bereitgestellt. Das folgende Schaubild (Abbildung 1)

fasst das methodische Vorgehen zusammen. Zwar sieht dieses Schaubild auf den ersten Blick komplex aus.

Heruntergebrochen auf die verschiedenen Phasen dieses Auftrags (Inception-Phase, Implementierungsphase

und Validierungsphase) wird allerdings schnell deutlich, dass die einzelnen Schritte und definierten Meilen-

steine logisch aufeinander aufbauen. Die Vorgehensweise stellt einen pragmatischen Ansatz dar, ein geschärf-

tes Begriffsverständnis und konkrete Kriterien und Anhaltspunkte zur Operationalisierung von Wirtschaftlichkeit

bzw. Effizienz abzuleiten.

Das Gutachter*innen-Team verfolgte dabei, gemäß der wissenschaftlichen Praxis, einen sowohl induktiven als

auch deduktiven Ansatz. So wurden neue Kriterien induktiv generiert, während die empirische Überprüfung von

bestehenden Kriterien deduktiv erfolgte. In dem folgenden Schaubild (Abbildung 1) sind die einzelnen (Ana-

Abbildung 1: Methodisches Vorgehen im Überblick

16

lyse-)Schritte blau (gekennzeichnet durch die Pfeile) und die dazugehörigen Meilensteine grün markiert. Ver-

einfacht ausgedrückt gibt es folgende Kausalkette: Mithilfe vorläufiger Kriterien zur Operationalisierbarkeit von

Wirtschaftlichkeit wurden Analyseinstrumente entwickelt, die die Grundlage der empirischen Analyse bildeten.

Die empirische Analyse diente zum einen dazu, die vorläufigen Analysekriterien zu überprüfen und weiterzu-

entwickeln und zum anderen, weitere Kriterien zu identifizieren, um auf dieser Basis validierte Qualitätskriterien

und ein geschärftes Begriffsverständnis abzuleiten. Um die Dokumente auswerten und die Ergebnisse ver-

gleichbar machen zu können, musste die Querschnittsanalyse der von der GIZ zur Verfügung gestellten Doku-

mente kriteriengeleitet erfolgen. Dies stellte allerdings eine besondere Herausforderung dar, weil ja gerade die

Querschnittsanalyse dazu beitragen sollte, die wichtigsten Kriterien zur Operationalisierbarkeit von Wirtschaft-

lichkeit bzw. Effizienz abzuleiten. Aus diesem Grund wurde bei der Ableitung der finalen Kriterien sowohl ein

deduktiver als auch induktiver Ansatz gewählt. Die vorläufigen Analysekriterien sind in Anhang II aufgeführt.

Ausgangspunkt der methodischen Überlegungen war zudem, dass die verschiedenen Phasen im Projektzyklus

(Planungs-, Implementierungs- und Evaluierungsphase) mit unterschiedlichen Herausforderungen und Anfor-

derungen an eine Effizienzbetrachtung einhergehen. Schon früh im Prozess hatte sich herausgestellt, dass es

aufgrund der Heterogenität der GIZ-Vorhaben nicht möglich sein wird, einheitliche Kriterien für die unterschied-

lichen Phasen des Projektzyklus (Planung, Implementierung und Evaluierung) zu entwickeln, die zudem für alle

Sektoren, Kontexte und Regionen die gleiche Wichtigkeit besitzen. Daher wurde gemeinsam mit beiden Stabs-

stellen entschieden, projektphasenspezifische Kriterien zu entwickeln, um nicht nur Vorhaben wirtschaftlich

bewerten (im Rahmen von Evaluierungen), sondern auch wirtschaftlich planen (Modulvorschläge, Kurzstellung-

nahmen) und anschließend wirtschaftlich umsetzen (Berichterstattung) zu können.

Im Analyseraster in Anhang IV sind die projektphasenspezifischen Fragestellungen (Analysekriterien) für alle

Phasen des Projektzyklus dargestellt. Im Fokus der Fragestellungen standen Überlegungen zur Erreichung

einer hohen Produktions- und Allokationseffizienz in allen Phasen des Projektzyklus. Zusätzlich wurde ein

Codebaum in MAXQDA genutzt (Details zum Programm siehe Box), um Faktoren, Muster/Pfade und Lerner-

fahrungen offen und systematisch erfassen zu können. Dabei wurden zunächst deduktiv Codes gebildet, um

Berichte entlang der oben aufgelisteten, untersuchungsleitenden Fragestellungen zu kodieren und systema-

tisch auszuwerten (siehe erster Codebaum in Anhang III. Dieser Codebaum wurde induktiv während der Ana-

lyse durch weitere Codes ergänzt, um neue Faktoren und Aspekte aufzugreifen. Die Analysen anhand des

Analyserasters wurden von allen Teammitgliedern gleichzeitig vorgenommen, was eine simultane Auswertung

der Berichte in allen vorliegenden Sprachen und eine zeitnahe Abstimmung über gemachte Lernerfahrungen

bei der Auswertung sicherstellte. Darüber hinaus wurden vereinzelt sogenannte Cross-Checks durchzuführen,

um auf Basis eines „Vier-Augen-Prinzips die subjektive Komponente bei der Auswertung so gering wie möglich

zu halten (→ Evaluator*innen-Triangulation). Die Ergebnisse der quantitativen Analysen für interne und externe

Berichte wurden zunächst getrennt und deskriptiv analysiert und mit STATA statistisch ausgewertet.

MAXQDA ist ein computergestütztes Programm zur qualitativen Datenanalyse, welches eine syste-

matische Organisation und Auswertung von größeren Datenmengen ermöglicht.

Dabei können zum einen Textpassagen zu passenden Kategorien und Unterkategorien hinzugefügt

werden. Zum anderen ermöglicht das Programm eine Quantifizierung der qualitativen Analyse. So

lassen sich Häufigkeitstabellen und Diagramme für die Häufigkeiten von Codes erstellen.

Letztlich erleichtert MAXQDA zudem die Kooperation von Gutachterinnen und somit die For-

scher*innen-Triangulation, da mehrere Personen simultan an einer Datei arbeiten können und die

jeweiligen Daten später in einer Datei zusammengeführt werden können.

17

Die Entwicklung und Validierung der unten aufgeführten Leitfragen zur angemessenen Berücksichtigung

der empirisch hergeleiteten Effizienzkriterien und Erfolgsfaktoren erfolgte in zwei Schritten:

1) auf Basis der identifizierten Erfolgsfaktoren hat das Gutachter*innen-Team erste Operationalisie-

rungsideen entwickelt, die die Grundlage für die ersten Leitfragen darstellten.

2) diese Leitfragen wurden schließlich der Referenzgruppe vorgestellt und im Rahmen eines

gemeinsamen Workshops überarbeitet, um dem besonderen GIZ-Kontext besser Rechnung zu tragen.

4.2 Datengrundlage

Tabelle 3 zeigt einen Überblick über die internen Projektevaluierungsberichte. 104 der Berichte waren in deut-

scher Sprache verfasst, 65 in englischer, zwei in spanischer und drei in französischer Sprache. Die regionale

und sektorielle Verteilung der internen Evaluierungsberichte wird in Kapitel 5 beschrieben.

Evaluierungen anderer Geber bzw. Auftraggeber (EU, BMU, DFID) waren ebenfalls Bestandteil der Quer-

schnittsauswertung. Tabelle 4 zeigt einen Überblick der externen Projektevaluierungsberichte. 43 Berichte wa-

ren in Deutsch verfasst, 15 in Englisch und jeweils 2 in Französisch und Spanisch. Alle verfügbaren Berichte

wurden bereitgestellt, wobei hier die Grundgesamtheit nur zum Teil bestimmt werden konnte. Während es sich

bei den Berichten des BMU, der externen Qualitätskontrolle des BMZ sowie der Sonderuntersuchung Wirt-

schaftlichkeit des BMZ um Vollerhebungen handelt, ist die Grundgesamtheit der Evaluierungen weiterer Geber

(EU und DFID) nicht bekannt und es handelt sich – statistisch gesprochen – um ein sogenanntes „Conve-

nience Sample“.

Tabelle 3: Übersicht interne Berichte

INT

ER

N

Interne Projektevaluierungsberichte Anzahl

PEV 2015/16 61

PEV 2017/18 98

ZPE 2018/2019 15

SUMME 174

Tabelle 4: Übersicht externe Berichte

EX

TE

RN

Externe Projektevaluierungsberichte Anzahl

BMU 42

EU 10

DFID 10

Summe 62

18

Wie erwähnt, zielt diese Untersuchung zudem darauf ab, den Begriff der Wirtschaftlichkeit zu schärfen. Die Be-

griffsschärfung erfolgte in zwei Schritten: Zum einen wurde eine Literaturstudie durchgeführt, um existierende

Definitionen zu erfassen. Zum anderen wurden die finalen orientierungsgebenden Fragestellungen in allen

Phasen des Projektzyklus in einem zweiten Schritt dazu genutzt, Wirtschaftlichkeit greifbarer zu machen (siehe

Kapitel 7).

EX

TE

RN

Weitere Berichte zur Inhaltsanalyse Anzahl

EU-Wirtschaftsprüfung 5

Externe Qualitätskontrolle des BMZ 5

Sonderuntersuchung Wirtschaftlichkeit des BMZ 1

Summe 11

Tabelle 5: Übersicht weitere Berichte

Tabelle 6: Übersicht Hintergrundmaterialien zur Begriffsschärfung

HIN

TE

RG

RU

ND

Hintergrundmaterialien zur Begriffsschärfung Anzahl

Dokumente zur Projektplanung 9

Dokumente zur Projektimplementierung 4

Dokumente zur Projektevaluierung 8

Dokumente zur methodischen Angemessenheit Effizienz 8

(Konzept-) Papiere 10

Zusätzliche Informationen 2

Summe 41

19

4.3 Limitationen

Bei der vorliegenden Studie handelt es sich um eine Schreibtischstudie auf der Grundlage von Sekundärdaten.

Dies bot die Möglichkeit, umfassend Stärken und Schwächen in Bezug zu Wirtschaftlichkeit aus einer Vielzahl

von Berichten zu untersuchen. Jedoch gab es auch Einschränkungen und Herausforderungen, die es zu be-

achten gilt.

Intersubjektive Vergleichbarkeit des Bewertungs- und Kodierverhaltens: Bei qualitativen Inhaltsanalysen be-

steht stets die Gefahr, dass Personen des Gutachter*innen-Teams denselben Sachverhalt unterschiedlich in-

terpretieren und bewerten. Während einer intensiven Vorbereitungsphase wurden Maßnahmen getroffen, die

dem bestmöglich entgegenwirken sollten. So wurde das Analyseraster partizipativ im Team erstellt und getes-

tet. Die ersten Berichte wurden gemeinsam kodiert und bewertet, um ein möglichst homogenes Verständnis zu

erhalten. Das Gutachter*innen-Team stand zudem stets im engen Austausch, um bei Unsicherheiten gemein-

sam Lösungen zu finden. Eine statistische Überprüfung der durch die Gutachter*innen vergebenen Bewertun-

gen zu den einzelnen Analysekriterien zeigt zudem, dass die Bewertungen sehr ausgewogen waren und es

innerhalb des Gutachter*innen-Teams bei der Kriterienbewertung keinen besonderen Hang zur „Milde oder

Härte“ gab.

Endogenität: Die Ergebnisse dieser Studie basieren auf den zur Verfügung gestellten Dokumenten und Berich-

ten. Wenn in diesen Sekundärquellen etwas nicht dokumentiert wurde, war es für das Gutachter*innen-Team

nicht sichtbar und konnte somit nicht berücksichtigt werden. Es kann nicht ausgeschlossen werden, dass be-

stimmte Aspekte, die entscheidend für die Wirtschaftlichkeit von Projekten sind, nicht ausreichend dargestellt

wurden und somit nicht ausreichend in den finalen Kriterien widergespielt werden konnten. Diese „Lücken“

konnten allerdings teilweise geschlossen werden, indem die Ergebnisse der Berichtsanalysen mit den Analy-

seergebnissen der anderen Datenquellen trianguliert und weitere bedeutende Kriterien/Erfolgsfaktoren ent-

sprechend ergänzt wurden.

Begrenzte Aussagekraft der Evaluierungsberichte für Planungsphase: Die analysierten Projektevaluierungsbe-

richte geben nur begrenzt Aufschluss zu Wirtschaftlichkeitsüberlegungen in der Planungsphase. Modulvor-

schläge und Fortschrittsberichte wären möglicherweise geeignetere Datenquellen gewesen, um valide Hin-

weise zu hindernden und fördernden Faktoren in der Planung zu erhalten. Diese zusätzliche Analyse hätte al-

lerdings den Rahmen dieses Auftrags gesprengt.5 Daher wurde gemeinsam mit beiden Stabsstellen entschie-

den, die vorläufigen Analysefragen für die Planungsphase für nur 20 % der Berichte zu beantworten. Textpas-

sagen, die Hinweise zu fördernden und hindernden Faktoren in der Planungsphase beinhalteten, wurden na-

türlich weiterhin in MAXQDA kodiert. Zudem wurden zur Identifizierung von Planungskriterien weitere Sekun-

därdokumente analysiert (Externe Qualitätskontrollen 2013–2018, Sonderuntersuchung (2015), EU Wirt-

schaftsprüfung sowie Hintergrunddokumente der Planungsphase (siehe Anhang I).

Heterogenität der Dokumente: Die zu untersuchenden Berichte umfassen ein breites Spektrum von Ländern,

Regionen, thematischen Sektoren und Interventionsbudgets. Es war nur begrenzt möglich, spezifische Aspekte

der unterschiedlichen Projekttypen im Analyseraster zu integrieren. Kontextspezifische Faktoren, die die Wirt-

schaftlichkeit der einzelnen Projekte beeinflussten, wurden daher stattdessen in der induktiven Analyse erfasst

und analysiert.

5 Es sei an dieser Stelle allerdings darauf hingewiesen, dass Modulvorschläge und Fortschrittsberichte den Evaluator*innen im Rahmen der PEV und ZPE vorlagen und man

davon ausgehen kann, dass entsprechende Informationen in den Evaluierungsbericht mit eingeflossen sind.

20

5 Beschreibung der Stichprobe

5.1 Allgemeine Ergebnisse der internen Berichte

Im Folgenden werden die allgemeinen und phasenunabhängigen Ergebnisse der Analyse der internen Be-

richte vorgestellt. Von den 174 Projekten (internen Evaluierungsberichten) haben 22 % der Projekte bei dem

Effizienzkriterium die Note 1,53 % die Note 2,13 % die Note 3, 11 % die Note 4 und 1 % der Projekte die Note

5 erhalten.

Der Notendurchschnitt variiert in den verschiedenen Regionen von 2,0 bis 2,3. Die Unterschiede sind somit

marginal. Auf diesem guten Niveau schneidet die Region Mittelmeer und Mittlerer Osten am schlechtesten ab,

am besten die die Region Lateinamerika. Die folgende Tabelle zeigt einen entsprechenden Überblick.

Tabelle 7: Notendurchschnitt der internen Evaluierungsberichte im BMZ-Geschäft im Kriterium Effizienz nach Regionen

Region Anzahl Projekte Bewertung

(Arithmetisches Mittel)

Asien Pazifik 24 2,29

Europa, Kaukasus, Zentralasien 23 2,26

Lateinamerika/ Karibik 16 2,00

Mittelmeer und Mittlerer Osten 21 2,29

Subsahara Afrika 56 2,16

Überregional 34 2,06

Summe / Durchschnitt 174 2,17

Tabelle 8: Notendurchschnitt der externen Evaluierungsberichte im BMU-Geschäft im Kriterium Effizienz nach Regionen

Region Anzahl Projekte Bewertung


Asien Pazifik 20 2,60

Europa, Kaukasus, Zentralasien 7 2,09

Lateinamerika/ Karibik 5 1,88

Mittelmeer und Mittlerer Osten 2 2,05

Subsahara Afrika 6 2,57

Überregional 2 1,90

Summe / Durchschnitt 42 2,36

21

Der Notendurchschnitt variiert stärker in den verschiedenen Sektoren von 1,59 bis 3,50. Es ist aber zu berück-

sichtigen, dass in einigen Fällen die untersuchte Fallzahl sehr klein sind und die Bewertung daher mit Vorsicht

zu genießen ist. Die folgende Tabelle zeigt einen entsprechenden Überblick.

Tabelle 9: Notendurchschnitt der internen Evaluierungsberichten im BMZ-Geschäft im Kriterium Effizienz nach Sektoren

Sektor Anzahl Projekte Bewertung


Berufliche Bildung und Arbeitsmarkt 11 1,73

Bildung und Jugend 4 2,75

Demokratie, Rechtsstaat, Gender 16 2,50

Dezentralisierung, Stadt- und Regionalent-

wicklung 10 2,00

Energie 9 2,22

Finanzsysteme und Versicherung 3 1,67

Gesundheit 16 2,25

Klimawandel 2 3,50

Krisen, Konflikte, Katastrophen 4 2,25

Ländliche Entwicklung und Agrarwirtschaft 26 2,08

Migration 1 3,00

Öffentliche Finanzen und Verwaltung 11 2,00

Politikfeldübergreifend 4 2,00

Privatwirtschaftsförderung 14 2,50

Soziale Sicherung 3 2,00

Umweltpolitik, Ressourceneffizienz 7 2,43

Verkehr 1 2,00

Wald und Biodiversität 7 2,43

Wasser und Abwasser, Wasserressourcen 17 1,59

Wirtschaftspolitik 6 2,33

Zusammenarbeit mit der Wirtschaft 2 3,00

Summe/Durchschnitt 174 2,17

22

Zudem kann festgehalten werden, dass der Projektwert keinen Einfluss auf die Effizienzbewertung hat. Ein

sehr ähnliches Bild zeigt sich auch bei der Projektdauer. Statistisch gesprochen gibt es in beiden Fällen eine

sogenannte „Null-Korrelation“ (-0,02 und 0,05).

Auch hat die Analyse gezeigt, dass Projekte, die im Rahmen von ZPE bewertet wurden, grundsätzlich besser

benotet wurden als die im Rahmen von PEV (1,93 vs. 2,19).6

5.2 Übersicht vergebener Codes

Für die qualitative Datenanalyse wurde das Software Programm MAXQDA angewendet. Dazu wurden die

oben genannten Dokumente in das Programm eingespeist und anhand der vorläufigen Analysekriterien für die

jeweiligen Planungsphasen analysiert. Insgesamt wurden 1449 Codings bei der Durchsicht der internen und

890 bei der Durchsicht der externen Berichte erstellt. Abbildung 2 zeigt, dass die meisten Codes für Kriterien

bei der Implementierung erstellt wurden. Die absolute Anzahl an Codings sollte allerdings nicht überbewertet

werden, da die verschiedenen Codegruppen auch stets „offene Fragen“ beinhalteten, in denen allgemeine för-

dernde und hindernde Faktoren festgehalten werden konnten. In jedem Fall wird deutlich, dass sich die Quer-

schnittsauswertung auf eine beachtenswerte Menge an qualitativen Daten stützt.

6 Allerdings ist dieses Ergebnis vor dem Hintergrund, dass nur wenige ZPEs vorlagen (n=17), erst einmal mit Vorsicht zu genießen.

Abbildung 2: Übersicht der Codes für interne und externe Berichte

Intern

Extern

23

6 Ergebnisse der empirischen Untersuchung

Ein zentrales Ergebnis dieser Untersuchung sind orientierungsgebende Kriterien, die in den verschiedenen

Projektphasen von GIZ-Mitarbeitenden für Wirtschaftlichkeitsüberlegungen angewendet werden könnten. Ta-

belle 10 fasst die orientierungsgebenden Kriterien, die sich aus den verschiedenen Projektphasen ergaben,

sowie die empirisch ermittelten Erfolgsfaktoren für die Effizienz von Projekten zusammen. Die Formulierung

der Erfolgsfaktoren ist neutral gehalten, d.h. es gibt in der nachfolgenden Tabelle keine Aussage darüber, in

welchem Ausmaß die identifizierten Erfolgsfaktoren in der GIZ umgesetzt oder berücksichtigt wurden. In der

empirischen Analyse hat sich „lediglich“ herausgestellt, dass ihre (Nicht-)Berücksichtigung einen Einfluss auf

die Effizienzbenotung in den PEV und ZPE hatte. Grundsätzlich ist auch zu beachten, dass die Phasenzuord-

nung der Kriterien, Erfolgsfaktoren und Leitfragen nicht zwingend für deren Anwendung gilt, sondern sie ergab

sich lediglich aus der Analyse der Dokumente.

Tabelle 10: Effizienzrahmen der Planung, Implementierung und Bewertung

EFFIZIENZKRITERIEN IN DER PLANUNG Erfolgsfaktoren

✓ Nutzung von Lernerfahrungen

Kontexterfahrung

Wissenstransfer zwischen Phasen

Innovations- und Lernprozesse

✓ Partizipative Planung

Partizipative Vorbereitung von Maßnahmen

Berücksichtigung von Zielgruppenperspektiven

Transparenz und Ownership

✓ Nutzung von Erkenntnissen aus Vorstu-

dien

Verbesserte Datenlage durch Baseline-Studien

Nachfrageorientierung durch Bedarfs- und Mach-

barkeitsanalysen

Gezielter Einsatz von technischen Studien

(ZUSÄTZLICHE) EFFIZIENZKRITERIEN IN

DER IMPLEMENTIERUNG Erfolgsfaktoren

✓ Nutzung eines Monitoringsystems

Ausreichende M&E Ressourcen

(Personal und Barmittel)

Orientierung durch das Monitoring für die Anpas-

sung von Maßnahmen zur Verbesserung von Leis-

tungen

Grundlage für die Überzeugung von Entschei-

dungsträgern.

✓ Nutzung von Synergien

Synergien mit anderen GIZ-Vorhaben

Synergien mit anderen Gebern

Synergien mit anderen deutschen Organisationen

Synergien innerhalb der deutschen EZ

✓ Verantwortlichkeiten

im Stakeholderumfeld

Beschreibung der Rollen und Verantwortlichkeiten

Nutzung von “Geberforen“

(Starke) Einbeziehung von Partnern bei Problemen

Bereitstellung einer Kommunikationsplattform

24

Im Folgenden werden die potenziellen und orientierungsgebenden Effizienzkriterien für die Planung, Imple-

mentierung und Bewertung im Detail vorgestellt und diskutiert. Da diese Kriterien prinzipiell sowohl für die Pro-

duktions- als auch Allokationseffizienz gelten und in den zur Verfügung gestellten (internen und externen) Be-

richten meist nicht weiter differenziert wurden, empfiehlt das Gutachter*innen-Team, alle Kriterien in allen Pha-

sen zu berücksichtigen und „mitzudenken“ und entweder in Beziehung zu den Outputs (Produktionseffizienz)

oder zu den Outcomes (Allokationseffizienz) zu setzen. Die in den jeweiligen Projektphasen allokierten Krite-

rien stellen aus Sicht des Gutachter*innen-Team jeweils zusätzliche, relevante Kriterien dar, die speziell für

diese jeweilige Projektphase gelten. Im Folgenden werden für alle Kriterien die Ergebnisse der quantitativen

Auswertungen (statistische Analysen) und qualitativen Auswertungen (MAXQDA Kodierungen und weitere In-

haltsanalysen) vorgestellt, kontrastiert und zusammengefasst. Zudem werden übergreifende Erfolgsfaktoren

der Effizienz gelistet und durch Beispiele veranschaulicht. Schließlich werden Empfehlungen und Operationali-

sierungsideen für jedes Kriterium ausgesprochen.

✓ Maßnahmen zur Verringerung von Risi-

ken

Abstimmung mit anderen Gebern (Stakeholdern)

Ausrichtung der Risikomaßnahmen an Organisati-

onen (und nicht Einzelpersonen)

Klare Beschreibung der Risiken; Risiken monitoren

und Handlungen ableiten

✓ HR Management

Prüfung der Angemessenheit der Personalfixkos-

ten

Prüfung der stärkeren Einbeziehung von nationa-

lem Personal bei gleicher Qualifikation

Adäquater Instrumentenmix

Fachliche Qualifikation des eingesetzten Perso-

nals

Vorausschauende Personalplanung zur Vermei-

dung von häufigem Personalwechsel oder verzö-

gerten Personaleinsätzen

✓ Kontinuierliches Wissensmanagement

Verbreitung von Erfahrungen und Wissen

Wissensmanagement als wesentlicher Manage-

mentprozess

Institutionalisierung von Wissen

✓ Partnermanagement und -nähe

Etablierung eines Steuerungskomitees

Kognitive und räumliche Nähe

Strategisch-konzeptionelle Aufstellung bzgl. der

Erwartungshaltung des Partners

(ZUSÄTZLICHE) EFFIZIENZKRITERIEN IN

DER BEWERTUNG Erfolgsfaktoren

✓ Vorteilhaftigkeit von Entscheidungen

Regelmäßige Reflexion von getroffenen Entschei-

dungen (z.B. Operationsplan, Reflexionstreffen,

M&E)

Überprüfung von Wirkungslogik/-modell und ggf.

Anpassung

Notwendige Änderungen auf Aktivitäten-Ebene

durchführen

✓ Kostenzuordnung

Kostenzuordnungen zu Personal/Administration

Unterscheidung zwischen Beratungs- und Sach-

leistungen

Follow-the-money

25

6.1 Orientierungsgebende Kriterien bei der Planung

In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Partizipative Planung“ zusammengefasst.

Tabelle 11: Partizipative Planung

Analysefrage Waren Planungsprozesse partizipativ?

Quantitative und qualitative Auswertung

Statistische Auswertung

• Die Ergebnisse der statistischen Auswertungen sind vernachlässigbar, da dieses Kriterium erst zu ei-

nem späteren Zeitpunkt der Auswertung induktiv ergänzt wurde und es keine (signifikanten) Effekte

gibt.

MAXQDA Codes

• In 12 internen Berichten wurde Partizipation in der Planung als fördernder Faktor für Effizienz genannt.

• Dies entspricht 7 % aller Codes in der Planung.

• Auch in den externen Berichten wird partizipative Planung als fördernder Faktor genannt: Es wurden 19

Codes dazu identifiziert, was 5,3 % aller Codes der Planung entspricht.

Weitere Inhaltsanalysen

• Alle zur Verfügung gestellten externen Qualitätskontrollen (2013, 2014, 2015, 2016, 2017, 2018) zeigen

auf, dass partizipative Planungsprozesse entscheidend für die Wirtschaftlichkeit von Vorhaben sind.

• Bedeutung von partizipativer Planung für eine erhöhte Wirtschaftlichkeit wird in BMZ und GIZ Handrei-

chungen und Arbeitshilfen betont (GIZ Leitfaden Vorbereitung TZ Module 2018, GIZ Arbeitshilfe Kurz-

stellungnahme 2018, BMZ Handreichung Kurzstellungnahme 2017, GIZ Arbeitshilfe Prüfung 2018).

Beispiele für Erfolgsfaktoren

• Partizipative Vorbereitung von Maßnahmen: „Die Mitarbeiter […] konnten feststellen, dass durch die

partizipative Vorbereitung der Gemeinschaftsprojekte Maßnahmen zur direkten Unterstützung der Bau-

ernorganisationen beschleunigt (und somit kostensparender) wurden. Diese schnellere Umsetzung von

Schulungsmaßnahmen und Investitionen im Rahmen der Gemeinschaftsprojekte wirkt sich somit posi-

tiv auf die Gesamteffizienz des Projekts aus.“ (2013.2236.1_PEV 2017 PAD Tunesien)

• Partizipative Konzeption des Instrumentenmix: „In der idealen Konzeption der eingesetzten Instru-

mente eines Vorhabens werden Partnerwünsche mitgedacht, genauso wie Überlegungen zu Wirtschaft-

lichkeitsgesichtspunkten sowie zur Stabilität eines Vorhabens und seiner Risikoeinschätzung. Der je-

weilige Instrumentenmix kann zudem unter dem Aspekt der Wirksamkeit plausibilisiert werden (Externe

Qualitätskontrolle 2014).”

• Berücksichtigung von Zielgruppenperspektiven: “The programme has also contributed strongly to

capacity building and thus to increased empowerment at decentralised level for regional and district au-

thorities, and the team has worked hard on the integration of community voices within the planning pro-

cess.” (2015.2178.0_ZPE Programm zur Unterstützung des Gesundheitssektors)

• Transparenz und Ownership: „Gleichzeitig hat das Vorhaben über eine intensive und vor allem in ho-

hem Maße partizipative strategische und operative Planungsarbeit erhebliche Transparenz, ein gemein-

sames Verständnis und einen hohen Grad an Ownership zwischen den zentralen Durchführungspart-

nern geschaffen.“ (2014.2019.9_PEV 2017 Marokko ländliche Entwicklung)

Schlussfolgerungen, Empfehlungen und Operationalisierungsideen

Schlussfolgerungen und Empfehlungen

• Die Analyse zeigt, dass die Partizipation von sowohl Partnern als auch der Zielgruppe in der Planung för-

dernd für die effiziente Implementierung eines Vorhabens ist.

• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor in der Planung zu berück-

sichtigen.

26

In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Erkenntnisse aus Vorstudien“ zusammen-

gefasst.

Operationalisierungsideen auf Basis der empirischen Ergebnisse

• Partizipative Budgetallokation für eine Projektvorphase, um gemeinsame Planungsprozesse zu ermögli-

chen

• Budgetierte Maßnahmen zur Förderung von Transparenz zwischen Partnern, z.B. partizipativ erarbeiteter

Operationsplan

Tabelle 12: Erkenntnisse aus (Vor)Studien

Analysefrage Basiert die Planung auf Erkenntnissen aus (wissenschaftlich) fun-

dierten (Vor)studien?



• Die statistische Auswertung gibt keinen Aufschluss über den Einfluss des Kriteriums auf die Effizienzbe-

notung, zumal dieses Kriterium erst zu einem späteren Zeitpunkt der Auswertung induktiv ergänzt wurde

und es keine (signifikanten) Effekte gibt.

• Dies bedeutet nicht zwangsläufig, dass dieses Kriterium vernachlässigbar ist, sondern zunächst einmal,

dass dieses Kriterium bisher von den Evaluator*innen in den Evaluierungsberichten nicht prominent be-

rücksichtigt wurde.

MAXQDA Codes

• Kriterium „Erkenntnisse aus Vorstudien“ konnte durch induktive Vorgehensweise erkannt werden, da dies

vereinzelt erwähnt wurde.

• Mehrwehrt von Machbarkeits- und Scoping-Studien wird allerdings vermehrt in DFID- und EU-Berichten

genannt.


• Bisher werden verschiede Programmoptionen nur unsystematisch gegenübergestellt und in Bezug zu

Wirtschaftlichkeit) bewertet; bewährte, definierte Methoden und damit verbundene Arbeitsprodukte (Prob-

lem-Tree, Stakeholder-Maps, SWOT-Analysen) werden unzureichend verwendet (Sonderuntersuchung

2015).


• Verbesserte Datenlage durch Baseline-Studien: „In particular, the baseline study is designed and im-

plemented on a scientific level that goes far beyond most studies done in the development context. The

methodology (e.g. propensity score matching, difference-in-difference; sample size) is precise, the results

highly relevant. The two costing studies use a methodology (Markov model, disease dynamics model) that

is on a high international scientific standard.“ (2009.2171.8_PEV 2015_Social Health Protection Cambodia)

• Nachfrageorientierung durch Bedarfs- und Machbarkeitsanalysen: „Eine Bedarfsstudie über die El-

ternkomitees welche die Interventionsstrategien präzisieren sollte, zeigte, dass viele Elternkomitees nicht

existierten oder funktionell waren, bzw. nicht partizipativ in Entscheidungsstrukturen eingebunden waren

und es an Kooperationsstrukturen zwischen […] mangelte.“ (2010.2042.9 _PEV 2015_REMAKI)

• Gezielter Einsatz von technischen Studien: „Sin embargo, la misión de evaluación estima que los estu-

dios de vulnerabilidad al CC realizados por el programa CliFor constituyen una buena herramienta de

sensibilización de los grupos agroforestales, pero no sirve para la definición precisa de medidas de adap-

taci6n de la producción agropecuaria al CC.” (Final Report_Honduras_MTE)

27

In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Nutzung von Lernerfahrungen“ zusam-

mengefasst.



• Auch wenn es keine statistisch signifikanten Effekte gibt, wird die Wichtigkeit der Nutzung von in (wissen-

schaftlichen) Studien gewonnenen Erkenntnissen auf die Effizienz insbesondere in den externen Berich-

ten hervorgehoben.

• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Planung zu berück-

sichtigen.


• Regelmäßige Anwendung von Bedarfsanalysen, um nachfrageorientierte Aktivitäten zu entwickeln

• Gegenüberstellung von Zielwerten und Baseline-Daten

• Verweise auf Daten und Erkenntnisse aus vorherigen Studien und Analysen

Tabelle 13: Beschreibung der Nutzung von Lernerfahrungen

Analysefrage

Wurde die Nutzung von I) in der Vergangenheit gemachten

Lernerfahrungen und/oder II) Lernerfahrungen aus anderen EZ-

Vorhaben logisch und nachvollziehbar beschrieben?



• Mittelstarke bis starke positive Korrelation zwischen diesem Kriterium und der Effizienzbenotung (.34).

• Sehr hohes Signifikanzniveau (.005).

MAXQDA Codes

• Hohe Anzahl an Codes in internen Berichten (33); stellen 15 % aller Codes der Kategorie Planung dar.

Externe Berichte

• DIFD-Projektevaluierungsberichte beinhalten Unterkapitel, die die Umsetzung vorheriger Empfehlungen

beschreiben („Action on previous recommendations“).


• Kontexterfahrung: „Die Struktur der GIZ, ihr Personal und die vielen Jahre der Erfahrung im Land, […]

waren ein entscheidender Faktor und unschätzbarer Aktivposten für die hohe Effizienz und Verlässlich-

keit. Die GIZ Mitarbeiter, die an der Erarbeitung des Projektvorschlags und an der Projektdurchführung

beteiligt waren, konnten auf existierende Kontakte, Netzwerke und die Kenntnis des Sektors zurückgrei-

fen.“ (Evaluierungsbericht_08_II_049_gesamt)

• Wissenstransfer zwischen Phasen: “On the GIZ component, GIZ has made good use of lessons learnt

from implementation experience on the previous phase of support to inform the current phase. As well as

serving this internal facing effective programme management function, GIZ is also using the evidence and

experience generated to influence externally.” (TWM 2017 AR final)

• Innovations- und Lernprozesse: „Unter Berücksichtigung dieser Tatsache gehen die damit erzielten

Leistungen und Ergebnisse mit ständigen Verbesserungen, Innovationen und Lernprozessen einher. Der

Treuhandfonds stützt sich auf Erfahrungen, die mit ähnlichen Akteuren gesammelt wurden und denen

Studien und Bewertungen der Resilienz und der Entwicklungszusammenarbeit in

fragilen Situationen zugrunde liegen.“ (Bekou trust fund EU)

28

In der nachfolgenden Tabelle sind die Kriterien und Erfolgsfaktoren für die Planungsphase nochmals zusam-

mengefasst.

6.2 Orientierungsgebende Kriterien bei der Implementierung

In diesem Kapitel werden die spezifischen handlungsleitenden Kriterien zur wirtschaftlichen Implementierung

von Vorhaben gelistet und erörtert.

In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Nutzung eines Monitoringsystems zur

Steuerung des Vorhabens“ zusammengefasst.



• Die Nutzung von Lernerfahrung hat zumindest in der statistischen Auswertung den höchsten Effekt auf die

Effizienzbenotung.

• Auch die qualitative Auswertung weist in die gleiche Richtung. Werden Lernerfahrungen genutzt, hat dies

grundsätzlich eine positive Auswirkung auf die Effizienz.

• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor zu berücksichtigen.


• Systematische Erfassung von Lernerfahrungen

• Verweise auf Daten und Erkenntnisse aus vorherigen GIZ-Vorhaben und/oder Vorhaben anderer Geber

• Kritischer Umgang mit gemachten Lernerfahrungen aus anderen Vorhaben (kontextuelle Einordnung)

• Aufzeigen von möglichen Limitationen bei der Nutzung gemachter Lernerfahrungen in anderen Vorhaben

• Beschreibung von Lernprozessen

Tabelle 14: Orientierungsgebende Kriterien bei der Planung auf einen Blick

Kriterium Erfolgsfaktoren


Kontexterfahrung

Wissenstransfer zwischen Phasen

Innovations- und Lernprozesse


Partizipative Vorbereitung von Maßnahmen:

Berücksichtigung von Zielgruppenperspektiven

Transparenz und Ownership

✓ Nutzung von Erkenntnissen aus Vorstu-

dien

Verbesserte Datenlage durch Baseline Studien

Nachfrageorientierung durch Bedarfs- und Machbar-

keitsanalysen

Gezielter Einsatz von technischen Studien

Tabelle 15: Nutzung eines Monitoringsystems

Analysefrage Gibt es ein Monitoringsystem und wird es Steuerung genutzt?

Statistische Auswertung Qualitative Auswertung

Kostenmonitoringsys-

tem

MAXQDA-Codes

• Die Relevanz des Monitorings für die effiziente Umsetzung eines Vorhabens

29

• Mittelstarke positive Kor-

relation zwischen die-

sem Kriterium und der

Effizienzbenotung (.27).

• Niedriges Signifikanzni-

veau (.16).

Aktivitätenmonitoring





• Hohes Signifikanzniveau

(.03).

Wirkungsmonitoring





• Hohes Signifikanzniveau

(.02).

wird auch bei der qualitativen Auswertung deutlich. So wurde die Frage ‚Wie

unterstützen Monitoringaktivitäten die Projekteffizienz?‘ sowohl bei den inter-

nen als auch bei den externen sehr oft gecoded:

Interne Berichte

- Sehr hohe Anzahl an Codes – 72 Codes

- 72 Codes in 51 Berichten

- 72 Codes entsprechen etwas 5,02 % aller vergebenen Codes

Externe Berichte

- Sehr hohe Anzahl an Codes – 60 Codes)

- 60 Codes in 44 Berichten

- 60 Codes entsprechen etwas 6,67 % aller vergebenen Codes


• Ausreichend M&E-Ressourcen: “GIZ has put in place a five-person Perfor-

mance Monitoring Team within the management structure of the project.

This team interacts closely with each of the Output teams to record the pro-

gress.” (2014_Annual Review -Access to Justice through Paralegal and Res)

• Guidance für die Umsetzung von Maßnahmen: „Die Einführung eines

Qualitäts-Management-Systems im […] erhöht die Effizienz der Zusammen-

arbeit erheblich, da sie Streuverluste der technischen Beratung reduziert (die

aufgrund von Personalfluktuation im Partnersystem entstehen) und eine so-

lide Basis für die Umsetzung weiterer Maßnahmen bietet.“

(2013.2202.3_PEV 2016 Uganda PREEEP)

• Anpassung und Verbesserung von Leistungen: „Die […] verfügt über ein

gut entwickeltes M&E-System, welches dazu beiträgt, die Planung und das

Management der Interventionen kontinuierlich zu verbessern. Die meisten

Aktivitäten wie die […] -Matchmaking-Events, Workshops, Konferenzen, ver-

schiedene Maßnahmen des Capacity Develoment und Politikberatung wer-

den durch Befragungen der Partner bzw. Kunden nach einem Standardpro-

zess überprüft. Dies ermöglicht eine ständige Anpassung und Verbesserung

der Leistungen auf Basis der Rückmeldung der Kunden und Teilnehmer.“

(2014.2500.8_PEV 2018 SV Energiepolitikberatung)

• Überzeugung von Entscheidungsträgern: „Es liegen bereits erste Ergeb-

nisse des Monitorings vor. Es kann erwartet werden, dass durch das Monito-

ring die Vorteile und der Nutzen der Solarthermie im sozialen Wohnungsbau

identifiziert werden können, und somit die politischen Entscheidungsträger

positiv für die weitere Unterstützung der Solarthermie motiviert werden kön-

nen“ (Evaluierungsbericht_08_I_040_gesamt)



• Monitoring wird sehr prominent erwähnt.

• Quantitative und qualitative Auswertungen zeichnen ein eindeutiges Bild: Wird ein Monitoringsystem zur

Steuerung genutzt, hat dies grundsätzlich eine positive Auswirkung auf die Effizienz.

• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Implementierung zu

berücksichtigen.


• Unterscheidung, was genau gemonitored wird (Kosten, Aktivitäten, Wirkungen)

• Plan, wie Informationen genutzt werden

30

In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Nutzung von Synergien“ zusammenge-

fasst.

• Nutzung von qualitativen und quantitativen Daten

• Triangulation von Methoden und Quellen

• Nutzung der Kompassinstrumente

• Häufigkeiten der Dateneingabe und Analyse

• Nutzung digitaler Lösungen

Tabelle 16: Nutzung von Synergien

Analysefrage Werden Synergien beschrieben und genutzt?



• Mittelstarke positive Korrelation zwischen diesem Kriterium und der Effizienzbenotung (.25)

• Sehr hohes Signifikanzniveau (.0011)

MAXQDA Codes

• Das Kriterium „Synergien“ ist in den Berichten das am häufigsten erwähnte / diskutierte Kriterium zur För-

derung von Wirtschaftlichkeit. So wurden zu der Frage ‚Wie tragen Synergien zur Effizienz bei?‘ sowohl in

den internen (156 Codes in 140 Berichten, 10,88 % aller vergebenen Codes) als auch in den externen

Berichten (72 Codes in 52 Berichten, 8,01 % aller vergebenen Codes) viele Codes gesetzt.

• Die Codes konnten zudem nach unterschiedlichen Synergietypen klassifiziert werden. Synergien mit:

- anderen Gebern (49 Codes)

- anderen GIZ Vorhaben (33 Codes)

- anderen dt. Organisationen, z.B. KfW, AA, DIE (12 Codes)

- mit NGOs (11 Codes in 11 Berichten)

Weitere Inhaltsanalysen:

• Fünf von sechs Berichten der externen Qualitätskontrolle bestätigen den positiven Einfluss von Synergien

auf die Wirtschaftlichkeit von Vorhaben.

Wichtigkeit von Synergien und Geberharmonisierung für eine erhöhte Wirtschaftlichkeit wird in BMZ- und

GIZ-Handreichungen betont (BMZ-Handreichung Verfahrensablauf 2017, BMZ-Handreichung Kurzstellung-

nahmen 2017, GIZ-Arbeitshilfe Prüfung 2018).


• Synergien mit anderen GIZ-Vorhaben: „Als sehr effizient wird die Zusammenarbeit des Vorhabens mit

den GIZ- […] zu […] bezeichnet. Schneller, fachkompetenter und zeitlich gut terminierter Austausch trug

zu einer Verbesserung der Beratungsleistungen aller bei. Ebenso wird die Leitung der Arbeitsgruppe zu

den nachhaltigen Entwicklungszielen von den beteiligten Sektorvorhaben im […] geschätzt und vorhande-

nes Wissen regelmäßig genutzt.“ (2012.6259.1_PEV 2017 Fortschreibung der Ziele der Weltbevölkerung)

• Synergien mit anderen deutschen Organisationen: „Auch die Zusammenarbeit z. B. mit dem DIE oder

der ILO verbesserte neben der Qualität der Produkte (Synergie) auch durch faire Teilung der Finanzie-

rung das Kosten-Nutzen-Verhältnis im […].“ (2013.2094.4_PEV 2015 Beschäftigungsorientierte Entwick-

lungsstrategien und Vorhaben)

• Synergien innerhalb deutschen EZ: „Eine stärkere gemeinsame Konzeption von TZ- und FZ-Maßnah-

men innerhalb von EZ-Programmen könnte somit die Möglichkeiten erhöhen, Synergien auf der Wir-

kungsebene tatsächlich zu realisieren.“ (Externe Qualitätskontrolle 2017)

31

In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Wissensmanagement“ zusammengefasst:



• Zweifelsohne spielen Synergien bei der Effizienzbetrachtung eine wichtige Rolle.

• Quantitative und qualitative Auswertungen zeichnen ein eindeutiges Bild: Werden Synergien genutzt, hat

dies grundsätzlich eine positive Auswirkung auf die Effizienz.

• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Implementierung

zu berücksichtigen.


• Teilung der Finanzierung mit anderen Organisationen und Stakeholdern

• Gemeinsame Finanzierungskonzepte

• Einsparung von Kosten für die deutsche EZ durch die Nutzung von Synergien

• Nutzung von Wissen, das nicht selbst generiert wurde, bzw. von Daten, die nicht selbst erhoben wurden

Tabelle 17: Wissensmanagement

Analysefrage Wie beeinflusst Wissensmanagement die Effizienz?



• Die Ergebnisse der statistischen Auswertungen sind vernachlässigbar, da das Kriterium Wissensmanage-

ment erst zu einem späteren Zeitpunkt der Auswertung * ergänzt wurde und es keine (signifikanten) Ef-

fekte gibt.

MAXQDA Codes

• Da das Kriterium Wissensmanagement erst zu einem späteren Zeitpunkt der Auswertung induktiv ergänzt

wurde, wurde es nicht so oft gecoded (16 Codes in 14 Dokumenten). Trotzdem hat sich das Kriterium

Wissensmanagement bei der qualitativen Auswertung als wichtiges Kriterium, vor allem aber auch als

häufig genanntes Verbesserungspotenzial herauskristallisiert.


• Verbreitung von Erfahrungen und Wissen: „Die strategische Ausrichtung des Vorhabens auf die Ver-

breitung von Erfahrungen und Wissen, zum Teil bereits generiert im Vorläufervorhaben, trägt in hohem

Maße zur Effizienz des Vorhabens bei.“ (2013.2229.6_PEV 2017 Erneuerbare Energien und Energieeffi-

zienz)

• Wissensmanagement als wesentlicher Managementprozess: „Aus Sicht der Unterstützungs- und Ma-

nagementprozesse wird ebenfalls empfohlen, während der Restlaufzeit ein systematisches Wissensma-

nagement anzulegen, um die Effizienz des Vorhabens signifikant zu steigern.“ (2014.2019.9_PEV 2017

Marokko ländliche Entwicklung)

• Institutionalisierung von Wissen: „Obwohl es immer wieder zu Personalfluktuation […] kam, konnte

das Wissen durch kontinuierliche Maßnahmen institutionalisiert werden. Als ein besonders effektives In-

strument zum Austausch von Erfahrungen und Wissen hat sich die vom Projekt aufgebaute Geschäftsfüh-

rerplattform der IHKs entwickelt.“ (2008.2198.3_PEV 2016 Türkei Wirtschaftsförderung)



• Wissensmanagement wird in vielen Berichten als wichtiges Kriterium zur Erhöhung der Effizienz genannt.

32

In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „HR-Management“ zusammengefasst.

• Auch wenn es keine statistisch signifikanten Effekte gibt, wird deutlich: Wenn Vorhaben ein besseres Wis-

sensmanagement (gehabt) hätten, (wäre) würde die Effizienz signifikant gesteigert (worden) werden kön-

nen.




• Speicherung, Zugang und Nutzung von Daten (inkl. Nutzung digitaler Lösungen; siehe auch Kriterium

„Nutzung von Monitoringsystemen“)

• Einbeziehung von Stakeholdern (siehe auch Kriterium Synergien)

• Institutionalisierung von Wissen

• Regelmäßige Jour Fixes, Workshops, Trainings

• Peer-learning-Aktivitäten

• Regelmäßiges Monitoring des Wissensaustauschs

• Austausch von guten Praktiken und negativen Erfahrungen

• Nutzung von Marketingmaterialen, Websites, Social Media

Tabelle 18: HR Management

Analysefrage Wie beeinflusst HR-Management die Effizienz?



• Die Ergebnisse der statistischen Auswertungen sind vernachlässigbar, da das Kriterium HR-Management

erst zu einem späteren Zeitpunkt der Auswertung induktiv ergänzt wurde und es keine (signifikanten) Ef-

fekte gibt.

MAXQDA Codes

• Obwohl das Kriterium ‚HR -Management‘, sowie das Unterkriterium ‚Instrumentenmix‘ erst zu einem spä-

teren Zeitpunkt der Auswertung induktiv ergänzt wurden, wurden sie sehr oft gecoded: 187 Codes in 132

Dokumenten, was 13,04 % aller Codes entspricht.

• Insbesondere der Einfluss entsandter Mitarbeiter*innen und Entwicklungshelfer (EH) als ein hoher Fixkos-

tenblock des Projekts (anstelle lokalen Personals) auf die Effizienz wurde oft thematisiert, der sich in eini-

gen Fällen negativ auf die Produktionseffizienz ausgewirkt hat.

• Grundsätzlich wurde mehrmals angemerkt, dass ein ausgewogener Mix aus lokalen und internationalen

Fachkräften positive Auswirkungen auf die Effizienz haben kann.

• Darüber hinaus wurde oft die Wichtigkeit der Qualifikationen des eingesetzten Personals zur Erhöhung

der Effizienz sowie der effizienzmindernde Einfluss einer hohen Personalfluktuation diskutiert.


• Fünf von sechs externen Qualitätskontrollen bestätigen die Bedeutung eines angemessenen Instru-

mentenmix für eine erhöhte Wirtschaftlichkeit.


• Prüfung der Angemessenheit der Personalfixkosten: „Das Vorhaben hat einen überdurchschnittlichen

Bestand an entsandten Mitarbeitern und EH. Dies erhöht die Fixkosten und lässt weniger Spielraum für

Einzelmaßnahmen. Bei der in 2016 eingetretenen allgemeinen Budgetkürzung hat dies im […] zu einer

erheblichen Minderung der Aktivitäten geführt, was die Effizienz negativ beeinflusst hat.“

(2013.2291.6_PEV 2018 Benin Dezentralisierung und Kommunalentwicklung)

• Prüfung der stärkeren Einbeziehung von nationalem Personal bei gleicher Qualifikation: „Ein Neu-

vorhaben präsentierte im Auftragsklärungsgespräch ein detailliertes Instrumentenkonzept, in dem es auch

33

In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Kommunikation von Verantwortlichkeiten“

zusammengefasst.

Sparsamkeitsansätze vorstellte. Diese bezogen sich auf die explizite Nutzung von nationalem Personal,

da dieses gegenüber dem internationalen Personal deutlich kostengünstiger ist. Gleichzeitig ist das natio-

nale Personal im Land sehr gut ausgebildet, sodass es kaum Unterschiede in der Qualität zwischen natio-

nalem und internationalem Personal gäbe.” (Sonderuntersuchung, 2015)

• Adäquater Instrumentenmix: „Der Instrumentenmix spielt für die Wirtschaftlichkeit des Vorhabens eine

entscheidende Rolle. Der Einsatz von internationalen Langzeitfachkräften auf der Makro- und Mesoebene

in Kombination mit Entwicklungshelfer/innen (EH) und nationalen Beratungsfachkräften insbesondere auf

der Meso- und Mikroebene ist ein bewährter und wirtschaftlicher Weg, das Modulziel zu erreichen.“

(2013.2073.8_PEV 2017 Förderung der Landwirtschaft Benin MZ 1)

• Fachliche Qualifikation des eingesetzten Personals: „Durch einen umfassenderen, fachlich orientier-

ten Einsatz von nationalem Personal hätte die Koordination mit den Partnerhochschulen und Entsendeor-

ganisationen erheblich verbessert werden können.“ (2013.2046.4_PEV 2017_Sozialen Sicherungssyste-

men in Südostasien)

• Vorausschauende Personalplanung zur Vermeidung von häufigen Personalwechsel oder verzö-

gerten Personaleinsätzen: „Hinzu kommen häufige Personalwechsel oder Verzögerungen von Perso-

naleinsätzen, die zwar größtenteils externer Natur waren, aber Auswirkungen auf die Gesamteffizienz des

Projekts haben.“ (2012.2501.0_PEV 2016 Algerien IDEE)



• Gutes HR-Management im Sinne von Fort- und Weiterbildungen des Personals und der Auswahl des

richtigen Personals (Auslandsmitarbeiter*innen vs. nationales Personal) wird häufig als wichtiges Krite-

rium zur Erhöhung der Effizienz genannt.

• Auch wenn es keine statistisch signifikanten Effekte gibt, wird nach der qualitativen Auswertung deutlich:

Wird überall dort, wo es möglich ist, qualifiziertes nationales Personal eingesetzt, trägt es häufig zur Erhö-

hung der Effizienz bei. Dies sagt allerdings nicht aus, dass dieses Kriterium grundsätzlich losgelöst vom

Kontext, von den Zielen und von dem zur Verfügung stehenden Personal betrachtet werden kann.


im Zusammenhang mit dem jeweiligen Kontext, den Zielen und dem zur Verfügung stehenden Personal



• Verhältnis zwischen entsandten Mitarbeiter*innen / EH und nationalem Personal

• Einsatz von nationalen Kurzzeitexpert*innen

• Qualifikationen des eingesetzten Personals

• Planung und Realisierung von Fort- und Weiterbildungen

• Zeitliche Vakanzen

Tabelle 19: Kommunikation von Verantwortlichkeiten

Analysefrage Sind Verantwortlichkeiten im Stakeholderumfeld klar kommuni-

ziert und verstanden?



• Mittelstarke positive Korrelation zwischen diesem Kriterium und der Effizienzbenotung (.26).

• Sehr hohes Signifikanzniveau (.0043).

34

MAXQDA Codes

• Kommunikation im Stakeholderumfeld zur Klärung von Verantwortlichkeiten und Rollen hat sich als wichti-

ges Kriterium mit einem großen Einfluss auf die Effizienz eines Vorhabens herauskristallisiert (intern: 34

Codes in 29 Dokumenten, was 2,37 % aller Codes entspricht, extern: 36 Codes in 25 Dokumenten, was 4

% aller Codes entspricht).


• Beschreibung der Rollen und Verantwortlichkeiten: „Eine weitere Möglichkeit zur Steigerung der

Effizienz ist eine klare Beschreibung der Systemgrenze und insbesondere der Rollen und Verantwort-

lichkeiten des […]-Sekretariats, welches durch das SV wahrgenommen wird, sowie der […]-Steue-

rungsgruppe, der auch das BMZ angehört. Trotz zahlreicher Bemühungen gelang es dem durch das SV

wahrgenommenen […]-Sekretariat weniger gut, die Steuerungsfunktion der Steuerungsgruppe genauer

zu beschreiben oder sogar einzufordern.“ (2014.2246.8_PEV 2017 SV Desertifikationsbekämpfung)

• Nutzung von “Geberforen”: „There are several examples that the […] also realized efficiency beyond

the programme by its very active role to coordinate and pool resources with other donors. For this pur-

pose, the Donor Coordination Forum in […] was actively utilized for coordination and facilitation of activ-

ities with World Bank and DFID.” (2013.2183.5_PEV 2017 Pakistan)

• (Starke) Einbeziehung von Partnern (bei Problemen): „Das Vorhaben war in der Lage, in Koopera-

tion mit […] fünf Ministerien an einen Tisch zu bringen, um geschäftshemmende Probleme auf nationa-

ler Ebene zu lösen.” (2014.2176.7_PEV 2017 SEDEP Afghanistan)

• Bereitstellung einer Kommunikationsplattform: “Providing a platform for joint analysis of these

homemade obstacles and development of possible solutions in participatory ways, broadening courses

of action within the public sector has been a small but appreciated contribution of SCSI in this context.”



• Zweifelsohne spielen klare Verantwortlichkeiten und Rollenverteilungen bei der Effizienzbetrachtung eine

wichtige Rolle.

• Quantitative und qualitative Auswertungen zeichnen ein eindeutiges Bild: Gibt es klare Verantwortlichkei-

ten und Rollenverteilungen, hat dies grundsätzlich eine positive Auswirkung auf die Effizienz.


berücksichtigen.


• Regelmäßige Nutzung von Foren und Kommunikationsplattformen

• Einbeziehung von Partnern (besonders bei Herausforderungen und Problemen)

• Verschriftlichungen von Verantwortlichkeiten und Rollen

• Entwicklung eines Kommunikationsplans

• Einführung von Jour Fixes

• Regelmäßige Workshops zum Abgleich von Erwartungen und zur Verteilung von Verantwortlichkeiten

35

In der nachfolgenden Tabelle sind die Ergebnisse für die Kriterien „Partnermanagement und -nähe“ zusam-

mengefasst.

Tabelle 20: Partnermanagement und -nähe

Analysefrage Wie beeinflussen die Managementstruktur im Hinblick auf die

Nähe zu den Partnern die Effizienz? (AE)



• Die Ergebnisse der statistischen Auswertungen sind vernachlässigbar, da das Kriterium Management-

struktur im Hinblick auf die Nähe zu den Partnern erst zu einem späteren Zeitpunkt der Auswertung induk-

tiv ergänzt wurde und es keine (signifikanten) Effekte gibt.

MAXQDA Codes

• Auch wenn das Kriterium partnerorientierte Managementstruktur erst zu einem späteren Zeitpunkt der

Auswertung induktiv ergänzt wurde, konnten insgesamt 75 Codes in 58 Dokumenten erstellt werden, (das

entspricht 5,23 % aller Codes).

• In den Berichten gibt es viele Beispiele, die die bestehenden Managementstrukturen verantwortlich für die

eine hohe bzw. fehlende Effizienz verantwortlich machen. Die schließt auch Maßnahmen zur Erhöhung

der Koordinierung und der Nähe zum Partner mit ein.


• Etablierung eines Steuerungskomitees: „a Programme Steering Committee (PSC) was established to

improve coordination, which includes development partners as well as representatives from other major

stakeholder groups.“ (2013.2046.4_PEV 2017_Sozialen Sicherungssystemen in Südostasien)

• Kognitive und räumliche Nähe: „Hierbei spielt die Tatsache, dass das Programmteam räumlich im Ge-

bäude der Partnerorganisationen angesiedelt ist, eine besondere Rolle. Dies ermöglicht direkten Aus-

tausch, flexible Beratung, das Prüfen von Alternativen und zeitnahes Reagieren auf Anfragen, so dass

Herausforderungen „Hand in Hand“ bearbeitet werden können und Abstimmungsschleifen reduziert wer-

den.“ (2010.2242.5_PEV 2015_Jordanien Bewirtschaftung der Wasserressourcen)

• Strategisch-konzeptionelle Aufstellung bzgl. der Erwartungshaltung des Partners: „Ein wesentlicher

Punkt hinsichtlich der Effizienz ist jedoch die Zusammenarbeit zwischen Vorhaben und politischem Part-

ner. Das Verhältnis hat sich im Laufe des Jahre 2015 sukzessiv verschlechtert. Der politische Partner hat

dem Prüfteam umfangreiches Material (Protokollabschriften, Mailverkehr etc.) zukommen lassen, indem

u.a. die Nichteinhaltung von Absprachen und zu lange Reaktionszeiten angemahnt wurden. Für einzelne

Punkte konnten vom Vorhaben dafür glaubhafte Gründe geltend gemacht werden, für andere Punkte gibt

es keine Stellungnahme. Eine Überprüfung aller Einzelpunkte ist dem Prüfteam jedoch nicht möglich. Ins-

gesamt lässt sich jedoch eine große Diskrepanz zwischen der Erwartungshaltung des politischen Partners

und der strategisch-konzeptionellen und personellen Aufstellung des Vorhabens ableiten, was Auswirkun-

gen auf die Gesamteffizienz des Projektes hat.“ (2012.2501.0_PEV 2016 Algerien IDEE)



• Es zeigt sich, dass eine den Erwartungen des Partners angepasste Managementstruktur signifikant die

Effizienz von Vorhaben erhöht.

• Auch wenn es keine statistisch signifikanten Effekte gibt, wird nach der qualitativen Auswertung deutlich:

Anpassungen der Managementstruktur, die eine räumliche und fachliche Nähe zum Partner sicherstellen,

erhöhen die Effizienz.


berücksichtigen.

36

In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Maßnahmen zur Verringerung von Risi-

ken“ zusammengefasst.


• Mit Partnern gemeinsam etablierte task forces, Arbeitsgruppen und Komitees zur Schaffung von kogniti-

ver Nähe durch „temporäre gemeinsame Räume“

• Prüfung von Maßnahmen zur Realisierung einer räumlichen Nähe zum Partner

• Klare Verantwortlichkeiten für Partner und Vorhaben und geeignete Kommunikationswege um diese zu

kommunizieren

• Benennung konkreter Ansprechpartner für spezifische Aufgabenbereiche

• Maßnahmen zur Integrierung von operativen Partnern und anderen Stakeholdergruppen in strategische

und operative Planung von Aktivitäten

Tabelle 21: Maßnahmen zur Verringerung von Risiken

Analysefrage Sind Risiken und Maßnahmen, diese Risiken zu verringern, be-

schrieben?




• Sehr niedriges Signifikanzniveau (.024).

MAXQDA Codes

• Das Kriterium „Maßnahmen zur Verringerung von Risiken“ hat sich als wichtiges Kriterium mit einem

großen Einfluss auf die Effizienz eines Vorhabens herauskristallisiert (intern: 71 Codes in 57 Dokumen-

ten, was 4,95 % aller Codes entspricht, extern: 52 Codes in 22 Dokumenten, was 5,78 % aller Codes

entspricht).


• Sonderbericht des Europäischen Rechnungshofes (2015) nennt unangemessene Betrachtung von Risi-

ken als hindernden Faktor in der Mehrheit der Projekte.

• Externe Qualitätskontrolle 2013 und 2014 betonen Bedeutung von Partnereinbindung in Risikoanaly-

sen.


• Abstimmung mit anderen Gebern (Stakeholdern): „Eine wichtige Rolle in der Minderung politischer Ri-

siken spielt der enge politische Dialog mit anderen Gebern ([…]), sowohl im Hinblick auf die Bewertung

der Entwicklung der einzelnen Risiken wie auch zur Abstimmung von möglichen gemeinsamen Reaktio-

nen und Maßnahmen der Prävention oder Minderung (WZ-Referent vor Ort).“ (2008.2223.9_PEV

2015_RoGo RDC)

• Ausrichtung der Riskomaßnahmen an Organisationen (und nicht Einzelpersonen): „The discus-

sions with the project team and the partners revealed that the project has constantly taken account of the

risks. For example, the project did not link its cooperation with partners to specific individuals but to institu-

tions. In this way it successfully avoided cooperation fracturing in the event of personnel changes at the

head of the institutions or at working level.” (2013.2145.4_PEV 2016 Kenia Good Gov)

• Klare Beschreibung der Risiken: „Risiken und Annahmen wurden in der Planungsphase klar definiert

und fortlaufend beobachtet und bewertet.“ (2013.2198.3_PEV 2017 Südsudan Ländliche Entwicklung)

• Etablierung eines Risikomanagementsystems: „Im Angebot antizipierte Risiken sind teilweise eingetre-

ten, durch ein insgesamt gutes Risikomanagement waren die Auswirkungen auf den Projekterfolg jedoch

begrenzt.“ (2015.2026.1_PEV 2018 LAmerika Trifinio)

37

In der nachfolgenden Tabelle sind die Kriterien für die Implementierungsphase zusammengefasst.



• Der Umgang mit Risiken spielt zweifelsohne eine wichtige Rolle bei der Effizienzbetrachtung.

• Quantitative und qualitative Auswertungen zeichnen hier ein eindeutiges Bild: Sind Risiken und Maßnah-

men klar beschrieben, hat dies grundsätzlich eine positive Auswirkung auf die Effizienz.


berücksichtigen.


• Beschreibung von Risiken

• Beschreibung von Maßnahmen zur Verhinderung von Risiken

• Aufbau und Nutzung eines Risikomanagementsystems

• Klare Verteilung von Verantwortlichkeiten beim Umgang mit Risiken und Herausforderungen (Fokus: Or-

ganisationen)

• Beschreibung von Abstimmungsprozessen mit Stakeholdern

Tabelle 22: Orientierungsgebende Kriterien bei der Implementierung auf einen Blick



Ausreichende M&E-Ressourcen (Personal und Bar-

mittel)

Orientierung durch das Monitoring für die Anpassung

von Maßnahmen zur Verbesserung von Leistungen

Grundlage für die Überzeugung von Entscheidungs-

trägern.


Synergien mit anderen GIZ-Vorhaben

Synergien mit anderen Gebern

Synergien mit anderen deutschen Organisationen

Synergien innerhalb der deutschen EZ

✓ Verantwortlichkeiten im Stakeholder-

umfeld

Beschreibung der Rollen und Verantwortlichkeiten

Nutzung von “Geberforen“

(Starke) Einbeziehung von Partnern (bei Problemen

Bereitstellung einer Kommunikationsplattform

✓ Maßnahmen zur Verringerung von Ri-

siken

Abstimmung mit anderen Gebern (Stakeholdern)

Ausrichtung der Risikomaßnahmen an Organisatio-

nen (und nicht Einzelpersonen)

Klare Beschreibung der Risiken; Risiken monitoren

und Handlungen ableiten

✓ HR Management

Prüfung der Angemessenheit der Personalfixkosten

Prüfung der stärkeren Einbeziehung von nationalem

Personal bei gleicher Qualifikation

Adäquater Instrumentenmix

Fachliche Qualifikation des eingesetzten Personals

Vorausschauende Personalplanung zur Vermeidung

von häufigen Personalwechsel oder verzögerten Per-

sonaleinsätzen


Verbreitung von Erfahrungen und Wissen

Wissensmanagement als wesentlicher Management-

prozess

38

6.3 Orientierungsgebende Kriterien bei der Bewertung

Die Analysen zur Bewertung der Effizienz umfassen zwei Aspekte: Zum einen wurde untersucht, ob und wie

Wirtschaftlichkeit/Effizienz in den Berichten definiert wurde. Zum anderen wurden zusätzliche Bewertungskrite-

rien dargestellt, die komplementär zu den oben genannten Kriterien bei der Evaluierung von Effizienz verwen-

det werden sollten.

Institutionalisierung von Wissen


Etablierung eines Steuerungskomitees

Kognitive und räumliche Nähe

Strategisch-konzeptionelle Aufstellung bzgl. der

Erwartungshaltung des Partners

Tabelle 23: Definition von Effizienz/Wirtschaftlichkeit

Analysefrage Wie wurde Wirtschaftlichkeit / Effizienz definiert?



• Die Analyse hat gezeigt, dass Projekte, die im Rahmen von ZPEs bewertet wurden, grundsätzlich besser

benotet wurden als PEV (1,93 vs. 2,19).

• Auch wenn die statistische Auswertung noch nicht viel über die Qualität der Berichte aussagt, so kann

aber konstatiert werden, dass in den ZPEs viele der aufgelisteten Kriterien mehr berücksichtigt wurden als

in den PEV und der Begriff Effizienz terminologisch öfter abgegrenzt wurde.

MAXQDA Codes

• Effizienzdefinitionen wurden in 49 der 174 internen Berichte codiert.

• ZPEs definieren Effizienz durchgängig als Transformationseffizienz und unterscheiden zwischen Produk-

tions- und Allokationseffizienz: „The OECD/DAC criteria for efficiency refers to the appropriateness of the

project’s use of resources with regards to the achieved outputs (1) and to the appropriateness of the pro-

ject’s use of resources with regards to achieving the TC measure’s goal (outcome).” (2015.2049.3_ZPE

Sector Programme Sustainable Sanitation)

• Definitionen in den PEVs variieren stark und beinhalten verschiedene Wirtschaftlichkeitsaspekte, wie die

Angemessenheit des Ressourceneinsatzes: „Die Beurteilung der Effizienz des Vorhabens bemisst sich a)

an der Angemessenheit des Ressourceneinsatzes im Hinblick auf die Erreichung der Ziele sowie b) an

der Komplementarität mit anderen Vorhaben.“ (2011.2226.6_PEV 2015_SV Entwicklung Ländlicher

Räume)

• Effizienzdefinitionen wurden in 26 der 64 externen Berichten codiert.

• DFID-Berichte beziehen sich bspw. ausschließlich auf das Value-For-Money (VfM) Konzept: „VfM is con-

sidered across five dimensions: Economy, Efficiency, Effectiveness, Cost-Effectiveness and Equity.”

(TWM 2017 AR final)

• BMU-Berichte untersuchen unter dem Kriterium verschiedene Unterfragen: „(i) Kosteneffizienz der durch-

geführten Maßnahmen, (ii) Erfordernis durchgeführter Einzelaktivitäten für die Zielerreichung, (iii) Nut-

zungsgrad der Leistungen des Projekts durch die Zielgruppe/Mittler.“ (bspw. Evaluierungsbe-

richt_08_I_001_gesamt)

• Ein EU-Bericht setzt den Fokus auf Dimensionen der Implementierungseffizienz: „Have activities been

cost-efficient? Are objectives in track to be achieved on time? Is the project being implemented in the

most efficient way compared to alternatives?” (bspw. CTR - Approved final report)


• Wie beschrieben, kamen Untersuchungen der letzten Jahre zu dem Ergebnis, dass es sowohl in der GIZ

39

In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Kostenzuordnung“ zusammengefasst.

als auch zwischen GIZ und BMZ kein einheitliches Verständnis zum Wirtschaftlichkeitsbegriff gibt (siehe

oben).

• Die GIZ bewegt sich zudem in einem Spannungsfeld zwischen den Auffassungen zum Wirtschaftlichkeits-

verständnis der OECD, des BMZ und des Rechnungshofs. Daher werden Empfehlungen für ein hand-

lungsleitendes Wirtschaftlichkeitsverständnis als äußerst notwendig erachtet (siehe oben).



• Die Evaluierungsberichte zeigen, dass ein einheitliches Effizienzverständnis notwendig ist.

• Eine Arbeitsdefinition wurde in Kapitel 3 vorgestellt.

Tabelle 24: Kostenzuordnungen

Analysefrage Werden Kosten auf verschiedene Posten aufgeteilt und das

Projektvolumen in Bezug auf die Aktivitäten diskutiert?


Da in den meisten Fällen die Kosten in den Evaluationsberichten weder den Outputs noch den Outcomes

zugeordnet werden, hat das Gutachter*innen-Team auch nach anderen Qualitätsmerkmalen gesucht, hin-

sichtlich derer sich die Berichte unterscheiden. Insbesondere zwei Aspekte sind hier zu nennen: Die Auftei-

lung der Kosten auf unterschiedliche Posten und die Diskussion des Projektvolumens in Bezug auf die Akti-

vitäten:


• Aufgrund der kaum vorhandenen Informationen konnte keine statistische Auswertung erfolgen.

MAXQDA Codes

• Erstaunlicherweise werden in den meisten Berichten weder die Kosten noch die Diskussion des Pro-

jektvolumens in Bezug auf die Aktivitäten bei der Effizienzbewertung aufgegriffen. Eine Diskussion des

Projektvolumens konnte in nur zehn internen Berichten und eine Aufteilung der Kosten in 13 als Codes

identifiziert werden.

• In den externen Berichten werden diese beiden Dimensionen im Verhältnis häufiger diskutiert. So fin-

den sich 13 Dokumente, in denen das Projektvolumen diskutiert wird und sogar 24 Codings, in denen

eine Aufteilung der Kosten stattfindet.


• In den aktuellen Diskussionen des DAC-Netzwerkes zur Evaluierung in der Entwicklungszusammenar-

beit wird die Kostenanalyse als Dimension der Effizienz genannt

(OECD DAC 2019).


• Anteilige Kosten Personal/Administration: „Dementsprechend liegen über 60 % der Ausgaben bei

Personalkosten, die sich aus internem Personal, aber auch ausgelagerten Projektaktivitäten durch die

[…] für den Bereich Monitoring und Evaluierung und […] für die Komponente 3 zusammensetzen.”

Oder “Roughly one third of the total expenses (€ 2.565.000 by the time of evaluation) can be directly

attributed to administrative expenses.” (2010.2042.9 _PEV 2015_REMAKI)

• Unterscheidung zwischen Beratungs- und Sachleistungen: Es handelt sich insgesamt um ein Bera-

tungsprojekt, bei dem der Großteil der Kosten für Consultingleistung ausgegeben wurde

(z.B. 38 % des Budgets für GIZ-Personal). Wenngleich dies grundsätzlich nicht zu beanstanden ist,

40

In der nachfolgenden Tabelle sind die Ergebnisse für das Kriterium „Vorteilhaftigkeit von Entscheidungen“ zu-

sammengefasst.

stellt sich doch die Frage, ob nicht durch eine Erhöhung der Sachleistungen (als matching fund zu den

Eigenleistungen der Pächter) die Effizienz hätte erhöht werden können. Insgesamt waren 5,8 % des

Budgets für Pflanzgut, Zäune, Bewässerungsanlagen und dgl. vorgesehen.“ (Evaluierungsbe-

richt_09_II_053_gesamt)

• Follow-the-money: „The efficiency analysis in the context of the GIZ project evaluations is based on an

Excel tool which captures (retrospectively, at the time of the evaluation) all project-related costs and es-

timates how they are distributed among cost-categories (e.g. for personnel, consultancies, financing in-

struments, partner contributions) and among the different outputs in order to gain an understanding of

the cost-intensity of each output (“follow-the-money-approach”). (2013.2137.1_ZPE Health Cambodia)



• Obwohl Kostenzuordnungen bisher kaum Teil der Effizienzbewertung sind, erachtet das Gutachter*innen-

Team das Kriterium als äußerst relevant zur Erhöhung der Effizienz.

• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Bewertung zu be-

rücksichtigen.


• Kostenzuordnung zu Aktivitäten

• Kostenzuordnungen zu Outputs

• Andere Kostenzuordnungen

Tabelle 25: Beschreibung der Vorteilhaftigkeit von Entscheidungen

Analysefrage

Wurden die Vorteilhaftigkeit von Entscheidungen und die Er-

wägung von Alternativen logisch und nachvollziehbar be-

schrieben?


Statistische Ergebnisse:


• Mittleres Signifikanzniveau (.08).

MAXQDA Codes

• Die Evaluierungsberichte nennen nicht explizit die Vorteilhaftigkeit von Entscheidungen als Kriterium zur

Bewertung von Wirtschaftlichkeit, sehen jedoch die Erwägung von Alternativen oft als Verbesserungspo-

tential

• Jedoch wird die Reaktion auf ein veränderndes Umfeld bewertet: In den externen Berichten gibt es 26

Codes, in den internen 44 Hinweise zu Reaktionen auf Veränderungen in der Umwelt.


• Drei von sechs Dokumenten der Externen Qualitätskontrolle nennen explizit die Bedeutung der Vorteilhaf-

tigkeit von Entscheidungen (2013, 2017, 2018).

• In den aktuellen Diskussionen des DAC-Netzwerkes zur Evaluierung in der Entwicklungszusammenarbeit

wird die Erwägung von Alternativen als Dimension der Effizienz genannt (OECD DAC 2019).

41

In der nachfolgenden Tabelle sind die Kriterien für die Bewertungsphase zusammengefasst.


• Regelmäßige Reflexion von getroffenen Entscheidungen (z.B. Operationsplan, Reflexionstreffen,

M&E): „Ein wichtiger Gesichtspunkt in Bezug auf die Wirtschaftlichkeit der Vorhabensdurchführung ist

die Selbsteinschätzung der Vorhaben und inwiefern ungenutzte Wirtschaftlichkeitspotenziale durch al-

ternative Vorgehensweisen genutzt werden könnten. Damit verbunden ist die Frage, ob in der Durch-

führung Anpassung des Vorgehens oder eine veränderte Strategie aufgrund von wirtschaftlichen Grün-

den, z. B. Fehlplanungen, notwendig geworden ist.“ (Externe Qualitätskontrolle 2014)

• Überprüfung der Wirkungslogik /-modell und ggf. Anpassung: „Überprüfung und – im Bedarfsfall –

Anpassung der Wirkungshypothesen erfolgt nicht in der notwendigen Konsequenz und Breite, d. h. die

regelmäßige Reflexion, ob die der Konzeption zugrunde liegenden Wirkungsannahmen zutreffend sind,

erfolgt nicht ausreichend. Dies erhöht das Risiko von Effektivitäts- und Wirtschaftlichkeitsverlusten,

wenn notwenige Umsteuerungsbedarfe nicht oder zu spät erkannt werden.“ (Externe Qualitätskontrolle

2018)

• Notwendige Änderungen auf Aktivitäten-Ebene: “While the objective of the project remained valid

over time, the provided support shifted – in line with the government’s reform program – from regulatory

and supervisory reforms to the development of innovative products and delivery channels. As described

above, the microfinance law was not approved, so alternative approaches to support the viability and

growth of the microfinance sector were needed.” (2007.2176.1_PEV 2016 Indien RFIP)



• Sowohl quantitative als auch qualitative Analysen zeigen, dass die Vorteilhaftigkeit und die Erwägung von

Alternativen wichtig ist für Wirtschaftlichkeit.

• Daher empfiehlt das Gutachter*innen-Team, dieses Kriterium als Erfolgsfaktor bei der Bewertung zu be-

rücksichtigen.


• Beschreibung von alternativen Ansätzen im Hinblick auf die (nur falls möglich):

- Auswahl von und Zusammenarbeit mit Partnern, Stakeholder- und Zielgruppen

- Durchführung bestimmter Aktivitäten

- Finanzierungsform

• Identifikation zusätzlicher Wirkungen

• Anpassung von Wirkungshypothesen

Tabelle 26: Orientierungsgebende Kriterien bei der Bewertung auf einen Blick


✓ Kostenzuordnung

Anteilige Kosten Personal/Administration:

Unterscheidung zwischen Beratungs- und Sachleistun-

gen

Follow-the-money


Regelmäßige Selbsteinschätzungen

Änderung des Wirkungsmodells

Änderungen von Aktivitäten

42

7 Ranking der Kriterien auf Basis der Sekundärdaten-auswertung

Auf Basis der vorgenommenen Analysen kann folgendes Ranking vorgestellt werden. Falls sowohl bei der

quantitativen Auswertung (statistisch signifikante Effekte einzelner Kriterien auf die Effizienzbenotung) als auch

bei der qualitativen Auswertung (Anzahl an Codes) eine hohe Relevanz bescheinigt werden konnte, wurden sie

der Ebene 1 (sehr wichtig) zugeordnet. Falls eine hohe Relevanz entweder nur durch die quantitative Auswer-

tung oder nur durch die qualitative Auswertung nachgewiesen werden konnte, wurden die Kriterien der Ebene

2 (wichtig) zugeordnet. Falls nur vereinzelt und anekdotisch ein Einfluss gefunden wurde, wurden sie der

Ebene 3 (nicht zu vernachlässigen) zugeordnet.

Tabelle 27: Ranking der Kriterien

Sowohl quantitative als auch qualitative Datenquellen – Ebene 1 (sehr wichtig)





✓ Verantwortlichkeiten im Stakeholderumfeld

✓ Maßnahmen zur Verringerung von Risiken

Nur eine Datenquelle bestätigt Wichtigkeit – Ebene 2 (wichtig)



✓ HR Management


Optionales Kriterium – Ebene 3 (nicht zu vernachlässigen)

✓ Erkenntnisse aus Vorstudien

✓ Kostenzuordnung

43

8 Empfehlungen zur Operationalisierung: Leitfragen

Die nachfolgende Tabelle ergänzt die orientierungsgebenden Effizienzkriterien und Erfolgsfaktoren mit offenen

Leifragen. Aus Sicht des Gutachter*innen-Teams könnte diese Tabelle grundsätzlich ausreichen, eine Effi-

zienzbetrachtung in jeder Phase des Projektzyklus‘ zu vereinfachen. Es ist zu beachten, dass sie aber mehr

als Denkanstoß verstanden werden soll und weniger als eine Checkliste, bei der jede Frage abgehakt werden

muss.

Tabelle 28: Effizienzkriterien – Erfolgsfaktoren – Leitfragen für Planung, Durchführung und Bewertung auf einen Blick

Effizienzkriterien Planung Erfolgsfaktoren Leitfragen

Nutzung von Lernerfahrungen

(Ebene 1 – sehr wichtig)

✓ Kontexterfahrung

✓ Wissenstransfer zwischen Pha-sen

✓ Innovations- und Lernprozesse

Gibt es eine Beschreibung von Ansätzen zur systematischen Er-fassung von Lernerfahrungen?

Können Daten und Erkenntnisse aus vorherigen GIZ-Vorhaben und/oder Vorhaben anderer Ge-ber genutzt werden?

Gibt es einen kritischen Umgang mit gemachten Lernerfahrungen aus anderen Vorhaben (kontextu-elle Einordnung)?

Werden mögliche Limitationen bei der Nutzung gemachter Lerner-fahrungen in anderen Vorhaben aufgezeigt?

Werden Lernprozesse beschrie-ben?

Werden Lernerfahrungen gemein-sam mit Partnern besprochen und ausgewertet?

Partizipative

Planung

(Ebene 2 – wichtig)

✓ Partizipative Vorbereitung von Maßnahmen

✓ Berücksichtigung von Zielgrup-penperspektiven

✓ Transparenz und Ownership

Sind Maßnahmen geplant, die zur Förderung von Transparenz zwi-schen Partnern beitragen, z.B. partizipativ erarbeiteter Operati-onsplan?

Werden in der Projektphase parti-zipative Planungselemente einge-setzt?

Später in der Implementierung: Wird die Planung partizipativ fort-geschrieben?

Nutzung von

Erkenntnissen aus Vorstudien

(Ebene 3 – nicht zu vernachläs-

sigen)

✓ Verbesserte Datenlage durch Baseline Studien

✓ Nachfrageorientierung durch Bedarfs- und Machbarkeitsana-lysen

✓ Gezielter Einsatz von techni-schen Studien

Werden Bedarfsanalysen genutzt, um Aktivitäten zu entwickeln?

Werden Zielwerte und Baseline-Daten gegenübergestellt und bei der Planung berücksichtigt?

Können Daten und Erkenntnisse aus vorherigen Studien und Ana-lysen genutzt werden?

44

Effizienzkriterien Implemen-

tierung Erfolgsfaktoren Leitfragen

Nutzung eines Monitoringsys-

tems


✓ Ausreichende M&E Ressourcen (Personal und Barmittel)

✓ Orientierung durch das Monito-ring für die Anpassung von Maßnahmen zur Verbesserung von Leistungen

✓ Grundlage für die Überzeugung von Entscheidungsträgern.

Werden digitale Lösungen ge-nutzt? (Effizienz)

Wird das M&E-System für die Steuerung des Vorhabens ge-nutzt?

Gibt es einen Plan, wie Informati-onen genutzt werden (sollen)?

Werden sowohl qualitative als auch quantitative Daten erhoben?

Werden unterschiedliche Metho-den trianguliert?

Wie häufig findet eine Datenein-gabe und -analyse statt?

Nutzung von Synergien


✓ Synergien mit anderen GIZ-Vor-haben

✓ Synergien mit anderen deut-schen Organisationen

✓ Synergien innerhalb der deut-schen EZ

Wird die Finanzierung mit ande-ren Organisationen und Stakehol-dern geteilt bzw. gibt es Kofinan-zierungen?

Gibt es gemeinsame Investitions-konzepte bzw. gemeinsam durch-geführte Maßnahmen?

Werden Kosten für das deutsche EZ-System eingespart durch die Nutzung von Synergien?

Wird auch Wissen genutzt, das nicht selber generiert wurde, bzw. Daten, die nicht selber erhoben wurden?

Verantwortlichkeiten im Stake-

holderumfeld


✓ Beschreibung der Rollen und Verantwortlichkeiten

✓ Nutzung von “Geberforen“

✓ (Starke) Einbeziehung von Part-nern (bei Problemen)

✓ Bereitstellung einer Kommuni-kationsplattform

Inwieweit werden Partner (beson-ders bei Herausforderungen und Problemen) einbezogen?

Sind Verantwortlichkeiten und Rollen verschriftlicht – im Projekt, im Partnerumfeld und im Geber-umfeld?

Koordinieren die Partner die Ge-ber? Gibt es einen akzeptierten Kom-munikationsplan? Wie wird dieser umgesetzt?

Gibt es Jour Fixes mit anderen Stakeholdern?

Gibt es regelmäßige Workshops zum Abgleich von Erwartungen und zur Verteilung von Verant-wortlichkeiten?

Maßnahmen zur Verringerung

von Risiken


✓ Abstimmung mit anderen Ge-bern (Stakeholdern)

✓ Ausrichtung der Risiko-maßnah-men an Organisationen (und nicht Einzelpersonen)

✓ Klare Beschreibung der Risiken,

Sind Risiken beschrieben?

Sind Maßnahmen zur Verhinde-rung bzw. Management von Risi-ken beschrieben?

Gibt es ein Risikomanagement-

45

Risiken monitoren und Handlun-gen ableiten

system? Wird es genutzt? Wer-den Handlungen abgeleitet?

Gibt es eine klare Verteilung von Verantwortlichkeiten beim Um-gang mit Risiken und Herausfor-derungen?

Gibt es eine Beschreibung von Abstimmungsprozessen mit Sta-keholdern?

HR Management

(Ebene 2 –wichtig)

✓ Prüfung der Angemessenheit der Personalfixkosten

✓ Prüfung der stärkeren Einbezie-hung von nationalem Personal bei gleicher Qualifikation

✓ Adäquater Instrumentenmix

✓ Fachliche Qualifikation des ein-gesetzten Personals

✓ Vorausschauende Personalpla-nung zur Vermeidung von häufi-gem Personalwechsel oder ver-zögerten Personaleinsätzen

Handelt es sich um ein ange-brachtes Verhältnis zwischen ent-sandten Mitarbeiter*innen / EH und nationalem Personal?

Wird versucht, bei gleicher Quali-fikation, häufig nationale Kurzzeit-expert*innen zu beauftragen?

Werden die Qualifikationen des eingesetzten Personals als gut eingeschätzt?

Werden regelmäßig Fort- und Weiterbildungen geplant und rea-lisiert?

Kontinuierliches Wissensma-

nagement


✓ Verbreitung von Erfahrungen und Wissen

✓ Wissensmanagement als we-sentlicher Managementprozess

✓ Institutionalisierung von Wissen

Wie und wo werden Daten ge-speichert?

Wie leicht ist der Zugang zu die-sen Daten und wie leicht können die Daten genutzt werden (inkl. Nutzung digitaler Lösungen; siehe auch Kriterium „Nutzung von Monitoringsystemen“)?

Wie werden diesbezüglich Stake-holder einbezogen (siehe auch Kriterium Synergien)?

Wie wird Wissen institutionali-siert?

Gibt es regelmäßige Jour Fixes, Workshops, Trainings?

Finden Peer-Learning-Aktivitäten statt?

Wird auch der Wissensaustausch regelmäßig gemonitored?

Gibt es einen Austausch und eine Dokumentation von guten Prakti-ken und negativen Erfahrungen?

Inwieweit werden Marketingmate-rialen, Websites, Social Media genutzt?

Werden Foren und Kommunikati-onsplattformen regelmäßig ge-nutzt?

Partnermanagement

und -nähe


✓ Etablierung eines Steuerungs-komitees

✓ Kognitive und räumliche Nähe

Können mit Partnern gemeinsam etablierte task forces, Arbeits-gruppen und Komitees geschaf-fen werden?

Werden Maßnahmen geprüft zur

46

✓ Strategisch-konzeptionelle Auf-stellung bzgl. der Erwartungs-haltung des Partners

Realisierung einer räumlichen Nähe zum Partner?

Gibt es klare Verantwortlichkeiten für Partner und Vorhaben und ge-eignete Kommunikationswege, um diese zu kommunizieren?

Werden konkrete Ansprechpart-ner (im Projekt und beim Partner) für spezifische Aufgabenbereiche benannt?

Sind Partnerbeiträge geplant/er-bracht?

Effizienzkriterien Bewertung Erfolgsfaktoren

Leitfragen

Vorteilhaftigkeit von Entschei-

dungen


✓ Regelmäßige Reflexion von ge-troffenen Entscheidungen (z.B. Operationsplan, Reflexionstref-fen, M&E)

✓ Überprüfung von Wirkungslogik/ -modell und ggf. Anpassung

✓ Notwendige Änderungen auf Aktivitäten-Ebene durchführen

Gab es wesentliche Änderungen bezogen auf die Ausgangssitua-tion (Angebot/Auftrag), z.B. politi-sche Rahmenbedingungen, Part-ner, Zielgruppen etc. Auswahl von und Zusammenarbeit mit Partnern, Stakeholder- und Ziel-gruppen?

Gibt es Erkenntnisse aus Monito-ring und Evaluierung, die ein Um-steuern bedingen? (Aktivitä-ten/Outputs, Finanzierungsfor-men …)

Wurden zusätzliche Wirkungen identifiziert?

Müssen Wirkungshypothesen an-gepasst werden?

Kostenzuordnung

(Ebene 3 – nicht zu vernachläs-

sigen)

✓ Kostenzuordnungen zu Perso-nal/Administration

✓ Unterscheidung zwischen Bera-tungs- und Sachleistungen

✓ Follow-the-money

Wurden Kosten einzelnen Out-puts zugeordnet? (KOMP)

Wurden Kosten einzelnen Aktivi-täten zugeordnet? (Operations-planung)

Gab es andere Kostenzuordnun-gen?

47

9 Weitere Empfehlungen

9.1 Berücksichtigung der Kriterien bei der Erstellung einer Kurzstellungnahme

In der Handreichung zur Erstellung einer Kurzstellungnahme (GIZ 2018; Kapitel 4) werden seitens des BMZ

folgende Anforderungen zur Berücksichtigung von Wirtschaftlichkeitsaspekten vorgegeben. Grundsätzlich kön-

nen (und im Idealfall sollten) alle Leitfragen (in Tabelle 24) herangezogen werden, um den Anforderungen

Rechnung zu tragen. In der folgenden Tabelle wird beispielhaft veranschaulicht, wie die Leifragen genutzt wer-

den könnten. Prädestiniert für a) scheinen vor allem die Fragen zu HR Management, für b) Fragen zur partizi-

pativen Planung, für c) Fragen zu Partnermanagement und -nähe und für d) Fragen zur Nutzung von Syner-

gien.

Tabelle 29: Vorgegebene Anforderungen für Wirtschaftlichkeit in der Kurzstellungnahme

Bewertung der Wirtschaftlichkeit

Begründung möglicher Investitionsan-

sätze (FZ) / möglicher Instrumentenein-

satz (TZ)

Beispiel: HR Management

• Handelt es sich um ein angebrachtes Verhältnis zwi-schen entsandten Mitarbeiter*innen / EH und nationa-lem Personal

• Wird versucht, bei gleicher Qualifikation, häufig natio-nale Kurzzeitexpert*innen zu beauftragen?

• Werden die Qualifikationen des eingesetzten Personals als gut eingeschätzt? Werden regelmäßig Fort- und Weiterbildungen geplant und realisiert?

Übereinstimmung mit Zielen und Strate-

gien des Partnersystems (Relevanz)

Beispiel: Partizipative Planung

• Sind Maßnahmen geplant, die zur Förderung von Transparenz zwischen Partnern beitragen, z.B. partizi-pativ erarbeiteter Operationsplan?

• Werden in der Projektphase partizipative Planungsele-mente eingesetzt? Später in der Implementierung: Wird die Planung partizipativ fortgeschrieben?

Kapazitäten im Partnerland, die nachhal-

tig gestärkt werden? (Nachhaltigkeit)

Beispiel: Partnermanagement und -nähe

• Können mit Partnern gemeinsam etablierte task forces, Arbeitsgruppen und Komitees geschaffen werden?

• Werden Maßnahmen geprüft zur Realisierung einer räumlichen Nähe zum Partner?

• Gibt es klare Verantwortlichkeiten für Partner und Vor-haben und geeignete Kommunikationswege, um diese zu kommunizieren?

• Werden konkrete Ansprechpartner (im Projekt und beim Partner) für spezifische Aufgabenbereiche benannt?

• Sind Partnerbeiträge geplant/erbracht?

Konkreter Beitrag zum Programmziel Beispiel: Nutzung von Synergien

• Wird die Finanzierung mit anderen Organisationen und

48

9.2 Berücksichtigung der Kriterien bei der Erstellung eines Modulvorschlags

Bei der Erstellung eines Modulvorschlags werden seitens des BMZ folgende Anforderungen zur Berücksichti-

gung von Wirtschaftlichkeitsaspekten vorgegeben (Handreichung und kommentierte Gliederung für Modulvor-

schläge 2017).

• „Der Modulvorschlag begründet die Wirtschaftlichkeit des Vorgehens.“

• „Der methodische Ansatz soll so gewählt sein, dass die Outputs effektiv und wirtschaftlich erreicht wer-

den. Das Spektrum der TZ-Instrumente und ihr Einsatz werden dargestellt.“

• „Der Instrumenteneinsatz wird differenziert dargestellt. Dabei wird die Auswahl der Instrumente den Out-

puts zugeordnet, qualitativ begründet, quantitativ dargestellt und das Ineinanderwirken der Instrumente

beschrieben. Ist eine Zusammenarbeit mit anderen Gebern bei der Durchführung konkreter Aktivitäten

geplant, so wird diese benannt.“

Trotz des Fokus auf den Instrumenteneinsatz im Modulvorschlag empfiehlt das Gutachter*innen-Team die Be-

rücksichtigung aller Leitfragen sowie eine Überprüfung, zu welchen Leitfragen Informationen zur Verfügung ste-

hen.

9.3 Berücksichtigung der Kriterien bei der Berichterstattung

Bei der Berichterstattung werden seitens des BMZ folgende Anforderungen zur Berücksichtigung von Wirt-

schaftlichkeitsaspekten vorgegeben (Handreichung und kommentierte Gliederung für die Berichterstattung für

Module 2017).

• „Der gewählte Instrumentenmix ist bezüglich seiner Effektivität und Effizienz bewertet.“

• „Die Berichterstattung dient dem Monitoring der Wirtschaftlichkeit bzw. der Kostenentwicklung auf Basis

des Auftragswertes.“

• „Die Berichterstattung schlägt ggf. Anpassungen vor, um das Modulziel qualitativ besser, schneller oder

unter Beachtung von Wirtschaftlichkeitsaspekten effizienter zu erreichen sowie besser zum Programmziel

beizutragen.“

Trotz des Fokus auf Monitoring, Umsteuerung oder Instrumenteneinsatz empfiehlt das Gutachter*innen-Team

auch bei der Berichterstattung die Berücksichtigung aller Leitfragen sowie eine Überprüfung, zu welchen Leit-

fragen Informationen zur Verfügung stehen.

/zur Lösung von Problemen der Bevölke-

rung (Impact)

Stakeholdern geteilt bzw. gibt es Kofinanzierungen?

• Gibt es gemeinsame Investitionskonzepte bzw. gemein-sam durchgeführte Maßnahmen?

• Werden Kosten für das deutsche EZ-System eingespart durch die Nutzung von Synergien?

Wird auch Wissen genutzt, das nicht selber generiert wurde,

bzw. Daten, die nicht selber erhoben wurden?

49

9.4 Berücksichtigung der Kriterien bei der Evaluierung

Bei der Evaluierung wird seitens der GIZ folgender Rahmen zur Berücksichtigung der Produktionseffizienz vor-

gegeben.

Tabelle 30: Rahmen zur Berücksichtigung der Produktionseffizienz – GIZ

The project’s use of

resources is appro-

priate with regard to

the outputs

achieved.

[Production effi-

ciency: Re-

sources/Outputs]

To what extent are

there deviations be-

tween the identified

costs and the projected

costs? What are the

reasons for the identi-

fied deviation(s)?

Das Vorhaben steuert seine Ressourcen gemäß des Kos-

tenplans (Kostenzeilen). Nur bei nachvollziehbarer Be-

gründung erfolgen Abweichungen vom Kostenplan.

Focus: To what extent

could the outputs have

been maximised with

the same amount of re-

sources and under the

same framework condi-

tions and with the same

or better quality (maxi-

mum principle)? (meth-

odological minimum

standard: Follow-the-

money approach)

Das Vorhaben reflektiert, ob die vereinbarten Wirkungen

mit den vorhandenen Mitteln erreicht werden können.

Das Vorhaben steuert seine Ressourcen gemäß der ge-

planten Kosten für die vereinbarten Leistungen (Outputs).

Nur bei nachvollziehbarer Begründung erfolgen Abwei-

chungen von den Kosten.

Die übergreifenden Kosten des Vorhabens stehen in ei-

nem angemessenen Verhältnis zu den Kosten für die

Outputs.

Die durch ZASS-Aufschriebe erbrachten Leistungen ha-

ben einen nachvollziehbaren Mehrwert für die Erreichung

der Outputs des Vorhabens.

Focus: To what extent

could outputs have

been maximised by re-

allocating resources be-

tween the outputs?

(methodological mini-

mum standard: Follow-

the-money approach)

Das Vorhaben steuert seine Ressourcen, um andere Out-

puts schneller/besser zu erreichen, wenn Outputs erreicht

wurden bzw. diese nicht erreicht werden können

(Schlussevaluierung).

Oder: Das Vorhaben steuert und plant seine Ressourcen,

um andere Outputs schneller/besser zu erreichen, wenn

Outputs erreicht wurden bzw. diese nicht erreicht werden

können (Zwischenevaluierung).

Were the output/re-

source ratio and alter-

natives carefully consid-

ered during the design

and implementation pro-

cess – and if so, how?

(methodological mini-

mum standard: Follow-

the-money approach)

Das im Modulvorschlag vorgeschlagene Instrumenten-

konzept konnte hinsichtlich der veranschlagten Kosten in

Bezug auf die angestrebten Outputs des Vorhabens gut

realisiert werden.

Die im Modulvorschlag vorgeschlagene Partnerkonstella-

tion und die damit verbundenen Interventionsebenen

konnten hinsichtlich der veranschlagten Kosten in Bezug

auf die angestrebten Outputs des Vorhabens gut realisiert

werden.

50

Zur Berücksichtigung der Allokationseffizienz wird folgender Rahmen vorgegeben.

Der im Modulvorschlag vorgeschlagene thematische Zu-

schnitt für das Vorhaben konnte hinsichtlich der veran-

schlagten Kosten in Bezug auf die angestrebten Outputs

des Vorhabens gut realisiert werden.

Die im Modulvorschlag beschriebenen Risiken sind hin-

sichtlich der veranschlagten Kosten in Bezug auf die an-

gestrebten Outputs des Vorhabens gut nachvollziehbar.

Die im Modulvorschlag beschriebene Reichweite des Vor-

habens (z.B. Regionen) konnte hinsichtlich der veran-

schlagten Kosten in Bezug auf die angestrebten Outputs

des Vorhabens voll realisiert werden.

Der im Modulvorschlag beschriebene Ansatz des Vorha-

bens hinsichtlich der zu erbringenden Outputs entspricht

unter den gegebenen Rahmenbedingungen dem state-of-

the-art.

For interim evaluations

based on the analysis to

date: To what extent are

further planned expend-

itures meaningfully dis-

tributed among the tar-

geted outputs?

Tabelle 31: Rahmen zur Berücksichtigung der Allokationseffizienz – GIZ

The project’s use of

resources is appro-

priate with regard to

achieving the pro-

jects objective (out-

come).

[Allocation efficiency:

Resources/Outcome]

To what extent could

the outcome have been

maximised with the

same amount of re-

sources and the same

or better quality (maxi-

mum principle)?

Das Vorhaben orientiert sich an internen oder externen

Vergleichsgrößen, um seine Wirkungen kosteneffizient zu

erreichen.

Were the outcome-re-

sources ratio and alter-

natives carefully con-

sidered during the con-

ception and implemen-

tation process – and if

so, how? Were any

scaling-up options con-

sidered?

Das Vorhaben steuert seine Ressourcen zwischen den

Outputs, so dass die maximalen Wirkungen im Sinne des

Modulziels erreicht werden. (Schlussevaluierung)

Oder: Das Vorhaben steuert und plant seine Ressourcen

zwischen den Outputs, so dass die maximalen Wirkungen

im Sinne des Modulziels erreicht werden.

(Zwischenevaluierung)

Das im Modulvorschlag vorgeschlagene Instrumenten-

konzept konnte hinsichtlich der veranschlagten Kosten in

51

Bezug auf das angestrebte Modulziel des Vorhabens gut

realisiert werden.

Die im Modulvorschlag vorgeschlagene Partnerkonstella-

tion und die damit verbundenen Interventionsebenen

konnte hinsichtlich der veranschlagten Kosten in Bezug

auf das angestrebte Modulziel des Vorhabens gut reali-

siert werden.

Der im Modulvorschlag vorgeschlagene thematische Zu-

schnitt für das Vorhaben konnte hinsichtlich der veran-

schlagten Kosten in Bezug auf das angestrebte Modulziel

des Vorhabens gut realisiert werden.

Die im Modulvorschlag beschriebenen Risiken sind hin-

sichtlich der veranschlagten Kosten in Bezug auf das an-

gestrebte Modulziel des Vorhabens gut nachvollziehbar.

Die im Modulvorschlag beschriebene Reichweite des Vor-

habens (z.B. Regionen) konnte hinsichtlich der veran-

schlagten Kosten in Bezug auf das angestrebte Modulziel

des Vorhabens voll realisiert werden.

Der im Modulvorschlag beschriebene Ansatz des Vorha-

bens hinsichtlich des zu erbringenden Modulziels ent-

spricht unter den gegebenen Rahmenbedingungen dem

state-of-the-art.

To what extent were

more results achieved

through synergies

and/or leverage of more

resources, with the help

of other bilateral and

multilateral donors and

organisations (e.g.

Kofi)? If so, was the re-

lationship between

costs and results ap-

propriate?

Das Vorhaben unternimmt die notwendigen Schritte, um

Synergien mit Interventionen anderer Geber auf der Wir-

kungsebene vollständig zu realisieren.

Wirtschaftlichkeitsverluste durch unzureichende Koordi-

nierung und Komplementarität zu Interventionen anderer

Geber werden ausreichend vermieden.

Das Vorhaben unternimmt die notwendigen Schritte, um

Synergien innerhalb der deutschen EZ vollständig zu rea-

lisieren.

Wirtschaftlichkeitsverluste durch unzureichende Koordi-

nierung und Komplementarität innerhalb der deutschen

EZ werden ausreichend vermieden.

Die Kombifinanzierung hat zu einer signifikanten Auswei-

tung der Wirkungen geführt bzw. diese ist zu erwarten.

Durch die Kombifinanzierung sind die übergreifenden

Kosten im Verhältnis zu den Gesamtkosten nicht überpro-

portional gestiegen.

52

Auch bei der Evaluierung empfiehlt das Gutachter*innen-Team die Berücksichtigung aller Leitfragen sowie eine

Überprüfung, zu welchen Leitfragen Informationen zur Verfügung stehen.

9.5 Weitere Denkanstöße aus der Diskussion mit der Referenzgruppe

Folgende zusätzliche Denkanstöße können in der Zukunft berücksichtigt werden, die zum einen aus den Er-

kenntnissen der empirischen Untersuchung und zum anderen aus der Diskussion mit den Teilnehmer*innen in

der Referenzgruppe abgeleitet wurden:

• Eingang der Erkenntnisse in interne Dokumente für Kurzstellungnahme, Modulvorschlag, Berichterstat-

tung und Evaluierung

• Eingang der Erkenntnisse in die Diskussion mit dem BMZ zum Wirtschaftlichkeitsverständnis

• Wiederholung der Querschnittsanalyse in ca. 2-3 Jahren mit der Frage: Haben sich die Erfolgskriterien

für Wirtschaftlichkeit verändert?

Die Partnerbeiträge stehen in einem angemessenen Ver-

hältnis zu den Kosten für die Outputs des Vorhabens

53

Anhang

I. Dokumentenübersicht

Dokumententitel Jahr Hrsg. Synopsis

DO

KU

ME

NT

E Z

UR

PR

OJE

KT

PLA

NU

NG

BMZ Handreichung Verfahrensablauf 2017 BMZ • Verfahrensablauf für die Beauftragung (Planung,

Durchführung) von Maßnahmen der FZ und TZ

Leitfaden Vorbereitung TZ Module 2018 GIZ

• BMZ-Auftragsverfahren für die Vorbereitung von Modulen der Entwicklungszusam-

menarbeit

Vorstellung der Funktion der einzelnen Prozessschritte

• Vorgaben des BMZ, Verantwortlichkeiten und Zuständigkeiten sowie Fristen und

Produkte

BMZ Handreichung Kurzstellungnahmen 2017 BMZ

• Anleitung für den Aufbau einer Kurzstellungnahme

• Kurzstellungnahme dient dazu, eine erste Einschätzung zur Weiterverfolgung eines

Fördervorschlags, der Passung zu Zielen und Programmen der deutschen EZ und

der Praktikabilität der Umsetzung zu ermöglichen.

Arbeitshilfe Kurzstellungnahmen 2018 GIZ • Hilfestellung und Prozessschritte zur Erarbeitung der Kurzstellungnahme

Formatvorlage Kurzstellungnahme 2018 GIZ • Vorlage zur Erstellung von Kurzstellungnahmen

54

Sonderuntersuchung: "Analyse der Wirt-

schaftlichkeit in der Konzeptionsphase

von Programmvorschlägen"

2015 BMZ

• Wirtschaftlichkeitserwägungen im Vorbereitungsprozess

• Faktoren, die Wirtschaftlichkeit der Vorhabenkonzeption beeinflussen

• Mögliche Erhöhung der Wirtschaftlichkeit von TZ-Vorhaben

BMZ Handreichung Modulvorschläge 2017 GIZ

• Anleitung für den Aufbau eines Modulvorschlags

• Modulvorschläge leiten die konkreten Entwicklungsmaßnahmen aus den übergeord-

neten Strategien (Länderstrategie, Programm, ggfs. Protokolle Regierungsverhand-

lungen, etc.) und den Partnerbedarfen (Fördervorschlag) ab.

Arbeitshilfe Prüfung 2018 GIZ • Hilfestellung und Prozessschritte für die Prüfung

GIZ interne Erläuterungen Erstellung Mo-

dulvorschläge 2018 GIZ

• Erläuterungen zu der BMZ-Handreichung und kommentierte Gliederung für Modul-

vorschläge

Modulvorschlag Kosten Output Zuordnung 2017 GIZ • Excel-Vorlage zur Kosten-Output-Zuordnung für den Modulvorschlag

DO

KU

ME

NT

E Z

UR

PR

OJE

K-

TIM

PLE

ME

NT

IER

UN

G

BMZ Handreichung Berichterstattung Mo-

dule 2017 BMZ

• Anleitung für die Berichterstattung ans BMZ

• darin wird über Veränderungen im Interventionsbereich des Moduls im jeweiligen

Berichtszeitraum berichtet

Interne Erläuterungen Berichterstattung

Modul 2018 GIZ

• Erläuterungen zur BMZ-Handreichung für die

Berichterstattung zu TZ-Modulen

Formatvorlage Berichterstattung 2018 GIZ • Vorlage zur Erstellung eines Fortschrittsberichts

Anlage zur Berichterstattung Kostenent-

wicklung 2019 GIZ • Excel-Vorlage zur Berichterstattung über die Kostenentwicklung

DO

KU

ME

NT

E

ZU

R P

RO

-

JEK

T-E

VA

LU-

IER

UN

G

Evaluierungsmatrix zum Effizienzkriterium

ZPE 2019 GIZ

• Excel-Matrix: Hilfestellung um OECD-DAC-Kriterien (u.a. Effizienz) im Vorhaben zu

operationalisieren

BMZ Evaluierungskriterien für die deut-

sche bilaterale Zusammenarbeit (2006) 2006 BMZ • Prüffragen für Evaluierungen hinsichtlich DAC- und BMZ-Evaluierungskriterien

55

OECD/DAC Glossar entwicklungspoliti-

scher Schlüsselbegriffe aus den Berei-

chen Evaluierung und ergebnisorientiertes

Management

2009 OECD • Glossar entwicklungspolitischer Schlüsselbegriffe

BMZ Working Papers: Tools and Methods

for Evaluating the Efficiency of Develop-

ment Interventions

2011 BMZ

• Tools und Methoden für die Effizienzbewertung

• Bewertungskriterien für Effizienzbewertungsmethoden

• Charakterisierung von Methoden und Instrumenten zur Bewertung der Effizienz

Bewertungsgrundlage Methodische Güte

Effizienzbewertung PEV 2019 GIZ

• Kriterien, Ergebnisse und Bewertungsgrundlage für die Auswertung der methodi-

schen Angemessenheit der Effizienzbewertung

Effizienzbewertung ZPE Anleitung 2018 GIZ • Anleitung zur Befüllung des Tools zur Effizienzbewertung und Interpretation der Er-

gebnisse

Effizienzbewertung ZPE Tool Datenerhe-

bung 2019 GIZ

• Excel-Tool zur Effizienzbewertung von Projekten

Zuordnung der Kosten zu den Outputs

DO

KU

ME

NT

E Z

UR

ME

TH

OD

ISC

HE

N A

N-

GE

ME

SS

EN

HE

IT E

FF

IZIE

NZ

Datengrundlage – Meta-Evaluierung PEV

2015-18 Einzelergebnisse 2016 GIZ • Excel-Übersicht/ Datenblatt Einzelergebnisse der PEV 2016

Datengrundlage – Meta-Evaluierung PEV

2015-18 Einzelergebnisse 2015 GIZ • Excel-Übersicht/ Datenblatt Einzelergebnisse der PEV 2015

Bericht QSA META PEV 2016 2017 GIZ • QSA von Projektevaluierungen hinsichtlich methodischer Qualität, Prozessqualität

und Nützlichkeit

Datenblätter PEV 2017 GIZ • Excel-Übersicht/ Datenblatt Einzelergebnisse der PEV 2016

Bericht META PEV 2016 2016 GIZ • Meta-Evaluierung der PEV hinsichtlich methodischer Qualität, Prozessqualität und

Nützlichkeit

Bericht META PEV 2017-18 2019 GIZ • Meta-Evaluierung und statistische Auswertung der Projektevaluierungen 2017/2018

56

Methodische Angemessenheit der Effi-

zienzbewertung PEV GIZ

• Excel-Bewertungsraster zur Beurteilung der methodischen Angemessenheit der Effi-

zienzbewertung in den Meta-Evaluierungen

Ansätze zur Bewertung von Wirtschaftlich-

keit von TZ Vorhaben 2016 GIZ

• Grundverständnis zwischen GIZ und BMZ: Möglichkeiten und Begrenzungen von

Wirtschaftlichkeitsbewertungen von Vorhaben der TZ

Bewertung und Sicherung der Wirtschaft-

lichkeit in TZ Vorhaben 2018 GIZ

• Bestehenden Mechanismen zur Bewertung und Sicherung von Wirtschaftlichkeit in

GIZ-Vorhaben

Wirtschaftlichkeit in GIZ Projekten 2017 GIZ • Kurze Beschreibung des Wirtschaftlichkeitsverständnisses innerhalb der GIZ

Kosten-Output Zuordnung für Berichter-

stattung und Evaluierung 2019 GIZ

• Schaffung eines gemeinsamen Grundverständnisses von BMZ und GIZ hinsichtlich

Kosten-Output-Zuordnung

(KO

NZ

EP

T-)

PA

PIE

RE

Evaluierungssystem GIZ 2018 GIZ

• (Kurze) Allgemeine Beschreibung des neuen Evaluierungssystems der GIZ

Vorstellung von Kernmerkmalen, Evaluierungsinstrumenten, -kriterien, -designs, -

methoden, -management und Qualitätssicherung

Kernbotschaften zur GVR 2017 GIZ • Inhalte und Kernbotschaften der erarbeiteten Gemeinsamen Verfahrensreform

(GVR)

Leitfaden Evaluierungssystem GIZ ZPE 2018 GIZ

• Neuerungen und Vorteile des Evaluierungssystems

Vorstellung von Evaluierungsinstrumenten, -funktionen, -kriterien, -design,

-methoden, etc.

OECD DAC Evaluation Criteria (Entwurf) 2019 OECD • Entwurf zur Anpassung der OECD-DAC-Evaluationskriterien

OECD DAC Evaluation Criteria Proposal

for adaptation (Entwurf) 2019 DAC

• Rationale for adaptation and providing a brief summary of the adaption process

• Broad principles for use and a proposal for the adapted evaluation criteria

Evaluierungskriterien für die deutsche bi-

laterale Entwicklungszusammenarbeit

(Entwurf)

2019 BMZ • Papier zur Neufassung der bisherigen BMZ-Orientierungshilfe zu den OECD-DAC-

Evaluierungskriterien für die deutsche bilaterale Entwicklungszusammenarbeit

57

ZU

SÄ

TZ

LIC

HE

IN

-

FO

RM

AT

ION

EN

Handbuch der Wirtschaftlichkeitsprüfung

EuRH 2017 EuRH

• Ausführlichere Anleitungen für die einzelnen Phasen einer Wirtschaftlichkeitsprüfung

(Planung, Untersuchung und Berichterstattung) in EU-Organen

Anforderungen an Wirtschaftlichkeitsun-

tersuchungen finanzwirksamer Maßnah-

men nach

§ 7 Bundeshaushaltsordnung

2013 BRH • Anforderungen des BRH hinsichtlich der Beachtung von Wirtschaftlichkeit in staatli-

chen Maßnahmen

Tabelle 32: Dokumentenübersicht Begriffsschärfung

58

II. Vorläufige Analysekriterien

Dim

en

sio

n

Kriterien Operationalisierungsideen Begründung

Ein

füh

run

g

Eff

izie

nz

Eff

ekti

vit

ät

Üb

erg

eo

rdn

ete

en

t-

wic

klu

ng

s-

po

liti

sc

he W

irku

ng

en

Hin

terg

run

d

Auftraggeber / Herausgeber (intern/extern)

Ermöglicht das Herauslesen

von Unterschieden in Regio-

nen, Fachbereichen und

nach Auftraggebern

X

Fachliche Zuordnung des

Projektes

(Drop-down gemäß Cluster

der Vorauswahl) X

Region des Projektes

Land des Projektes

(Drop-down gemäß Voraus-

wahl) X

Jahr des Berichts 2015 – 2018 X

Allg

em

ein

Definition von Wirtschaftlich-

keit / Effizienz in den Berich-

ten

Definition von Wirtschaftlich-

keit / Effizienz in den weite-

ren Dokumenten

Interne: Standarddefinition

GIZ ja/nein?

Extern: Offene Analyse

Intern: Überprüfung ob Stan-

darddefinition (siehe Box zur

Transformationseffizienz)

bekannt ist

Extern: Offene Analyse /

entwickeltes Prüfraster als

weiterer Ideengeber für Be-

griffsschärfung

X

Effizienzarten

Trennung von Produktions-

effizienz und Allokationseffi-

zienz

Vermischung der Effizienz-

arten in vielen Effizienzkapi-

teln

X

Datenmaterial Quantitative und qualitative

Daten

Kaum Primärdaten bei PEV;

unterschiedliche Primärda-

ten bei ZPE

X

Bezug zu Indikatoren

Effizienzbetrachtung unter

Berücksichtigung der Indika-

torenerfüllung

Häufige Entkopplung von In-

dikatoren (von der Effizienz-

betrachtung)

X

Monitoringaktivitäten Abfrage verschiedener Mo-

nitoringsysteme

Nutzen von Monitoring für

erhöhte Effizienz X X

59

Pro

du

kti

on

seff

izie

nz

Ressourcennutzung

Arbeitspakete GIZ, lokale

Firmen/NGOs, lokale und in-

tern. Expert*innen

Mögliche Muster im Out-

sourcing von Arbeitspaketen

zur Effizienzsteigerung

Mögliche Muster zur Einbe-

ziehung von Externen zur

Effizienzsteigerung

Überblick über die Einbezie-

hung von Externen im Allge-

meinen

X X

Implementierung Teamverantwortlichkeiten;

Abweichungen vom Zeitplan

Relevante Aspekte der Im-

plementierungseffizienz für

PE

X X

Synergien

Beschreibung von genutzten

Synergien auf der Ebene der

Implementierungspartner

Nutzung komparativer Kos-

tenvorteile; Schaffung von

Ressourcenfreiräumen

X X X

Betrachtung von Risiken Beschreibung und Gegen-

maßnahmen

Reduzierung von Risiken als

wesentliches Effizienzmerk-

mal

X X X

Korrelation zwischen Budge-

tallokation (nicht zeitlich, son-

dern sachlich) und Indikato-

renerfüllung

Beschreibung und Begrün-

dung bei negativer Korrela-

tion; ggf. ob gleiche Zieler-

reichung mit weniger Mitteln

hätten erreicht werden kön-

nen (falls Informationen vor-

handen)

Hypothesenüberprüfung:

Entkopplung der Effizienz-

beschreibung von Indikato-

renerfüllung

X X

Vorteilhaftigkeit von Ent-

scheidungen zur Verteilung

der Mittel auf die einzelnen

Outputs

Beschreibungen von Alter-

nativen, für die man sich

nicht entschieden hat;

Begründung der Vorteilhaf-

tigkeit

Nachvollziehbarkeit (im

Sinne eine Begründung) der

geplanten Maßnahmen und

getroffenen Entscheidungen

nicht immer gegeben

X X

Reichweite

Reichweite gemäß Modul-

vorschlag (MV)

(Nein: inkl. Begründung; Ja:

Positive Spillover-Effekte?)

Wurden mehr oder weniger

Nutznießer erreicht als im

MV vorgesehen??

X X

Lernerfahrungen

Beschreibung von Do’s and

Dont’s;

Erfolgs- und Misserfolgsfak-

toren

Erfolgs- und Misserfolgs-

pfade/-muster

Nutzung und Verbreitung

von Lernerfahrungen X X

60

Allo

kati

on

seff

izie

nz

Finanzierung

Mittel der Auftraggeber, Ko-Finanzierung, Partnerbeiträge

Verschiedene Anforderun-

gen an Dokumentations-

pflichten von Mittelverwen-

dung; Wie werden vergleich-

bare Arbeitspakete finan-

ziert?

X X

Implementierung

Stakeholderverantwortlich-

keiten; Überprüfung von An-

nahmen

Relevante Aspekte der Im-

plementierungseffizienz für

AE

X X

Betrachtung von Risiken Beschreibung und

Gegenmaßnahmen

Reduzierung von Risiken als

wesentliches Effizienzmerk-

mal

X X

Synergien

Beschreibung von genutzten

Synergien auf Ebene von

politischer Steuerung (z.B.

Harmonisierung mit Gebern,

Partnerregierungen, Syner-

gien mit anderen deutschen

EZ-Partnern)

Förderung von politischer

Akzeptanz; Aufbrechen von

Widerständen; gemeinsame

Ausrichtung zur Erreichung

unterschiedlicher Ziele (Alig-

nement)

X X

Korrelation zwischen Budge-

tallokation und Indikatorener-

füllung

Beschreibung und Begrün-

dung bei negativer Korrela-

tion; ggf. ob gleiche Zieler-

reichung mit weniger Mitteln

hätten erreicht werden kön-

nen

Entkopplung der Effizienz-

beschreibung von Indikato-

renerfüllung

X X

Reichweite / Scaling Up

Reichweite außerhalb des

Verantwortungsrahmens des

Projektes; Beschreibung von

Scaling-Up Optionen

Wurden mehr oder weniger

Nutznießer erreicht? X X

Lernerfahrungen

Beschreibung von Do’s and

Dont’s;

Erfolgs- und Misserfolgsfak-

toren

Erfolgs- und Misserfolgs-

pfade/ -muster

Nutzung und Verbreitung

von Lernerfahrungen X X

Tabelle 33: Vorläufige Analysekriterien

61

III. MaxQDA Codebaum

Abbildung 3: MaxQDA Codebaum)

62

IV. Analyseraster inkl. finaler Analysekriterien

Hin

terg

run

d

Nummer

PLANUNG

Projektnummer

Titel

Evaluierungsinstrument

Jahr Durchführung der Evaluierung

Sektor

Region

Land

Dauer (in Monaten)

Projektwert

Dokumentensprache

Verantwortliche/r

Nr. Kriterium Schlüsselfragen Vorgabe Bewertung /Scoring

1

Bezug zu Resultaten und Indikato-ren

PE Gibt es eine genaue Zuordnung der geplanten Kosten zu den Outputs?

Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4)

2 AE Wird Allokationseffizienz bei der Planung in irgendeiner Form berücksichtigt?


3 AE/PE Gibt es Hinweise, dass eine Zuordnung der Kosten zu den einzelnen Output- bzw. Outcome-Indikatoren vorab statt-fand?


4 Ressourcennutzung PE/AE Gibt es allgemeine Informationen zu der Verwendung der zur Verfügung stehenden Ressourcen auf Output- bzw. Outcome-Ebene?


63

5

Betrachtung von Risiken

AE/PE Gibt es Hinweise zum Umgang mit Risiken in der Planung? Überhaupt nicht (1), ansatzweise

(2), ziemlich (3), völlig (4)

6 PE Es sind Maßnahmen auf der Output-Ebene beschrieben, um Risiken zu verringern

Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a

7 AE Es sind Maßnahmen auf der Outcome-Ebene beschrieben, um Risiken zu verringern

Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a

8 AE/PE Sind die Risiko-Verringerungs-Maßnahmen budgetiert? Überhaupt nicht (1), ansatzweise

(2), ziemlich (3), völlig (4); n.a.

9 Synergie AE/PE Sind zur Erreichung der Outputs bzw. Outcomes im Vor-feld potenzielle Synergien mit anderen Stakeholdern identi-fiziert und beschrieben?

Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4); n.a.

10

Lernerfahrungen

PE/AE Gibt es Hinweise, dass Lernerfahrungen während der Pla-nung berücksichtigt wurden?


11 PE Sind zur Erreichung der Outputs Lernerfahrungen aus Vor-gänger-Vorhaben und/oder anderen Vorhaben bei der Pla-nung berücksichtigt?


12 AE Sind zur Erreichung der Outcomes Lernerfahrungen aus Vorgänger-Vorhaben und/oder anderen Vorhaben bei der Planung berücksichtigt?


13

Weitere Faktoren

Was planning participatory? Nein (1), Ja (4)

14 Is the project based on a solid results model m (Wirkungs-modell)?

Nein (1), Ja (4)

64

Hin

terg

run

d

Nummer

IMPLEMENTIERUNG

Projektnummer

Titel


Jahr Durchführung der Evaluie-rung

Sektor

Region

Land

Dauer (in Monaten)

Projektwert

Dokumentensprache

Verantwortliche/r


1

Implementierung

PE Wurde die Arbeitsteilung im Team beschrieben? Überhaupt nicht (1), ansatzweise


2

PE/AE Inwiefern sind Verantwortlichkeiten im GIZ-Team klar kom-muniziert und verstanden? (Stichworte: Verantwortlichkei-ten, Team, Rollen)


3 AE

Wurde die Arbeitsteilung mit wichtigen Stakeholdern Grup-pen beschrieben?


4 AE

Sind Verantwortlichkeiten im Stakeholderumfeld klar kom-muniziert und verstanden?


5

PE Werden Erkenntnisse aus vorherigen Studien (z.B. Machbarkeitsstudien) berücksichtigt?


65

6 PE

Gibt es Abweichungen vom Plan/ Konzept/ Operations-plan?


7 Reagiert das Projekt auf Veränderungen in der Umwelt?


8

Monitoringaktivitäten

PE/AE Gibt es ein Kostenmonitoringsystem? (Cost were regularly checked, assessed, etc.)


9 PE/AE Falls ja, wird es zur Steuerung genutzt?


10 PE

Gibt es ein Aktivitätenmonitoringsystem (z.B. Operations-plan)?


11 PE Falls ja, wird es zur Steuerung genutzt?


12 PE/AE

Gibt es ein wirkungsorientiertes Monitoringsystem? (e.g. results based monitoring)




14 PE/AE

Gibt es ein Risiko-Monitoringsystem? (Wenn Risiken im WoM genannt, dann 3 oder 4)




16

Synergien

PE Werden Synergien beschrieben? Überhaupt nicht (1), ansatzweise


17 PE

Gibt es Anstrengungen / Gespräche mit Stakeholdern zur Nutzung von Synergien zur Erreichung der Outputs?


18 AE Gibt es Synergien mit anderen (internationalen) Gebern ?


19 AE

Gibt es Synergien mit anderen deutschen FZ (KFW) und TZ (GIZ, PTB) Maßnahmen?


20 AE

Gibt es Synergien mit anderen deutschen Akteuren (z.B. NGOS, Stiftung)?


66

21

AE Gibt es Anstrengungen / Gespräche mit Stakeholdern zur Nutzung von Synergien zur Erreichung der Outcomes?


22

Ressourcennutzung

AE/PE Lagert das Vorhaben Arbeitspakete aus? (Berater) Überhaupt nicht (1), ansatzweise


23 AE/PE Lagert es an lokale Organisationen/Expert*innen aus?


24 AE/PE

Lagert es an internationale Organisationen/Expert*innen aus?


25 Weitere Aspekte Ist das Projekt Teil eines EZ-Programms? Nein (1), Ja (4)

26

Weitere Aspekte

Gibt es eine effektive (direkte, schnelle) Kommunikation mit/ "Nähe" (proximity – räumlich, persönlich) zu Partnern?


27

Gibt es ein effektives Wissensmanagement? Überhaupt nicht (1), ansatzweise


28

Wurden Maßnahmen zur Verringerung von Risiken getrof-fen?


29 Ist das Personal ausreichend qualifiziert?


67

Hin

terg

run

d

Nummer

Bewertung

Projektnummer

Titel


Jahr Durchführung der Evaluierung

Sektor

Region

Land

Dauer (in Monaten)

Projektwert

Dokumentensprache

Verantwortliche/r


1

Effizienzarten und -messung

PE Ist Produktionseffizienz explizit berücksichtigt? Überhaupt nicht (1), ansatzweise


2 PE

Inwiefern wurden evidenzbasierte/robuste Ansätze genutzt (z.B. followthe-money)?


3 AE Ist Allokationseffizienz explizit berücksichtigt?


4 AE

Inwiefern wurden evidenzbasierte/robuste Ansätze genutzt (z.B. benchmarking/shadow-pricing)?


5

Bezug zu Indikatoren PE Inwiefern findet eine Effizienzbetrachtung unter Berücksich-tigung der Indikatorenerfüllung auf Output-Ebene statt?


68

6

AE Inwiefern findet eine Effizienzbetrachtung unter Berücksich-tigung der Indikatorenerfüllung auf Outcome-Ebene statt?


7

Datenmaterial AE/PE Inwiefern sind Bewertungen auf Basis quantitativer und qualitativer Daten vorgenommen worden (Triangulation)?


8

Vorteilhaftigkeit von Entscheidun-gen

PE Wurden Vorteile der getroffenen Maßnahmen gegenüber Alternativen beschrieben?


9 PE Sind diese Beschreibungen logisch und nachvollziehbar?

Überhaupt nicht (1), ansatzweise (2), ziemlich (3), völlig (4), n.a.

10

AE

Inwiefern gibt es Beschreibungen der Vorteil-/Nachteilhaf-tigkeit zur Finanzierungsform (z.B. bilaterale Vorhaben, Globalvorhaben, Kofinanzierungen, Budgethilfe, EZ-Pro-gramm)?


11

AE Sind diese Beschreibung logisch und nachvollziehbar? Überhaupt nicht (1), ansatzweise

(2), ziemlich (3), völlig (4), n.a.

12

Synergien

PE Inwiefern gibt es Beschreibungen zur Nutzung von Syner-gien zur Erreichung der Outputs (früher Handlungsfelder)?


13 PE Sind diese Beschreibung logisch und nachvollziehbar?


14

AE Inwiefern gibt es Beschreibungen zur Nutzung von Syner-gien zur Erreichung der Outcomes (des Modulziels)?


15 AE Sind diese Beschreibung logisch und nachvollziehbar?


16

Lernerfahrungen PE

Inwiefern gibt es Beschreibungen zur Nutzung von i) in der Vergangenheit gemachten Lernerfahrungen und/oder ii) Lernerfahrungen aus anderen EZ-Vorhaben (auf der Out-put-Ebene)?


69

17

PE Sind diese Beschreibungen logisch und nachvollziehbar? Überhaupt nicht (1), ansatzweise

(2), ziemlich (3), völlig (4), n.a.

18

AE

Inwiefern gibt es Beschreibungen zur Nutzung von i) in der Vergangenheit gemachten Lernerfahrungen und/oder ii) Lernerfahrungen aus anderen EZ-Vorhaben (auf der Out-come-Ebene)?


19 AE Sind diese Beschreibungen logisch und nachvollziehbar?


20 PE

Gibt es Beschreibungen zum Umgang mit Risiken auf der Output-Ebene?




22 AE

Gibt es Beschreibungen zum Umgang mit Risiken auf der Outcome-Ebene?




24

Monitoring

PE Inwiefern gibt es Beschreibungen zur Nutzung von Monito-ringdaten auf der Output-Ebene (um evidenzbasiert Effizienz zu beurteilen?)




26

AE Inwiefern gibt es Beschreibungen zur Nutzung von Monito-ringdaten auf der Outcome-Ebene (um evidenzbasiert Effizi-enz zu beurteilen?)


27 AE Sind diese Beschreibungen logisch und nachvollziehbar?


28 Bewertung NUR INTERN: Wie wird Effizienz bewertet? INTERN: PEV / ZPE Skala

29

Weitere Aspekte

Wurden Limitationen der Effizienzbetrachtung beschrieben? Überhaupt nicht (1), ansatzweise


30 Gibt es generell eine Aufteilung der Kosten (z.B. auf Admin,

Personal, Infrastruktur, etc.)?


31

Wird das Projektvolumen (in monetären Größen) in Bezug auf die Aktivitäten (Anzahl, Aufwand, Wirkung) diskutiert/ eingeordnet?


Tabelle 345: Analyseraster inkl. finaler Analysekriterien

71

Fotonachweise und Quellen

Fotonachweise/Quellen:

© GIZ / Thomas L. Kelly, Markus Kirchgessner, Florian Kopp, Dirk Ostermeier

URL-Verweise:

In dieser Publikation befinden sich ggf. Verweise zu externen Internetseiten. Für die Inhalte der

aufgeführten externen Seiten ist stets der jeweilige Anbieter verantwortlich. Die GIZ hat beim erst-

maligen Verweis den fremden Inhalt daraufhin überprüft, ob durch ihn eine mögliche zivilrechtliche

oder strafrechtliche Verantwortlichkeit ausgelöst wird. Eine permanente inhaltliche Kontrolle der

Verweise auf externe Seiten ist jedoch ohne konkrete Anhaltspunkte einer Rechtsverletzung nicht

zumutbar. Wenn die GIZ feststellt oder von anderen darauf hingewiesen wird, dass ein externes

Angebot, auf das sie verwiesen hat, eine zivil- oder strafrechtliche Verantwortlichkeit auslöst, wird

sie den Verweis auf dieses Angebot unverzüglich aufheben. Die GIZ distanziert sich ausdrücklich

von derartigen Inhalten.

Kartenmaterial:

Kartografischen Darstellungen dienen nur dem informativen Zweck und beinhalten keine völker-

rechtliche Anerkennung von Grenzen und Gebieten. Die GIZ übernimmt keinerlei Gewähr für die

Aktualität, Korrektheit oder Vollständigkeit des bereitgestellten Kartenmaterials. Jegliche Haftung

für Schäden, die direkt oder indirekt aus der Benutzung entstehen, wird ausgeschlossen.

72

Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH

Sitz der Gesellschaft Bonn und Eschborn

Friedrich-Ebert-Allee 32 + 36 53113 Bonn, Deutschland T +49 228 44 60-0 F +49 228 44 60-17 66

Dag-Hammarskjöld-Weg 1-5 65760 Eschborn, Deutschland T +49 61 96 79-0 F +49 61 96 79-11 15

E [email protected] I www.giz.de

Wirtschaftlichkeit der Vorhaben...Als Bundesunternehmen unterstützt die GIZ die deutsche...

Documents

Transcript of Wirtschaftlichkeit der Vorhaben...Als Bundesunternehmen unterstützt die GIZ die deutsche...