Professionalisierung durch Prozess-Standardisierung? Definition … › fileadmin › jahrestagung...

Professionalisierung durch Prozess-Standardisierung? Definition des Evaluationsprozesses im DAAD

Session A1: Professionalisierung von Evaluation in Kultur und Auswärtiger

Kultur- und Bildungspolitik

Dr. Martin Bruder

Jahrestagung der DeGEval und SEVAL Zürich, 11. September 2014

1

Überblick

2

Der DAAD: Stakeholder und Netzwerk

Prozess-Standardisierung

Kontext Organisationsentwicklung

Vorgehen

Schritte des Evaluationsprozess

Vertiefend: Management Response-Prozess

Fragen und Diskussion

Überblick

3




Vorgehen




Drei strategische Handlungsfelder

4

WISSEN FÜR WISSENSCHAFTS-KOOPERATIONEN

WELTOFFENE STRUKTUREN

STIPENDIEN FÜR DIE BESTEN

Stipendien für die Besten vergeben, damit sich künftige Fach- und Führungskräfte an den besten Orten qualifizieren, sich auf verantwortliches Handeln vorbereiten und dauerhafte Verbindungen in die ganze Welt schaffen.

Weltoffene Strukturen schaffen, damit Hochschulen kooperieren, um die Qualität von Forschung und Lehre zu verbessern und mit starken Partnern den Herausforderungen der Zukunft zu begegnen. damit mehr Menschen über Grenzen gehen, erfolgreich studieren und forschen. damit Deutsch eine wichtige Kultur- und Wissenschafts- sprache bleibt. damit Hochschulen zu Entwicklung beitragen und Brücken über Grenzen und Konfliktlinien schlagen.

Wissen für Wissenschaftskooperationen bereitstellen, damit Wissenschaft und Politik gut informiert entscheiden und gestalten können.

Stakeholder: Deutsche Hochschulen und Studierendenschaften

5

Der DAAD ist eine Selbst- verwaltungsorganisation der deutschen Hochschulen

239 Mitgliedshochschulen

121 Studierendenschaften

Stakeholder: Ausländische Projektpartner

6

Stakeholder: Geförderte Einzelpersonen

7

4.602 IN

41.586 OUT

Nord-Süd- und Westeuropa

2.087 IN

5.339 OUT

Nordamerika

7.425 IN

3.243 OUT

Lateinamerika Afrika/Subsahara

4.481 IN

1.798 OUT

Nordafrika/Naher und Mittlerer Osten

Mittel- und Osteuropa/GUS

Asien/Australien/Ozeanien

16.048 IN

9.745 OUT

8.489 IN

6.003 OUT

6.961 IN

2.099 OUT

50.093 Ausländer

69.813 Deutsche *einschl. EU-Programme Stand 2013

Stakeholder: Deutsche und ausländische Geldgeber

8

Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung: 40 Mio. EUR = 9 %

Europäische Union: 60 Mio. EUR = 14 %

Sonstige Geldgeber: 45 Mio. EUR = 11 %

Auswärtiges Amt: 181 Mio. EUR = 43 %

Bundesministerium für Bildung und Forschung:

101 Mio. EUR = 23 %

430 Mio. EUR

Zahlen 2013 (Ist)

Sonstige

EU

BMZ BMBF

AA

Gesamt:

Netzwerk: Außenstellen und Informationszentren

9

Buenos Aires Santiago de Chile

São Paulo

Bogotá

Caracas San José

San Francisco

Toronto

Rio de Janeiro

Mexiko-Stadt

New York

London

Brüssel Paris

Riga Minsk

Kiew Warschau

Prag

Rom Bukarest

Nowosibirsk

Budapest

Madrid

Tunis

Accra Yaoundé

Nairobi

Athen Belgrad Istanbul

Ankara

Addis Abeba

Ostjerusalem Abu Dhabi

Amman

Eriwan

Erbil

Tiflis Almaty Baku

Teheran

Bischkek Taschkent

Duschanbe Islamabad Kabul

Pune Chennai

Neu Delhi

Tokio Peking

Shanghai

Seoul

Taipei Hongkong

Guangzhou

Hanoi

Bangkok Ho-Chi-Minh-Stadt

Kuala Lumpur Singapur

Sydney

Informationszentren

Außenstellen, Zentrale und Hauptstadtbüro

Bonn Berlin

Johannesburg

Kairo

Jakarta

Tel Aviv

St. Petersburg Moskau

Kasan

Zentrale in Bonn/Büro Berlin plus Netzwerk: ca. 900 Mitarbeiter

Überblick

10




Vorgehen




Organisationsentwicklung: Kontext

11

Durchführung gemeinsam mit Unternehmensberatung Kienbaum Management Consultants GmbH

Ziel: Analyse, Neukonzeption und Umsetzung einer optimierten Organisationsstruktur

Organisationsentwicklung: Verfahren der Prozessoptimierung

12

Prozesslandkarte erarbeiten

Schlüsselprozesse auswählen

Ist-Prozesse aufnehmen

Soll-Prozesse in der neuen Aufbauorganisation definieren


13






14






15





Klärung des Prozessablaufs

Klärung der Verantwortlichkeit/Art der Beteiligung verschiedener interner und externer Akteure

Reflexion der Prozesse hinsichtlich Optimierungspotential

Überblick

16




Vorgehen




Schritte des Evaluationsprozesses

17

1. Programmkonzeption

2. Jährliche Evaluationsplanung

3. Ausschreibung und Vergabe

4. Auftragsklärung und Auftragsdurchführung

5. Berichtslegung und Veröffentlichung

6. Management Response/Lernen aus Evaluationen

Programmkonzeption

18

Gemeinsam mit dem Geldgeber sollte die Umsetzung der in der Bundeshaushaltsordnung vorgesehenen abgestuften Erfolgskontrolle programmspezifisch geplant werden (VV von 2006 zu den §§ 23 und 44 der BHO)

Programmlogik ausformulieren Ziele kontextangemessen definieren Realistische Berichts- und Überprüfungszeiträume für Outputs,

Outcomes und Impacts festlegen Offenheit für Unerwartetes/Anpassungen der Programmziele

bewahren (z.B. geopolitische Lage) Einbindung des Evaluationsreferats in die Programmkonzeption Momentan Pilotphase im Förderbereich des BMZ (unterstützt von

Syspons GmbH)

Jährliche Evaluationsplanung

19

Gemeinsam mit den programmführenden Referaten sollte eine budgetär realistische und inhaltlich angemessene Planung der anstehenden Evaluationen stattfinden

Evaluationsplanung gemeinsam mit der Jahresplanung der programmführenden Referate zum Jahreswechsel

Mindestanforderung für alle Programme mit einem jährlichen Programmvolumen von über 250.000 Euro oder einer Gefördertenzahl von über 1.000 Personen pro Jahr: erstmalige Evaluation nach 5 Jahren sowie im Anschluss mindestens alle 10 Jahre

Erstmals 2015: Workshop für alle Arbeitseinheiten, die eine Programmevaluation durchführen

Ausschreibung und Vergabe

20

Der DAAD beauftragt jährlich ungefähr

1-2 programmübergreifende oder ein Programm längerfristig begleitende Evaluationen

1-3 Studien zu programmübergreifenden strategischen Fragen

5-8 Programmevaluationen (i.d.R. Zwischenevaluationen)

8-12 Projektevaluationen

Ausschreibung und Vergabe

21

Anforderung: Vergaberechtskonforme Auftragsvergabe Zukünftig formale Vergabeaspekte über zentrale Service-Einheit

organisiert Anforderung: Optimale inhaltliche Abstimmung Vergabeverfahren: häufig freihändige Vergabe nach

Teilnahmewettbewerb Begründung gem. § 3 Abs. 5 lit. h VOL/A: die Leistung kann nicht so

eindeutig und erschöpfend beschrieben werden, dass hinreichend vergleichbare Angebote erwartet werden können.

Andererseits sind die Details des Programms den potentiellen Auftragnehmer nicht bekannt und Abweichungen vom Ausschreibungstext werden ggf. als riskant betrachtet

Abstimmung in anspruchsvollen Evaluationsverfahren schwierig

Auftragsklärung und Auftragsdurchführung

22

Bessere Strukturierung der Auftragsklärungs-Phase (inception phase)

Stärkere Einbindung der Geldgeber

Beratungs-/Steuerungsgremium im DAAD nur bei EU-weit ausgeschriebenen Evaluationen (i.d.R. nur Programmbereichs-Evaluationen)

Berichtslegung und Veröffentlichung

23

Stärkere Standardisierung der Berichtsformate von Programmevaluationen, um effiziente Veröffentlichung zu ermöglichen

Prozess der Entscheidung hinsichtlich Veröffentlichung ist im Evaluationskonzept definiert Prozessdefinition unterstützt die konsequente Umsetzung

Veröffentlichung wird im Einzelfall unter Berücksichtigung berechtigter Interessen der beteiligten Stakeholder entschieden

Überblick

24




Vorgehen




Management Response: Ausgangssituation

25

Management Response: Online-Evaluationsreport

26

Zusätzliche Erfassung der Evaluationsergebnisse über einen Online-Fragebogen

Ziele:

Vollständige und vergleichbare Dokumentation von Evaluationsverfahren

Einheitlich strukturierter Startpunkt für Management Response-Prozess

Verbesserung der Möglichkeit von Meta-Evaluationen und zusammenfassenden Darstellungen von Evaluationsergebnissen

Einholung von Feedback von Auftragnehmern

Online-Evaluationsreport: Startseite

27

Online-Evaluationsreport: Organisatorische Rahmendaten zur Evaluation

28

Vollständiger Name des Evaluationsinstituts Kontaktdaten des Auftragnehmers Ansprechpartner auf Seiten des Auftragnehmers Projektleiter auf Seiten des Auftragnehmers Weitere Projektmitarbeiter Beteiligte Referate im DAAD Ansprechpartner im DAAD Geldgeber des Programmes Beginn der Evaluation Datum der Abnahme des Evaluationsberichts Finanzieller Umfang der Evaluation (netto)

Online-Evaluationsreport: Informationen zum evaluierten Programm

29

Titel des evaluierten Programmes Art des Programmes (Individualförderung/Projektförderung) Zielgruppe der Förderung (Studierende aus In- und Ausland/Graduierte

aus In- und Ausland/Doktoranden aus In- und Ausland/Wissenschaftler, Hochschullehrer aus In- und Ausland/Hochschulen im In- und Ausland/Sonstiges)

Beschreiben Sie bitte kurz die zentralen Ziele des Programmes Handelt es sich um die erste extern durchgeführte Evaluation (oder

Studie) zu diesem Programm? Falls nein: Name der Firma/des Instituts, der bereits durchgeführten

Evaluation + Publikationsjahr des Abschlussberichts der Evaluation

Online-Evaluationsreport: Zusammenfassung des Evaluationsvorhabens

30

Kurzfassung des Evaluationsberichts

Online-Evaluationsreport: Methoden der Evaluation

31

Welche Sekundärdaten bzw. Dokumente haben Sie für diese Evaluation analysiert?

Welche (Personen-)Gruppen wurden mit quantitativen Methoden befragt?

Aktuelle Stipendiaten; Alumni des Programms; Aktuelle Projektleiter; Ehemalige Projektleiter; Mitarbeiter/Leiter von Hochschulen oder Forschungseinrichtungen; Mitarbeiter von Ministerien oder Botschaften; Mitarbeiter von Unternehmen; Lehrer und Kursleiter; Mitglieder von Auswahlkommissionen; Mitarbeiter der DAAD-Außenstellen/ICs; Sonstige Personengruppen

Mit welchen (Personen-)Gruppen wurden qualitative Interviews durchgeführt?

Ergänzende Angaben zu Datenquellen und Methoden

Online-Evaluationsreport: Zentrale Ergebnisse

32

Wie viele Personen haben an der Befragung teilgenommen? Aktuelle Stipendiaten/Geförderte Alumni Aktuelle Projektleiter Ehemalige Projektleiter Mitarbeiter/Leiter von Hochschulen oder

Forschungseinrichtungen Mitarbeiter von Ministerien oder Botschaften Mitarbeiter von Unternehmen Lehrer und Kursleiter Mitglieder von Auswahlkommissionen Mitarbeiter der DAAD-

Außenstellen/Informationsbüros

■ Ergebnisse für genannte Gruppen: ■ Gesamtzufriedenheit mit dem

Programm ■ Zufriedenheit mit der

Kooperation/Betreuung durch den DAAD Sehr zufrieden Zufrieden Teils teils Unzufrieden Sehr unzufrieden Nicht abgefragt

■ (Weitere) relevante empirische Befunde der quantitativen und qualitativen Befragungen (insofern diese nicht schon in der Executive Summary genannt sind)

Online-Evaluationsreport: Übergreifende Bewertung

33

Folgendes ist zu bewerten (angelehnt an Notenskala von 1 bis 6):

Beitrag, den das Programm zur individuellen Mobilität hervorragender Studierender und Wissenschaftler leistet

Beitrag, den das Programm zur Internationalisierung der deutschen Hochschulen leistet Beitrag, den das Programm zu Wissen über die Strukturen der deutschen

Hochschulkooperationen und wissenschaftlichen Systeme weltweit leistet Bewertung des Programmes nach den Kriterien

Relevanz Effektivität Effizienz Nachhaltigkeit

Gesamtbewertung für das Programm Erläuterungen zur Bewertung

Online-Evaluationsreport: Zusammenarbeit mit dem DAAD

34

Bewertung

des Vergabeprozesses

der Zusammenarbeit mit dem programmführenden Referat

der Zusammenarbeit mit dem Referat „Evaluation und Statistik“

Online-Evaluationsreport: Empfehlungen

35

Auflistung aller Empfehlungen

Empfehlung im Wortlaut

Adressat der Empfehlung

Management Response

36

Informationen aus Online-Evaluationsreport gehen in den Management Response-Prozess ein

Vereinfachte Erstellung von Kurzfassung der Evaluationsergebnisse für Leitungsgremien

Basis für Umsetzungsplanung

Lernen aus Evaluationen/ Meta-Evaluationen

37

Überblick

38




Vorgehen




Professionalisierung durch Prozess-Standardisierung?

39

Der Prozess der Prozess-Standardisierung ist eine Lerngelegenheit, die dabei hilft die eigenen Prozesse gemeinsam mit allen Beteiligten kritisch zu

reflektieren und dadurch die Evaluierungsexpertise in der Organisation in der Breite zu stärken

eine gemeinsame Verantwortlichkeit für die neuen Prozesse zu schaffen und sie fest in der Prozess-Struktur der Organisation zu etablieren

den Vergleich mit Peers zu suchen und gute Beispiele zu adaptieren Standardisierte Prozesse setzen (im besten Fall) gute Praxis

konsistent um und tragen somit zur Qualität und (zeit-)effizienten Durchführung von Evaluationsprozessen bei

Professionalisierung durch Prozess-Standardisierung?

40

Prozess-Standardisierung birgt (möglicherweise) dadurch Probleme, dass

die Weiterentwicklung auf anderen Ebenen weniger Aufmerksamkeit erhält (z.B. Entwicklung tragfähiger Indikatoren, Verbesserung der Datengrundlage)

untypische Einzelfälle nicht angemessen abgebildet werden

die resultierende Prozess-Routine den Blick auf spezielle Anforderungen eines Evaluationsprozesses (z.B. Einbindung wissenschaftlicher Expertise) verdeckt

41

Danke für Ihre Aufmerksamkeit Martin Bruder Referat „Evaluation und Statistik“ 0228-882-859, [email protected] Deutscher Akademischer Austauschdienst (DAAD) Kennedyallee 50 53175 Bonn www.daad.de

© M

icha

el J

orda

n

Professionalisierung durch Prozess-Standardisierung? Definition … › fileadmin › jahrestagung...

Documents

Transcript of Professionalisierung durch Prozess-Standardisierung? Definition … › fileadmin › jahrestagung...