„Evaluation (in) der Zukunft“€¦ · 20. Jahrestagung der DeGEval – Gesellschaft für...

20. Jahrestagung der DeGEval – Gesellschaft für Evaluation e.V.

20. – 22. September 2017 an der Johannes Gutenberg-Universität Mainz

„Evaluation (in) der Zukunft“

20. Jahrestagung der DeGEval – Gesellschaft für Evaluation e.V. „Zukunft (in) der Evaluation“ 20. – 22.09.2017, JGU , Mainz

2 3

WIR DANKEN UNSEREN SPONSORENINHALT

WEGWEISER 4

GRUßWORTE 12

PROGRAMMÜBERSICHT 14

WEITERBILDUNGSSEMINARE 17

KEYNOTES 20

SESSIONS BLOCK A 22 SESSIONS BLOCK B 29 SESSIONS BLOCK C 35 SESSIONS BLOCK D 41

ABSCHLUSSGESPRÄCH 48

POSTERPRÄSENTATIONEN 49

TEILNEHMERINNEN- UND TEILNEHMERLISTE 51

INSTITUTIONELLE MITGLIEDER DER DEGEVAL 61

ORGANISATION UND PLANUNG 67


4 5

WEGWEISER

Allgemeine Informationen

Johannes Gutenberg-Universität Mainz Saarstraße 21 55122 Mainz

Die Johannes Gutenberg-Universität Mainz (JGU) zählt mit rund 33.000 Studierenden aus 120 Nationen zu den größten und vielfältigsten Universitäten Deutschlands. Mit ihrer Universitätsmedizin, ihren Hochschulen für Kunst und Musik sowie ihrem Fachbereich Translations,- Sprach- und Kultur-wissenschaft in Germersheim vereint sie nahezu alle akademischen Disziplinen unter einem Dach. In ihren mehr als 150 Instituten und Kliniken lehren und forschen rund 4.400 Wissenschaftlerinnen und Wissenschaftler, darunter 560 Professorinnen und Professoren. Mit 75 Fächern und zahlreichen Fach-kombinationen bietet die JGU mehr als 240 Studienmöglichkeiten an.

Als einzige deutsche Universität ihrer Größe beherbergt die JGU fast alle Institute auf einem innen-stadtnahen Campus, auf dem auch vier Partnerinstitute der außeruniversitären Spitzenforschung ange-siedelt sind: das Max-Planck-Institut für Chemie (MPI-C), das Max-Planck-Institut für Polymerforschung (MPI-P), das Helmholtz-Institut Mainz (HIM) und das Institut für Molekulare Biologie (IMB). Der Cam-pus der Universitätsmedizin liegt nur etwa einen Kilometer entfernt, die beiden Mainzer Institute der Leibniz-Gemeinschaft – das Institut für Europäische Geschichte (IEG) und das Römisch-Germanische-Zentralmuseum (RGZM) – liegen nur wenig weiter entfernt in der Innenstadt. Hinzu kommen zahl-reiche forschende Unternehmen, die Mainz zu einem Forschungsstandort mit hoher Dynamik machen.

An- und Abreise | PKW

• Autobahn A60, AS Mainz-Finthen, Richtung Innenstadt verlassen

• L149 / Saarstraße bis zur Abfahrt „Universität“ befahren

• An der Kreuzung „Koblenzer Straße“ links abbiegen

• Nach ca. 200 m links auf den Campus abbiegen

alternativ

• Autobahn A60, AS Mainz-Lerchenberg, Richtung Bretzenheim verlassen

• Nach ca. 2.500 m rechts auf den Campus abbiegen

Aufgrund begrenzter Parkkapazitäten bitten wir Sie, vorwiegend die auf dem Campusplan (Seite 6) blau markierten Parkflächen zu nutzen.

An- und Abreise | öffentliche Verkehrsmittel

Die Mainzer Verkehrsgesellschaft (MVG) betreibt zahlreiche Busse und Bahnen, welche das Campus-gelände vom Hauptbahnhof Mainz aus ansteuern. Aufgrund von Bauarbeiten kann es jedoch zu Ver- zögerungen und der Ansteuerung von Ersatzhaltestellen kommen. Ferner ist bei manchen Verbindun-gen der Einsatz eines Schienenersatzverkehrs möglich.


6 7

Große Sporthalle

Botanischer Garten

Grüne Schule

Hanns-Dieter-Hüsch-

Dalheimer-Weg

g

Staudingerweg

Wittichweg Wittichweg

Anselm-Franz-von-Bentzel-Weg

A.-F .-v.-Bentzel

Weg

Jakob-Welder Weg

Johann-Joachim-Becher-W eg

ler

F.-S

Koblenzer Straße

Saarstraße

Albe

rt-Sc

hwei

tzer

-Stra

ße

Lucy-Hillebrand-Straße

Hahn-Meitner-Weg

Institut für MolekulareBiologie

Max-Planck-Institutfür Chemie

Helmholtz -Institut

Chemie

Schule des Sehens

GeorgForster-Gebäude

Zufahrt

100 m

200 m0 mEC-Geldautomat

MVGmeinRad-Station

Bushaltestellen

Chemie

PhysikalischeChemie (Neubau)

Studierenden-werk

Mensa

MainzerMikrotron

Max-Plank-Institutfür Polymerforschung

Naturwiss.Institutsgeb.

SB II

Info-box

Forum

Universitäts-bibliothek

Sport

Tennisanlage

TechnischesBetriebszentrum

Hochschule für Musik

Anatomie

Rasensportanlage

Beachvolleyball/Basketballanlage

Bogenschießanlage

Kern-chemie

PhysikMathematikInformatik

Biomed.Forschungs-zentrum

Wohnheime

BiochemieGenetik

ZoologieBotanik

MPI-C

MPI-P

Kernphysik

AutobahnInnenstadt

Bretzenheim / Lerchenberg

Gonsenheim

NO

R D

P

Stadion

Weg

P

H

H

H H

P

P

P

P

trassmannw

eg

P

H

H

P

H

H

H

P

P

H

H

D.-Gresemund-Weg

H

HH

P P

PJohannes- v. M

üller-Weg

Anthro-pologie

A 60

P

Johann-Joachim-Becher-Weg

WittichwegWittichweg

Duesbergweg

Due

sber

gweg

Saarstraße

Albe

rt-Sc

hweit

zer-S

traße

Parkplätze

Mainzelbahn

Ackermannweg

HH

H

H

H

HH

.-Pfeiffer-Weg

.-vF

C.-Kleinm

ann-Weg


Jakob-Welder-Weg

Philosophicum

ReWi

HH

BAUSTELLE

Muschel

Alte Mensa

Biologie

Öffentliche Straße

Campus-Straße

HOCHSCHULE MAINZUNIVERSITY OFAPPLIED SCIENCES

Friedrich-von- Pfeiffer-Weg

Universität

Botanischer Garten

Bus-/Straßenbahn- Haltestellen

Veranstaltungsorte

Beginn Abendprogramm

Universitätscampus der JGU Mainz


8 9

Die Abendveranstaltung am Donnerstag findet im „Weyer’s Erntehof“, Am Heckerpfad 24, 55128 Mainz statt. Zu dem Veranstaltungsort fahren Shuttlebusse vom Campus.

Treffpunkt: 18:30 Uhr vor der Muschel, Johann-Joachim-Becher-Weg (siehe Campusplan Seite 6).

Am Donnerstag bieten wir Ihnen in regelmäßigen Abständen ab ca. 21:30 Uhr an, Sie zu einer geeigneten Haltestelle zu begleiten, damit Sie zurück zum Hotel finden.

Nähere Informationen hierzu finden Sie weiter unten ab Seite 10.

WLAN-Zugang und technische Unterstützung

Das Philosophicum verfügt über einen kostenlosen WLAN-Hotspot, welchen Sie unter der SSID „edu-roam“ finden. Die Zugangsdaten werden Ihnen am Tag Ihrer Anreise mitgeteilt. Sollten Sie Probleme bei der Einwahl in das Netzwerk haben oder Störungen mit der bereitgestellten Präsentationshardware auf-treten, wenden Sie sich bitte an das Tagungsbüro im EG des Philosophicums.

Garderobe und Toiletten

Im Erdgeschoss des Gebäudes, Raum P6 (neben dem Tagungsbüro), können Sie Ihren Koffer abgeben. Toiletten befinden sich in jeder Etage.

Sponsorenausstellung

Bitte nutzen Sie die Gelegenheit, die Ausstellung unserer Sponsoren im Flur des 1. OG zu besuchen. Dies ist während der gesamten Dauer der Tagung möglich.

Erste Hilfe und Medizinische Versorgung

Universitätsmedizin der Johannes Gutenberg-Universität Mainz

Langenbeckstraße 11 55131 Mainz Telefon: 06131 / 17-1

Katholisches Klinikum Mainz: St. Hildegardis

Hildegardstraße 2 55131 Mainz Telefon: 06131 / 147-0

Katholisches Klinikum Mainz: St. Vincenz und Elisabeth

An der Goldgrube 11 55131 Mainz Telefon: 06131 / 575-0

Apotheken-Notdienst www.aponet.de/service/notdienst- apotheke-finden.html

Anmeldung und Informationen

Melden Sie sich nach Ihrem Eintreffen an der Johannes Gutenberg-Universität Mainz bitte am Tagungs- büro im Philosophicum, Jakob-Welder-Weg 18, Haupteingang, im EG rechts, an. Wir stehen Ihnen wäh-rend der gesamten Tagungsdauer für Fragen zur Verfügung. Gerne können Sie auch unsere Informations-hotline über die Rufnummer 06131 / 39-21026 kontaktieren.

Pausenverpflegung und Abendveranstaltung

Während der Pausen werden Kaffee und Gebäck im Flur des 1. OG des Philosophicums angeboten. Dort können Sie am Mittwoch auch den Mittagsimbiss und am Freitag den Abschlussimbiss sowie Apéro ein-nehmen.

Am Mittwochabend werden Sie in den Räumlichkeiten der Alten Mensa im Johann-Joachim-Becherweg 3 verköstigt.


10 11

Große Sporthalle

Botanischer Garten

Grüne Schule

Hanns-Dieter-Hüsch-

Dalheimer-Weg

g

Staudingerweg


Anselm-Franz-von-Bentzel-Weg

A.-F .-v.-Bentzel

Weg

Jakob-Welder Weg

Johann-Joachim-Becher-W eg

ler

F.-S

Koblenzer Straße

Saarstraße

Albe

rt-Sc

hwei

tzer

-Stra

ße

Lucy-Hillebrand-Straße

Hahn-Meitner-Weg

Max-Planck-Institutfür Chemie

Schule des Sehens

Zufahrt

Max-Plank-Institutfür Polymerforschung

Info-box

Forum

Informatik

MPI-C

MPI-P

Autobahn Innenstadt

Bretzenheim / Lerchenberg

Gonsenheim

Weg

P H

H H

P

P

P

P

trassmannw

eg

P

H

H

P

H

H

H

P

P

H

H

D.-Gresemund-Weg

H

HH

P P

P

Johannes- v. Müller-W

eg

Anthro-pologie

A 60

P



Duesbergweg

Due

sber

gweg

Saarstraße

Albe

rt-Sc

hweit

zer-S

traße

Ackermannweg

HH

H

H

H

HH

.-Pfeiffer-Weg

.-vF

C.-Kleinm

ann-Weg


Jakob-Welder-Weg

Philosophicum

ReWi

HH

BAUSTELLE

MuschelAlte Mensa

Biologie

ABENDVERANSTALTUNG am 21. September 2017

Adresse Zeiten Weyer’s ErnteHof 18:30: Shuttle | Transfer Am Heckerpfad 24 19:00: Veranstaltungsbeginn 55128 Mainz

Anfahrt | PKW• Nach ca. 700 m halbrechts auf die Ulrichstraße abbiegen

• Dem Straßenverlauf ca. 300 m folgen; dann links auf „Am Ostergraben“ abbiegen

• Am Ende der Straße rechts auf die Jakob-Leischner-Straße abbiegen

• An der nächsten Kreuzung links auf die Koblenzer Straße abbiegen

• Dem Straßenverlauf für etwa 800 m folgen; dann scharf rechts (Feldweg)

• Parallel zur Koblenzer Straße für 450 m

An- und Abreise | öffentliche Verkehrsmittel

Es verkehren zahlreiche öffentliche Verkehrsmittel, mit welchen Sie Weyer’s ErnteHof komfortabel erreichen können. Die gängigsten Linien und Abfahrtszeiten können Sie den beigefügten Verkehrstafeln entnehmen.

Linie Typ Abfahrt Ankunft Strecke51 Bahn Universität (B) Ludwig-Nauth-Str. (B) Hin

51 Bahn Ludwig-Nauth-Str. (A) Universität (A) Rück

57 Bus Universität (I) Ludwig-Nauth-Str. (D) Hin

57 Bus Ludwig-Nauth-Str. (C) Universität (H) Rück

75 Bus Universität (G) Vor der Frecht Hin

75 Bus Vor der Frecht Universität (A) Rück

650 Bus (RNN) Universität (E) Vor der Frecht Hin

650 Bus (RNN) Vor der Frecht Universität (E) Rück

17 07 14 22 29 37 44 52 59

18 07 14 22 29 37 45 55

19 05 15 25 35 45 55

20 05 15 25 37 52

Hinfahrt

Rückfahrt

Linie 51

17 13 33 53

18 13 33

19 01 31

20 01 27 57

Linie 57

17 58

19 08

20 08

20 01

Linie 75

17 18 38 53

18 18 38

19 38

20 01 27 57

Linie 650

20 05 15 25 35 45 55

21 09 24 39 54 58

22 24 54

23 24 45

0 16 45

Linie 51

20 20 52

21 22 52

22 22 52

23 22 46

Linie 57

22 40

Linie 75

20 11

21 17

22 13

Linie 650

Shuttle | Transfer

Es wird ein kostenfreier Transfer zwischen dem Campusgelände und Weyer’s ErnteHof eingerichtet. Der Shuttle fährt um 18:30 Uhr an der Muschel ab.

BRETZENHEIM

H

H Ludwig-Nauth-Str.Linien 51, 57, 75, 650

Hans-Böckler-Str./JohanniterLinien 51, 57, 75, 650

Vor der FrechtLinien 75, 650

Weyer's ErnteHofAm Heckerpfad 24 55128 Mainz

MuschelCampus

H

100 500 m


12 13

GRUSSWORTESehr geehrte Damen und Herren, liebe Kolleginnen und Kollegen,

im Namen des Vorstands der DeGEval – Gesellschaft für Evaluation darf ich Sie sehr herzlich begrüßen zur 20. Jahrestagung unserer Gesellschaft, die dieses Jahr in Mainz, dem Sitz unserer Geschäfts- stelle, stattfindet. Unser Gastgeber ist das Zentrum für Qualitätssicherung und -entwicklung (ZQ) der Johannes Gutenberg-Universität Mainz.

Ein besonderer Dank geht an das Team, das für die Organisation vor Ort verantwortlich war und ist: Prof. Dr. Uwe Schmidt, Gerlind Engel, Mareike Hinz, Isabel Maltry und die DeGEval Geschäftsstelle.

Zum Anlass des 20. Jubiläums wird die DeGEval-Jahrestagung den Blick zurück mit einem Blick in die Zukunft verknüpfen. Wie hat sich seit Gründung der Gesellschaft das Handlungsfeld Evaluation in Praxis, Theorie und Forschung verändert? Welche Entwicklungen sind in den kommenden Jahren absehbar, zu befürchten oder zu erhoffen? Welche Rolle hat die DeGEval bei diesen Entwicklungen gespielt und welche wird sie in Zukunft einnehmen?

Neben diesen Fragen zur Zukunft der Evaluation wird ein zweiter Schwerpunkt der Tagung die Zukunft als Gegenstand in der Evaluation sein. Im Mittelpunkt steht dabei die Frage: Inwiefern kann und soll Evaluation valide Aussagen über die Zukunft treffen, obwohl sie sich als empirisch gestütztes Verfahren immer nur auf Vergangenes beziehen kann? Diese Frage berührt viel-fache Aspekte der Evaluationstätigkeit:

• Aussagen über die Zukunft treffen Evaluationen immer dann, wenn sie die Generalisierbarkeit von Befunden feststellen, da damit eine Prognose hinsichtlich zukünftiger Wirkungen einer evaluierten Maßnahme getätigt wird. Unter welchen Bedingungen sind solche Prognosen tatsächlich tragbar? Warum scheitern positiv evaluierte Innovationen dennoch oft nach Einführung im Feld?

• Auch Empfehlungen, die in Evaluationsberichten ausgesprochen werden, enthalten immer eine Vorhersage in Form von prognostizierten Verbesserungen für die Zukunft. Auf welcher Basis macht Evaluation im Einzelfall solche Vorhersagen, vor allem, wenn sich Empfehlungen nicht zu 100% aus den empirischen Befunden ergeben? Wie geht Evaluation mit den dabei inhärenten Unwägbarkeiten um?

• Bei verschiedenen Evaluationsansätzen ist die Zukunft darüber hinaus genuine Perspektive der Betrachtung, indem sie Pläne, Anträge und sonstige in die Zukunft gerichtete Konzepte bewerten. Zu ihnen gehören die Ex-Ante-Evaluation, die präformative Evaluation oder die Evaluierbarkeitsanalyse. Sie befassen sich genuin mit Fragen, die die Zukunft betreffen, etwa nach Bedarfslagen, Realisierbarkeit oder Erfolgschancen. Wie und in welchen Kontexten haben sich entsprechende Ansätze bewährt und wo besteht brachliegendes Potenzial? Wie verhalten sich die Ansätze untereinander und zu ähnlichen Verfahren wie der Zukunftsforschung, Foresight-Prozessen oder der Gesetzesfolgenabschätzung?

Auf solche Themen wird in 25 Sessions sowie Postern eingegangen. Ein Treffen des Nachwuchsnetztwerkes, ein Meet the Authors sowie ein Abschlussgespräch zum Thema der Tagung runden das Programm ab. An dieser Stelle sei auch herzlich dem Programmkomitee gedankt: Prof. Dr. Wolfgang Böttcher, Prof. Dr. Jan Ulrich Hense, Susanne von Jan, Dr. Marianne Lück-Filsinger, Prof. Dr. Uwe Schmidt und Dr. Sonja Sheikh.

Zwei prominente Keynotes (Prof. Dr. Christina Christie, Los Angeles, CA und Prof. Dr. Reiner Stockmann, Saarbrücken) stellen Highlights des diesjährigen Programms dar.

Ich hoffe, dass die Jubiläumsjahrestagung der DeGEval – Gesellschaft für Evaluation viele neue Impulse, Möglichkeiten des Austauschs sowie Anregungen für die Zukunft der Evaluation geben kann. Im Namen des Vorstands danke ich Ihnen herzlich für Ihre Teilnahme.

Eine ertragreiche und anregende Tagung wünscht Ihnen, auch im Namen des Vorstands

Univ.-Prof. Dr. Philipp MayringVorstandsvorsitzender der DeGEval – Gesellschaft für Evaluation e.V.

Sehr geehrte Damen und Herren, liebe Kolleginnen und Kollegen,

als Gastgeber der 20. Jahrestagung der DeGEval begrüße ich Sie ganz herzlich am Zentrum für Qualitätssicherung und -entwicklung (ZQ) der Johannes Gutenberg-Universität Mainz.

20 Jahre DeGEval sind im Rückblick gleichbedeutend mit der erfolgreichen Förderung von Austausch und Professionalisierung im Bereich der Evaluation. Die DeGEval bot Akteuren im Umfeld von Evaluation aus sehr unterschiedlichen thematischen Feldern ein Forum und die Möglichkeit zur Positionierung im politischen Raum und sie selbst ist mit Blick auf ihr kontinuierliches Wach-sen ein Symbol für den Bedeutungsgewinn von Evaluation im deutschsprachigen Raum.

All dies böte genügend Anlässe intensiv zurückzublicken – und noch mehr einen Blick in die Zukunft auf die kommenden 20 Jahre Evaluation zu wagen. Der Fokus der 20. Jahrestagung liegt entsprechend auf den aktuellen Entwicklungen und anstehenden Herausforderungen an Evaluation. War es in den Anfangsjahren der DeGEval noch die Gewinnung von Akzeptanz für Evalua-tionsverfahren, die im Vordergrund stand, sind es heute – neben methodischen und anderen Aspekten – nicht zuletzt Fragen der Messung von Wirkungen, aber auch der Wirkung von Evaluation selbst und ihrer spezifischen Rolle im Hinblick auf die Umsetzung von Evaluationsergebnissen, die in den vergangenen Jahren zunehmend an Gewicht gewonnen haben. Diese Fragen sind eng verbunden mit den Themen der diesjährigen Jahrestagung und tangieren das Selbstverständnis sowie alle Handlungsbereiche von Evaluation.

Die Universität Mainz hat eine lange Tradition im Bereich der Hochschulevaluation. Die damit verbundenen Erfahrungen wie auch die Geschichte der DeGEval weisen darauf hin, dass sich gute Evaluation durch die Adaption von methodischen und inhalt-lichen Standards an den jeweiligen Kontext auszeichnet und damit auch der kontinuierlichen Entwicklung unterliegt. Insofern scheint das Thema der 20. Jahrestagung eine adäquate Antwort auf die Gleichzeitigkeit von Kontinuität und steter Entwicklung im Bereich der Evaluation.

Bei diesem Blick sowohl in die Vergangenheit als auch in die Zukunft der Evaluation wünsche ich Ihnen vielfältige inhaltliche Anstöße und einen anregenden Austausch mit Kolleginnen und Kollegen.

Univ.-Prof. Dr. Uwe Schmidt

Leiter des Zentrums für Qualitätssicherung und -entwicklung der Geschäftsstelle des Hochschulevaluierungsbundes


14 15

PROGRAMMÜBERSICHT

Mittwoch, 20.09.2017

12:30 - 16:30 Uhr Parallele Weiterbildungsseminare

S 1 – Dr. Stefan Rädiker Philosophicum P7 Erfolgreiche Gestaltung und Durchführung von Online-Befragungen

S 2 – Sebastian Niedlich Philosophicum P11 Alternativen zur experimentellen Kausalanalyse in Evaluationen unter Einbezug von Programmtheorien und Contribution Analysis

S 3 – Prof. Dr. Alexandra Caspari Philosophicum P13 Wirkungsmessung im Kontext von Evaluationen – Möglichkeiten und Grenzen in der Praxis

14:15 - 14:45 Uhr Kaffeepause Flur Philosophicum 1. OG


17:00 - 19:00 Uhr Mitgliederversammlung der DeGEval Philosophicum P1 (nur für Mitglieder der DeGEval)

ab 19:30 Uhr gemeinsames Abendessen in der Alten Mensa (siehe Campusplan)

Donnerstag, 21.09.2017

09:30 - 11:00 Uhr Treffen der Arbeitskreise

Berufliche Bildung (P105) Entwicklungspolitik (P110) Forschungs-, Technologie- und Innovationspolitik (P106) Gender Mainstreaming (P11) Gesundheitswesen (P105) Hochschulen (P7) Kultur und Kulturpolitik (P105) Methoden (P102) Professionalisierung (P108) Schulen (P106) Soziale Dienstleistungen (P11) Stadt- und Regionalentwicklung (P11) Strukturpolitik (P11) Umweltbereich (P11) Verwaltung (P11) Wirtschaft (P11)


11:30 - 13:00 Uhr Tagungseröffnung, Begrüßung und 1. Keynote ReWi RW1

Tagungseröffnung und Begrüßung durch den Vorsitzen-den der DeGEval sowie durch Prof. Dr. Uwe Schmidt

1. Keynote: Christina Christie, Professor of Education and Chair of the Department of Education, University of California, Los Angeles (UCLA), "Future of Evaluation – the Role of Theory."

13:00 - 14:00 Uhr Mittagspause Flur Philosophicum 1. OG

13:30 - 14:30 Uhr Posterführung Flur Philosophicum EG Moderation: Prof. Dr. Philipp Mayring

13:30 - 14:30 Uhr Treffen des Nachwuchsnetzwerkes Philosophicum P108 1.OG

14:30 - 16:00 Uhr SESSIONS BLOCK A

A 1 – Welchen Mehrwert bringen kollegiale Evaluations-verfahren in (Hochschul-)Netzwerken gegenüber externen Begutachtungen durch Agenturen? Philosophicum P110 1.OG

A 2 – Big Data: Große Datenmengen – Großes Potenzial für die Evaluation? Philosophicum P7 EG

A 3 – Gesetzesfolgenabschätzung und Gesetzes- evaluation in Deutschland – bisherige Erfahrungen und zukünftige Herausforderungen (Podiumsdiskussion) Philosophicum P105 1.OG

A 4 – Zwischen Schema F und Innovation: Eine politkfeld- übergreifende Diskussion zu methodischen Standards Philosophicum P103 1.OG

A 5 – Session des AK Kultur und Kulturpolitik Panel: Zur Zukunft von Evaluation im Kulturbetrieb Philosophicum P101 1.OG

A 6 – Einfluss von Zielen & Indikatoren auf Projekte und Evaluationen – wo stehen wir in 5 Jahren? Philosophicum P102 1.OG

A 7 – International perspectives on the Future of Evaluation Philosophicum P106 1.OG


16:45 - 18:15 Uhr SESSIONS BLOCK B

B 1 – Alles relativ? Praktische und theoretische Herausforderungen der Evaluation Philosophicum P102 1.OG

B 2 – The future of evaluation in Costa Rica: demand, supply, sustainability and the significance of Evaluation Capacity Development (ECD) Philosophicum P105 1.OG

B 3 – Ex Ante Evaluation: Wann gelingt der Blick in die Zukunft? Philosophicum P106 1.OG

B 4 – Signifikanztestrituale, Netzwerkanalyse und Kompetenzmessung: Methodische Heraus- forderungen und Innovationen Philosophicum P7 EG

B 5 – World Café „The Future now – Die Zukunft der Evaluation jetzt gestalten“ Philosophicum P103 1.OG

B 6 – Qualitätsnachweis durch Evaluationssiegel? Philosophicum P110 1.OG

18:30 - 19:00 Uhr Shuttle zur Abendveranstaltung Muschel siehe Campusplan

19:00 – ca. 23:00 Uhr Abendprogramm und Preisverleihungen Weyer´s ErnteHof


16 17

Freitag, 22.09.2017

09:00 - 10:30 Uhr SESSIONS BLOCK C

C 1 - Chancen und Grenzen interner und externer Evaluierungen aus Sicht von Politik, Verwaltung und Forschung Philosophicum P105 1.OG

C 2 – Evaluationssynthese, Meta-Evaluation und Aggregation von Indikatoren: Erkenntnisse auf höherem Niveau? Philosophicum P106 1.OG

C 3 – Einfluss, Institutionalisierung und Gelingens- bedingungen der Evaluation: Aktuelle Befunde der Forschung über Evaluation Philosophicum P102 1.OG

C 4 – Evaluation in Organisationen: Genügt in Zukunft die Innensicht? Philosophicum P103 1.OG

C 5 – Evaluation an Hochschulen: Entwicklung – Stand – Perspektiven Philosophicum P7 EG

C 6 – Zwischen den Stühlen? – Rollen von Evaluierenden und Erwartungen an Evaluation in komplexen Program-men. Vortragssessiondes AK Soziale Dienstleistungen Philosophicum P110 1.OG


10:45 - 11:45 Uhr 2. Keynote ReWi RW1 Prof. Dr. Reinhard Stockmann, Universität des Saarlandes: „Zur Zukunft der Evaluation in Deutschland“.


12:15 - 13:45 Uhr SESSIONS BLOCK D

D 1 – Das Potential von Kausalmechanismen in komplexen Evaluierungen Philosophicum P11 EG

D 2 – Interne und externe Evaluation in Schulen – Identifikation förderlicher und hinderlicher Bedingungen für den zukünftigen Einsatz der Verfahren Philosophicum P105 1.OG

D 3 – Ex ante Evaluation in der Wirtschaft – Methoden der strategischen Vorausschau und Praxisbeispiele Philosophicum P106 1.OG

D 4 – Meet the authors Philosophicum P108 1.OG

D 5 – Evaluation von Zukünften im Umweltbereich Philosophicum P101 1.OG

D 6 – 20 Jahre Gender Mainstreaming und Evaluation – Rückblick und Ausblick Philosophicum P103 1.OG

D 7 – Zur Zukunft der DeGEval Philosophicum P110 1.OG

13:45 - 14:15 Uhr Abschlussveranstaltung Philosophicum P1 EG Moderation: Prof. Dr. Philipp Mayring

14:15 - 15:00 Uhr Abschlussimbiss und Apéro Flur Philosophicum 1. OG

WEITERBILDUNGSSEMINARE

S 1 – Erfolgreiche Gestaltung und Durchführung von Online-Befragungen

Mittwoch, 20.09.2017 12:30 – 16:30 Uhr Philosophicum P7 Dr. Stefan Rädiker

Inhalt

Online-Befragungen haben sich als wichtiges Instrument der Datenerhebung in Evaluationen etabliert. In vielen Situatio-nen haben sie gegenüber klassischen, papiergestützten Erhe-bungsformen eine Reihe von Vorteilen. Zu diesen gehören vor allem Zeit- und Kosteneinsparungen für Druck, Aussendung, Rücklauf und Dateneingabe von Fragebögen. Gleichzeitig be-stehen neben dem Problem der technischen Realisierung (Be-fragungssoftware) immer wieder auch Bedenken hinsichtlich der Akzeptanz bei verschiedenen Zielgruppen. Bei Fragen wie Rücklaufquote, Anonymität, Administration oder Datenqua-lität sind daher eine Reihe von Besonderheiten von Online-Erhebungen zu berücksichtigen. Im Einzelnen werden im Se-minar diese Ziele verfolgt:

Die Teilnehmerinnen und Teilnehmer

• kennen und verstehen die Besonderheiten der Erhebung per Online-Fragebogen gegenüber papiergestützten Erhebungsformen,

• kennen wichtige Methoden zur Maximierung von Rück-laufquote und Datenqualität im Kontext von Online-Befragungen,

• kennen die zentralen Schritte zur Planung, Umsetzung bis hin zur Aufbereitung von Daten aus Online-Befragungen,

• kennen wichtige Kriterien zur Gestaltung von Ankündi-gungen, Erinnerungen, Einstiegs- und Abschlussseiten sowie Einladungs- und Bestätigungsmails,

• sammeln erste Erfahrungen bei der technischen Umset-zung eines eigenen Fragebogens in einem Befragungs-system.

Als beispielhaftes Befragungssystem kommt im Seminar die kostenfreie Software „LimeSurvey“ (www.limesurvey.de) zum Einsatz. Es werden Möglichkeiten aufgezeigt, wie diese Plattform einfach und kostengünstig für eigene Befragungen genutzt werden kann, wobei auch verschiedene Alternativen angesprochen werden.

Kontakt

Dr. Stefan Rädiker

Weddigenweg 70A D-12205 Berlin

Tel.: +49 (0)30 / 966 00 968 [email protected] www.methoden-expertise.de


18 19

S 2 – Alternativen zur experimentellen Kausalanalyse in Evaluationen unter Einbezug von Programmtheorien und Contribution Analysis

Mittwoch, 20.09.2017 12:30 – 16:30 Uhr Philosophicum P11

Sebastian Niedlich

Inhalt

In der internationalen, aber auch in der deutschen Diskussion werden experimentelle Verfahren (randomisierte Kontroll-gruppen) immer wieder als „Goldstandard“ der Evaluation bzw. Wirkungsanalyse begriffen. Derartige Verfahren stoßen allerdings häufig auf praktische und teilweise auch ethische Grenzen und sind zudem mit einem erheblichen Ressourcen-aufwand verbunden. Zudem besteht bei solchen Ansätzen die Gefahr, dass Fragen der Implementation vernachlässigt werden. Damit entfällt die Möglichkeit, die Wirksamkeit von Programmen zu erklären und beispielsweise „Theorieversa-gen“ von „Implementationsversagen“ zu unterscheiden (vgl. Stame 2010).

Mit der „Contribution Analysis“ (CA) hat Mayne (2001, 2008) ein alternatives Verfahren der Kausalanalyse vorgeschlagen, das diese Schwächen adressiert. In ähnlicher Weise haben Funnell und Rogers (2011) Ansatzpunkte für die kausale Zu-rechnung von Wirkungsbeiträgen im Rahmen theoriebasierter Evaluation (TBE) aufgezeigt. In dem Seminar werden vor dem Hintergrund eigener Lehr- und Evaluationserfahrungen mit Contribution Analysis und theoriebasierter Evaluation die Po-tenziale und konkrete Herangehensweise bei derartigen Kau-salanalysen vermittelt.

Kontakt

Sebastian Niedlich

Freie Universität Berlin Fachbereich Erziehungswissenschaft und Psychologie AB Allgemeine Erziehungswissenschaft Habelschwerdter Allee 45 14195 Berlin

Tel.: +49 (0)30 838 60092 E-Mail: [email protected]

S 3 – Wirkungsmessung im Kontext von Evaluationen – Möglichkeiten und Grenzen in der Praxis

Mittwoch, 20.09.2017 12:30 – 16:30 Uhr Philosophicum P13

Prof. Dr. Alexandra Caspari

Inhalt

Im Kontext der Debatte um Evidenz und Evaluation wird meist auch diskutiert, ob bzw. wie Wirkungsnachweise von Maßnah-men möglich sind. Zentrale Frage ist mit welchen methodo-logischen und konzeptionellen Ansätzen Wirkungen kausal einer Maßnahme zugeordnet werden können. Im Mittelpunkt aufgezeigter Lösungsansätze stehen experimentelle Unter-suchungsdesigns, die oft als „Königsweg“ für den Test von Kausalhypothesen gelten, aber auch quasi-experimentelle Designs.

Im Seminar werden die verschiedenen Untersuchungsdesigns dargestellt und verschiedenen Möglichkeiten zur Bildung von Kontroll- bzw. Vergleichsgruppen aufgezeigt. Der Unterschied zwischen (reiner) Wirkungsmessung und Wirkungsevaluation, in deren Rahmen die Messung kausaler Wirkungen lediglich ein Aspekt darstellt, wird herausgearbeitet. Der Fokus des ge-samten Seminars liegt auf konkreten Umsetzungsmöglichkei-ten in der Praxis. Es wird aufgezeigt, wann adäquate Untersu-chungsdesigns Sinn machen bzw. möglich sind, aber auch wo ihre Grenzen liegen. Über das „wie“ hinaus, geht das Seminar auch auf die Frage „was“ gemessen werden soll und zeigt ver-schiedenen Beispiele der Operationalisierung von „Wirkun-gen“ auf. Anhand von Beispielen aus diversen Politikfeldern (Soziale Arbeit, Entwicklungszusammenarbeit, Coaching und Supervision) werden konkrete Praxisbeispiele gegeben.

Kontakt

Prof. Dr. Alexandra Caspari

Evaluationsforschung, Methoden der empirischen Sozialforschung und Statistik University of Applied SciencesFachbereich 4 – Soziale Arbeit und Gesundheit Nibelungenplatz 1 D-60318 Frankfurt am Main

Tel: +49 (0)69 1533 2660 [email protected]


20 21

KEYNOTES

Future of Evaluation – the Role of Theory

Mittwoch, 20.09.201 12:00 – 13:00 Uhr ReWi RW1

Christina A. Christie University of California, Los Angeles

Will Shadish argued in his American Evaluation Association Presidential Address 20 years ago “Evaluation Theory is Who We Are.” That was an important moment for scholars and practitioners of evaluation who are committed to the development and use of evaluation theories to guide practice. Yet, as empirical work has shown, there is a gap between evaluation theory and practice. There are several explanations for this that have been explored in the literature including the extent to which evaluation theory translates into practice. In this paper I argue that for evaluation theory to gain greater traction in evaluation practice a driver is needed, and that one key driver or mechanism in this evaluation theory-practice relationship is evaluation policy. The evaluation theory-policy-practice connection is critical to explore for several rea-sons, most importantly because currently evaluation policies, especially those of USAID and UN organi-zations, serve to frame a significant portion of evaluation practice. Thus, an important future direction for evaluation scholars should be to develop the limited conceptual and empirical work on the connections between evaluation theory and policy.

Zur Zukunft der Evaluation in Deutschland

Freitag, 22.09.2017 10:45 – 11:45 Uhr ReWi RW1

Prof. Dr. Reinhard Stockmann

Die Vorhersage der Zukunft gelingt noch nicht einmal Wahrsagern. Auch Wissenschaftler liegen mit ihren Prognosen oft daneben. Dennoch macht es Sinn, sich Gedanken über die Zukunft zu machen. Dabei ist man keineswegs auf unseriöse Spekulationen angewiesen, sondern aus den Entwicklungen der letzten Jahrzehnte, dem derzeitigen Stand der Evaluation sowie erwarteten gesellschaftlichen Veränderungen lassen sich begründete Schlussfolgerungen für die Evaluation ableiten.

Der Vortrag versucht, auf der Grundlage eines theoretisch fundierten Konzepts die Institutionalisierung der Evaluation in Deutschland systematisch zu untersuchen und daran anschließend Entwicklungstrends zu identifizieren. Erschwert wird dieses Abenteuer durch die enorme Diversifizierung der Evaluationsfel-der. Deshalb muss eine vergröbernde Sichtweise erlaubt sein.

Die Institutionalisierung der Evaluation wird in drei zentralen gesellschaftlichen Subsystemen untersucht: dem politischen, dem sozialen und dem kulturellen, insbesondere dem Wissenschaftssystem. Da sich Evaluationen vorrangig mit staatlichen Politiken, Strategien und Programmen beschäftigt, kommt dem politischen System und seinen verschiedenen Organen eine besondere Rolle als Treiber der Evaluation zu. Im sozialen System kann Evaluation einerseits dazu genutzt werden, die Legitimität politischer Maßnah-men zu bewerten und andererseits, die Steuerungsfähigkeit zivilgesellschaftlicher Organisationen selbst zu erhöhen. Den beiden Nachfragesystemen, die Evaluationen in unterschiedlicher Weise nutzen, steht das professionelle Subsystem gegenüber, das ein qualifiziertes Angebot schaffen muss, um die sich wan-delnden Anforderungen aus Politik und Gesellschaft erfüllen zu können.

Im Vortrag soll zumindest in groben Zügen eruiert werden, inwieweit dies bisher gelungen ist und welche Veränderungen für die Zukunft zu erwarten sind. Auf diesen Befunden aufbauend sollen abschließend einige Herausforderungen skizziert werden, denen sich die gesamte Evaluationscommunity und insbe-sondere die DeGEval stellen muss, wenn sie die Entwicklung der Evaluation auch in den nächsten Jahren in allen drei Subsystemen positiv beeinflussen will.

Literatur

Dahler-Larsen, Peter: The Changing Role of Evaluation in a Chan-ging Society. In: Stock-mann, Reinhard & Meyer, Wolfgang: The Future of Evaluation. New York: Palgrave, 2015.

Donaldson, Stewart I.; Greene, Jennifer C.: The Future of Eva-luation in Society. Charlotte: IAP – Information Age Publishing, Inc., 2013.

Scriven, Michael: The Foundation and Future of Evaluation. In: Donaldson, Stewart; Greene. Jennifer. The Future of Evaluation in Society. Charlotte: IAP – Information Age Publishing, Inc., 2013.

Stockmann, Reinhard; Meyer, Wolfgang: Evaluation in Deutsch-land. Woher sie kommt, wo sie steht, wohin sie geht. In: Zeit-schrift für Evaluation, Heft 2, 2017. Münster, New York: Wax-mann, 2017.

Stockmann, Reinhard: Die Zukunft der Evaluation in modernen Wissensgesellschaften. In: Stockmann, Reinhard; Meyer, Wolf-gang: Die Zukunft der Evaluation – Trends, Herausforderungen, Perspektiven. Münster, New York: Waxmann, 2017.


22 23

SESSIONS BLOCK A

A1 – Welchen Mehrwert bringen kollegiale Evaluationsverfahren in (Hochschul-) Netzwerken gegenüber externen Begutachtungen durch Agenturen?

Donnerstag, 21.09.2017 14:30 – 16:00 Uhr Philosophicum P110 1.OG

Moderation: Gisa Heuser

Für die meisten Hochschulen in Deutschland ist die externe Akkreditierung im Bereich Studium und Lehre inzwischen zur Selbst-verständlichkeit geworden. Nicht zuletzt durch die Systemakkreditierung hat die eigenverantwortlich betriebene Qualitätsent-wicklung an Bedeutung gewonnen und den Universitäten wichtige Spielräume eröffnet, Qualitätsentwicklung mit Prozessen der Organisationsentwicklung zu verzahnen.

Mit der eigenverantwortlichen, internen Qualitätssicherung versprechen sich Hochschulen mehr Autonomie. Gleichzei-tig tragen sie ein höheres Maß an Verantwortung und müs-sen sicherstellen, dass ihre Systeme und Aktivitäten einem unabhängigen und „kritischen Blick“ unterzogen werden. Vor diesem Hintergrund stellt sich die Frage, welche Bedeutung Hochschulen in Netzwerken als externe Reflextionspartner haben? Können (und sollen) wechselseitige Evaluationsver-fahren die externe Qualitätssicherung besser erfüllen als Agenturen?

Das Netzwerk Quality Audit ist ein Zusammenschluss von zehn, mehrheitlich systemakkreditierten Universitäten, die sich gegenseitig als critical friends beraten, auditieren und vergleichen („benchlearning“). Es lädt dazu ein, gemein-sam mit Vertreter/inne/n von Akkreditierungsagenturen und Hochschulen diese Fragen zu erörtern.

1. Vortrag: Das Akkreditierungswesen und seine Entwicklung

• Dr. Anke Rigbers Stiftungsvorstand Evaluationsagentur Baden-Württemberg (evalag)

Thomas Reil Geschäftsführung Akkreditierungsagentur ACQUIN

2. Vortrag: Critical friend Approach – Umsetzung im Hochschulnetzwerk

• Judith Braun Geschäftsführung Netzwerk Quality Audit, Stabsstelle für Qualitäts-entwicklung und Akkreditierung, Leuphana Universität Lüneburg

Frank Niedermeier Referent Netzwerk Quality Audit, stellv. Leiter des Bereichs Hochschulstudien, Zentrum für Qualitätsentwicklung, Universität Potsdam

3. Podiumsdiskussion: Potenziale und Grenzen der externen Qualitätssicherung in Hochschulnetzwerken

• Dr. Anke Rigbers Stiftungsvorstand Evaluationsagentur Baden-Württemberg (evalag)

oder Thomas Reil Geschäftsführung Akkreditierungsagentur AQUIN

• Dr. Britta Scheideler Kooperationspartnerin Netzwerk Quality Audit, Dezernat Hochschulentwicklungsplanung, Universität Osnabrüc

• Prof. Dr. Uwe Schmidt Leiter des Zentrums für Qualitätsentwicklung, Johannes Gutenberg-Universität Mainz

• Prof. Dr. Lothar Zechlin Gründungsrektor Universität Duisburg-Essen und Professor für Öffentliches Recht i.R.

Schlagworte: Hochschulen, Methoden in der Evaluation, Evaluationstheorie und Evaluationsansätze (z.B. Nutzungsori-entierte Evaluation etc.), Nutzung und Einfluss von Evaluatio-nen, Sonstiger Evaluationskontext oder -gegenstand, Sonstige übergreifende Themen der Evaluation, Kollegiale Evaluation, Evaluation im Netzwerk, Evaluation und Organisationsent-wicklung, Critical Friend Approach

A2 – Big Data: Große Datenmengen – Großes Potenzial für die Evaluation?

Donnerstag, 21.09.2017 14:30 – 16:00 Uhr Philosophicum P7 EG

Moderation: Dr. Dörte Schott

In der Session „Big Data“ wird der Frage nachgegangen, in-wiefern mit Big Data-Ansätzen unterstützte Methoden zur Datenerhebung und Datenanalyse die Möglichkeiten zum Er-kenntnisgewinn in Evaluationen erweitern können und welche Grenzen und Gefahren zu erwarten sind. Dabei geht es unter anderem um Anforderungen an die verfügbaren Daten und er-forderliche Kompetenzen auf Seiten der Evaluierenden.

Lernende Algorithmen im Evaluationskontext: Das Beispiel ‚Boosted Regression Trees‘

Christoph E. Müller Institut für Gesetzesfolgenabschätzung und Evaluation/ Deutsches Forschungsinstitut für öffentliche Verwaltung

Ansätze aus dem Bereich des maschinellen Lernens (vgl. Be-griffe wie ‚Big Data‘, ‚Data-Mining‘ oder ‚Learning Algorithms‘) sind in der Lage, einige Nachteile klassischer multivariater Verfahren, wie zum Beispiel Regressionen, zu überwinden und erlauben einen deutlich erhöhten Modell-Fit. Am Beispiel der sog. ‚Boosted Regression Trees‘ (BRT) und Anwendungsbei-spielen aus dem Evaluationskontext wird im Vortrag illust-riert, wie lernende Algorithmen nutzbringend im Evaluations-kontext zum Einsatz gebracht werden können.

Potenziale von Big Data Mining für zukunftsbezogene Fragestellungen

Judith Hoffmann Institut für Technologie und Arbeit e. V.

Anhand der Ergebnisse und Erkenntnisse des Forschungspro-jektes „Potenzialeinschätzung von Big Data Mining für Fo-resight und Wissenschaftskommunikation“ wird diskutiert, inwiefern durch Big Data für Monitoring, Evaluation und Fore-sight (Zukunftsvorausschau) neue Nutzenpotenziale entste-hen. Im Projekt wird zum einen die Frage beantwortet, welche Ansätze derzeit verfügbar sind. Zum anderen wird untersucht, inwiefern diese Ansätze aktuelle und zukünftige Anforderun-gen an Assistenzsysteme für die methodische Unterstützung von Foresight mit Fokus auf Government Foresight und Wis-senschaftskommunikation erfüllen.

Kollateralschäden beim Schrotflintenschießen. Big Brother – Big Data – Big Trouble?

Wolfgang Meyer CEval Centrum für Evaluation

Auf der Grundlage theoretischer Überlegungen wird die Fra-ge erörtert, inwieweit Evaluation Big Data Anwendungen für den eigenen Bedarf einsetzen kann und dieses angesichts der damit verbundenen ethischen Bedenken überhaupt tun sollte. Auf der Meta-Ebene werden mögliche Zielsetzungen einer Evaluation von Big Data-Ansätzen mit Fokus auf deren Prognosefähigkeit diskutiert. Außerdem werden Alternativen zur Vorhersage von Ereignissen aufgezeigt und zur Diskussion über die Möglichkeiten und Grenzen prognostischer Aussagen im Rahmen von Evaluationen angeregt.

Schlagworte: machine learning, lernende Algorithmen, Big Data, Prognose, formative Evaluation, Potenzialeinschätzung


24 25

A3 – Gesetzesfolgenabschätzung und Gesetzesevaluation in Deutschland – bisherige Erfahrungen und zukünftige Herausforderungen (Podiumsdiskussion)


Moderation: Prof. Dr. Stephan Grohs

Die Abschätzung möglicher Folgen geplanter Regelungsvor-haben sowie die nachträgliche Überprüfung bereits in Kraft getretener Gesetzesvorhaben z. B. hinsichtlich ihrer Wirk-samkeit hat in den vergangenen Jahren auf Bundesebene zu-nehmend an Bedeutung gewonnen. Bereits im Jahr 2000 hat die Bundesregierung die Gesetzesfolgenabschätzung (GFA) in § 44 der Gemeinsamen Geschäftsordnung der Bundesmi-nisterien verankert. In den folgenden Jahren kamen weitere Prüfaspekte hinzu (z. B. Bürokratiekosten, Erfüllungsaufwand, Gender mainstreaming), die im Rahmen der Erarbeitung eines Regelungsentwurfs untersucht werden sollten. Neben der Ex-ante-Folgenbetrachtung ist in jüngerer Vergangenheit die Ex-post-Perspektive zunehmend in den Vordergrund gerückt. Dies wird u. a. daran deutlich, dass der Staatssekretärsaus-schuss für Bürokratieabbau und bessere Rechtsetzung im Jahr 2013 beschlossen hat, sämtliche Reglungsvorhaben der Bun-desregierung, die einen Erfüllungs aufwand von einer Million Euro und mehr pro Jahr verursachen, nach drei bis fünf Jahren einer Ex-post-Evaluation zu unterziehen. Auch auf Ebene der Bundesländer ist die Folgenab schätzung und die nachträgliche Überprüfung von Gesetzen ein wichtiges Thema (siehe z. B. § 39 der Gemeinsamen Geschäftsordnung für die Ministerien des Landes Nordrhein-Westfalen).

Aus diesem Grund veranstaltet der Arbeitskreis „Verwaltung“ auf der DeGEval-Jahrestagung in Mainz eine Podiumsdiskus-sion zum Thema „Gesetzesfolgenabschätzung und Gesetzes-evaluation in Deutschland – bisherige Erfahrungen und zu-künftige Herausforderungen“. Das Ziel der Veranstaltung ist es, eine Bilanz zu ziehen, welche Erfahrungen mit dem Instru-ment bislang auf Bundes- und Landesebene gesammelt wur-den, sowie zukünftige Herausfor derungen in diesem Bereich zu diskutieren.

Folgende Fragen werden dabei im Rahmen der Session behandelt

1) Welche konkreten Erfahrungen haben Sie bereits mit Geset-zesfolgenabschätzungen und -evaluationen in Ihrem Bereich gesammelt? Wie hat sich die Bedeutung von Gesetzesfolgen-abschätzungen und -evaluationen in Ihrem Bereich verändert? Was sind mögliche Gründe hierfür?

2) Welche Anforderungen/Funktionen sollen Gesetzesfolgen-abschätzungen und -evaluationen aus Ihrer Sicht erfüllen? Wie beurteilen Sie den Status quo in Ihrem Bereich? Was kann bei der Planung und Durchführung von Gesetzesfolgenab-schätzungen und -evaluationen aus Ihrer Sicht noch verbes-sert werden?

3) Welche Bedeutung werden Gesetzesfolgenabschätzungen und -evaluationen in Zukunft in Ihrem Bereich spielen? Wel-ches sind die größten Herausforderungen?

Podiums-Teilnehmer

• Dr. Michael Mensing Landtagsverwaltung Rheinland-Pfalz

• Dr. Benjamin Eichel Bundesministerium des Innern

• Axel Piesker Institut für Gesetzesfolgenabschätzung und Evaluation

• Florian Spengler Leiter des Sekretariats des Nationalen Normenkontrollrats

• Prof. Dr. Stephan Grohs Deutsche Universität für Verwaltungswissenschaften (Moderator)

Schlagworte: Verwaltung, Professionalisierung der Evaluati-on, Evaluation Capacity Building/Development, Nutzung und Einfluss von Evaluationen, Auftraggebende von Evaluationen

A4 – Zwischen Schema F und Innovation: Eine politikfeldübergreifende Diskussion zu methodischen Standards


Moderation: Prof. Dr. Alexandra Caspari; Dr. Tobias Polak

Die Session „Zwischen Schema F und Innovation“ möchte eine politikfeldübergreifende Diskussion über Evaluations-methoden und methodische Herangehensweisen innerhalb der DeGEval ermöglichen. VertreterInnen unterschiedlicher Arbeitskreise der DeGEval werden in der leitfadengestützten Fishbowl-Diskussion Evaluationsmethoden und methodische Trends in ihren jeweiligen Politikfeldern vorstellen und ge-meinsam mit dem Publikum diskutieren. Die Session möchte somit zur Nutzung der Potentiale der methodischen cross-fertilisation über die Grenzen von Politikfeldern hinwegbei-tragen.

Diese Session steht in einer Reihe von Veranstaltungen des Arbeitskreises Methoden in der Evaluation, die einen Beitrag zur Erfassung der politikfeldspezifischen Methodendiskussion und zum Austausch über die Grenzen der Arbeitskreise leisten möchte.

DiskutantInnen

• Prof. Philipp Pohlenz Sprecher AK Hochschulen, Otto-von-Guericke-Universität Magdeburg, [email protected]

Dr. Rainer Strobl Sprecher AK Soziale Dienstleistungen, proVal – Gesellschaft für sozialwissenschaftliche Analyse – Beratung – Evaluation, Hannover, [email protected]

• Marcus Capellaro Sprecher AK Gesundheitswesen, Capellaro GmbH – Konzeption & Evaluation kommunikativer Maßnahmen, [email protected]

Die Diskussionsrunde wird nach der Methode der Fishbowl-Diskussion (Innen-/Außenkreis-Methode) geführt, bei der drei vortragende VertreterInnen der Arbeitskreise den inneren Kreis und die Teilnehmende den Außenkreis bilden. Eine inter-aktive Einbindung der Interessierten findet durch das Anbieten von freien Plätzen im inneren Kreis statt.

Schlagworte: Gesundheitswesen, Hochschulen, Soziale Dienstleistungen, Methoden in der Evaluation, Evaluations-methoden, Innovationen, Evaluationsdesigns


26 27

A5 – Session des AK Kultur und Kulturpolitik – Panel: Zur Zukunft von Evaluation im Kulturbetrieb


Moderation: Tülin Engin-Stock und Dr. Vera Hennefeld

Im Bereich Kultur und Kulturpolitik ist die Evaluationskultur in Deutschland bisher weniger stark entwickelt als in ande-ren Politikfeldern. Häufig überwiegen Zweifel am Nutzen von Evaluation und der Evaluierbarkeit kultureller Angebote. So-dass auch wenn in Politik und Praxis das Engagement, ange-messene Herangehensweisen und Methoden in diesem Kon-text zu entwickeln und zu erproben, seit einigen Jahren immer mehr zunimmt, weiterhin vielfältige Maßnahmen erforderlich sein werden, um Evaluationen als Instrument zur Entwicklung und zum Lernen im kulturellen Sektor fest zu verankern und eine breite Akzeptanz zu schaffen. Der AK Kultur und Kultur-politik möchte das Thema Jahrestagung daher zum Anlass nehmen die Zukunft von Evaluation im Kulturbetrieb gemein-sam mit Akteurinnen und Akteuren des Kulturbetriebs zu dis-kutieren. Dabei geht es insbesondere um Fragen des Nutzens und der Nutzung von Evaluation für Kultur und Kulturpolitik sowie damit verbunden auch potentiellen Nutzungsgrenzen. Thematisiert werden soll auch, inwiefern der Kulturbetrieb von der bereits stärker entwickelten Evaluationskultur im Feld der Auswärtigen Kultur- und Bildungspolitik lernen könnte. Darüberhinausgehend soll gemeinsam überlegt werden, wie Evaluationen im Kultursektor stärker verankert werden kön-nen und welchen Beitrag der AK Kultur und Kulturpolitik in der DeGEval e.V. in einem solchen Prozess leisten kann und soll.

Aus folgenden Institutionen sollen Diskutantinnen und Disku-tanten für das Panel gewonnen werden:

• MMag. Thomas Heskia MAS, Vorstandsmitglied Fachverband Kulturmanagement e.V.

• Ursula Bongaerts Leiterin Programm-Management und Evaluation, Kulturstiftung des Bundes

• VLR Dr. Thietmar Bachmann Leiter Evaluierung und Evaluierungsmanagement Auswärtiges Amt

• Sabine Schirra Kulturamtsleiterin, Stadt Mannheim

Moderation

Tülin Engin-Stock uzbonn – Gesellschaft für empirische Sozialforschung und Evaluation GmbH, [email protected]

und Dr. Vera Hennefeld CEval GmbH, [email protected], Sprecherinnen des AK Kultur- und Kulturpolitik

Schlagworte: Kultur und Kulturpolitik, Nutzung und Einfluss von Evaluationen, Sonstige übergreifende Themen der Eva-luation, Sonstige Themen der Professionalisierung, Zukunft, Lobbyarbeit

A6 – Einfluss von Zielen & Indikatoren auf Projekte und Evaluationen – wo stehen wir in 5 Jahren?


Moderation: Dr. Susanne von Jan

Seit 10 Jahren ist ein zentrales Element von Programm- und Projektevaluationen der Entwicklungszusammenarbeit die Untersuchung der Zielerreichung über die Beurteilung bzw. Messung von Indikatoren. Diese Vorgehensweise, die Teil eines ergebnisorientierten Managements ist, folgte einer internationalen Fachdebatte und ist bis heute state of the art. Was sind die Auswirkungen dieser Form von Wirkungsorientierung mit Blick auf die Art und Weise der Durchführung von Evaluationen, Pro-jektmonitoring und die Qualität und Wirksamkeit der Projekte und Programme? Welche Entwicklungen zeichnen sich ab und sollten für Planung und Durchführung von Programmen und Evaluationen in Zukunft verstärkt beachtet werden?

Die Vorteile der Ergebnisorientierung werden generell in einer Stärkung der strategischen Ausrichtung, größerer Freiheit und Flexibilität der eingesetzten Aktivitäten und Vorgehenswei-sen sowie einer konstanten Anpassung der Projektangebote an den Bedarf der Zielgruppen durch Monitoring gesehen. Indikatoren können eine objektivere Beurteilung von Pro-grammfortschritten unterstützen. Verstärkte Wirkungsorien-tierung gebietet jedoch auch, Schwachpunkte und negative nicht-intendierte Wirkungen der eingesetzten Methoden in den Blick zu nehmen. Rückmeldungen von PraktikerInnen und Analysen von Metaevaluierungen deuten darauf hin, dass ne-ben dem Fokus auf Wirkungsorientierung in Zukunft wieder mehr auf konkrete Arbeitsabläufe und Projektmanagement (nicht nur Monitoring!) in Evaluationen berücksichtigt werden sollten. Des Weiteren erscheinen wichtige Fragestellungen der Relevanz und Nachhaltigkeit nur sehr verkürzt in den Blick ge-nommen: Wurde angemessen partizipativ mit den relevanten Stakeholdern und Zielgruppen geplant? Inwiefern berücksich-tigt die Arbeit die Lessons Learnt der vergangenen Jahre und Jahrzehnte?

Ziel der Session ist es, aus der Arbeitspraxis Vor- und Nach-teile der Ergebnisorientierung durch Ziele und Indikatoren zu beschreiben und praktische Lösungsmöglichkeiten für die zukünftige Arbeit im Bereich Evaluation und Monitoring zu diskutieren und zu entwickeln.

Die Session ist klassisch strukturiert: Input/Problembeschrei-bung und Podiumsdiskussion mit offener Diskussionsrun-de am Ende. Die Partizipation der Teilnehmenden soll durch den Einsatz der Workshop- und Diskussions-Software Sli.do (https://www.sli.do/about) unterstützt werden, indem die Teilnehmenden mit ihren smart phones während des Inputs und der Podiumsdiskussion Beiträge und Kurzkommentare schreiben, die dann direkt in die Diskussion einfließen können.

Ablauf der Session

a) Begrüßung und Kurzeinführung zur Partizipationsmöglichkeit über Sli.do (10 min)

b) Impulsvortrag (15 min): Einfluss von Zielen & Indikatoren auf Projekte und Evaluationen – wo stehen wir in 5 Jahren? (Jens Koy)

c) Podiumsdiskussion mit Öffnung zum Publikum(60 min): Wie können die Stärken der Wirkungsorientierung gefördert und wie können systematische Fehlentwicklungen in der Zukunft bearbeitet werden?

DiskutantInnen

• Dr. Sven Harten Abteilungsleiter Kompetenzzentrum Methoden / Stellvertretender Geschäftsführer, Deutsches Evaluierungsinstitut der Entwicklungs- zusammenarbeit gGmbH (DEval), Bonn

• Christiane Schulte Stabsreferat Ergebnismanagement und Verfahrenssicherung, Brot für die Welt - Evangelischer Entwicklungsdienst, Evangelisches Werk für Diakonie und Entwicklung e.V., Berlin

• Martin Dorschel Abteilungsdirektor Evaluierungsabteilung, KfW Entwicklungsbank, Frankfurt

• Jens Koy Freier Evaluator und Berater, Bonn

d) Abschluss und Ausblick, Feed-back zu Sli.do

Schlagworte: Entwicklungspolitik, Nutzung und Einfluss von Evaluationen, Sonstige theoretische und methodische Aspekte der Evaluation, Ergebnisorientiertes Management, Monitoring, nicht-intendierte Wirkungen


28 29

A7 – International perspectives on the Future of Evaluation


Moderation: Ole Winckler Andersen

The session is jointly organized by European Evaluation Socie-ty (EES) and DeGEval Board.

The mandate of the European Evaluation Society (EES) is to stimulate, guide and promote the theory, practice and utili-zation of evaluation in Europe and beyond. EES has organized conferences in many European countries and collaborates with a number of international and national organizations. The present number of members is more than 400. For more information see europeanevaluation.org.

The purpose of the session is to discuss the future of evalua-tion from various perspectives and to facilitate a discussion between participants with different backgrounds. The panel comprises a politician, two researchers, a consultant and a representative from an international organization. The discus-sion will be organized as a fishbowl, which implies that not only the panelists, but also other participants can influence the discussion. It is envisaged that at least the following issues will be discussed: (i) methodological developments; (ii) eva-luation and research; (iii) organizational developments; (iv) professionalism and independence.

Panel

• Pilar Garrido Gonzalo, Deputy Minister of National Plan-ning and Economic Policy of Costa Rica – MIDEPLAN

• Professor Jan Hense, DeGEval Board, Germany

• Professor Christina Christie, USA (tbc)

• Senior Consultant, Mr. Nick York, IOD Park, UK

The session will be organized as a Fishbowl, and moderator of the session will be Ole Winckler Andersen, senior analyst at Danish Institute of International Studies and board member of EES.

SESSIONS BLOCK B

B1 – Alles relativ? Praktische und theoretische Herausforderungen der Evaluation

Donnerstag, 21.09.2017 16:45 – 18:15 Philosophicum P102 1.OG

Moderation: Dr. Vera Hennefeld

Die drei Beiträge im Rahmen dieser Session stellen das Thema Qualität von Evaluationen und die mit der Sicherung dieser verbundenen praktischen und theoretischen Herausforderun-gen in der Evaluationspraxis ins Zentrum. Diskutiert werden einerseits evaluationspraktische Probleme wie die Validität von Datenerhebungen bei speziellen Zielgruppen und die Frage nach der Objektivität und Unabhängigkeit von internen Evaluationsverfahren sowie andererseits Unsicherheiten, de-nen bei der Durchführung von Evaluationen zu begegnen ist.

Qualität von Studium und Lehre als soziales Konstrukt – Herausforderungen für die Evaluation an Hochschulen in der Zukunft

Dana Frohwieder, Peggy Szymenderski TU Dresden, Zentrum für Qualitätsanalyse

Ausgangspunkt dieses Beitrags ist die mit dem Bologna-Pro-zess verbundene Internalisierung von Evaluationen an Hoch-schulen. Diese resultiert aus der zunehmenden Bedeutung von Systemakkreditierungen, die u.a. mit einer hochschulei-genen Definition ihres Qualitätsverständnisses und internen Verfahren der Qualitätssicherung einhergehen. Die Referen-tinnen setzen sich daher kritisch mit der Frage auseinander, inwiefern interne Evaluationsverfahren den Ansprüchen an Objektivität und Unabhängigkeit dauerhaft genügen können. Hierzu stellen sie das Qualitätsmanagement für Studium und Lehre an der TU Dresden vor und die dort implementierten Maßnahmen zur Sicherung der Genauigkeit und Nützlichkeit der Evaluationsaktivitäten.

Die Relativität methodischer Gütekriterien vor dem Hintergrund organisationaler Qualitätsziele

Dominique Moisl HAW Landshut

Die Berücksichtigung der NutzerInnenperspektive ist für sta-tionäre Einrichtungen der Behindertenhilfe ein wichtiger Bau-stein der Qualitätsentwicklung. Aus methodischer Sicht ist die Befragung dieser Zielgruppe in der Praxis jedoch mit verschie-denen Problemen verbunden, wie z.B. die für die Beantwor-tung von Fragen erforderliche Abstraktionsleistung durch die Zielgruppe und die Tatsache, dass Erhebungen oft nur unter

Anwesenheit Dritter durchgeführt werden können. Der Re-ferent plädiert daher für den Einsatz qualitativer Verfahren der Datenerhebung sowie eine adäquate Konzipierung des Konstrukts der Qualität. Denn Qualität impliziert in diesem Kontext auch AdressatInnenpartizipation, die unter anderem durch Evaluationen erreicht werden kann. Daher bemisst sich die Qualität einer Evaluation aus Sicht des Referenten hier nicht primär durch wissenschaftliche Gütekriterien, sondern insbesondere durch den Partizipationsgrad der AdressatInnen.

Auf schwankendem Grund: Unsicherheit und Mehrdeutigkeit in der Evaluation

Holger Bähr Institut für Arbeitsmarkt- und Berufsforschung (IAB); Dieter Filsinger, Hochschule für Technik und Wirtschaft des Saarlandes

Mit Evaluationen ist häufig die Vorstellung einer Rückkopp-lungsschleife verbunden, also dass ihre Befunde eingesetzt werden, um eine effektive und effiziente Zielerreichung von Maßnahmen zu ermöglichen. In diesem Verständnis wird je-doch vernachlässigt, welche Ziele die Auftraggeber einer Eva-luation verfolgen und wie Evaluierende zum Erreichen dieser unterschiedlichen Zielsetzungen beitragen können. Ausgangs-punkt des Vortrags ist die These, dass die Beziehung zwischen Auftraggebern und Auftragnehmern von Evaluationen durch Unsicherheit – primär bei den Evaluierenden – und Mehrdeu-tigkeit – primär bei den Auftraggebern – gekennzeichnet ist. Eine wichtige Unsicherheit aufseiten der Evaluierenden ist zum Beispiel die Unsicherheit wissenschaftlichen Wissens, die zu unsicheren Aussagen über Problemursachen und wirksa-me Problemlösungen führt. Aufseiten der Auftgraggebenden führen die unterschiedlichen Evaluationsfunktionen (wie z.B. Legitimation vs. Lernen) und deren jeweiliger Stellenwert in einer spezifischen Evaluation zu Mehrdeutigkeit im Sinne un-terschiedlicher Interpretation gleicher Sachverhalte.

Schlagworte: Soziale Dienstleistungen, Mixed Methods/Methoden, Evaluationstheorie und Evaluationsansätze, Nutzung und Einfluss von Evaluation, Auftraggebende von Evaluationen, Forschung über Evaluation


30 31

B2 – The future of evaluation in Costa Rica: demand, supply, sustainability and the significance of Evaluation Capacity Development (ECD)


Moderation: Erwin Geuder-Jilg

During the proposed session, based on the experience of Cos-ta Rica the future perspectives in the field of evaluation will be shared, considering the progresses made until now and the challenges ahead. In May 2018 the government and the par-liament of Costa Rica will change; the approach of the Ger-man-Costa Rican cooperation project FOCEVAL is anchoring the continuity of evaluation in ministries, in the parliament, in universities, among evaluators and civil society organisations by creating capacities and sustainable structures. These actors have become protagonists of bringing evaluation to educa-tion, to remote rural areas, to institutional planning, and to the political decision makers and are strengthened to keep up this role in the future. Young and Emergent Evaluators sup-ported by FOCEVAL will be the future evaluators in the coun-try. Public institutions sensitized and trained by FOCEVAL will be their future clients.

The session is designed to present the sustainability perspec-tives of evaluation in Costa Rica.

The National Evaluation Agenda (ANE) and the National Evaluation Policy

Mrs. Pilar Garrido Gonzalo Deputy Minister of MIDEPLAN (Ministry for National Planning

and Economic Policy Costa Rica)

Perspectives of sustainability of evaluation in Costa Rica after May 2018

Mrs. Florita Azofeifa Director of the Department of Evaluation and

Monitoring of MIDEPLAN (Costa Rica)

Professionalization of evaluation, the situation and perspectives of evaluators in Costa Rica and the participation of Young and Emergent Evaluators (YEE) in evaluations.

Mrs. Carolina Zúñiga staff evaluator of FOCEVAL

The support of FOCEVAL to the demand and supply of evaluation in Costa Rica, the innovative approach of FOCEVAL and strategies of FOCEVAL to secure the sustainability of evaluation in Costa Rica in the future

Mrs. Stefanie Krapp Head of department of DEval

The session will be held in English.

Schlagworte: Entwicklungspolitik, Evaluation Capacity Buil-ding/Development, Nachwuchsaspekte, Auftraggebende von Evaluationen, ECD, Nachhaltigkeit, Evaluierungskultur

B3 – Ex Ante Evaluation: Wann gelingt der Blick in die Zukunft?


Moderation: Jens Koy

Ex-ante-Evaluierungen werden in der Entwicklungszusam-menarbeit in Deutschland wenig zur Planung oder Verbes-serung von Vorhaben eingesetzt. Warum ist das so? Fehlen die Grundlagen? Sind die Ansätze zu kompliziert? Wie sehen Evaluierungen aus, die Elemente von Ex-ante-Evaluierungen nutzen oder reine Ex-ante-Evaluierungen sind. Die Session soll mit zwei Fachvorträgen und einer Abschlussdiskussion mehr Klarheit verschaffen.

Stefan Silvestrini CEval GmbH, Deutschland; [email protected]

führt im ersten Vortrag in die Ziele und Aufgaben von Ex-an-te-Evaluation ein und skizziert ihre methodischen und prakti-schen Anforderungen. Anschließend stellt er die Bestandteile dieser Vorgehensweise vor und führt sie an Fallbeispielen aus. Abschließend legt er seine Einschätzungen, Schlussfolgerun-gen und Empfehlungen zur zukünftigen Entwicklung und Nut-

zung von Ex-ante-Evaluation dar.

Lennart Bendfeldt-Huthmann Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ), Deutschland

veranschaulicht im zweiten Vortrag die Anwendung von Ex-ante Elementen am Beispiel einer Evaluierung von Flucht- und Migrationsvorhaben. Bei der Evaluation wurden Elemen-te von Ex-ante Evaluierungen, systematischen Reviews, Fall-studien und formativem Lernen kombiniert. Der Ex-ante Teil zielt darauf ab, die gängigen Wirkungshypothesen laufender Flucht- und Migrationsvorhaben der GIZ zu analysieren.

Die Abschlussdiskussion widmet sich den oben dargestellten Fragen und bietet Raum für Nachfragen und Statements der Teilnehmenden.


32 33

B4 – Signifikanztestrituale, Netzwerkanalyse und Kompetenzmessung: Methodische Herausforderungen und Innovationen

Donnerstag, 21.09.2017 16:45 – 18:15 Philosophicum P7 EG

Moderation: Prof. Dr. Alexandra Caspari und Dr. Tobias Polak

Vor dem Hintergrund wachsender Bedeutung von Evaluatio-nen in diversen Politikfeldern gewinnen Aspekte der metho-dischen Qualität von Evaluationen in Zukunft an Bedeutung. EvaluatorInnen stehen dabei vor der Herausforderung, sowohl bestehende Methoden fundiert und korrekt anwenden zu kön-nen als auch über ein breites Repertoire an unterschiedlichen und innovativen, gegenstandsbezogenen Methoden zu ver-fügen. Beide Aspekte – methodische Herausforderungen bei häufig angewandten Methoden und innovative Methoden – werden in dieser Session besprochen.

Der erste Beitrag „Die Maßnahme war erfolgreich (p < 0.05). Zur praktischen Bedeutsamkeit inferenzstatistischer Me-thoden in Evaluationen“ von Kalle Hauss, Freie Universität Berlin, beschäftigt sich mit potentiellen Fallstricken von Si-gnifikanztests bei inferenzstatistischen Verfahren. Anhand einer Inhaltsanalyse von 307 Beiträgen einschlägiger Fach-zeitschriften wird aufgezeigt, wie verbreitet die Anwendung inferenzstatistischer Methoden in Evaluationen ist, inwieweit die Bedingungen für eine valide Inferenz gegeben sind und das gewonnene Wissen tatsächlich gesichert ist.

Im zweiten Beitrag „Das Potential sozialer Netzwerkanalysen in Projektevaluationen“ von Marcel Faaß, Hendrik Lohse-Bossenz, Thi To-Uyen Nguyen und Olaf Ratzlaff, Universität Potsdam, wird die Soziale Netzwerkanalyse (SNA) als eine in Evalua-tionen nur selten angewandte Methode vorgestellt. Anhand dreier Beispiele aus dem Bereich Hochschulevaluation wird aufgezeigt, wie die Strukturen und Beziehungen von AkteurIn-nen innerhalb eines Projektes mittels der SNA untersucht und dargestellt werden können und welchen Mehrwert die SNA als Teilaspekt im Kontext einer Evaluation haben kann.

Im dritten Beitrag „Kompetenzorientierte Evaluation von fachübergreifenden Förderangeboten – theoretische und me-thodische Vorüberlegen einer Pilotstudie an der Hochschule Osnabrück“ von Katharina Schurz und Frank Mayer, Hochschu-le Osnabrück, wird abschließend ein Evaluationsinstrument vorgestellt, anhand dessen sowohl die Qualität von Förderan-geboten im Hochschulbereich evaluiert als auch der mögliche Kompetenzerwerb der Studierenden gemessen werden soll. Unklarheiten hinsichtlich der Kausalitätsmessung der Wirkun-gen wird hierbei durch ein Längsschnitt-Design begegnet.

Schlagworte: Inferenzstatistik, Signifikanztests, Soziale Netz-werkanalyse, Kompetenzmessung, Hochschulen

B5 – World Café "The Future now – Die Zukunft der Evaluation jetzt gestalten"


Moderation: Dr. Wolfgang Meyer, Prof. Dr. Reinhard Stockmann

Im Rahmen eines „World Cafés“ wird mit den Teilnehmerin-nen und Teilnehmern gemeinsam die Frage erörtert, wie die Zukunft der Evaluation in Deutschland mit und durch die De-GEval gestaltet werden sollte. In einem ersten Schritt geht es darum, die zentralen Herausforderungen und Probleme der Evaluation zu identifizieren und diese hinsichtlich ihrer Dring-lichkeit zu bewerten. Dabei stehen sowohl sektorale Entwick-lungsprozesse und Trends, die Evaluationen vor neue Aufga-ben stellen, als auch Veränderungen innerhalb der Evaluation, die zu neuen Ansätzen, Konzepten oder Methoden zur Bear-beitung der Aufträge führen können, im Fokus der Gespräche.

Diese Frage wird entsprechend dem World Café Konzept in kleinen Gruppen (maximal vier Personen) und in lockerer At-mosphäre erörtert und von den Teilnehmenden während der Diskussion auf Postern dokumentiert. Am Ende dieser Dis-kussionsrunde (nach ca. 20 Minuten) wechseln die Teilneh-merinnen und Teilnehmer die Gruppen, wobei allerdings eine Teilnehmerin bzw. ein Teilnehmer als "Gastgeber" (und später Berichterstattende) vor Ort bleibt um den Neuankommenden den bisherigen Diskussionstand zu vermitteln.

Die zweite Diskussionsrunde beschäftigt sich mit der Frage, welche Rolle die DeGEval bei den identifizierten und priori-sierten Herausforderungen der Evaluation spielen kann und spielen sollte. Hier geht es um die Erarbeitung einer Hand-lungsagenda, die wiederum bezüglich ihrer Dringlichkeit ge-wichtet werden soll.

Nach dieser zweiten Runde (nochmals ca. 20 Minuten) findet wiederum ein Wechsel zwischen den Gruppen statt. Die Fra-gestellung der dritten und letzten Runde betrifft die DeGEval als Institution und ihre Außendarstellung. Inwieweit können die identifizierten Herausforderungen und dazu notwendigen Aktivitäten in den gegenwärtigen Strukturen und Formen ge-leistet werden? Welche institutionellen oder prozessoralen Änderungen der DeGEval wären notwendig, damit die Her-ausforderungen der Zukunft an die Evaluation wirkungsvoll bearbeitet werden könnten?

Die Veranstaltung schließt mit einer kurzen Vorstellung der Gruppenarbeitsergebnisse und einer abschließenden Diskus-sion der erarbeiteten Handlungsagenden. Im Zentrum steht dabei die Frage, wie und in welcher Form die Vorschläge wei-ter im Rahmen der DeGEval erörtert und in ein Arbeitspro-gramm überführt werden können und sollen.

Ziel dieser Veranstaltung ist die Stärkung des Dialogs inner-halb der Mitgliedschaft zur Weiterentwicklung der DeGEval. In dem konkrete Handlungsfelder und -optionen von den Teil-nehmerinnen und Teilnehmer identifiziert werden, sollen eine stärkere Selbstreflektion und ein Diskurs über die zukünftige Entwicklung angestoßen werden. Selbstverständlich erhebt die Veranstaltung nicht den Anspruch, ein repräsentatives Meinungsbild der Mitglieder wiederzugeben noch geht es da-rum, konkrete Forderungen an den Vorstand zu stellen. In der lockeren Form des World Cafés soll lediglich zum Nachdenken über die Zukunft der Evaluation und der DeGEval angeregt werden, aus dem sich neue Impulse und Anregungen für die Vereinsarbeit ergeben können.

Schlagworte: Professionalisierung der Evaluation, Nutzung und Einfluss von Evaluationen, Auftraggebende von Evaluatio-nen, Standards der Evaluation und ethische Fragen, Sonstiger Evaluationskontext oder -gegenstand, Sonstige theoretische und methodische Aspekte der Evaluation, Sonstige Themen der Professionalisierung, Entwicklung der Evaluation, Professionali-sierung, Verbandsarbeit


34 35

B6 – Qualitätsnachweis durch Evaluationssiegel?


Moderation: Dr. Maria Gutknecht-Gmeiner und Dr. Dörte Schott

Der „Markt“ rund um Evaluationen wird von zunehmend mehr Akteuren beeinflusst und mitgestaltet – darunter Akteure, die sich nicht den DeGEval-Standards verpflichtet sehen oder diese nicht umsetzen. Zusammen mit Vergabeverfahren, in denen die Qualität der Evaluation teilweise weniger Gewicht erhält als der Preis, wird somit die Qualität von beauftragten und durchgeführten Evaluation in Frage gestellt. Dies wie-derum kann unerwünschte Folgen für die Anerkennung von Evaluation als wissenschaftliche Leistung sowie für die Eva-luation als berufliche Perspektive haben. Unter Evaluierenden wird der Wunsch nach einem Qualitätsnachweis laut, welcher von Auftraggebenden bei der Auswahl und Finanzierung von Evaluationen Berücksichtigung finden kann. Die Formulierung dieses Anliegens wirft eine Reihe von Fragen auf, welche mit den Teilnehmenden im Workshop-Format bearbeitet werden sollen:

1) Wie kann Qualität von Evaluierungsarbeit festgestellt und belegt werden? Was sind die Voraussetzungen auf Seiten von Evaluierenden für eine gute Evaluation (fachliche, metho-dische und persönliche Kompetenzen, akademische Abschlüs-se etc.)?

2) Welchem Zweck würde ein Anerkennungsverfahren inner-halb der DeGEval dienen – Ein- und Ausschluss von Perso-nengruppen oder Weiterentwicklung und fachlicher Diskurs? Stehen für die DeGEval die Professionalisierung als kontinu-ierlicher Prozess im Vordergrund oder die einmal erlangte und belegte Professionalität?

3) Was wäre der zu erwartende Nutzen eines Anerkennungs-verfahrens a) für Evaluierende und b) für Auftraggebende? Inwieweit könnte der Nutzen den zeitlichen und finanziellen Aufwand rechtfertigen? Was wären Vorteile eines Nachweises von Kompetenzen gegenüber einem Nachweis von wahrge-nommenen Weiterbildungsmöglichkeiten?

4) Was wären die zu erwartenden Neben-/Wirkungen Aner-kennungsverfahrens innerhalb der DeGEval a) nach innen in die DeGEval und b) nach außen in Richtung Auftraggebende oder Arbeitsmarkt/Arbeitgebende für Evaluierende?

VeranstalterArbeitskreis Professionalisierung in der Gesellschaft für Eva-luation (DeGEval e.V.) www.degeval.de/arbeitskreise/profes-sionalisierung-ehemals-aus-und-weiterbildung-in-der-evalu-ation/

KontaktDörte Schott: [email protected] Gutknecht-Gmeiner: [email protected]

Schlagworte: Auftraggebende von Evaluationen, Standards der Evaluation und ethische Fragen, Sonstiger Evaluations-kontext oder -gegenstand, Sonstige theoretische und me-thodische Aspekte der Evaluation, Sonstige übergreifende Themen der Evaluation, Qualität von Evaluierungsarbeit, An-erkennungsverfahren für Evaluierende, Evaluation als berufli-che Perspektive

SESSIONS BLOCK C

C1 – Chancen und Grenzen interner und externer Evaluierungen aus Sicht von Politik, Verwaltung und Forschung

Freitag, 22.09.2017 9:00 – 10:30 Uhr Philosophicum P105 1.OG

Moderation: Roman Noetzel

Die zunehmende Bedeutung der Rechenschaft, Überprüfbar-keit und Wirkungsorientierung im FTI-Politikfeld führt immer stärker zu einer Neuvermessung der Prozesse in den Bereichen interner Evaluation, Monitoring und externer Evaluation. Dabei werden vorhandene Spannungsfelder, die mit den Begriffen Unabhängigkeit, Transparenz und Qualität umrissen werden können, virulent und beeinflussen sowohl methodische Justie-rungen als auch den Diskurs zur Rolle von „Politikfeld-Evaluati-onen“. Diese Aspekte werden im Rahmen der Session anhand der praktischen Erfahrungen in Österreich beleuchtet. Elemen-te der Impulsvorträge werden im Anschluss im Rahmen einer moderierten Diskussion ergänzt und diskutiert.

In ihrem Beitrag „Masse statt Klasse? Interne und externe Evaluierung im Bereich FTI und Wirkungsorientierung in Ös-terreich“ berichten Rupert Pichler und Mario Steyer vom ös-terreichischen Bundesministerium für Verkehr, Innovation und Technologie von den grundlegenden Prinzipien und ersten Ef-fekte der neuen wirkungsorientierten Haushaltsführung auf die FTI-Politik und gehen u.a. den Fragen nach den Implikationen der Neuausrichtung auf Prozesse, Selbstverständnis und neuen Modellen der „Arbeitsteilung“ nach.

Monika Finsterwald, Markus Schwab und Georg Spiel von pro mente: forschung, Österreich zeichnen in ihrem Beitrag zu „Evaluation im Spannungsfeld interner partizipativer Qualitäts-entwicklung und externer Qualitätssicherung“ die besonderen Herausforderungen für interne und externe Evaluierungen im Gesundheitsbereich in Österreich nach. Dabei arbeiten sie den Einfluss der diversifizierten Akteurskonstellation mit ihren un-terschiedlichen Interessenlagen anhand eines konkreten Praxis-beispiels heraus. In diesem Zusammenhang machen sie auch das Spannungsfeld zwischen Evaluation und partizipativer Qua-litätsentwicklung transparent.


36 37

C2 – Evaluationssynthese, Meta-Evaluation und Aggregation von Indikatoren: Erkenntnisse auf höherem Niveau?


Moderation: Prof. Dr. Dieter Filsinger

Die Session versammelt Beiträge, die stark (forschungs-)me-thodisch ausgerichtet sind. Diese befassen sich im weitesten Sinne mit den Potenzialen, methodischen Herausforderungen und Grenzen von ‚Verknüpfungen‘ bzw. Aggregationen im Feld von Monitoring, Evaluation und Qualitätsentwicklung aus-einandersetzen. Die systematische Wissensaggregation wie auch die Aggregation von Wirkungsindikatoren versprechen Erkenntnisgewinne bezüglich übergeordneter Fragestellun-gen im Feld der Nachhaltigen Entwicklung in der deutschen Entwicklungszusammenarbeit, die zunehmend von Durch-führungsorganisationen gefragt sind. Die methodischen und praktischen Herausforderungen sind erheblich. Deren Bewäl-tigung wird exemplarisch vorgestellt. Die Verknüpfung von in-terner und externer Qualitätssicherung kann offensichtlich je nach Kontext unterschiedlich analysiert und bewertet, wobei die europäische Perspektive einer transeuropäischen Erweite-rung bedarf.

Martin Noltze, Michael Euler & Ida Verspohl (Deutsches Eva-luierungsinstitut der Entwicklungszusammenarbeit; DEVAL) argumentieren für eine Integration von Meta-Evaluierung und Evaluationssynthese, um vorhandenes Wissen zu aggregieren und somit zu evidenzbasierten Handlungsempfehlungen zur Nachhaltigen Entwicklung zu gelangen. Mit dem vom DE-VAL entwickelten Designs soll zum einen methodische Güte sichergestellt, ohne aber Evaluationen mit eingeschränkter Qualität auszuschließen. Die Aggregation steht auch im Zen-trum des Beitrags von Judith Müller-Gerold (Deutsche Ge-

sellschaft für Internationale Zusammenarbeit (GIZ) & Stefan Selvestrini (Centrum für Evaluation GmbH Saarbrücken). Vor dem Hintergrund von Bestrebungen zur ‚Messbarmachung‘ der Zielerreichung von Nachhaltiger Entwicklung und des diesbezüglichen Gesamtbeitrags von Durchführungsorganisa-tionen, wird der Prozess zur Aggregation von Wirkungsindika-toren rekonstruiert sowie Potentiale, Herausforderungen und Grenzen aggregierter Berichterstattung erörtert. Frank Nie-dermeier (Universität Potsdam) & Oliver Vittori (Wirtschafts-universität Wien) problematisieren die Annahme, dass die enge Abstimmung von interner und externer Qualitätssiche-rung und –Entwicklung in Fragen von Lehre und Studium sinn-voll sei. In vergleichender Perspektive (Europa, ASEAN-Raum) diskutieren die Vortragenden auf der Grundlage von Experten-interviews kritisch der Komplementaritätsthese und plädieren nachdrücklich für eine Kontextualisierung des Paradigmas.

Schlagworte: Evaluationstheorie, Evaluationsansätze und Evaluationsmethoden, Forschungsmethoden, Quantitative Methoden der Evaluation, Evaluationssynthese, Meta-Evalu-ation, Wirkungsindikatoren, Reporting, Entwicklungspolitik, Nachhaltige Entwicklung, Hochschulpolitik, internationaler Vergleich

C3 – Einfluss, Institutionalisierung und Gelingensbedingungen der Evaluation: Aktuelle Befunde der Forschung über Evaluation


Moderation: Prof. Dr. Sandy Taut

Übergreifende Problemstellung

Im Zuge der Professionalisierung von Evaluation hat For-schung über Evaluation eine Schlüsselfunktion. In dieser Sessi-on werden in drei Beiträgen aktuelle Konzepte und Befunde zu wichtigen Forschungsthemen wie Einfluss, Institutionalisie-rung und Gelingensbedingungen von Evaluation vorgestellt. Verschiedene Politik- und Anwendungsfelder sind vertreten. Zwei der drei Projekte sind international angelegt.

Kurze Zusammenfassung der Einzelbeiträge

Marcus Raser (Justus-Liebig-Universität Gießen, Deutsch-land) diskutiert einen erweiterten Nutzungsbegriff, welcher auch indirekte Wirkungen im Sinne von Einfluss von Evalu-ation berücksichtigt (Kirkhart, 2000; Mark & Henry, 2004). Diese Konzeption dient als Grundlage für die Erstellung eines Befragungsinstruments zur Lehrveranstaltungsevaluation. Das Instrument wurde im Anschluss pilotiert und faktoren-analytisch validiert.

Lena Taube, Wolfgang Meyer und Reinhard Stockmann (Centrum für Evaluation CEval, Universität des Saarlandes,

Deutschland) stellen das internationale Projekt „Evaluation Globe“ vor, welches die Professionalisierung und Institutiona-lisierung von Evaluation aus systemtheoretischer Perspektive durch Länder-Fallstudien mit regionalen Schwerpunkten be-leuchtet. Der Vortrag thematisiert dazu theoretische Aspekte und Mehrwert einer weltweit vergleichenden Evaluationsfor-schung.

Lars Balzer (Eidgenössisches Hochschulinstitut für Berufsbil-dung EHB, Schweiz) geht in seinem Beitrag der Frage nach, worauf wir achten müssen, wenn wir zukünftig noch erfolg-reichere Evaluationen durchführen wollen. Eine vor einem Jahrzehnt durchgeführte internationale Studie zum Thema Gelingensbedingungen von Evaluation wurde erneut durch-geführt und die Ergebnisse beider Studien werden im Vortrag vergleichend vorgestellt


38 39

C4 – Evaluation in Organisationen: Genügt in Zukunft die Innensicht?


Moderation: Dr. Sonja Kind

Übergreifende Problemstellung

Bei einer internen Evaluation wird die eigene Arbeit in den Blick genommen und durch Praktiker aus der eigenen Organi-sation durchgeführt, die für die Konzeption und Durchführung der Evaluation verantwortlich sind. Die beteiligten Personen sind häufig nicht nur für die Definition der Zielstellung und das Design der Evaluation, sondern zum Teil auch für die spätere Umsetzung der aus der Evaluation gewonnenen Ergebnisse verantwortlich. Den Vorteilen der besonderen Innenperspek-tive von internen Evaluierenden stehen aber auch Nachteile gegenüber (z. B. Personalunion als Auftraggeber/Durchführer/Entscheider, laufendes Tagesgeschäft, fehlende Außenpers-pektive, mangelnde Evaluationskompetenz). In der Session wird anhand von Praxisbeispielen gezeigt, wie interne Evalu-ationen erfolgreich durchgeführt werden können.

Kurze Zusammenfassung der Einzelbeiträge

Eberhard Gohl stellt in seinem Vortrag das Konzept NGO-IDEAS – „NGO Impact on Development, Empowerment and Actions“ vor, welches das evaluative Denken sowohl des Per-sonals von Nichtregierungsorganisationen (NRO) als auch von Zielgruppen stärkt. Der Ansatz basiert auf vier Instru-menten, die kontextabhängig adaptiert werden können. Für die NRO bedeutet die Anwendung dieses Ansatzes ein Para-digmenwechsel, indem z. B. Monitoring als eine fortlaufende interne Evaluation und die Wirkungsanalyse als Steuerungsin-strument verstanden wird. In dem Praxisbeispiel wird gezeigt, dass die interne Sicht regelmäßig durch eine kritische Außen-sicht ergänzt werden sollte.

Die Autorinnen und Autoren (Katharina Bilaine, Henrik Brink-mann, Sandra Rau und Eric Thode von der Bertelsmann Stif-tung sowie die externe Evaluatorin Christiane Kerlen) zeigen am Beispiel einer durch ein internes Team durchgeführten Evaluation der Internationalisierungsstrategie der Bertels-mann Stiftung die Vor- und Nachteile interner Evaluationen. Die Evaluation wurde 2016 vom Vorstand der Stiftung beauf-tragt und von einem internen Team mit Unterstützung einer externen Beratung durchgeführt. Am vorgestellten Beispiel wird aufgezeigt, welche Voraussetzungen an Fach- und Pro-zesswissen für eine erfolgreiche Durchführung gegeben bzw. geschaffen werden müssen.

Madeleine Hagemeister beschäftigt sich in ihrem Vortrag mit der institutionellen Evaluation an Universitäten als Instru-ment der Hochschulsteuerung. Am Beispiel der TU Darmstadt wird aufgezeigt, wie das Instrument in einem ersten Zyklus (2009-2016) zunächst breit angelegt war und wie es nach Abschluss auf Grundlage quantitativer und qualitativer Daten weiterentwickelt, um in Zukunft (2016-2023) stärker an den Bedarfen der Fachbereiche und des Präsidiums ausgerichtet zu werden. Eine wichtige Modifikation besteht in der Festlegung von fachbereichsspezifischen Zielsetzungen. Diese werden von einer externen Evaluationskommission begutachtet.

Schlagworte: Interne Evaluation, Praxisbeispiel, evidenzba-sierte Politikgestaltung, Inferenzstatistik

C5 – Evaluation an Hochschulen: Entwicklung – Stand – Perspektiven

Freitag, 22.09.2017 9:00 – 10:30 Uhr Philosophicum P7 EG

Moderation: Dr. Susan Harris-Hümmert und Dr. Lukas Mitterauer

In den frühen 1990er-Jahren kamen die öffentlichen Hoch-schulen im kontinentaleuropäischen Raum immer wieder ins Rampenlicht der Öffentlichkeit, da der Zustrom junger Men-schen an die Universitäten unvermindert anhielt, erstmals das Phänomen AkademikerInnenarbeitslosigkeit auftrat und Qua-litätsmängel in der Lehre offensichtlich wurden. Parallel zu diesen Entwicklungen kamen in der öffentlichen Verwaltung neue Steuerungsmodelle auf, die unter dem Namen „New Public Management“ firmierten und die anstehende Universi-tätsreform trieben. Mittels Evaluation – so die Annahme und Hoffnung – würde es gelingen, Hochschulen mit mehr Ent-scheidungsautonomie und Eigenverantwortung auszustatten und zur gleichen Zeit ihre Rechenschaftslegung hinsichtlich der Leistungserbringung zum Kennzeichen eines zeitgemäßen Hochschulmanagements zu entwickeln.

Evaluation im Sinne einer innerwissenschaftlichen Leistungs-transparenz ist im Kernbereich Forschung seit jeher Mittel der wissenschaftlichen Kommunikation; neu ist hingegen, dass der Blick von der innerwissenschaftlichen kollegialen Beurteilung zu einer verordneten Außensicht mit Fokus auf Effektivität und Effizienz mutierte. Evaluationsverfahren im deutschsprachigen Hochschulbereich nahmen mangels eige-ner Erfahrungen in den 1990er Jahre das niederländische Mo-dell des VSNU zum Vorbild.

Im Bereich der Lehre war Evaluation relativ neu, reicht je-doch (in Deutschland beispielsweise mit den Aktivitäten des „Nordverbundes“ im Bereich der Studiengangevaluation) in die Zeit vor dem flächendeckenden Einsatzes von Prinzipien des New Public Management zurück. Anders hingegen ist die Einführung der Akkreditierung von Studiengängen und spä-ter von hochschulweiten Qualitätsmanagementsystemen in Deutschland sowie die Auditierung in Österreich ein Produkt dieser „New-Public-Management“-Zeit. Es war das Ziel ein vom Wissenschaftsbetrieb selber getragenes Verfahren der Leistungsbeurteilung und der Sicherung der Einhaltung von Mindestqualitätsstandards zu entwickeln und verbindlich ein-zuführen. Insofern die Akkreditierung von Studiengängen ver-bindlich wurde, hat sie stärker forschungsförmig betriebene zurückgedrängt.

In der Session sollen die Entwicklungen der letzten Jahrzehnte in Deutschland und Österreich nachgezeichnet und aktuelle Problemlagen identifiziert werden.

Einzelbeiträge

• Philipp Pohlenz wird in seinem Beitrag „Evaluation von Lehre und Studium im Hochschulbereich – Entwicklungen in Deutschland“ vor allem auch darauf eingehen, wie selbstreflexive Elemente wieder stärker in die Verfahren aufgenommen werden können.

• Lukas Mitterauer wird über „Evaluation an Österreichs Universitäten“ berichten, die relativ rasch alle Bereiche (Forschung, Lehre und Verwaltung) der Universität umfasste. Ein Schwerpunkt wird auf der Analyse des Verhältnisses von Governance und Qualitätssicherungs-system liegen.

• Susan Harris-Huemmert spricht in „Die Rolle der GutachterInnen“ das Problem an, dass mit der Expansi-on der Begutachtungspraxis es immer chwieriger wird, geeignete GutachterInnen zu finden und diese oft nur unzureichend auf ihre Aufgaben vorbereitet sind. Emp-fehlungen zur Professionalisierung von GutachterInnen im Hochschulkontext beschließen die Session.

Schlagworte: Hochschulen, Methoden in der Evaluation, Evaluationstheorie und Evaluationsansätze (z.B. Nutzungsori-entierte Evaluation etc.), Professionalisierung der Evaluation, Evaluation Capacity Building/Development, Nutzung und Ein-fluss von Evaluationen, Forschung über Evaluation (Evaluation als Forschungsgegenstand), Sonstige übergreifende Themen der Evaluation, Evaluation an Hochschulen, Audit, Akkreditie-rung, GutachterInnen


40 41

C6 – Zwischen den Stühlen? - Rollen von Evaluierenden und Erwartungen an Evaluation in komplexen Programmen. Vortragssession des AK Soziale Dienstleistungen


Moderation: Frank Buchheit, Dr. Rainer Strobl

Komplexe Programme stellen vielfältige Anforderungen an Evaluierende. Der Zweck von Evaluation kann dabei sehr unterschiedlich ausgestaltet sein und von der Bewertung er-brachter Leistungen bis hin zur Mitgestaltung des zu evalu-ierenden Prozesses reichen. Zudem kann das Verhältnis von Evaluation und Evaluationsgegenstand je nach Nähe und Einbindung als ein externes, semi-externes oder internes Ver-hältnis beschrieben werden. Für die Rolle von Evaluierenden hat dies weitreichende Konsequenzen und bestimmt darüber, welche Aufgaben und Funktionen Evaluierende wahrnehmen – und welche außerhalb ihrer Zuständigkeit liegen (sollten). Auch wenn in der Planung und Durchführung eines Evaluati-onsvorhabens angestrebt wird, (explizit geäußerte) Anliegen der beteiligten Stakeholder möglichst zu berücksichtigen, werden die Evaluierenden – weitgehend unabhängig von ih-rem formal definierbaren Auftrag – immer mit (auch implizi-ten) Erwartungen der an der Evaluation beteiligten Akteure konfrontiert. Dabei stehen die vereinbarten Rollen der Eva-luierenden und die an sie herangetragenen Erwartungen in einem mal mehr, mal weniger starken Spannungsverhältnis.

Die AK-Session zielt darauf, dieses Spannungsverhältnis aus Sicht von externen Evaluierenden in der Kinder- und Jugend-hilfe zu reflektieren. Dazu werden zunächst Erfahrungen mit Rollen von und Erwartungen an Evaluierende anhand von drei Beispielen aus der Evaluationspraxis vergleichend betrachtet. Ergänzend wird vorgestellt, wie (implizite) Erwartungen an Evaluierende systematisch aus empirischem Material rekon-struiert werden können. In der Diskussion der beiden Beiträge sollen anschließend Grenzen und Potenziale unterschiedlicher

Umgangsstrategien gemeinsam reflektiert werden.

Einzelbeiträge

• Zwischen den Stühlen? Rollenverständnisse und -aus-handlungen von Evaluierenden an drei Beispielen Berg-Lupper, Ulrike; Heinze, Franziska; Reiter, Stefanie; Riedle, Stephanie & Wach, Katharina Deutsches Jugendinstitut e.V., München und Außenstelle Halle

• „Wir wären weiter, wenn auch Wissenschaft da eine andere Haltung hätte und nicht einfach nur als der Empfänger von Fördermitteln agiert“ – Potenziale der Rekonstruktion von Erwartungen an Evaluierende Heinze, Franziska; Reiter, Stefanie Deutsches Jugendinstitut e.V., Außenstelle Halle

Schlagworte: Soziale Dienstleistungen, Qualitative Methoden, Forschung über Evaluation (Evaluation als Forschungsgegen-stand), Meta-Evaluation (Evaluation von Evaluationen), Rolle von Evaluierenden, Rollenerwartungen

SESSIONS BLOCK D

D1 – Das Potential von Kausalmechanismen in komplexen Evaluierungen

Freitag, 22.09.2017 12:15 – 13:45 Uhr Philosophicum P11 EG

Moderation: Dr. Sven Harten

Vor dem Hintergrund komplexer werdender Programme in der Entwicklungszusammenarbeit, steht die Evaluation vor neuen methodischen Herausforderungen. Die Zukunft der Evaluation hängt entscheidend davon ab, inwieweit es Evaluierungsansät-zen gelingt, einem stetig zunehmenden Grad an Komplexität gerecht zu werden. Neue methodische Anforderungen entstehen dabei vor allem in der systematischen Analyse von Kausalzusammenhängen (verstanden als die grundlegenden Wirkungsbezie-hungen) unter Berücksichtigung vielfältiger Einflussfaktoren und Erklärungsmuster.

Vor diesem Hintergrund diskutiert die internationale Eva-luierungsgemeinschaft derzeit verstärkt über die Potentiale von Kausalmechanismen. Das Grundprinzip der Arbeit mit Kausalmechanismen ist die systematische Analyse grundle-gender Wirkungsbeziehen. Befürworter von Mechanismen orientierten Evaluierungsmethoden argumentieren, dass über die Analyse von Mechanismen ein besseres Verständnis über die Wirkungsweise von komplexen Vorhaben erreicht werden kann. Darüber hinaus ermöglichen auf die zugrunde liegenden Mechanismen fokussierte Evaluierungsdesigns glaubhafte-re Aussagen zur kausalen Zusammenhängen zwischen dem Beitrag einer Intervention und den beobachteten Wirkungen. Gleichzeit kann die Aufdeckung grundlegender Kausalmecha-nismen die Generalisierbarkeit von Ergebnissen erhöhen, wenn – wie etwa im Ansatz der Realist Evaluation - Kontext-faktoren systematisch berücksichtig werden. Die Analyse von Kausalmechanismen ist mittlerweile elementarer Bestandteil vielfältiger Evaluierungsdesigns, sowohl in formativen als auch in summativen Evaluierungen.

Das Ziel dieser Session ist es, die Potentiale der Analyse von Kausalmechanismen in komplexen Evaluierungen vorzustel-len und kritisch zu diskutieren. Nach einer theoretischen Ein-bettung des Themas sollen anhand von drei Praxisbeispielen wesentliche und derzeit viel diskutierte Herangehensweisen zunächst verglichen werden. Die Praxisbeispiele weisen unter-schiedliche Zielsetzungen auf und umfassen sowohl formati-ve als auch summative Evaluierungen. Anschließend sollen in einer Synthese der Ansätze die Potentiale und Herausforde-rungen für zukünftige Evaluierungen herausgestellt und zur Diskussion gestellt werden. Anteil Präsentation: 60 Minuten; Anteil Diskussion: 30 Minuten.

Beiträge

• Johannes Schmitt: Ein Mechanismen-zentrierter Ansatz zur Evaluierung komplexer Entwicklungsinterventionen – Erfahrungen mit theoriebildendem Process-tracing am Beispiel der Evaluierung „Begleitender Maßnahmen der allgemeinen Budgethilfe“.

• Martin Noltze: Kausalmechanismen im Kontext einer Intervention - Erfahrungen einer Realist Evaluierung der Förderung landwirtschaftlicher Wertschöpfungsketten.

• Tobias Polak: Mechanismen formulieren und prüfen – Erfahrungen aus der Evaluierung der Vermittlung von Entwicklungshelfe-rInnen.

Schlagworte: Entwicklungspolitik, Methoden in der Eva-luation, Evaluationstheorie und Evaluationsansätze (z.B. Nutzungsorientierte Evaluation etc.), Programmtheorie und Wirkmodelle, Sonstige Methoden in der Evaluation, Kausali-tät, komplexe Evaluierungen, Mechanismen, Realist Evaluati-on, Process-tracing


42 43

D2 – Interne und externe Evaluation in Schulen – Identifikation förderlicher und hinderlicher Bedingungen für den zukünftigen Einsatz der Verfahren


Moderation: Dr. Sebastian Wurster

Evaluationsgestützte Schul- und Unterrichtsentwicklung ist ein wesentliches Ziel gegenwärtiger Steuerungsbemühungen im Schulsystem. In Schulen stehen für die Initiierung von Ent-wicklungsaktivitäten u.a. Daten aus Vergleichsarbeiten, zent-ralen Abschlussprüfungen, der Schulinspektion und internen Evaluationen zur Verfügung. Angesichts der damit verbunde-nen finanziellen und personellen Ressourcen muss die Wirk-samkeit der Verfahren empirisch analysiert werden.

Bisherige Forschung beschränkte sich vorwiegend auf einzelne Verfahren. Deshalb wird erstens der Frage nachgegangen, in-wiefern verschiedene Datenquellen in der Schulpraxis tatsäch-lich genutzt und wie diese vergleichend bewertet werden. Dies lässt sich auch im Sinne einer „Nachfrage“ nach Evaluation im Schulkontext interpretieren. Zweitens werden förderliche und hinderliche Bedingungen für die Datennutzung analysiert, um Anhaltspunkte für die zukünftige Weiterentwicklung von Verfahren und Unterstützungssystemen herauszuarbeiten. Im Mittelpunkt stehen individuelle Bedingungen, der Schul-kontext und landeseigene Unterstützungssysteme. Es werden drei Beiträge vorgestellt (je 20 Minuten) und abschließend gemeinsam Gelingensbedingungen für den zukünftigen Ein-satz der Verfahren diskutiert.

Beiträge

• Beitrag 1: Welche Wissensbestände nutzen Lehrkräfte und Schul-leitungsmitglieder (nicht) und warum (nicht)? Eine vergleichende Betrachtung unterschiedlicher Instrumente der internen und externen Evaluation Denise Demski Ruhr-Universität Bochum

• Beitrag 2: Förderliche und hinderliche Bedingungen daten- gestützter Unterrichtsentwicklung und Effekte auf die Schülerleistung Dr. Sebastian Wurster Johannes Gutenberg Universität Mainz

• Beitrag 3: Unterstützungssysteme zur Initiierung von Schulentwick-lung durch Ergebnisse der Schulinspektion Tanja Rettinger, Dr. Sebastian Wurster & Prof. Tobias Feldhoff Johannes Gutenberg Universität Mainz

Schlagworte: Schulen, Quantitative Methoden, Qualitative Methoden, Nutzung und Einfluss von Evaluationen, Forschung über Evaluation (Evaluation als Forschungsgegenstand)

D3 – Ex ante Evaluation in der Wirtschaft - Methoden der strategischen Vorausschau und Praxisbeispiele


Moderation: Dr. Sonja Kind, Roman Noetzel

Der AK Evaluation in der Wirtschaft muss sich der Heraus-forderung stellen, dass die gesamte Thematik Evaluation in Unternehmen nach wie vor recht unbekannt ist, wenngleich typische Evaluationsmethoden wie Befragungen, Interviews oder Audits im Rahmen des Qualitätsmanagements schon lange selbstverständlich von diesen eingesetzt werden.

Der AK Wirtschaft beschäftigt sich seit der DeGEval-Konfe-renz in Speyer 2015 mit dem Thema Ex-ante-Evaluation in Bezug auf unternehmerische Fragestellungen. Dies umfasst die Vorausschau von möglichen Wirkungen, genauso wie die Zielfindung und die Ausarbeitung von Lösungsmöglichkeiten. Diese Art strategische Vorausschau ist ein wichtiges Element für unternehmerisches Handeln, um dauerhaft die eigene Wettbewerbsfähigkeit zu erhalten und/oder auszubauen.

Ein Technologie- und Innovationsscouting, expertenbasierte Trendanalysen, die Erstellung von Zukunftsvisionen und -sze-narien oder ganz allgemein Innovations- und Strategieprozesse basieren häufig auf der Nutzung von kreativen Methoden der strategischen Vorausschau, die nach Einschätzung des Spre-cherinnen- und Sprecherteams im weiteren Sinne auch als Ex-ante-Evaluationsmethoden im unternehmerischen Kontext bezeichnet werden können. Die Gemeinsamkeiten bei der Vor-gehensweise der strategischen Vorausschau und Evaluation besteht u. a. in der Anwendung eines Methoden-Mix bzw. der Triangulation, dem partizipativen Ansatz sowie der inter- und transdisziplinären Perspektive. Intendierte und nicht-intendier-te Wirkungen von Maßnahmen werden antizipiert.

Ziel des Workshops soll es sein, den Nutzen einer strategi-schen Vorausschau als Teil von Evaluationsprozessen in Unter-nehmen vorzustellen und den Zusammenhang zu diskutieren.

Zu Beginn wird in das Thema eingeführt, ein Überblick zu kre-ativen Denkarten, Prozessmodellen der Kreativität sowie Vor-ausschauansätze in Unternehmen gegeben.

Im Anschluss wird anhand eines interaktiven Praxisbeispiels eine Methode für die strategische Vorausschau vorgestellt und zusammen mit den Teilnehmenden durchgeführt.

Agenda

• 5 Min. Begrüßung

• 25 Min.: Evaluation der Zukunft in Unternehmen Kreative Denkarten und Prozessmodelle der Kreativität Prof. Dr. Jörg Mehlhorn 1. Vorsitzender Deutsche Gesellschaft für Kreativität e.V.

• 50 Min.: Vorausschaumethoden im Überblick und eine interaktive Simulation Kurze Einführung und Simulation einer Methode in Zu-sammenarbeit mit den Teilnehmenden. Es soll anhand eines Beispiels ein Eindruck von einer Tech-nik zur strategischen Vorausschau vermittelt werden. Prof. Dr. Martin G. Möhrle Institute of Project Management and Innovation, Universität Bremen

• 10 Min. Abschlussdiskussion: Verknüpfung von Strategischer Vorausschau und ex ante Evaluation

Schlagworte: Wirtschaft, Mixed Methods, Nutzung und Ein-fluss von Evaluationen, Sonstige Methoden in der Evaluation


44 45

D4 – Meet the authors


Moderation: Susanne Mäder, Bernhard Minke

Das Format soll Nachwuchsevaluatorinnen und -evaluatoren einen Überblick über zentrale Veröffentlichungen im Bereich Evaluationspraxis und Evaluationsforschung geben und einen inhaltlichen Austausch mit Autorinnen und Autoren ermögli-chen. Zu diesem Zweck werden ausgewählte Autorinnen und Autoren eingeladen, zunächst im Plenum ihre Publikation vor-zustellen und dann zum Gespräch zur Verfügung zu stehen. Die Gespräche sollen für den Nachwuchs die Möglichkeit bieten, sich mit erfahrenen Evaluatorinnen und Evaluatoren zu eige-nen Themen, Fragen und Herausforderungen auszutauschen. In diesem Rahmen sollen auch Fragen im Zusammenhang mit dem Tagungsthema „Evaluation (in) der Zukunft“ ausgehend von den Bedürfnissen des Nachwuchses diskutiert werden.

Folgende Autorinnen und Autoren stellen Bücher vor

Stefan Rädiker stellt sein mit Udo Kuckartz, Thorsten Dresing und Claus Stefer, veröffentlichtes Buch „Qualitative Evaluati-on“ vor, das 2008 im Springer Verlag erschienen ist.

http://www.springer.com/de/book/9783531159034

Wolfgang Böttcher präsentiert seinen mit Nikolas Dicke und Nina Hogrebe herausgegebenen Band: „Evaluation, Bildung und Gesellschaft - Steuerungsinstrumente zwischen Anspruch und Wirklichkeit“, der 2010 beim Waxmann Verlag erschienen ist.

http://waxmann.ciando.com/ebook/bid-72118-evaluation-bildung-und-gesellschaft-steuerungsinstrumente-zwischen-anspruch-und-wirklichkeit.html

Vera Hennefeld stellt Ihr gemeinsam mit Reinhard Stock-mann herausgegebenes Buch: „Evaluation in Kultur und Kul-turpolitik“ vor, das 2013 beim Waxmann Verlag erschienen ist.

https://www.waxmann.com/waxmann-buecher/?tx_p2wax- mann_pi2%5bbuchnr%5d=2819&tx_p2waxmann_pi2%- 5baction%5d=show

D5 – Evaluation von Zukünften im Umweltbereich


Moderation: Dominik Jessing, Dr. Leo Wangler, Reinhard Zweidler

Mögliche Zukünfte sind stets zu untersuchen, wenn die künfti-gen Umweltauswirkungen von Erlassen, Plänen, Maßnahmen oder konkreten Vorhaben geprüft werden müssen. Es stehen dafür historisch gewachsene Instrumente zur Verfügung, die noch nicht in allen Fällen optimal aufeinander abgestimmt sind. Werden diese Zukunftsabschätzungen bloss formal und ohne Bezug von Personen mit Evaluationswissen eingesetzt, und dies geschieht leider häufig, wird die Chance verpasst, frühzeitig abzuwägen, welche Lösungen für Gesellschaft, Um-welt und nachfolgende Generationen die tragfähigsten sein könnten. Zwei Inputreferate aus der Schweiz und eines aus Deutschland sollen einführen in die Diskussion der Frage, was Evaluation und Evaluierende beitragen können, um die Güte dieser Zukunftsbetrachtungen zu verbessern.

Einzelvorträge

• Evaluation der prospektiven Folgenabschätzungen von umweltrelevanten Gesetzesentwürfen Alkuin Kölliker Eidgenössiche Finanzkontrolle, Bern

• Ex-ante-Evaluationen sind Elemente von Umweltprüfverfahren, sind sie auch zuverlässig und tauglich? Reinhard Zweidler FHNW Hochschule für Technik, Brugg

• Evaluation von Masterplan 100% Klimaschutz – Kom-munen Dominik Jessing Ifeu – Institut für Energie- und Umweltforschung Heidelberg GmbH

Schlagworte: Umweltbereich, Aus- und Weiterbildung in der Evaluation, Nutzung und Einfluss von Evaluationen, Auftrag-gebende von Evaluationen, Regulierungsfolgenabschätzung, Umweltverträglichkeitsprüfung, Evaluation durch Evaluati-onslaien


46 47

D6 – 20 Jahre Gender Mainstreaming und Evaluation - Rückblick und Ausblick


Mit dem Vertrag von Amsterdam wurde 1997 die politische Strategie des Gender Mainstreamings für die Mitgliedsstaaten der EU verankert. Ziel von Gender Mainstreaming ist die Be-seitigung geschlechtsspezifischer Disparitäten und Benachtei-ligungen durch die generelle Berücksichtigung der Geschlech-terperspektive in allen Politik- und Handlungsfeldern mit dem Ziel der Gleichstellung der Geschlechter. Die Umsetzung dieses Ziels bleibt nicht auf die Durchführung spezifischer Maßnahmen für Frauen beschränkt, sondern erfordert, dass politische Konzepte und Maßnahmen hinsichtlich ihrer Aus-wirkungen auf die Situation von Frauen und Männern bereits in der Planungsphase systematisch überprüft und die mögli-chen Auswirkungen bei der Umsetzung berücksichtigt werden.

Gender Mainstreaming ist daher auch in der Evaluation zu verankern. Dabei lassen sich zwei Aspekte des Gender Main-streaming-Ansatzes unterscheiden. Zum einen meint Gender Mainstreaming in der Evaluation eine durchgängig gleich-stellungsorientierte Zugangsweise in allen Evaluierungen. Um dies zu erreichen sind Daten geschlechtsdifferenziert zu erheben und auszuwerten, Kontext und Ergebnisse systema-tisch auf mögliche geschlechtsspezifische Unterschiede hin zu untersuchen und die Bewertung der Programmwirkungen in gleichstellungsorientierter Perspektive vorzunehmen. Dies erfordert entweder die Weiterentwicklung bestehender Da-tengrundlagen und Indikatorensysteme oder die Erhebung spezifischer Primärdaten sowie die spezifische Reflexion der methodischen Vorgangsweise. Zum anderen wird im Rahmen der Evaluation von Gender Mainstreaming-Implementati-onsprozessen die Erreichung spezifischer Gleichstellungsziele analysiert.

Das Jubiläum wird nun genutzt um im Kontext von Arbeits-markt- und Beschäftigungspolitik in Deutschland und von Ar-beitsmarkt- und Hochschulpolitik in Österreich die Verände-rungen, die durch Gender Mainstreaming ausgelöst wurden, sowie die Rolle der Evaluation im Kontext der Implementie-rung der Gender Mainstreaming Strategie zu reflektieren. In den beiden Vorträgen erfolgt eine Reflexion der bisherigen Entwicklung (was wurde erreicht?) sowie eine Diskussion von aktuellen Herausforderungen (was bleibt zu tun?). In der Dis-kussion der Beiträge werden länderspezifische Unterschiede herausgearbeitet.

Beteiligte AkteurInnen

Angela Wroblewski Evaluatorin von Gleichstellungsmaßnahmen, Institut für höhere Studien, Wien – Vortrag „20 Jahre Gender Mainstreaming und Evaluation in Öster-reichs Arbeitsmarkt- und Hochschulpolitik“

Henriette Meseke Sozialwissenschaftlerin, Beraterin und Evaluatorin im Kontext der Euro-päischen Strukturpolitik mit dem Fokus Gleichstellung zwischen Frauen und Männern und Gender Mainstreaming – Vortrag „20 Jahre Gender Mainstreaming und Evaluation im Bereich der Arbeitsmarkt- und Beschäf-tigungspolitik in Deutschland“

D7 – Zur Zukunft der DeGEval


Moderation: Prof. Dr. Philipp Mayring

In dieser Session wollen wir zusammen mit zentralen Propo-nenten der DeGEval der letzten 20 Jahre, Gründungsmitglie-dern, Vorstandsmitgliedern und UnterstützerInnen, über die Möglichkeiten der Weiterentwicklung von Evaluation und un-serer Evaluationsgesellschaft diskutieren. Wir stellen uns zwei Fragen:

• Welche Trends sehen wir für Evaluation in der Zukunft?

• Wie könnte die DeGEval – Gesellschaft für Evaluation darauf reagieren?

Es werden teilnehmen

• Günter Tissen (Bonn) Gründer der DeGEval

• Christiane Spiel (Wien) Wolfgang Böttcher (Münster) Philipp Mayring, (Klagenfurt) Vorstandsmitglieder

• Maria Gutknecht-Gmeiner (Wien) Susanne von Jan (München) Arbeitskreissprecherinnen

• Reinhard Stockmann (Saarbrücken) Keynote-Speaker

Wir erwarten uns wichtige Impulse für die Arbeit der DeGEval in den nächsten 20 Jahren.


48 49

ABSCHLUSSGESPRÄCH Freitag, 22.09.2017 13:45 – 14:15 Uhr Philosophicum P1 EG

Moderation: Prof. Dr. Philipp Mayring

In der Abschlussrunde werden Fragen zu aktuellen Trends und Entwicklungen im Feld der Evaluation, die in Form einer Plakatwand während der Tagung von den Teilnehmenden be-antwortet wurden, abschließend diskutiert und kommentiert. Die Teilnehmerinnen und Teilnehmer sind in unterschiedli-chen Funktionen und Rollen dem Tagungsthema verbunden:

• Prof. Dr. Uwe Schmidt Johannes Gutenberg-Universität Mainz

• Dr. Marianne Lück-Filsinger Hochschule für Technik und Wirtschaft des Saarlandes

• Stefan Schmidt schmidt evaluation Köln

• Susanne Mäder univation Köln

POSTERPRÄSENTATIONENAm Donnerstag, den 21.09.2017 (13:30 - 14:30 Uhr; Flur Philosophicum EG) findet eine moderierte Posterführung statt. Die Moderation wird von Prof. Dr. Philipp Mayring durchgeführt.

1. 20. Jahrestagung der DeGEval – Die Entwicklung der Evaluation an der TU Dresden in den vergangenen 20 JahrenPeggy Szymenderski, Dana Frohwieser (TU Dresden, Zentrum für Qualitätsanalyse)

2. Der Studieneingang als formative Phase für den Studienerfolg – Analysen zur Wirksamkeit von Interventionen (StuFo)Sylvi Mauermeister1, Friederike Schulze-Reichelt1, Melinda Erdmann1, Sarah Berndt3, Laura Wagner2, Wilfried Schubarth1, Uwe Schmidt2, Philipp Pohlenz3 (1Universität Potsdam; 2Johannes Gutenberg-Universität Mainz; 3Otto-von-Guericke-Universität Magdeburg)

3. Die Evaluierung von Wissenschaftseinrichtungen – Zukunftschance für die Verwirklichung von Gleichstellungszielen?Franziska Fellenberg (Leibniz-Institut für Bildungsverläufe e. V.)

4. Evidence-based practice im Bildungsbereich: Wirkung und Wirksamkeit von SchulsozialarbeitPetra Wagner (Fakultät für Medizintechnik und Angewandte Sozialwissenschaften, FH Oberösterreich)

5. Was wir über die Wirksamkeit der Budgethilfe wissen. Eine Evaluierungssynthese.Johannes Schmitt, Magdalena Orth (Deutsches Evaluierungsinstitut der Entwicklungszusammen-arbeit (DEval))

6. Methodische Rigorosität versus Ressourcenbegrenzung – eine bestehende und zukünftige Herausforderung: Erkenntnisse aus der Evaluierung des Freiwilligendienstes weltwärtsLaura Scheinert, Kerstin Guffler, Jan Tobias Polak, Martin Bruder (Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval))

7. Evaluation (in) der Zukunft: Reform des Evaluierungssystems der GIZDr. Ricardo Gomez (Deutsche Gesellschaft für Internationale Zusammenarbeit, GIZ)

8. Zukunft der Veranstaltungsevaluation an HochschulenManuela Pötschke (Universität Kassel)

9. Triangulation zeigt Stellenwert der LehrerbildungOlaf Ratzlaff (Universität Potsdam – ZfQ)

10. Qualitätssicherung im Fünfklang: Ein Bericht über die Einführung eines systemakkreditierten Qualitätssicherungssystems für das Lehramt in Kooperation von fünf Hamburger Hochschulen.Carmen Tschirkov, Nicola Köberl (Universität Hamburg)

11. ACADEMIC ANALYTICS. Herausforderungen und Potentiale von (Big) Data Analytics für das nationale HochschulsystemCathleen M. Stuetzer1,2 (1TU Dresden, Zentrum für Qualitätsanalyse (ZQA); 2Johannes Gutenberg-Universität Mainz)


50 51

12. Wissenschaftliche Begleitung der sozial indizierten Lehrerzuweisung in HessenOliver Lauterbach, Heike Jesch, Meike Landmann (Hessische Lehrkräfteakademie)

13. Rollenerwartungen an Evaluierende – dargestellt anhand eines Evaluationsprojekts aus der PraxisMarcel Faaß (Universität Potsdam - ZfQ, Deutschland)

14. Lehrpersonen im Evaluationsprozess qualifizieren: Eine Herausforderung mit Lösungsansatz aus der HochschuldidaktikThorsten Braun (Universität Stuttgart)

15. Projektevaluation im Spannungsfeld zwischen externer und interner EvaluationThi To-Uyen Nguyen (Universität Potsdam)

TEILNEHMERINNEN- UND TEILNEHMERLISTE

Titel Name Vorname InstitutionAbstein Caroline Goethe-Institut e.V.

Dr. Arnhold Heidemarie Arbeitskreis Neue Erziehung e.V.FH-Prof. Mag. Astleithner Florentina FH Campus Wien,

Studiengang Sozialwirtschaft und Soziale ArbeitAufmhoff Marco Deutsche Hochschule der PolizeiAzofeifa Florita

Dr. jur. Bachmann Thietmar Auswärtiges AmtDr. Bähr Holger Institut für Arbeitsmarkt- und BerufsforschungDr. Balzer Lars Eidgenössisches Hochschulinstitut

für Berufsbildung EHBBär Thorsten World VisionBartsch Samera Univation GmbH

Dipl. Soz. Bauer Philipp Forschungsinstitut Betriebliche Bildung (f-bb) gGmbh

Dr. Becker Arno USV-AgrarBendfeldt-Huthmann Lennart Deutsche Gesellschaft

für Internationale ZusammenarbeitBerger Oxana Arbeitskreis Neue Erziehung e.V.Berg-Lupper Ulrike Deutsches Jugendinstitut e.V.Berndt Patricia S.T.E.R.N. GmbHBilaine Katharina Bertelsmann Stiftung

M.A. Birr Lorraine Pädagogische Hochschule LudwigsburgBischof Katja Universität Potsdam, Zentrum für

Qualitätsentwicklung in Lehre und StudiumBittner Peter TU KaiserslauternBleh Julian e-fect eG

Dipl. Soz. Blumental Pauline G.I.B. mbHBöggild Nikolaj Kienbaum Consultants InternationalBongaerts Ursula Kulturstiftung des Bundes

Prof. Dr. Böttcher Wolfgang Westfälische Wilhelms-Universität MünsterBrandenburger Philipp Pädagogisches Landesinstitut Rheinland-PfalzBraun Judith Leuphana Universität Lüneburg

Dipl.-Soz. Braun Thorsten Universität StuttgartBraun Anette Bundesministerium für wirtschaftliche

Zusammenarbeit und EntwicklungBraun Nomo agiplan GmbH

Dr. Brinkmann Henrik Bertelsmann StiftungBruda Ana Isabel Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Dr. Bruder Martin Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Buchheit Frank


52 53

Titel Name Vorname InstitutionBurger MagdalenaBurneo Carrera Nelly Pat-

riciaBurova Anna European University at Saint-Petersburg

Dipl. Soz. Busacker Dietrich ECO ConsultCapellaro Marcus Capellaro GmbH

Prof. Dr. Caspari Alexandra Frankfurt University of Applied SciencesCausemann Bernward FAKT gGmbH

Dr. Cemerin Michael Bundesamt für Wirtschaft und Ausfuhrkontrolle (BAFA)

Chahin-Doerflinger Fatima Landesinstitut für Schulentwicklung StuttgartChristie Christina Department of Education,

University of CaliforniaConrad David iSPOCsonka Nadine Technische Universität BerlinCubillo Mora Mayela

Dr. Demski Denise Ruhr-Universität BochumDernbach AndreasDungs Ingo Landeskriminalamt Nordrhein-WestfalenDupret Ina

Dr. Eichel Benjamin Bundesministerium des InnernEiden Albert Kindernothilfe e.V.Elgleb Franziska Stiftung "Haus der kleinen Forscher"

Prof. Dr. Elkeles Thomas Hochschule NeubrandenburgEmmerich Natalie DeGEval - Gesellschaft für Evaluation e.V.Engin-Stock Tülin uzbonn GmbH

Dr. Erzberger Christian Gesellschaft für innovative Sozialforschung und Sozialplanung e.V. (GISS), Bremen

Dipl.-Soz. Faaß Marcel Universität Potsdam - ZfQProf. Dr. Faust Jörg Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Dr. Fellenberg Franziska Leibniz-Institut für Bildungsverläufe e. V.

Felske Miriam Landeskriminalamt Nordrhein-WestfalenFerdigg Rosa Anna Evaluationsstelle für die Deutsche Schule BozenFeth Meike Technische Hochschule MittelhessenFilsinger Maximilian Universität Konstanz

Prof. Dr. Filsinger Dieter HTW des SaarlandesFischer Monika Bertelsmann Stiftung

Mag. Fischl Iris KMU Forschung AustriaFlatters Barbara Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Dipl. Geogr. Flinkerbusch Eva Bundesamt für Naturschutz

Frais Michael Pädagogische Hochschule ZürichDr. Friedrich Verena Zentrum für universitäre Weiterbildung,

Universität Bern

Titel Name Vorname InstitutionDipl.-Päd. Frohwieser Dana TU Dresden, Zentrum für QualitätsanalyseDr. Frühauf Susanne Hessische Lehrkräfteakademie

Fuhrmann Michaela Universität PotsdamDipl. Soz. Gaaw Stephanie Zentrum für Qualitätsanalyse (TU Dresden)Mag. Ganterer Astrid

Garrido Gonzalo Pilar Ministerio de Planificación Nacional y Política Económica de Costa Rica

Dr. Garve Miriam Leuphana Universität LüneburgGentsch Britta GFA Consulting Group GmbHGeuder-Jilg Erwin Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Dr. Giel SusanneDr. rer. nat Giese Philipp EuroNorm

Göbel Janina Technische Universität BerlinDr. Gohl Eberhard

Goldbach Alina evaluxDr. Gomez Ricardo Deutsche Gesellschaft für Internationale

ZusammenarbeitGotz Gunnar Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Götzhaber Jürgen EvalueLab - Gesellschaft für empirische

Sozialforschung mbHGrajewski Regina Thünen-Institut für Ländliche RäumeGriffiths Karin Stiftung "Haus der kleinen Forscher"

Prof. Dr. Grohs Stephan Deutsche Universität für Verwaltungswissen-schaften Speyer

Dipl. Päd. Groot-Wilken Bernd Qualitäts- und Unterstützungsagentur – Landesinstitut für Schule NRW

Groß Dirk Pädagogisches Landesinstitut Rheinland-PfalzGroßmann Daniel Universität LeipzigGuffler Kerstin Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Mag. Guggenberger Thomas Universität für Bodenkultur WienMag. Dr. Gutknecht-Gmeiner Maria IMPULSE - Evaluation und Organisationsbera-

tungDr. Haack Gina BZgA

Haag Florian DeGEval - Gesellschaft für Evaluation e.V.Hagemeister Madeleine TU Darmstadt

M.A. Hahn Sabine Hochschule AugsburgHaibel Daniel Universität Augsburg

Dipl. Psych. Hallmann Sylke Ruhr-Universität Bochum, Research SchoolHalves Edith ZEPRA, HAW HamburgHapp Anja Bundesamt für Wirtschaft und AusfuhrkontrolleHapperschoss Heike GOPA Consultants

Dr. Harris-Hümmert Susan Universität Speyer


54 55

Titel Name Vorname InstitutionDr. Harten Sven Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Hauss Kalle Humboldt-Universität zu BerlinHecker Tilman GOPA ConsultantsHeimerdinger Naemi World Vision Deutschland e.V.Heinze Franziska Deutsches Jugendinstitut e.V.Helbing Roland Landeskriminalamt Nordrhein-Westfalen

Dr. Hennefeld Vera Centrum für Evaluation (CEval)Prof. Dr. Hense Jan Justus-Liebig-Universität GießenDr. rer. nat. Hermanns Klaus

Heskia Thomas Fachverband KulturmanagementHeuser Gisa Leuphana Universität Lüneburg

Dr. sc. agr. Hoeper Bernhard WelthungerhilfeMag. rer. nat. Hoffmann Judith Institut für Technologie und Arbeit e. V.

Hoffmann Berthold Bundesministerium für wirtschaftliche Zusam-menarbeit und Entwicklung

Hofmann Florian Philipps-Universität MarburgHorstmann Maren Kindermitte e.V.

Dr. Horstmann Sabine Bundeszentrale für gesundheitliche AufklärungHörtner Cornelia Goethe-Institut e.V.

Dr. Hunter Justine Arnold Bergstraesser InstitutIzquierdo Enrique Gea CEval Centrum für EvaluationJablonka Peter Forschunsgruppe SALSSJakobs Valerie-

JulianaHTW des Saarlandes

Jesch Heike Hessische LehrkräfteakademieDipl.Soz. Jeschke-Stolzenberg Friederike Martin-Luther-Universität Halle-WittenbergDipl. Geogr. Jessing Dominik ifeu – Institut für Energie- und Umweltforschung

Johannsen StefanieDr. Kalman Michael Kalman Consult

Kaufmann Jonas GOPA ConsultantsKeck Thomas ParticipKellner Christiane TU Darmstadt

Dr. Kerlen Christiane Kerlen EvaluationKettler Andrea Auswärtiges AmtKiel Petra Christoffel-Blindenmission

M.A. Kihm Stefanie htw saarDr. rer. medic. Killersreiter Birgitt VHS Bergisch GladbachDr. rer. pol./ Dipl.-Biol.

Kind Sonja iit - Institut für Innovation und Technik (VDI/VDE-IT)

Kleine Julia Technische Universität KaiserslauternDr. Klemm Jana proVal GbRDipl. Psych. Klockgether Katharina Univation – Institut für Evaluation –

Dr. Beywl & Associates GmbH

Titel Name Vorname InstitutionKlös Tobias Philipps-Universität Marburg

Dr. Klug Tina Technische Universität DarmstadtKnödler Elisa Ludwig-Maximilians-Universität MünchenKöberl Nicola Universität HamburgKohlmeyer Klaus BQN Berlin

Dr. Kölliker Alkuin Eidgenössische Finanzkontrolle EFKDr. Komoss Regine

Koppenborg MarkusKoy Jens AK Entwicklungspolitik, DeGEvalKramer Britta Technische Hochschule Mittelhessen

Dr. Krapp Stefanie Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval)

Dr. Krüger Thomas uzbonn GmbHM.A. Kuhlmann-Samamé Lilian LKS ConsultingDr. Kühn Marion Hanns-Seidel-StiftungDr. Kulicke Marianne Fraunhofer-Institut für System- und

Innovationsforschung ISILadj Georg Particip GmbHLaue Birgit Birgit Laue - Moderation, Training, Evaluierung

Dr. Lauterbach Oliver Hessische LehrkräfteakademieDipl. Soz. Lehmann Maria Freie Beraterin und TrainerinProf. Dr. Dr. Leiber Theodor Evaluationsagentur BW - evalag

Leistikow Sabine Unfallkasse Rheinland-PfalzProf. Dr. Lieber Gabriele Pädagogische Hochschule der Fachhochschule

NordwestschweizDr. Lindner Mary Dr. Mary Lindner – VerhältnisPerspektiveDr. Lisack Gaëlle evaluxDipl. Psych. Lücker-Amous Carola Hochschule MünchenDr. Lück-Filsinger Marianne ForBES an der HTW des Saarlandes

Mäder Susanne UnivationProf. Dr. Matzdorf René Universität KasselDr. sc. agr. May Martina Alexander von Humboldt-StiftungProf. Dr. Mayring Philipp Alpen-Adria Universität KlagenfurtDr. sc. agr. Melsbach Gerlind

Menzinger Johanna Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval)

Meseke Henriette Setup Gender Equality GbRAdj. Prof. (UTAMU) PD

Meyer Wolfgang Centrum für Evaluation (CEval)

Meyer Nadia Projektträger im Deutschen Zentrum für Luft- und Raumfahrt

Meyer SigrunMinke Bernhard FOM Hochschule für Oekonomie

& ManagementMag. Dr. Mitterauer Lukas Universität Wien


56 57

Titel Name Vorname InstitutionProf. Dr. Moisl Dominique HAW LandshutDr. Motzkus Arnd TÜV Rheinland Consulting GmbHDr. phil. Müller Christoph E. Deutsches Forschungsinstitut für öffentliche

VerwaltungDr. Müller Jürg Amt für Volksschulen / BLD St. Gallen

Müller Stefen TU KaiserslauternMünzel Kathrin CBM Deutschland e.V.

M.A. Ndongbou FreddyNeuhaus Björn evalux

Dipl. Pol. Neureiter Marcus Ramboll Management Consulting GmbHNeymeyer Susanne

Soziologin, M.A.

Nguyen Thi To-Uyen Universität Potsdam

Nick Julia htw saarNiedermeier Frank Universität Potsdam

Dr. Nieder-Seiberth Tanja Hessische LehrkräfteakademieNoetzel Roman DLR Projektträger; Projektgruppe Analysen,

Studien, EvaluationenDr. Nolte Birgit LGE Mecklenburg-Vorpommern GmbH

Nolte Alexander Philipps-Universität MarburgDr. Noltze Martin Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Dr. rer. nat. Nowack Christelle DLR ProjektträgerDr. Dipl.-Psych.

Ntina Foteini Hessische Lehrkräfteakademie

Olejniczak Katharina Zentrum für Evaluation und Methoden, Universität Bonn

Oppermann Heidemarie Nds. StaatskanzleiMag. Dr. Oraze Hildegard Metis

Patzke Salgado AnnaMag. Peinhaupt Christa EPIG GmbHDr. Pfitzner-Eden Franziska PHINEO gAGDr. Pichler Rupert Bundesministerium für Verkehr,

Innovation und TechnologiePiesker Axel InGFA SpeyerPlathe Moritz Universität des Saarlandes

Dr. Polak Jan Tobias Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval)

Dr. Dipl. agr. Ing.

Pölking Andreas Konsortium

Dr. Pötschke Manuela Universität KasselDr. Preißer Rüdiger

Prieb Olga Hochschule für Wirtschaft und Recht BerlinM.Eval. Prigge Jessica Dozentin Master Evaluation/ Fröbelseminar

Kassel

Titel Name Vorname InstitutionDr. Pulyer Ursula Evaluationsstelle für die deutsche Schule in

SüdtirolDr. Rädiker Stefan Methoden-Expertise.de

Raetzell Lennart Syspons GmbHRaser Marcus Justus-Liebig-Universität Gießen

Dipl. Soz. Ratzlaff Olaf Universität Potsdam - ZfQRaub Viviane Deutsche Gesellschaft für Internationale

ZusammenarbeitM.A. Rechberger Marlis FH St. Pölten Qualitätsmanagement

Reil ThomasReimann Jürgen Robert Schumann Hochschule DüsseldorfReinstein-Kersten Jens Hochschule für Musik und Theater LeipzigReiter Stefanie Deutsches Jugendinstitut e.V.

Dr. Renz Monika Landesinstitut für Lehrerbildung und Schulentwicklung Hamburg

Dipl. Soz. Rettinger Tanja Johannes Gutenberg-Universität MainzReuke Hermann ZEvARiedle Stephanie Deutsches Jugendinstitut e.V.Ries Tammy Hochschule Ostwestfalen-Lippe

Dr. Rigbers Anke Evaluationsagentur BW - evalagDr. Röbbecke Martina EVACONSULT

Rohde Oliver DLR ProjektträgerRosenstengel-Kromke Luzia Organisationsberatungsinstitut Thüringen -

ORBITRupprich Karsten Bundesministerium für Wirtschaft und EnergieSanz Juan Carlos Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Dr. Saß Uta VolkswagenStiftung

Saur-Kresse MirjamSavioli Benno FEEDBACK-BremenSchäffer Erik iSPO

Dr. rer. nat., Dipl.-Psych.

Scheffler Dirk e-fect eG

Dr. Scheideler Britta Universität OsnabrückScheinert Laura Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Dipl. Soz. Scherber Sandra Zentrum für Qualitätsanalyse, TU Dresden

Scherer Caroline Goethe-Universität FrankfurtScherff Heike Brot für die Welt/ EWDESchirra Sabine Stadt Mannheim, Kulturamt

Dr. Schmidl Ricarda PricewaterhouseCoopers GmbHProf. Dr. Schmidt Uwe Johannes Gutenberg-Universität Mainz, Zentrum

für Qualitätssicherung und -entwicklungDr. Schmidt Christopher FAU Erlangen-Nürnberg

Schmidt Stefan schmidt evaluation


58 59

Titel Name Vorname InstitutionDr. Schmidtmann Heide Universität Duisburg-Essen, Zentrum

für Hochschul- und QualitätsentwicklungM.A. Schmitt Johannes Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Schneider Juliana Zentrum für Qualitätsentwicklung in Lehre

und Studium (Universität Potsdam)Schneider Peggy Universität LeipzigSchneider Elisabeth CEval Centrum für EvaluationSchobert Berthold Univation

M.A. Schoppe Juliane Universität BremenM.A. Schopper Sandra Masterstudiengang EvaluationM. Eval. Schopphoff Corinna Westfälische Wilhelms-Universität Münster,

Zentrum für LehrerbildungSchoppmann Ute Landesinstitut für Schulentwicklung

Dr. Schott Dörte BIBB - Bundesinstitut für BerufsbildungSchulte Christiane Evangelisches Werk für Diakonie

und EntwicklungDr. Schulte Claudia agiplan GmbH

Schurz Katharina Hochschule OsnabrückSchwab Markus pro mente: forschung

Dr. Schwab Oliver IfS Institut für Stadtforschung und Strukturpolitik

Schwanz Veronika Kindernothilfe e.V.Dr. Sedelmaier Yvonne Hochschule für Angewandte Wissenschaften

CoburgSeemann Wenke Technische Universität Berlin

Dr. Sheikh Sonja KMU Forschung AustriaSiegel Stefan evalux

Dr. Silvestrini Stefan Centrum für Evaluation (CEval)Simon Wenke Unfallkasse Rheinland-Pfalz

Prof. Dr. Spiel Christiane Institut für Angewandte Psychologie, Universität Wien

Univ. Doz. Dr. Spiel Georg pro mente: kinder jugend familieM.Sc. Stadtmüller Helena Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Dr. Staeck Nicola Alexander von Humboldt Stiftung

Stander Volker Bundeszentrale für gesundheitliche AufklärungSteckhan Heike Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Steinestel Martin Verbraucherzentrale NRW e.V.Steinmetz Sara Universität Luxemburg

Dipl. Ing. Stenger Myriam Hochschule Geisenheim UniversityDr. Steyer Mario BMVIT/ftevalProf. Dr. Stockmann Reinhard Centrum für Evaluation (CEval)

Stolzenburg Kathrin Bundesamt für Bevölkerungsschutz und Katastrophenhilfe

Titel Name Vorname InstitutionM.A. Stricker Tobias Pädagogische Hochschule LudwigsburgPD Dr. Strobl Rainer proVal GbR

Stroppel Simone Univation GmbHDr. Stuetzer Cathleen M. Zentrum für Qualitätsanalyse (ZQA),

TU DresdenDipl.-Päd. Stumpp-Marx Angela Sächsisches Bildungsinstitut

Sturtz-Klose Patrick Deutsche Hochschule der PolizeiSubklew-Sehume Friederike Evangelisches Werk für Diakonie

und Entwicklung/Brot für die WeltMag. BSc. Sukitsch Alexandra Fachhochschule St. PöltenDipl.-Soz. Szymenderski Peggy Technische Universität DresdenM.Sc. Taube Lena Universität des SaarlandesProf. Dr. Taut Sandy Staatsinstitut für Schulqualität

und Bildungsforschung, QualitätsagenturTissen Günter WVZ e.V.Tkachuk Maria

Dr. Toepel Kathleen Büro für Evaluation + InnovationTränkner-Benslimane KarinTreppesch Christian Justus-Liebig-Universität GießenTschirkov Carmen Universität Hamburgvan Mark Kerstin Projektträger JülichVerch Jennifer Deutsche Hochschule der PolizeiVerspohl Ida Deutsches Evaluierungsinstitut

der Entwicklungszusammenarbeit (DEval)Villarreal Guzman Olman

AndresUniversidad de Costa Rica

Vogelhuber Clara uzbonn GmbHVogt Raina DeGEval - Gesellschaft für Evaluation e.V.von Hagke Katrin MISEREOR e.V.von Jan Susanne Hanns-Seidel-StiftungWach Katharina Deutsches Jugendinstitut e.V.Wachsmuth Elisabeth Justus-Liebig-Universität Gießen

Prof. (FH) PD Mag. Dr.

Wagner Petra FH Oberösterreich

Dr. Wagner Friederike e-fect eGDr. Wangler Leo VDI/VDE Innovation + Technik GmbHDr. Weber Anja Bundesamt für Wirtschaft und Ausfuhrkontrolle

Weber AnjaWeiger Wiebke Ramboll Management Consulting

Dr. Weis Susanne Universität Koblenz-LandauWeiss Jakob MetisWelger Andrea Hochschule Fulda

Dr. rer. nat. Weritz Friederike Bundesministerium für Wirtschaft und EnergieDr. Wessels Jan VDI/VDE Innovation + Technik GmbHProf. Dr. Widmer Thomas Universität Zürich


60 61

INSTITUTIONELLE MITGLIEDER DER DEGEVAL

Derzeit unterstützen 191 institutionelle Mitglieder die Ziele der DeGEval. Dies sind (aufgelistet in der Reihenfolge ihres Eintritts in die DeGEval):

1. Fraunhofer-Institut für System- und Innovationsforschung ISI

2. VDI/VDE Innovation + Technik GmbH

3. Univation – Institut für Evaluation Dr. Beywl & Associates GmbH

4. terre des hommes Deutschland e.V.

5. Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH

6. VDI Technologiezentrum GmbH

7. INCHER-Kassel – Internationales Zentrum für Hochschulforschung

8. Zentrum für Qualitätssicherung und -entwicklung (ZQ)

9. Universität Siegen, Zentrum für Planung und Evaluation sozialer Dienste

10. Institut für Sozialarbeit und Sozialpädagogik e.V.

11. Joanneum Research Forschungsgesellschaft mbH, POLICIES-Zentrum für Wirtschafts- und Innova-

tionsforschung

12. Bertelsmann Stiftung, Programm Zukunft der Zivilgesellschaft

13. Verein Plattform Forschungs- und Technologieevaluierung

14. Bischöfliches Hilfswerk Misereor e.V. Evaluierung und Qualitätsmanagement

15. DJI – Deutsches Jugendinstitut e.V. Abteilung Jugend und Jugendhilfe

16. Electric Paper Evaluationssysteme GmbH

17. Ramboll Management

18. PARTICIP GmbH

19. Deutsche Welthungerhilfe, Stabstelle Evaluierung

20. CEval – Centrum für Evaluation, c/o Universität des Saarlandes

21. Besondere Einrichtung für Qualitätssicherung, Universität Wien

22. Institut für Ländliche Räume, Johann Heinrich von Thünen-Institut (vTI), Bundesforschungsanstalt

für Ländliche Räume, Wald und Fischerei

23. BiBB – Bundesinstitut für Berufsbildung

24. ZEM – Zentrum für Evaluation und Methoden, Rheinische Friedrich-Wilhelms-Universität Bonn

25. Universität für Bodenkultur Wien BOKU Forschungsservice/Vizerektorat f. Forschung

26. FAKT Beratung für Management, Bildung und Technologien GmbH

27. Universität Duisburg-Essen, Zentrum für Hochschul- und Qualitätsentwicklung

28. PricewaterhouseCoopers AG Wirtschaftsprüfungsgesellschaft

29. FFG Österreichische Forschungsförderungsgesellschaft mbH

30. Landeskriminalamt NRW, SG 32.3 - Zentralstelle Evaluation

31. in puncto: pfaender & team GmbH

Titel Name Vorname InstitutionWiesweg Johannes Westfälische Wilhelms-Universität MünsterWillwacher Hanna Institut für Gesetzesfolgenabschätzung

und EvaluationWinckler Andersen Ole Ministry for Foreign Affairs of DenmarkWindolf Katrin Eidgenössische Finanzkontrolle EFKWolff Jutta Institut für Bildungsmonitoring und

Qualitätsentwicklung HamburgDr. Wroblewski Angela Institut für Höhere Studien (IHS)

Wuppinger Johanna Bundesagentur für ArbeitDr. Wurster Sebastian Johannes Gutenberg-Universität MainzDr. Würtz Stefanie Universität Koblenz-Landau,

Zentrum für Lehrerbildung, Campus LandauYork Nick IOD PARC

Univ.-Prof. i.R. Dr.

Zechlin Lothar Universität Duisburg-Essen

Ziesmann Lena Beuth Hochschule für Technik BerlinZimmer Carolin Hochschule München

Dr. Zobell Oliver Projektträger Jülichzu Eulenburg Amélie ICON-INSTITUTE GmbH & Co KG Consulting

GruppeZuñiga Carolina Projekt FOCEVALZweidler Reinhard FHNW Hochschule für Technik, Brugg


62 63

65. pH-7 Unternehmensberatung OG

66. Deutsches Zentrum für Hochschul- und Wissenschaftsforschung

67. ECO Consult

68. Organisationsberatungsinstitut Thüringen – ORBIT

69. GIB – Gesellschaft für Innovationsforschung und Beratung mbH

70. Institut für Technologie und Arbeit, TU Kaiserslautern

71. Sopra Steria GmbH Public Services

72. Austrian Development Agency, Stabsstelle Evaluierung

73. europäisches forum für migrationsstudien (efms),

Institut an der Otto-Friedrich-Universität Bamberg

74. dvv international

75. Institut für Internationale Zusammenarbeit des Deutschen Volkshochschul-Verbandes e.V.

76. evaluamus GmbH, Dr. Besson Evaluationsberatung

77. Sucht- und Drogenkoordination Wien gemeinnützige GmbH, Institut für Suchtprävention

78. INTERVAL GmbH

79. evalag (Evaluationsagentur Baden-Württemberg)

80. ATB Arbeit, Technik und Bildung GmbH

81. EvalueLab – Gesellschaft für empirische Sozialforschung mbH

82. Sächsisches Bildungsinstitut, Abteilung 4

83. Institut für Qualitätsentwicklung (IQ)

84. Evartis GmbH – Evaluation und Forschungsdienstleistungen

85. FernUniversität in Hagen – Dez. 1.1 Hochschulplanung

86. GAB München – Gesellschaft für Ausbildungsforschung und Berufsentwicklung GmbH

87. PHINEO gemeinnützige AG, Plattform für Soziale Investoren

88. Gesundheit Österreich GmbH

89. Zentrale Evaluations- und Akkreditierungsagentur Hannover (ZEvA)

90. Fachhochschule Vorarlberg GmbH, Forschungsbereich Sozial- und Wirtschaftswissenschaften

91. ZARABINA asbl., Geschäftsführung (Entwicklung und Qualitätsmanagement)

92. MTO Psychologische Forschung und Beratung GmbH,

Organisationsentwicklung und Bildungsmanagement

93. Ernst & Young GmbH Wirtschaftsprüfungsgesellschaft

94. uzbonn – Gesellschaft für empirische Sozialforschung und Evaluation

(Umfragezentrum Bonn - Prof. Rudinger GmbH)

95. IHS – Institut für höhere Studien

96. proVal – Gesellschaft für sozialwissenschaftliche Analyse, Beratung und Evaluation

97. BBI Gesellschaft für Beratung Bildung Innovation mbH

98. transfer-unternehmen für soziale innovation

99. Bundeszentrale für gesundheitliche Aufklärung

32. Con_sens – Consulting für Steuerung und soziale Entwicklung GmbH

33. Bundesministerium für Wissenschaft und Forschung, Abteilung I/12

34. EuroNorm – Gesellschaft für Qualitätssicherung und Innovationsmanagement mbH

35. DKJS – Deutsche Kinder- und Jugendstiftung, Abteilung Evaluation und Entwicklung

36. University of Luxembourg RU INSIDE - Institute for Research on Generations and Family:

Youth Research

37. Medizinische Universität Wien, Stabstelle für Evaluation und Qualitätsmanagement

38. Institut für Arbeit und Gesundheit der Deutschen Gesetzlichen Unfallversicherung (IAG),

Forschung und Beratung – Evaluation von Präventionsmaßnahmen

39. Evalux UG

40. Wissenschaftliche Kommission Niedersachsen

41. Goethe-Institut – Zentrale, Strategie & Evaluation

42. Auswärtiges Amt, Referat 07-4 – Evaluierungsberatung

43. Bundesministerium für Wirtschaftliche Zusammenarbeit und Entwicklung (BMZ),

Referat Evaluierung der Entwicklungszusammenarbeit

44. Institut für berufliche Bildung, Arbeitsmarkt- und Sozialpolitik, INBAS GmbH

45. Johann Daniel Lawaetz-Stiftung, Abteilung Forschung, Evaluation und Wissenstransfer

46. Arnold-Bergstraesser-Institut für kulturwissenschaftliche Forschung e.V. an der Albert-Ludwigs-

Universität Freiburg im Breisgau

47. Leibniz-Zentrum für Psychologische Information und Dokumentation – ZPID

48. Institut für ökologische Wirtschaftsforschung (IÖW) gGmbH

49. IKJ – Institut für Kinder- und Jugendhilfe gGmbH, Forschungsmethoden und Evaluation

50. Kommando Streitkräftebasis, Abteilung Ausbildung Streitkräfte

51. com.X – Institut für Kommunikations-Analyse & Evaluation

52. Institut für Auslandsbeziehungen

53. CVJM – Christlicher Verein Junger Menschen, Computerclub e.V.

54. Bildungsberatung/Bildungsforschung s. koppe

55. Deutsche Welle, Strategisches Marketing / Markt- und Medienforschung

56. SALSS – Sozialwissenschaftliche Forschungsgruppe GmbH

57. FH Oberösterreich Studienbetriebs GmbH, Campus Linz

58. pro mente: kinder jugend familie GmbH

59. Amt der NÖ Landesregierung Abteilung Wirtschaft, Tourismus und Technologie

60. IfLS – Institut für Ländliche Strukturforschung

61. BSL Public Sector Managementberatung GmbH, Geschäftsführung

62. G.I.B. – Gesellschaft für innovative Beschäftigungsförderung mbH

63. Deutscher Akademischer Austauschdienst DAAD, Ref. 212, Evaluation/Statistik

64. Österreichischer Austauschdienst (ÖAD), ARQA-VET Österreichische Referenzstelle für Qualität in

der Berufsbildung


64 65

134. FFH, Gesellschaft zur Durchführung von Fachhochschulstudiengängen

135. Humboldt-Universität Berlin, Stabsstelle Qualitätsmanagement

136. Pädagogisches Landesinstitut Rheinland-Pfalz

137. KfW Bankengruppe (KfW Entwicklungsbank & KfW DEG) – Evaluierungsabteilung

138. Forschungszentrum Jülich GmbH, Projektträger Jülich

139. SEEK Development – Strategic and Organizational Consultants

140. Moysies & Partner

141. Kulturstiftung des Bundes, Förderabteilung: Kulturförderfonds und Evaluation

142. PHBern, Institut für Forschung, Entwicklung und Evaluation

143. Aussätzigen-Hilfswerk Österreich

144. Universität Potsdam, Zentrum für Qualitätsentwicklung in Lehre und Studium (ZfQ)

145. Hessische Hochschule für Polizei und Verwaltung, Qualitätsmanagement

146. CBM e.V., Knowledge, Learning and Training

147. Syspons GmbH

148. MedienCampus Bayern e.V

149. k.o.s GmbH

150. Joseph-DuMont-Berufskolleg

151. Hochschule Fulda, Dienstleistungen Lehre und Studium

152. isPO – Institut für Sozialforschung, Praxisberatung und Organisationsentwicklung GmbH

153. Deloitte & Touche GmbH Wirtschaftsprüfungsgesellschaft, Audit & Advisory

154. Deutsches Zentrum für Luft- und Raumfahrt e.V. – Projektträger im DLR

155. Donau-Universität Krems - Vizerektorat für Lehre/Wissenschaftliche Weiterbildung

156. GFA Consulting Group GmbH

157. Fachhochschule Südwestfalen, Institut f. Qualitätsentwicklung u. -management (IQEM)

158. Forschungsinstitut Betriebliche Bildung (f-bb) gGmbH

159. Hanns-Seidel-Stiftung e.V., Institut für Internationale Zusammenarbeit, Referat Evaluierung

160. IRZ – Deutsche Stiftung für Internationale Rechtliche Zusammenarbeit

161. BearingPoint, Public Services

162. Como Consult GmbH

163. LMU München, LMU Center for Leadership and People Management

164. Universität Würzburg, Referat A.3. Qualitätsmanagement und Organisationsentwicklung

165. Metis GmbH

166. TÜV Rheinland Consulting GmbH

167. Institut für sozialpädagogische Forschung Mainz e.V. (ism)

168. Fachhochschule für öffentliche Verwaltung NRW

169. Arbeitskreis Neue Erziehung e.V.

170. adelphi consult GmbH

171. ISTAT – Institut für angewandte Statistik

100. Hochschule der Medien, Stabstelle für Hochschulentwicklung und Qualitätsmanagement

101. Pädagogische Hochschule Zürich, Arbeitsstelle Evaluation,

Zentrum für Hochschuldidaktik und Erwachsenenbildung

102. Unfallkasse Nordrhein-Westfalen

103. Polizeiakademie Niedersachsen, Dezernat 01

104. FOGS GmbH

105. Bundesministerium für Wirtschaft und Technologie, Abteilung Z, Referat ZA1-C

106. ICG Integrated Consulting Group GmbH

107. Universität Stuttgart, Stabsstelle Qualitätsentwicklung

108. anakonde GbR – Analysen und Konzepte zu Migration, Integration,

Community Development/Evaluation

109. Internationale Akademie für Innovative Pädagogik, Psychologie und Ökonomie GmbH

110. Physikalisch-Technische Bundesanstalt, Q.5, Technische Zusammenarbeit

111. StatEval GmbH – Statistik – Evaluation – Organisationsentwicklung

112. Bundesministerium für Gesundheit, Kommunikationsstab – Öffentlichkeit

113. Deval Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit GmbH

114. Prognos AG, Innovation, Technologie & Bildung

115. Alice Salomon Hochschule Berlin, Zentrum ASH-IQ und Referat für Lehrevaluation und QM

116. Kienbaum Consultants International GmbH, Public Management

117. Bundesamt für Wirtschaft und Ausfuhrkontrolle (BAFA), Referat 421

118. Rosa-Luxemburg-Stiftung, Stabsstelle PME des Zentrum für Internationalen Dialog

und Zusammenarbeit

119. Goethe-Universität Frankfurt am Main, Stabstelle Lehre und Qualitätssicherung

120. QUBIC Beratergruppe GmbH

121. Stiftung Haus der kleinen Forscher, Wissenschaftliche Begleitung

122. Hochschule Wismar – University of Applied Sciences

123. agiplan GmbH, Regionalentwicklung und Strukturpolitik

124. AFC Public Services GmbH

125. KMU Forschung Austria

126. Landeshauptstadt München, Sozialreferat, Zentrale Sozialplanung

127. Kindernothilfe e.V., Referat für Projektbeantragung

128. ASIIN Consult GmbH

129. FH Campus Wien, Qualitätsmanagement

130. Allgemeine Unfallversicherungsanstalt, HUB – Unfallverhütung und Berufskrankheitenbekämpfung

131. Brot für die Welt – Evangelischer Entwicklungsdienst,

Stabsreferat Ergebnismanagement und Verfahrenssicherung

132. Wikimedia Deutschland e.V., Stabsstelle Evaluation

133. Institut für sozialwissenschaftliche Beratung GmbH


66 67

ORGANISATION UND PLANUNG DER 20. JAHRESTAGUNG DER DEGEVAL

DeGEval – Gesellschaft für Evaluation e.V.

Vorstand: Univ.-Prof. Dr. Philipp Mayring (Vorstandsvorsitzender)

Dr. Christiane Kerlen (stellv. Vorsitzende)

Prof. Dr. Jan Ulrich Hense

Dr. Oliver Schwab

Dr. Sonja Sheikh (Vorstandsmitglieder)

Geschäftsstelle: Natalie Emmerich, Florian Haag und Raina Vogt

Zentrum für Qualitätssicherung und –entwicklung (ZQ) der Johannes Gutenberg-Univer-sität Mainz:Prof. Dr. Uwe Schmidt, Gerlind Engel, Mareike Hinz und Isabel Maltry

Mitglieder des Programmkomitees:Prof. Dr. Jan Ulrich Hense, DeGEval-Vorstand (Leitung des Programmkomitees)

Prof. Dr. Uwe Schmidt (für den lokalen Veranstalter)

Prof. Dr. Wolfgang Böttcher, ehem. Vorstandsvorsitzender

Susanne von Jan

Dr. Marianne Lück-Filsinger

Dr. Sonja Sheikh (DeGEval-Vorstand)

Dr. Angela Wroblewski

172. Plan International Deutschland e.V.

173. FOM Hochschule für Oekonomie und Management

174. ISG Institut für Sozialforschung und Gesellschaftspolitik

175. SKC Beratungsgesellschaft mbH

176. Pädagogische Hochschule Graubünden, Hochschulentwicklung & Qualitätsmanagement

177. EPIG GmbH – Entwicklungs- und Planungsinstitut für Gesundheit

178. IZT – Institut für Zukunftsstudien und Technologiebewertung gemeinnützige GmbH

179. FH Aachen – Zentrum für Hochschuldidaktik und Qualitätsentwicklung (ZHQ)

180. Fachstelle für Schulbeurteilung des Kantons Zürich

181. Justus-Liebig-Universität Gießen, StL –

Stabsabteilung Studium, Lehre, Weiterbildung, Qualitätssicherung

182. Deutsches Forschungsinstitut für öffentliche Verwaltung (FÖV)

Institut für Gesetzesfolgenabschätzung und Evaluation (InGFA)

183. Bundesanstalt für Geowissenschaften und Rohstoffe B4.1 Internationale Zusammenarbeit

184. Deutsche Hochschule der Polizei - Stabsstelle II Hochschul- und Qualitätsentwicklung

185. GOPA Consultants, Bad Homburg

186. Nationales Zentrum für Kriminalprävention (NZK)

187. Pädagogische Hochschule Heidelberg – Stabsstelle Qualitätsmanagement

188. e-fect dialog evaluation consulting eG

189. FH St. Pölten GmbH, Qualitätsmanagement

190. Staatsinstitut für Schulqualität und Bildungsforschung; Qualitätsagentur

191. Alexander von Humboldt-Stiftung, Evaluation und Statistik

Vielen Dank für Ihren Besuch!

„Evaluation (in) der Zukunft“€¦ · 20. Jahrestagung der DeGEval – Gesellschaft für...

Documents

Transcript of „Evaluation (in) der Zukunft“€¦ · 20. Jahrestagung der DeGEval – Gesellschaft für...