Tue Gutes und lass andere darüber reden –

Evaluation20. Workshop für Forscherberaterinnen

und Forscherberater EURAXESS Deutschland

21. Mai 2014

Dr. Johannes DinglerWelcome CenterUniversität KonstanzTel: 07531 88-4498Johannes.Dingler@uni-konstanz.dewww.uni-konstanz.de/Welcome

Definition Evaluation• Begriff Evaluation: vom lateinischen Wort „valor“, d.h. Wert, und der Vorsilbe

e/ex, d.h. aus. Zusammen: 'einen Wert aus etwas ziehen (Reinhard Stockmann)

• Allgemein: Bewertung, Beurteilung von Projekten, Prozessen und Organisationseinheiten.

• Die grundsätzliche Untersuchung, ob und inwieweit etwas geeignet erscheint, einen angestrebten Zweck zu erfüllen (Wikipedia).

• Evaluation dient der rückblickenden Wirkungskontrolle, der vorausschauenden Steuerung und dem Verständnis von Situationen und Prozessen (Wikipedia).

• Anhand der Evaluationsdaten können untersuchte Prozesse angepasst und optimiert werden (Wikipedia).

• Evaluation ist die systematische und zielgerichtete Sammlung, Analyse und Bewertung von Daten zur Qualitätssicherung und Qualitätskontrolle (evaluationsnetz.com).

Methoden der EvaluationPrinzipiell: angewandte Sozialforschung: Nutzen für die „Praxis“ im Vordergrund

•Beobachtung/Expertenteilnahme

•Fragebogen

•Interview

•Fallstudie

•Experiment

•Sekundäranalysen vorhandener Materialien

•Qualitative Methoden

•Quantitative Methoden (Statistische Methoden)

Evaluation in Welcome Centern

• Information über Stärken und Schwächen

• Standardkontrolle

• Einheitliches Serviceniveau

• Neue Services

• Legitimation, Selbstdarstellung

• Qualitätsmanagement

• Qualitätsentwicklung

Qualitätsmanagement zentraler Grund für Evaluation

Welcome Center Universität Konstanz

• Ca. 300 Fälle pro Jahr• Ca. 240 Personen in Konstanz in Betreuung• Ca. 80 Personen nach Konstanz kommend• Umfassender Service in Zeit und Umfang• 5 MitarbeiterInnen• Vollerhebung in Evaluation

Qualitätsmanagement und Evaluation

• Strukturelle Integration beim Aufbau• Definierte Prozesse und Workflows• Definiertes Qualitätsniveau• Einheitliche Standards• Gleiche Behandlung unabhängig von

BearbeiterIn• Regelmäßige Statistik (Quartal)

Qualitätsmanagementzyklus

Qualitätsmanagementzyklus Bedürfnisse der Forschenden und ihrer Familien

Definition von Aufgaben

Definition von Standards und Serviceniveaus

Definition von Workflows und Prozessabläufen

Implementierung

Dokumentation

Evaluation

Neue AufgabenFeedbackschleifeBeschwerde- management

Qualitätsmanagementinstrumente

Qualitätsmanagement

Welcome Center

De

finitio

n v

on

Sta

nd

ards

Do

ku

me

ntatio

n

Sta

nd

ard

ko

ntro

lle

Zu

friede

nh

eits

be

frag

un

g

Ab

sch

luss

ge

sprä

ch

Qualitätsmanagementinstrumente

Qualitätsmanagement

Welcome Center

De

finitio

n v

on

Sta

nd

ards

Do

ku

me

ntatio

n

Sta

nd

ard

ko

ntro

lle

Zu

friede

nh

eits

be

frag

un

g

Ab

sch

luss

ge

sprä

ch

Besch

werd

eman

agem

ent

Dokumentation

• Instrument: Datenbank• Erinnerungsfunktion für eigene Fälle• Fallrekonstruktion für andere MitarbeiterInnen• Statistik• Qualitätsmanagement:

Ist-Soll-Vergleich

Standardkontrolle

• 6 Wochen nach Ankunft

• Beurteilung aller Fälle: Vollerhebung

• Selbsteinschätzung

• Jede(r) BetreuerIn schätzt eigene Fälle selbst ein

• Reflektion über die Qualität der Arbeit

• Einschätzung zu strukturellen Schwächen

• Feedback und strukturelle Rückkoppelung

Zufriedensheitsbefragung

• Online Befragung

• Vollerhebung

• 6 Wochen nach Ankunft

• Über Software EvaSys

• Voll anonymisiert: Zusendung eines Links per E-Mail

• Automatische Auswertung per Software

• Meist ca. 40% Rücklauf

• Bias??

Beschwerdemanagement• Instrument zum Qualitätsmanagement und zur

Evaluation: Beschwerden sind Chancen• Noch nicht voll implementiert• Beschwerdemanagementprozess:

– Beschwerden erhalten– angemessen bearbeiten– auswerten: Analyse und Offenlegung von Fehlern– angemessene Lösung suchen– daraus lernen: Feedback und Lernprozess

• Schutz der individuellen MitarbeiterInnen• Suche nach strukturellen Ursachen

Strukturelle Anpassung

Abschlussgespräch

• Findet für jede Person statt

• Kein weiterer Fragebogen

• Leitfragenorientiert

• Im Gespräch eingeflochten

• Anschließende Dokumentation und Auswertung

• Rückbezug in Strukturanpassungsprozess

Leitfragen• Did you like your stay in Konstanz?

• How useful do you consider the services of the Welcome Center?

• How did you experience the quality of the services of the Welcome Center?

• Which services did you mainly use?

• Which services do you consider the three most important services offered by the Welcome Center?

• Which services did you miss in the range of services of the Welcome Center?

• What do you suggest in order to improve our services?

• Do you have any other comments?

Fazit

• Qualitätsmanagement und Evaluation als integraler struktureller Bestandteil

• Systematisierte Instrumente

• Mix von Instrumenten

• Aufwand überschaubar

• Großer Nutzen für– Außendarstellung, Selbstvermarktung, Legitimation– Analyse und Verbesserung der eigenen Prozesse

Vielen Dank!!

Dr. Johannes DinglerWelcome CenterTel: 07531 88-4498Johannes.Dingler@uni-konstanz.dewww.uni-konstanz.de/Welcome