Übung “Evaluationstheorie”: 1. Was ist Evaluation? Sandra Bäthge, M.A. Universität des...

Übung “Evaluationstheorie”:

1. Was ist Evaluation?

Sandra Bäthge, M.A. Universität des Saarlandes

&Stefanie Kihm, M.A.HTW des Saarlandes

November 2014

Der Begriff „Evaluation“ Der Begriff „Evaluation“ KROMREY (2001)KROMREY (2001)Der Begriff „Evaluation“ Der Begriff „Evaluation“ KROMREY (2001)KROMREY (2001)

Irgend etwas wird

von irgend jemandem

in irgendeiner Weise

nach irgendwelchen Kriterien bewertet.

Programme, Maßnahmen, Organisationen etc. werden

durch Personen, die zur Bewertung besonders befähigt sind

in einem objektivierten Verfahren

nach explizit auf den Sachverhalt bezogenen und begründeten Kriterien bewertet.

alltäglicher Sprachgebrauch

November 2014 Sandra Bäthge & Stefanie Kihm 2

wissenschaftlicher Sprachgebrauch

Kennzeichen wiss. EvaluationKennzeichen wiss. EvaluationKennzeichen wiss. EvaluationKennzeichen wiss. Evaluation

Evaluation dient als Planungs- und Entscheidungshilfe,

ist ziel- und zweckorientiert (primäres Ziel ist die Überprüfung, Verbesserung bzw. Entscheidung über Sachverhalte) und

sollte dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein.

vgl. WOTTAWA & THIERAU (2003)

3November 2014 Sandra Bäthge & Stefanie Kihm

Populäre DefinitionenPopuläre DefinitionenPopuläre DefinitionenPopuläre Definitionen

„Evaluation is the systematic investigation of the merit or worth of an object (program) for the purpose of reducing uncertainty in decision making.“

MERTENS (1998)

Evaluationsforschung … „als systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer Interventionsprogramme. Evaluationsforschung bezeichnet den gezielten Einsatz sozialwissenschaftlicher Forschungsmethoden zur Verbesserung der Planung und laufenden Überwachung sowie zur Bestimmung der Effektivität und Effizienz von (...) sozialen Interventionsmaßnahmen.“

ROSSI/FREEMAN (1988)


5

Eine weitere ausführliche DefinitionEine weitere ausführliche DefinitionEine weitere ausführliche DefinitionEine weitere ausführliche Definition

„Wissenschaftliche Dienstleistung, die namentlich öffentlich verantwortete oder finanzierte ‚Gegenstände‘ (Politiken, Programme, Projekte, Massnahmen …) in verschiedensten Themenfeldern systematisch, transparent und datengestützt beschreibt und ausgewogen bewertet, so dass Beteiligte & Betroffene (Auftraggebende und andere Stakeholder) die erzeugten Evaluationsergebnisse für vorgesehene Zwecke wie Rechenschaftslegung, Entscheidungsfindung oder Optimierung nutzen.“

BEYWL/WIDMER (2009)

November 2014 Sandra Bäthge & Stefanie Kihm

Typen & Problemstellungen von Eval.Typen & Problemstellungen von Eval.Typen & Problemstellungen von Eval.Typen & Problemstellungen von Eval.

GegenstandGegenstand der Evaluation

ZieleZiele der Evaluation

ZeitpunktZeitpunkt, an dem eine Evaluation ansetzt

InstanzenInstanzen, die die Evaluation durchführen

EvaluationsmodellEvaluationsmodell

BewertungskriterienBewertungskriterien

Evaluationen lassen sich anhand verschiedener Gestaltungsdimensionen klassifizieren, u.a.:


Mögliche Teilaspekte eines Programms:

Art, Ausmaß und Verteilung des sozialen Problems auf das ein Programm abzielt

Programmziele und deren Angemessenheit

Programmimplementation

Programmwirkungen

Programmeffizienz

Evaluationsgegenstand:Evaluationsgegenstand:

Wer/was (genau) wird evaluiert? Wer/was (genau) wird evaluiert?

Evaluationsgegenstand:Evaluationsgegenstand:

Wer/was (genau) wird evaluiert? Wer/was (genau) wird evaluiert?


Evaluation dient zu / zur …

KontrollzweckenKontrollzwecken

(evaluation for accountability)

Verbreiterung der Wissensbasis Verbreiterung der Wissensbasis (evaluation for knowledge)

Entwicklungszwecken Entwicklungszwecken

(evaluation for development)

vgl. KROMREY (2001): 113f., CHELIMSKY (1997): 9ff.

Evaluationsziele:Evaluationsziele:

Warum wird evaluiert?Warum wird evaluiert?

Evaluationsziele:Evaluationsziele:

Warum wird evaluiert?Warum wird evaluiert?


Dimensionen der Evaluationsforschung

Quelle: In Anlehnung an STOCKMANN (2007): S. 34

Zeitpunkt der Evaluation: Zeitpunkt der Evaluation:

Wann wird evaluiert?Wann wird evaluiert?



9

PlanungPlanung DurchführungDurchführung WirkungsphaseWirkungsphase

preformativ/formativ

formativ/ summativ summativ

ex-ante on-going ex-post

zusammenfassend bilanzierend ergebnis- und

wirkungsorientiert “analysis of policy”

“science for knowledge”

aktiv gestaltend prozessorientiert zukunftsorientiert/ konstruktiv “analysis for policy” “science for action”


Formative & summative EvaluationFormative & summative EvaluationFormative & summative EvaluationFormative & summative Evaluation

„When the cook tastes the soup, that‘s formative evaluation, when the guest tastes it, that‘s summative evaluation.“

(Robert E. Stake)


Dimension/Verortung

Ort der Steuerung

einer Evaluation

Ort der Durchführung

einer Evaluation

Ort der Nutzung

einer Evaluation

Innerhalb der Institution/

des Projektes

Selbst-evaluation

Interne Evaluation

Formative Evaluation

Außerhalb der Institution/

des Projektes

Fremd-evaluation

Externe Evaluation

Summative Evaluation

Quelle: WIDMER (2004): S. 85

Evaluationsinstanz: Evaluationsinstanz:

Wo ist die Evaluation angesiedelt? Wo ist die Evaluation angesiedelt?

Evaluationsinstanz: Evaluationsinstanz:

Wo ist die Evaluation angesiedelt? Wo ist die Evaluation angesiedelt?


Interne und externe EvaluationInterne und externe EvaluationInterne und externe EvaluationInterne und externe Evaluation

Quelle: STOCKMANN (2007): S. 61

12

Von Personen durchgeführt, die nicht dem Mittelgeber oder der Durchführungsorganisation angehören, z.B. externe Gutachter

Vorteile: hohe Unabhängigkeit große Methodenkompetenz unterstützen Reformkräfte große Glaubwürdigkeit

Nachteile: geringe Sachkenntnis Abwehrreaktionen Umsetzungsprobleme

Von der gleichen Organisation vorgenommen, die auch das Programm durchführt; Sonderfall: Selbstevaluation

Vorteile: rasch, geringer Aufwand hohe Sachkenntnis unmittelbare Umsetzung

Nachteile: geringe Methodenkompetenzfehlende Unabhängigkeit und Distanz „Betriebsblindheit“

Intern Extern


Evaluationsmodelle (oder Evaluationsansätze) stellen weitgehend ausformulierte Vorschläge zur praktischen Strukturierung von Evaluationsvorhaben dar.

Sie bieten einen Orientierungsrahmen für das Auffinden der Hauptfragestellungen einer Evaluation, beschreiben mögliche und notwendige Arbeitsschritte und deren Abfolge, die dabei zu verwendenden Instrumente, angestrebte Arten von Ergebnissen und deren Nutzung usw.

(vgl. BEYWL 1988)

Zu Evaluationsmodell:Zu Evaluationsmodell:

Wie wird evaluiert?Wie wird evaluiert?

Zu Evaluationsmodell:Zu Evaluationsmodell:

Wie wird evaluiert?Wie wird evaluiert?

Unterschiedliche Klassifikationsversuche:

z.B. SHADISH et al. (1991); STUFFLEBEAM et al. (2000); FITZPATRICK et al. (2004); ALKIN (2004); BEYWL et al. (2004)


BewertungskriterienBewertungskriterienBewertungskriterienBewertungskriterien

Richten sich nicht nach vorgegebenen Normen oder Parametern

Orientieren sich jedoch oft am Nutzen eines Gegenstands einer Handlung eines Entwicklungsprozesses für bestimmte Personen oder Gruppen

Können festgelegt werden durch Auftraggeber (direktiv) Evaluator (wissenschafts-/erfahrungsbasiert) Zielgruppe, Stakeholder (emanzipativ) alle gemeinsam (partizipativ)


Sandra Bäthge & Stefanie Kihm

Vielen Dank für Ihre Vielen Dank für Ihre Aufmerksamkeit!Aufmerksamkeit!

Vielen Dank für Ihre Vielen Dank für Ihre Aufmerksamkeit!Aufmerksamkeit!

Evaluation

Erkenntnis

Lernen

Kontrolle

Legitimität

Quelle: Stockmann (2006): S. 67

Ziele der EvaluationZiele der EvaluationZiele der EvaluationZiele der Evaluation

Modell der ProgrammforschungModell der ProgrammforschungModell der ProgrammforschungModell der Programmforschung

Helfer- und BeratermodellHelfer- und BeratermodellHelfer- und BeratermodellHelfer- und Beratermodell

Phasen des Programm- prozesses

Analyse- perspektive

Erkenntnis- interesse

Evaluations- konzepte

Programm-formulierung/ Planungsphase

ex-ante "analysis for policy" "science for action"

preformativ/ formativ: aktiv gestaltend, prozessorientiert, konstruktiv

Implementations-phase

on-going beides möglich formativ/summativ: beides möglich

Wirkungsphase ex-post "analysis of policy" "science for knowledge"

summativ: zusammenfassend, bilanzierend, ergebnisorientiert

Dimensionen der Evaluationsforschung

Quelle: STOCKMANN (2007): S. 34





19

Übung “Evaluationstheorie”: 1. Was ist Evaluation? Sandra Bäthge, M.A. Universität des...

Documents

Transcript of Übung “Evaluationstheorie”: 1. Was ist Evaluation? Sandra Bäthge, M.A. Universität des...