Prof. Dr. Wolfgang Böttcher Evaluation. Prof. Dr. Wolfgang Böttcher Agenda 1)Definition von...

Prof. Dr. Wolfgang Böttcher

Evaluation


Agenda

1) Definition von Evaluation

2) Ansätze/Formen der Evaluation

3) Standards der Evaluation

4) Ziele und Funktionen der Evaluation

2Evaluation


Evaluation: Definition

• Datenerfassung

• Systematisch

• Wissenschaftliches Instrumentarium

• Zweckorientiert

• Datengenerierung

3Evaluation


Wissenschaftliche Herkunft der Evaluation

• Anwendung empirischer (sozialwissenschaftl.) Forschungsmethoden

zur Informationsgewinnung

• Systematische (vergleichende Verfahren) zur

Informationsbewertung

• Anhand offen gelegter, intersubjektiv nachprüfbarer Kriterien

• Um den Nutzen (Wert) eines Objekts (z.B. Programm) zu bewerten

• Um Entscheidungen treffen zu können

4Evaluation


Evaluation als „Controlling“

- Input

- Prozess

- Output

5Evaluation

SOLL IST – Vergleich

ZIEL REALITÄT


Evaluation und Steuerung

• Kritik an alter Steuerung: Mangelnde Ergebnisorientierung

• Zentrale Klärung von (Bildungs)zielen

• Überprüfung von Ergebnissen

• Definition von Prozessen

• Definition von Ressourcen

6Evaluation


Ansätze

• Selbstevaluation

• Fremdevaluation

• Meta- Evaluation

• Prozessevaluation („formativ“)

• Ergebnisevaluation („summativ“)

7Evaluation


Gegenstände der Evaluation

•Personen

•Gruppen

•Organisationen

•Institutionen

•Programme

8Evaluation


Prozesse und Ergebnisse

Säule 1

Formativ

•Überprüfung des Programmablaufs•Bewertung der Programmkonzeption•Probleme bei Umsetzung•Steuerung des Programms

9Evaluation

Säule 2

Summativ

•Input- und Output- Überprüfung•Feststellung der Zielerreichung•Wirkungsbeobachtung•Bewertung des Nutzens durch die Zielgruppen

Ableitung von Empfehlungen für weiteres Vorgehen


Interne und externe Evaluation

Intern

Von der gleichen Organisation vorgenommen, die auch das Programm durchführt

Vorteile• rasch, geringer Aufwand• hohe Sachkenntnis• unmittelbare Umsetzung

Nachteile• geringe Methodenkompetenz• fehlende Unabhängigkeit und Distanz• „Betriebsblindheit“

10EvaluationExtern

Extern

Von Personen durchgeführt, die nicht dem Mittelgeber oder der Durch-führungsorganisation angehören

Vorteile• hohe Unabhängigkeit• große Methodenkompetenz• unterstützen Reformkräfte• große Glaubwürdigkeit

Nachteile• geringe Sachkenntnis• Abwehrreaktionen• Umsetzungsprobleme

Kombiniertes Monitoring und Evaluationssysteme


Pädagogische Implikationen (Jamentz, Kate 2001)

Traditioneller Unterricht

•Auswahl eines Themas (Lehrplan)•Design der

Lehrmethoden•Design und Einsatz

von Tests•Noten ggf.

Feedbacks•Neues Thema

Standardbasierung

•Auswahl eines Standards•Design eines Assessments,

das Standards abbildet•Was braucht der Schüler,

um Standard zu erreichen?•Unterrichtsplanung: Hat

jeder die Chance, das Nötige zu lernen?

•Assessment/Datenanalyse: Wiederholung, neuer Ansatz oder neuer Standard


Typen der Evaluation bei pädagogischen und sozialen Reformen

•Bedarfsevaluation

•Theorie- Evaluation

•Prozess- Evaluation

•Ergebnis-/ Effekt-/ Wirkungsevaluation

•Effizienz- Evaluation

12Evaluation


Anforderungen an Evaluation (Standards)

Evaluationen sollen:

nützlich sein, d.h. an den Informationsbedürfnissen der Nutzer ausgerichtet sein (Nützlichkeit)

realistisch, gut durchdacht, diplomatisch und kostenbewusst durchgeführt werden (Durchführbarkeit)

rechtlich und ethisch korrekt ablaufen und dem Wohlergehen der in die Evaluation einbezogenen und von den Ergebnissen betroffenen Personen Aufmerksamkeit schenken (Korrektheit)

über die Güte und/oder die Verwendbarkeit eines evaluierten Programms fachlich angemessene Informationen hervorbringen und vermitteln (Genauigkeit)

13Evaluation


Ziele der Evaluation

14Evaluation

EvaluationEvaluation

Erkenntnisfunktion Kontrollfunktion

Lernfunktion Legitimitätsfunktion


Komplexe Bedingungen: Selbstevaluation

1) Verantwortungsdelegation: Verantwortung für die Evaluation für bestimmte Zeit an ein/e bestimmte Person/en delegiert.

2) Durchführung der Selbstevaluation: Zeitweise Unterstützung durch interne oder externe Evaluationsexperten möglich.

3) Gestaltungsspielräume müssen abgesteckt sein. 4) Vereinbarungen mit der Leitungsebene sind Voraussetzung.5) Verfahren mit Informationsweitergabe und Veröffentlichungen.

Transparenter Prozess und Dokumentation der Ergebnisse. 6) Zuständigkeiten und Kompetenzen müssen geklärt sein. 7) Kommunikation zwischen den Hierarchie-Ebenen muss transparent

gestaltet werden. 8) Ressourcen, die benötigt werden, müssen frei gestellt werden. Müller-Kohlenberg, H./Beywl, W. (2003): Standards der Selbstevaluation -- Begründung und aktueller

Diskussionsstand. In:* *Zeitschrift für Pädagogik 03, S.65-76

15Evaluation


Was-Fragen

•Was wird bewertet?

•Wer wird bewertet?

•Wer bewertet?

•Was/wie sind die Standards der Bewertung?

•Was/wie sind die Prozesse der Bewertung?

•Welche Funktion erfüllt die Bewertung?

•Welche Konsequenzen hat die Bewertung?

16Evaluation


Gelingensbedingungen

•Klare Zielsetzung

•Beteiligung der Akteure

•Klärung der Durchführungsnormen

•Klare und relevante Fragestellungen

•Handhabbare Methoden

•Überschaubare Datenmenge

•Perspektiven- Mix

•Schnelle Rückmeldungen

•Zeit für Auswertung

•Dokumentation der Ergebnisse und Bewertungen

•Wiederholung der Evaluation

17Evaluation

Prof. Dr. Wolfgang Böttcher Evaluation. Prof. Dr. Wolfgang Böttcher Agenda 1)Definition von...

Documents

Transcript of Prof. Dr. Wolfgang Böttcher Evaluation. Prof. Dr. Wolfgang Böttcher Agenda 1)Definition von...