Evaluation. Evaluation - Überblick - Definition Reflektion, Feedback, Evaluation Evaluation etwas...

29
Evaluation

Transcript of Evaluation. Evaluation - Überblick - Definition Reflektion, Feedback, Evaluation Evaluation etwas...

Evaluation

Evaluation- Überblick -

• Definition• Reflektion, Feedback, Evaluation• Evaluation etwas genauer• Selbst- und Fremdevaluation • Evaluationsinstrumente • Evaluation

Evaluation- Definition -

Evaluation ist das, was wir daraus machen.

Eine einheitliche und von allen akzeptierte Definition ist schwer auszumachen.

Durch die jeweilige praktische Anwendung erhält der Begriff immer wieder eine neue Färbung.

Evaluation- Definition -

Dennoch ist es gerade für die Praxis nützlich einige Eckpunkte zu kennen:

Evaluation -> lat.: valor= Wert und e/ex= ausEvaluation bedeutet also Auswertung, Bewertung

oder einen Wert aus etwas ziehen.

Evaluation- Definition -

Was?Bestimmung des Wertes einer Sache

Evaluation- Definition -

Evaluation ist der Prozess der Beurteilung des Wertes einer Sache. Basis sind immer empirisch feststellbare Sachverhalte, auf deren Grundlage Vorgänge insgesamt bewertet und optimaler gestaltet werden. (Ruep/ Keller 2007)

Evaluation- Definition -

Evaluation ist der Prozess der Beurteilung des Wertes einer Sache. Basis sind immer empirisch feststellbare Sachverhalte, auf deren Grundlage Vorgänge insgesamt bewertet und optimaler gestaltet werden. (Ruep/ Keller 2007)

Evaluation- Definition -

Wie?Mit systematischen Methoden

(Evaluationsinstrumente), die Daten als Grundlage der Bewertung

ermitteln.

Evaluation- Definition -

Evaluation ist der Prozess der Beurteilung des Wertes einer Sache. Basis sind immer empirisch feststellbare Sachverhalte, auf deren Grundlage Vorgänge insgesamt bewertet und optimaler gestaltet werden. (Ruep/ Keller 2007)

Evaluation- Definition -

Warum?Optimierung von pädagogischen

Veranstaltungen, Arbeitsabläufen in der Einrichtung, Fortbildungen…

Reflektion, Feedback und

Evaluation…

Reflektion, Feedback, Evaluation

• Von mir und für mich• Klar werden, über die eigene

Situation, das eigene Verhalten usw.

• als Methode der Selbstevaluation

Reflektion

• Von anderen für mich• Rückmeldung, wie ich auf andere

wirke, ob ich meine Inhalte vermitteln konnte

• als Methode der Fremdevaluation

Feedback

Eval

uatio

n

Evaluation- etwas genauer -• Bereits vor 2300 Jahren forderte Aristoteles den Nutzen

staatlicher Maßnahmen empirisch zu bewerten.• Jedoch begannen Staat und Privatwirtschaft erst im 20.

Jhd. Dienstleistungen und Produkte qualitativ zu prüfen.• Evaluation hat eine informationsgewinnende und

-bewertende Funktion und geht immer systematisch vor.• Aus der Bewertung werden Maßnahmen zur

Verbesserung der Sache abgeleitet und durchgeführt.• Anschließend werden diese Maßnahmen wieder

evaluiert.

Evaluation - etwas genauer -

• So kann eine ständige Weiterentwicklung gewährleistet werden.

• Defizite werden benannt und Möglichkeiten zur Verbesserung ausprobiert, bis ein Optimum erreicht wird.

• Auf diesem Wege können z.B. die pädagogische Veranstaltungen, (waldpädagogische) Fortbildungen, Seminare aber auch die Arbeit im Team oder Büroabläufe fortwährend optimiert werden.

Evaluation - etwas genauer -

• Durch Evaluation kann festgestellt werden, ob die pädagogischen Ziele einer Veranstaltung erreicht wurden. (Erreiche ich – auch langfristig – überhaupt meine angestrebten Ziele?)

• Außerdem kann die Zufriedenheit der Teilnehmer oder Kunden festgestellt werden. (Werden die Teilnehmer wiederkommen?)

• So trägt die kontinuierliche Sicherung der Qualität auch zum Erhalt der Wettbewerbsfähigkeit bei. (Durch den Dialog mit den TN bleibt der Marktwert aktuell)

Einrichtung/ Veranstaltung

Evaluation• Was soll evaluiert

werden?• Welches

Instrument eignet sich?

Ableitung von Maßnahmen

Verbesserte Einrichtung/

Veranstaltung

Evaluation der neuen

Maßnahmen

Möglicherweise weitere

Entwicklung von Maßnahmen

Beispiel?

Evaluation- Definition -

Wer?Interne und externe Evaluation

Evaluation- Selbstevaluation und Fremdevaluation-

Selbstevaluation• Interne Evaluation• Selbstkritische und systematische

Analyse der Qualität• Durchführung liegt im eigenen

Verantwortungsbereich• Die Kollegen entscheiden selbst über

Art und Konsequenz der Evaluation• Sollte alle Betroffenen einbeziehen

(-> Prozess der Demokratisierung)

Fremdevaluation• Externe Evaluation• Evaluation durch externe/

betriebsfremde Dritte• Ergänzung zur Selbstevaluation• Kann von der Institution in Auftrag

gegeben werden, aber u.U. auch von einer höheren Instanz verordnet werden.

Vorteile?Nachteile?

Vorteile?Nachteile?

Evaluation- Selbstevaluation und Fremdevaluation-

SelbstevaluationVorteile:• Höhere Akzeptanz• Engagiertere Evaluatoren• Bessere Kenntnis der

Einrichtung

Nachteile:• Geringere Objektivität• Betriebsblindheit

FremdevaluationVorteile:• Unvoreingenommenere,

objektivere Evaluatoren• Fundiertes Wissen über

Evaluation• Dadurch: höhere Glaubwürdigkeit

bei anderen Instanzen (Beispiel: Fördergelder)

Nachteile:• Akzeptanz der Betroffenen• Geringeres Wissen über die

Einrichtung

Evaluation- Evaluationsinstrumente -

quantitativ

• Erhebung von Daten, Fakten, Zahlen, Statistiken• Welche Veranstaltungen sind die beliebtesten?

qualitativ• Diskursive, dialogische Ansätze und Instrumente zur

Rückmeldung • Wie kann die Zusammenarbeit unter den Kollegen verbessert

werden?

Evaluation- Evaluationsinstrumente -

• Fragebögen -> große Masse wird erreicht, schnelle Auswertung

• Tagebücher -> schriftliche Reflexion, festhalten von wichtigen Ereignissen

• Interviews -> individuelle, detailierte Auskünfte sind möglich

• Informelle Gespräche -> offener (privater) Austausch

• Triangulation -> Perspektivwechsel

Evaluation- Evaluationsinstrumente -

• Dokumentenanalyse -> vorhandene Daten nutzen

• Kollegiales Diskutieren -> Austausch von professionellem Wissen

• Rollenspiele -> Perspektivwechsel

• Bildevaluation -> für kleine Kinder

• Video- und Fotoevaluation -> kreative Möglichkeit

Evaluation- Evaluationsinstrumente -

• Kritischer Freund– Außenstehender, der mit dem Ablauf der Organisation

vertraut ist– Unterstützende Funktion– Er ist vertrauenswürdig, öffnet neue Perspektiven, nimmt

sich Zeit, um alle Beteiligten zu verstehen– Er gibt Feedback und fördert die Kommunikation und den

internen und externe Beziehungsaufbau– Kontinuität

Evaluation

• Evaluation braucht Zeit, Geduld und Sensibilität

• Evaluation sollte nicht als Belastung oder Kontrolle gesehen werden, sondern grund-legendes Element von Qualitätsentwicklung und als Chance zur ständigen Weiterent-wicklung.

Evaluationder Präsentationen

Festiwald der Sinne (im Wald der Märchen und Wunder)

• Gudrun, Ute, Silvia, Andrea

Zielgruppe: Familien (15 TN)

Rahmen: Veranstaltung

Ziel: Formuliert: (nicht ausdrücklich) Teilziel/Lernziel

Methoden: Einstimmung ( etwas mit Tieren im Wald erfahren/ Thema: Sinne)Lichterreise (Sinneserlebnisse)Walnuss-Schiffchen (Gitarrenmusik

Kommunikation/ Sprache (nicht beurteilbar)

Wild im Wald

• Ursula, Linda, Tanja, Silke, Ernst

Zielgruppe: Bänker (16 TN)

Rahmen: Betriebsausflug

Ziel: benannt aber nicht beschrieben Bänker zu Jägern machenSpaß? (Sinne schärfen)

Ich: langweilig und trocken (wertfrei); Hierachien beachtet; „Sollen sich auch mal erschrecken“ „zu sehen, ob sie dazu in der Lage sind“ „abschreckend wirken“, (augenzwinkernd?),

Fremdwahrnehmung/ Selbstwahrnehmung

Prinzipien: andere Erlebnisse verschaffen, überraschen, besinnen, Spaß (weg vom Alltag), Konfrontation

Wir im Wald

• Friederike, Jörg, Jost

Zielgruppe: Multiplikatorinnen aus Erziehung und Pädagogik (und die, die es werden wollen)

Rahmen: Fortbildung

Ziel: benannt aber nicht beschrieben bzw. begründet Lerninhalt über Spannung und Pädagogik zu vermitteln

Planung/Struktur:3-Tage, 60 TN, 3 Blöcke nach Zielgrupe aufgeteilt referenten zugeornetAngebote Pädagogik/Spannung/Ökologie-Nachhaltigkeit Didaktische Prinzipien: Zielgruppen orientiert; Selbstständiges Arbeiten, , Problem orientiert (z.B. vom Sex ablenken) (Methoden orientiert)Lerninhalt: Ökologie und Nachhaltigkeit ; Umgang mit Zielgruppen

Forst- und Ökologieinhalte: (von mir nicht beurteilbar)Experte)

Evaluation- Quellen-BALZER, Lars: Wie werden Evaluationsprojekte erfolgreich? Ein integrierender

theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Verlag Empirische Pädagogik, Landau 2005

RADEWALDT, Fred: Evaluation. Eine Schule überprüft ihre Qualitätsstandards. Schneider Verlag Hohengehren, Baltmannsweiler 2005

RUEP, Margret/ KELLER, Gustav: Schulevaluation. Grundlagen, Methoden, Wirksamkeit. Peter Lang Internationaler Verlag der Wissenschaften, Frankfurt am Main 2007

SCHRATZ, Michael/ JAKOBSEN, Bo/ MAC BEATH, John/ MEURET, Denis: Serena, oder: Wie Menschen ihre Schule verändern. Schulentwicklung und Selbstevaluation in Europa. Studienverlag, Innsbruck 2002