Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die...

16
weiter gelernt Nr. 5 – Dezember 2013 Selbstevaluation in der Weiterbildung Beiträge zur Weiterbildungsdiskussion

Transcript of Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die...

Page 1: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbietersind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zupruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquodiesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evalua-tionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

KOS Weiterbildung Umschlaegeindd 1 091213 1515

weiter gelernt

Nr 5 ndash Dezember 2013

Selbstevaluation in der Weiterbildung

Beitraumlge zur Weiterbildungsdiskussion

weiter gelernt

KOS_Selbstevulation_Inhaltindd 1 091213 1524

Impressum

Entwicklung und Konzeption kos GmbH Rungestraszlige 18 10179 Berlin wwwkos-qualitaetde E-Mail infokos-qualitaetde

Redaktion Dr Anja Lietzmann

Auftraggeber Senatsverwaltung fuumlr Arbeit Integration und Frauen des Landes Berlin Referat Berufliche Qualifizierung Oranienstraszlige 106 10969 Berlin

Das Projekt bdquoQualitaumlt Beruflicher und Betrieblicher Qualifizierung ndash Koordinierungsstelle Qualitaumltldquo wird im Rahmen des Programms BerlinArbeit gefoumlrdert mit Mitteln des Landes Berlin

Das Projekt Koordinierungsstelle Qualitaumlt hat im Rahmen der Beaufshytragung durch die Senatsverwaltung fuumlr Arbeit Integration und Frauen Konzepte und Modelle als Unterstuumltzungspraxis fuumlr die Berliner Weitershybildungsanbieter entwickelt die mit der Heftenreihe bdquoweiter gelerntldquo verbreitet werden Bei einer Nutzung und Verwertung der Heftenreihe bdquoweiter gelerntldquo ist die urheberrechtliche Stelle zu nennen

kos GmbH Projekt Koordinierungsstelle Qualitaumlt beauftragt durch die Senatsverwaltung fuumlr Arbeit Integration und Frauen des Landes Berlin Referat Berufliche Qualifizierung

Alle veroumlffentlichten Informationen beruhen auf sorgfaumlltigen Rechershychen der verwendeten Quellen Fuumlr die Inhalte externer Internetseiten uumlbernimmt die Redaktion keine Haftung Fuumlr den Inhalt der verlinkshyten Seiten sind ausschlieszliglich deren Betreiberinnen verantwortlich Das Team der kos freut sich uumlber Ruumlckmeldungen Anregungen und Hinweise zur Heftenreihe

1

KOS_Selbstevulation_Inhaltindd 2-3 091213 1524

weiter gelernt

Inhaltsverzeichnis

Einleitung 3

Was ist Evaluation 5

Wozu evaluieren Nutzen von Selbstevaluation 7

Was wird evaluiert Gegenstaumlnde von Selbstevaluation 10

Wie evaluieren Umsetzung von Selbstevaluation 14

Staumlrken und Schwaumlchen von Selbstevaluation 21

Checkliste fuumlr eine erfolgreiche Selbstevaluation 22

Literatur und Quellen 25

weiter gelernt

Einleitung

Evaluation hat in den vergangenen Jahren zunehmend an Bedeutung gewonnen Nicht nur hat sie sich in immer weiteren Feldern und Bereishychen etabliert ndash auch die Intensitaumlt von Evaluationen innerhalb dieser Bereiche hat zugenommen

Das Bildungssystem ist einer der Bereiche in denen Evaluation stark an Relevanz gewonnen hat In Schulen und Hochschulen werden schon seit laumlngerer Zeit die vielfaumlltigsten Aspekte evaluiert Seit zwei Jahrzenten ist auch der Bereich der Weiterbildung von diesem Trend erfasst Didaktische Reflexion Lernerfolgskontrolle und andere Techshyniken der Selbstuumlberpruumlfung zaumlhlen hier klassischerweise zum Grundshybestand paumldagogischen Handelns Daneben treten nunmehr auch im Bereich der Weiterbildung Evaluationen auf die vorrangig einen Kontrollshycharakter besitzen und darauf gerichtet sind im Sinne eines Effizienz- und Kostendenkens Erfolge und Wirkungen von staatlich finanzierten Maszlignahmen zu bestimmen

Anbieter von Weiterbildung sehen sich daher immer haumlufiger in der Situation ihre Aktivitaumlten evaluieren zu wollen ndash oder zu muumlssen Doch gerade Evaluationen die auf externen Druck hin (etwa durch Mittelgeshyber) initiiert werden koumlnnen bei Bildungsanbietern Widerstaumlnde ausloumlshysen ndash insbesondere dann wenn diese im Kontext bildungspolitischer Sparanstrengungen stehen und negative Konsequenzen fuumlr Bildungsshyanbieter drohen

Hier gilt es den Nutzen von Evaluation neu zu erkennen und fuumlr die eigene Organisation zu generieren Die empirische Absicherung und die Dokumentation der eigenen Arbeit verleihen Bildungsanbietern ein Ruumlstzeug das sie im politischen Diskurs um knappe Foumlrdermittel gut wappnet Daruumlber hinaus kann Evaluation zu rein organisationsintershynen Zwecken genutzt werden wenn sie etwa gezielt als ein Element im Qualitaumltskreislauf eingesetzt wird Den Erfolg der eigenen Arbeit zu kontrollieren ist eine Hauptmotivation fuumlr Bildungsanbieter sich selbst zu evaluieren

3 2

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 4-5 091213 1524

Gegenwaumlrtig sind Evaluationen in der Weiterbildung thematisch breit aufgestellt und mit ganz unterschiedlichen Anliegen und Funktionen verbunden Die vorliegende Ausgabe der Heftenreihe bdquoweiter gelerntldquo moumlchte diese vorstellen und dabei auf den Nutzen abheben den Bilshydungsanbieter aus Evaluation ziehen koumlnnen

In diesem Kontext beschreibt die aktuelle Ausgabe was Evaluation ist wie man diese in der Praxis der Weiterbildung sinnvoll einsetzen kann und wie man sie schlieszliglich durchfuumlhrt Dabei setzt die Ausgabe einen Fokus auf Selbstevaluation

Selbstevaluationen sind dadurch bestimmt dass sie durch Personen durchgefuumlhrt werden die selbst zum Gegenstand der Evaluation gehoumlren (In-house-Evaluation)

Die praxisgestaltenden Akteure sind hierbei identisch mit der evaluierenden Instanz Selbstevaluationen unterscheiden sich darin von sogenannten Fremdevaluationen (oder auch externen Evaluationen) die durch Personen ausgeuumlbt werden die nicht Teil des zu bewertenden Gegenstandes sind

Die aktuelle Ausgabe von bdquoweiter gelerntldquo wurde in dem Anliegen geschrieben Anbietern von Weiterbildung einfuumlhrend eine praxisnahe Anleitung zur Selbstevaluation zu vermitteln Mittels dieser Anleitung sollen Bildungsanbieter in die Lage versetzt werden ihre Evaluationsshybedarfe besser zu erkennen und wissenschaftlich geleitet auf diese reagieren zu koumlnnen Dies impliziert eine Orientierung fuumlr all jene Bilshydungsanbieter die sich und ihre Maszlignahmen im Sinne des Qualitaumltsshymanagements uumlberpruumlfen wollen

Was ist Evaluation

Der Begriff bdquoEvaluationldquo bezeichnet ein spezifisches Handeln das systematische Verfahren sowohl der Informationsgewinnung als auch der Informationsbewertung umfasst Diese Verfahren koumlnnen an untershyschiedlichen Gegenstaumlnden ndash etwa Produkten Prozessen Maszlignahmen Programmen oder Projekten ndash angewendet werden

Unter diese eher wenig spezifische Definition von Evaluation faumlllt in der Praxis eine hohe Bandbreite an unterschiedlichen Aktivitaumlten Es zeigt sich dass der Begriff Evaluation in konkreten Kontexten houmlchst verschieden verwendet werden kann Stets jedoch gelten fuumlr wissenshyschaftliche Evaluationen die folgenden drei Kennzeichen

bull Evaluation ist auf die Bewertung von etwas auf die Beurteilung eines Wertes gerichtet

bull Evaluation ist ziel- und nutzenorientiert Sie stellt Transshyparenz uumlber Ergebnisse und Wirkungen her und uumlberpruumlft diese auf Verbesserungspotenziale

bull Evaluationen werden mittels wissenschaftlicher Techniken und Methoden durchgefuumlhrt in aller Regel gemaumlszlig den Methoden der empirischen Sozialforschung sowie nach offen gelegten Kriterien

(Vgl Wottawa 2003 S14)

4 5

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 6-7 091213 1524

Formen von Evaluation

Die Vielseitigkeit evaluatorischer Taumltigkeiten zeichnet sich in der Tatsashyche ab dass auf mehreren Ebenen zwischen einer Reihe unterschiedshylicher Formen von Evaluation unterschieden werden kann Hierzu zaumlhlt die bereits dargestellte Differenzierung zwischen Selbst- und Fremdshyevaluation die nach der evaluierenden Instanz unterscheidet Weiterhin wird gemaumlszlig den Aufgabenstellungen von Evaluation unterschieden

Evaluationen werden dazu eingesetzt

a) die Planung von Maszlignahmen Projekten oder Programmen zu verbessern (ex-ante Evaluation)

b) Durchfuumlhrungsprozesse zu analysieren (on-going Evaluation) oder

c) um Ergebnisse Wirkungen und Nachhaltigkeit von Maszlignahmen Projekten oder Programmen zu bestimmen (ex-post Evaluation)

Gemaumlszlig diesen Aufgabenstellungen nehmen Evaluationen einen untershyschiedlichen Charakter an Evaluationen koumlnnen

a) eher formativ angelegt sein dh sie beziehen sich auf Prozesse und zielen auf deren kontinuierliche Optimierung oder

b) einen eher summativen Charakter besitzen und wesentlich auf Ergebnisse im Sinne zusammenfassender Bilanzen fokussieren

Standards von Evaluation

Evaluation ist mithin ein weites Feld Um die Professionalitaumlt innerhalb dieses Feldes zu sichern sind bestimmte Standards zu beruumlcksichshytigen Die fuumlr Deutschland anerkannten Standards wurden durch die Deutsche Gesellschaft fuumlr Evaluation (DeGEval) definiert Demzufolge sollten Evaluationen folgende Eigenschaften aufweisen

bull Nuumltzlichkeit Evaluationen sollten sich strikt an den mit der Evaluation verbundenen Zwecken sowie an dem Informationsbedarf der Organisation ausrichten

bull Durchfuumlhrbarkeit Evaluationen sollten machbar sein dh etwa realistisch gut durchdacht diplomatisch und kostenbewusst geplant und ausgefuumlhrt werden

bull Fairness Im Kontext von Evaluationen sollten betroffene Personen respektvoll und fair behandelt werden

bull Genauigkeit Evaluationen sollten guumlltige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringen und vermitteln

(Vgl Deutsche Gesellschaft fuumlr Evaluation)

Wozu evaluieren Nutzen von Selbstevaluation

Wie und zu welchem Zweck das Instrument der Selbstevaluation in der Weiterbildung genutzt wird ist vielfaumlltig und haumlngt wesentlich von den Interessen die die Organisation mit der Evaluation verbindet ab Ganz grundsaumltzlich dient Evaluation der Generierung von Erkenntnissen hinsichtlich des Erfolgs der durchgefuumlhrten Taumltigkeiten und ihrer Ergebshynisse Diese Erkenntnisse tragen dazu bei Probleme zu erkennen In einem zweiten Schritt koumlnnen sie als Grundlage fuumlr Entscheidungen im Rahmen von Steuerungs- und Managementprozessen dienen mit dem Ziel die Bildungsarbeit zukuumlnftig zu optimieren In diesem Sinne kann Evaluation Teil des Qualitaumltsmanagements sein und dazu beitragen die Qualitaumlt der Bildungsdienstleistung sicherzustellen bzw diese weiter zu entwickeln

6 7

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 8-9 091213 1524

Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen

Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen

Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen

Funktionen definieren

Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten

Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen

Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)

Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt

Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen

Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren

Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren

Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation

8 9

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 10-11 091213 1524

Was wird evaluiert Gegenstaumlnde von Selbstevaluation

Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick

Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen

Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen

Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann

Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen

Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten

Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten

Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert

Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals

Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation

Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale

10 11

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 12-13 091213 1524

konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung

Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen

Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf

Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo

Evaluationsgegenstand definieren

Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden

koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen

Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen

bull Wozu soll die Evaluation dienen

bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten

bull Worin besteht genau Wissensbedarf

bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken

Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen

Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden

12 13

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 14-15 091213 1524

Wie evaluieren Umsetzung von Selbstevaluation

Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte

1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)

2 Bestimmung und Entwicklung der Evaluationsinstrumente

3 Datenerhebung

4 Datenauswertung

5 Entwickeln von Befunden und Ableitung von Konsequenzen

Das Evaluationskonzept

Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte

Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen

Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen

Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt

Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt

Bewertung Die Bewertungskriterien werden festgelegt

Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen

Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft

Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird

Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert

Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt

14 15

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 16-17 091213 1524

Operationalisierung

Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet

Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen

Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation

Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen

Methoden und Instrumente

Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren

Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein

bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden

bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden

bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben

bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)

bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet

bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden

bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen

16 17

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 18-19 091213 1524

Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren

In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann

Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden

Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden

Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden

Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen

18

Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden

Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten

Datenanalyse und -bewertung

Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich

Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren

Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen

Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung

19

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 2: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

weiter gelernt

KOS_Selbstevulation_Inhaltindd 1 091213 1524

Impressum

Entwicklung und Konzeption kos GmbH Rungestraszlige 18 10179 Berlin wwwkos-qualitaetde E-Mail infokos-qualitaetde

Redaktion Dr Anja Lietzmann

Auftraggeber Senatsverwaltung fuumlr Arbeit Integration und Frauen des Landes Berlin Referat Berufliche Qualifizierung Oranienstraszlige 106 10969 Berlin

Das Projekt bdquoQualitaumlt Beruflicher und Betrieblicher Qualifizierung ndash Koordinierungsstelle Qualitaumltldquo wird im Rahmen des Programms BerlinArbeit gefoumlrdert mit Mitteln des Landes Berlin

Das Projekt Koordinierungsstelle Qualitaumlt hat im Rahmen der Beaufshytragung durch die Senatsverwaltung fuumlr Arbeit Integration und Frauen Konzepte und Modelle als Unterstuumltzungspraxis fuumlr die Berliner Weitershybildungsanbieter entwickelt die mit der Heftenreihe bdquoweiter gelerntldquo verbreitet werden Bei einer Nutzung und Verwertung der Heftenreihe bdquoweiter gelerntldquo ist die urheberrechtliche Stelle zu nennen

kos GmbH Projekt Koordinierungsstelle Qualitaumlt beauftragt durch die Senatsverwaltung fuumlr Arbeit Integration und Frauen des Landes Berlin Referat Berufliche Qualifizierung

Alle veroumlffentlichten Informationen beruhen auf sorgfaumlltigen Rechershychen der verwendeten Quellen Fuumlr die Inhalte externer Internetseiten uumlbernimmt die Redaktion keine Haftung Fuumlr den Inhalt der verlinkshyten Seiten sind ausschlieszliglich deren Betreiberinnen verantwortlich Das Team der kos freut sich uumlber Ruumlckmeldungen Anregungen und Hinweise zur Heftenreihe

1

KOS_Selbstevulation_Inhaltindd 2-3 091213 1524

weiter gelernt

Inhaltsverzeichnis

Einleitung 3

Was ist Evaluation 5

Wozu evaluieren Nutzen von Selbstevaluation 7

Was wird evaluiert Gegenstaumlnde von Selbstevaluation 10

Wie evaluieren Umsetzung von Selbstevaluation 14

Staumlrken und Schwaumlchen von Selbstevaluation 21

Checkliste fuumlr eine erfolgreiche Selbstevaluation 22

Literatur und Quellen 25

weiter gelernt

Einleitung

Evaluation hat in den vergangenen Jahren zunehmend an Bedeutung gewonnen Nicht nur hat sie sich in immer weiteren Feldern und Bereishychen etabliert ndash auch die Intensitaumlt von Evaluationen innerhalb dieser Bereiche hat zugenommen

Das Bildungssystem ist einer der Bereiche in denen Evaluation stark an Relevanz gewonnen hat In Schulen und Hochschulen werden schon seit laumlngerer Zeit die vielfaumlltigsten Aspekte evaluiert Seit zwei Jahrzenten ist auch der Bereich der Weiterbildung von diesem Trend erfasst Didaktische Reflexion Lernerfolgskontrolle und andere Techshyniken der Selbstuumlberpruumlfung zaumlhlen hier klassischerweise zum Grundshybestand paumldagogischen Handelns Daneben treten nunmehr auch im Bereich der Weiterbildung Evaluationen auf die vorrangig einen Kontrollshycharakter besitzen und darauf gerichtet sind im Sinne eines Effizienz- und Kostendenkens Erfolge und Wirkungen von staatlich finanzierten Maszlignahmen zu bestimmen

Anbieter von Weiterbildung sehen sich daher immer haumlufiger in der Situation ihre Aktivitaumlten evaluieren zu wollen ndash oder zu muumlssen Doch gerade Evaluationen die auf externen Druck hin (etwa durch Mittelgeshyber) initiiert werden koumlnnen bei Bildungsanbietern Widerstaumlnde ausloumlshysen ndash insbesondere dann wenn diese im Kontext bildungspolitischer Sparanstrengungen stehen und negative Konsequenzen fuumlr Bildungsshyanbieter drohen

Hier gilt es den Nutzen von Evaluation neu zu erkennen und fuumlr die eigene Organisation zu generieren Die empirische Absicherung und die Dokumentation der eigenen Arbeit verleihen Bildungsanbietern ein Ruumlstzeug das sie im politischen Diskurs um knappe Foumlrdermittel gut wappnet Daruumlber hinaus kann Evaluation zu rein organisationsintershynen Zwecken genutzt werden wenn sie etwa gezielt als ein Element im Qualitaumltskreislauf eingesetzt wird Den Erfolg der eigenen Arbeit zu kontrollieren ist eine Hauptmotivation fuumlr Bildungsanbieter sich selbst zu evaluieren

3 2

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 4-5 091213 1524

Gegenwaumlrtig sind Evaluationen in der Weiterbildung thematisch breit aufgestellt und mit ganz unterschiedlichen Anliegen und Funktionen verbunden Die vorliegende Ausgabe der Heftenreihe bdquoweiter gelerntldquo moumlchte diese vorstellen und dabei auf den Nutzen abheben den Bilshydungsanbieter aus Evaluation ziehen koumlnnen

In diesem Kontext beschreibt die aktuelle Ausgabe was Evaluation ist wie man diese in der Praxis der Weiterbildung sinnvoll einsetzen kann und wie man sie schlieszliglich durchfuumlhrt Dabei setzt die Ausgabe einen Fokus auf Selbstevaluation

Selbstevaluationen sind dadurch bestimmt dass sie durch Personen durchgefuumlhrt werden die selbst zum Gegenstand der Evaluation gehoumlren (In-house-Evaluation)

Die praxisgestaltenden Akteure sind hierbei identisch mit der evaluierenden Instanz Selbstevaluationen unterscheiden sich darin von sogenannten Fremdevaluationen (oder auch externen Evaluationen) die durch Personen ausgeuumlbt werden die nicht Teil des zu bewertenden Gegenstandes sind

Die aktuelle Ausgabe von bdquoweiter gelerntldquo wurde in dem Anliegen geschrieben Anbietern von Weiterbildung einfuumlhrend eine praxisnahe Anleitung zur Selbstevaluation zu vermitteln Mittels dieser Anleitung sollen Bildungsanbieter in die Lage versetzt werden ihre Evaluationsshybedarfe besser zu erkennen und wissenschaftlich geleitet auf diese reagieren zu koumlnnen Dies impliziert eine Orientierung fuumlr all jene Bilshydungsanbieter die sich und ihre Maszlignahmen im Sinne des Qualitaumltsshymanagements uumlberpruumlfen wollen

Was ist Evaluation

Der Begriff bdquoEvaluationldquo bezeichnet ein spezifisches Handeln das systematische Verfahren sowohl der Informationsgewinnung als auch der Informationsbewertung umfasst Diese Verfahren koumlnnen an untershyschiedlichen Gegenstaumlnden ndash etwa Produkten Prozessen Maszlignahmen Programmen oder Projekten ndash angewendet werden

Unter diese eher wenig spezifische Definition von Evaluation faumlllt in der Praxis eine hohe Bandbreite an unterschiedlichen Aktivitaumlten Es zeigt sich dass der Begriff Evaluation in konkreten Kontexten houmlchst verschieden verwendet werden kann Stets jedoch gelten fuumlr wissenshyschaftliche Evaluationen die folgenden drei Kennzeichen

bull Evaluation ist auf die Bewertung von etwas auf die Beurteilung eines Wertes gerichtet

bull Evaluation ist ziel- und nutzenorientiert Sie stellt Transshyparenz uumlber Ergebnisse und Wirkungen her und uumlberpruumlft diese auf Verbesserungspotenziale

bull Evaluationen werden mittels wissenschaftlicher Techniken und Methoden durchgefuumlhrt in aller Regel gemaumlszlig den Methoden der empirischen Sozialforschung sowie nach offen gelegten Kriterien

(Vgl Wottawa 2003 S14)

4 5

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 6-7 091213 1524

Formen von Evaluation

Die Vielseitigkeit evaluatorischer Taumltigkeiten zeichnet sich in der Tatsashyche ab dass auf mehreren Ebenen zwischen einer Reihe unterschiedshylicher Formen von Evaluation unterschieden werden kann Hierzu zaumlhlt die bereits dargestellte Differenzierung zwischen Selbst- und Fremdshyevaluation die nach der evaluierenden Instanz unterscheidet Weiterhin wird gemaumlszlig den Aufgabenstellungen von Evaluation unterschieden

Evaluationen werden dazu eingesetzt

a) die Planung von Maszlignahmen Projekten oder Programmen zu verbessern (ex-ante Evaluation)

b) Durchfuumlhrungsprozesse zu analysieren (on-going Evaluation) oder

c) um Ergebnisse Wirkungen und Nachhaltigkeit von Maszlignahmen Projekten oder Programmen zu bestimmen (ex-post Evaluation)

Gemaumlszlig diesen Aufgabenstellungen nehmen Evaluationen einen untershyschiedlichen Charakter an Evaluationen koumlnnen

a) eher formativ angelegt sein dh sie beziehen sich auf Prozesse und zielen auf deren kontinuierliche Optimierung oder

b) einen eher summativen Charakter besitzen und wesentlich auf Ergebnisse im Sinne zusammenfassender Bilanzen fokussieren

Standards von Evaluation

Evaluation ist mithin ein weites Feld Um die Professionalitaumlt innerhalb dieses Feldes zu sichern sind bestimmte Standards zu beruumlcksichshytigen Die fuumlr Deutschland anerkannten Standards wurden durch die Deutsche Gesellschaft fuumlr Evaluation (DeGEval) definiert Demzufolge sollten Evaluationen folgende Eigenschaften aufweisen

bull Nuumltzlichkeit Evaluationen sollten sich strikt an den mit der Evaluation verbundenen Zwecken sowie an dem Informationsbedarf der Organisation ausrichten

bull Durchfuumlhrbarkeit Evaluationen sollten machbar sein dh etwa realistisch gut durchdacht diplomatisch und kostenbewusst geplant und ausgefuumlhrt werden

bull Fairness Im Kontext von Evaluationen sollten betroffene Personen respektvoll und fair behandelt werden

bull Genauigkeit Evaluationen sollten guumlltige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringen und vermitteln

(Vgl Deutsche Gesellschaft fuumlr Evaluation)

Wozu evaluieren Nutzen von Selbstevaluation

Wie und zu welchem Zweck das Instrument der Selbstevaluation in der Weiterbildung genutzt wird ist vielfaumlltig und haumlngt wesentlich von den Interessen die die Organisation mit der Evaluation verbindet ab Ganz grundsaumltzlich dient Evaluation der Generierung von Erkenntnissen hinsichtlich des Erfolgs der durchgefuumlhrten Taumltigkeiten und ihrer Ergebshynisse Diese Erkenntnisse tragen dazu bei Probleme zu erkennen In einem zweiten Schritt koumlnnen sie als Grundlage fuumlr Entscheidungen im Rahmen von Steuerungs- und Managementprozessen dienen mit dem Ziel die Bildungsarbeit zukuumlnftig zu optimieren In diesem Sinne kann Evaluation Teil des Qualitaumltsmanagements sein und dazu beitragen die Qualitaumlt der Bildungsdienstleistung sicherzustellen bzw diese weiter zu entwickeln

6 7

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 8-9 091213 1524

Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen

Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen

Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen

Funktionen definieren

Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten

Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen

Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)

Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt

Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen

Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren

Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren

Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation

8 9

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 10-11 091213 1524

Was wird evaluiert Gegenstaumlnde von Selbstevaluation

Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick

Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen

Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen

Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann

Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen

Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten

Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten

Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert

Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals

Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation

Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale

10 11

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 12-13 091213 1524

konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung

Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen

Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf

Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo

Evaluationsgegenstand definieren

Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden

koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen

Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen

bull Wozu soll die Evaluation dienen

bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten

bull Worin besteht genau Wissensbedarf

bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken

Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen

Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden

12 13

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 14-15 091213 1524

Wie evaluieren Umsetzung von Selbstevaluation

Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte

1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)

2 Bestimmung und Entwicklung der Evaluationsinstrumente

3 Datenerhebung

4 Datenauswertung

5 Entwickeln von Befunden und Ableitung von Konsequenzen

Das Evaluationskonzept

Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte

Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen

Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen

Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt

Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt

Bewertung Die Bewertungskriterien werden festgelegt

Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen

Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft

Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird

Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert

Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt

14 15

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 16-17 091213 1524

Operationalisierung

Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet

Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen

Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation

Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen

Methoden und Instrumente

Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren

Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein

bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden

bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden

bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben

bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)

bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet

bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden

bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen

16 17

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 18-19 091213 1524

Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren

In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann

Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden

Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden

Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden

Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen

18

Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden

Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten

Datenanalyse und -bewertung

Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich

Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren

Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen

Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung

19

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 3: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

KOS_Selbstevulation_Inhaltindd 2-3 091213 1524

weiter gelernt

Inhaltsverzeichnis

Einleitung 3

Was ist Evaluation 5

Wozu evaluieren Nutzen von Selbstevaluation 7

Was wird evaluiert Gegenstaumlnde von Selbstevaluation 10

Wie evaluieren Umsetzung von Selbstevaluation 14

Staumlrken und Schwaumlchen von Selbstevaluation 21

Checkliste fuumlr eine erfolgreiche Selbstevaluation 22

Literatur und Quellen 25

weiter gelernt

Einleitung

Evaluation hat in den vergangenen Jahren zunehmend an Bedeutung gewonnen Nicht nur hat sie sich in immer weiteren Feldern und Bereishychen etabliert ndash auch die Intensitaumlt von Evaluationen innerhalb dieser Bereiche hat zugenommen

Das Bildungssystem ist einer der Bereiche in denen Evaluation stark an Relevanz gewonnen hat In Schulen und Hochschulen werden schon seit laumlngerer Zeit die vielfaumlltigsten Aspekte evaluiert Seit zwei Jahrzenten ist auch der Bereich der Weiterbildung von diesem Trend erfasst Didaktische Reflexion Lernerfolgskontrolle und andere Techshyniken der Selbstuumlberpruumlfung zaumlhlen hier klassischerweise zum Grundshybestand paumldagogischen Handelns Daneben treten nunmehr auch im Bereich der Weiterbildung Evaluationen auf die vorrangig einen Kontrollshycharakter besitzen und darauf gerichtet sind im Sinne eines Effizienz- und Kostendenkens Erfolge und Wirkungen von staatlich finanzierten Maszlignahmen zu bestimmen

Anbieter von Weiterbildung sehen sich daher immer haumlufiger in der Situation ihre Aktivitaumlten evaluieren zu wollen ndash oder zu muumlssen Doch gerade Evaluationen die auf externen Druck hin (etwa durch Mittelgeshyber) initiiert werden koumlnnen bei Bildungsanbietern Widerstaumlnde ausloumlshysen ndash insbesondere dann wenn diese im Kontext bildungspolitischer Sparanstrengungen stehen und negative Konsequenzen fuumlr Bildungsshyanbieter drohen

Hier gilt es den Nutzen von Evaluation neu zu erkennen und fuumlr die eigene Organisation zu generieren Die empirische Absicherung und die Dokumentation der eigenen Arbeit verleihen Bildungsanbietern ein Ruumlstzeug das sie im politischen Diskurs um knappe Foumlrdermittel gut wappnet Daruumlber hinaus kann Evaluation zu rein organisationsintershynen Zwecken genutzt werden wenn sie etwa gezielt als ein Element im Qualitaumltskreislauf eingesetzt wird Den Erfolg der eigenen Arbeit zu kontrollieren ist eine Hauptmotivation fuumlr Bildungsanbieter sich selbst zu evaluieren

3 2

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 4-5 091213 1524

Gegenwaumlrtig sind Evaluationen in der Weiterbildung thematisch breit aufgestellt und mit ganz unterschiedlichen Anliegen und Funktionen verbunden Die vorliegende Ausgabe der Heftenreihe bdquoweiter gelerntldquo moumlchte diese vorstellen und dabei auf den Nutzen abheben den Bilshydungsanbieter aus Evaluation ziehen koumlnnen

In diesem Kontext beschreibt die aktuelle Ausgabe was Evaluation ist wie man diese in der Praxis der Weiterbildung sinnvoll einsetzen kann und wie man sie schlieszliglich durchfuumlhrt Dabei setzt die Ausgabe einen Fokus auf Selbstevaluation

Selbstevaluationen sind dadurch bestimmt dass sie durch Personen durchgefuumlhrt werden die selbst zum Gegenstand der Evaluation gehoumlren (In-house-Evaluation)

Die praxisgestaltenden Akteure sind hierbei identisch mit der evaluierenden Instanz Selbstevaluationen unterscheiden sich darin von sogenannten Fremdevaluationen (oder auch externen Evaluationen) die durch Personen ausgeuumlbt werden die nicht Teil des zu bewertenden Gegenstandes sind

Die aktuelle Ausgabe von bdquoweiter gelerntldquo wurde in dem Anliegen geschrieben Anbietern von Weiterbildung einfuumlhrend eine praxisnahe Anleitung zur Selbstevaluation zu vermitteln Mittels dieser Anleitung sollen Bildungsanbieter in die Lage versetzt werden ihre Evaluationsshybedarfe besser zu erkennen und wissenschaftlich geleitet auf diese reagieren zu koumlnnen Dies impliziert eine Orientierung fuumlr all jene Bilshydungsanbieter die sich und ihre Maszlignahmen im Sinne des Qualitaumltsshymanagements uumlberpruumlfen wollen

Was ist Evaluation

Der Begriff bdquoEvaluationldquo bezeichnet ein spezifisches Handeln das systematische Verfahren sowohl der Informationsgewinnung als auch der Informationsbewertung umfasst Diese Verfahren koumlnnen an untershyschiedlichen Gegenstaumlnden ndash etwa Produkten Prozessen Maszlignahmen Programmen oder Projekten ndash angewendet werden

Unter diese eher wenig spezifische Definition von Evaluation faumlllt in der Praxis eine hohe Bandbreite an unterschiedlichen Aktivitaumlten Es zeigt sich dass der Begriff Evaluation in konkreten Kontexten houmlchst verschieden verwendet werden kann Stets jedoch gelten fuumlr wissenshyschaftliche Evaluationen die folgenden drei Kennzeichen

bull Evaluation ist auf die Bewertung von etwas auf die Beurteilung eines Wertes gerichtet

bull Evaluation ist ziel- und nutzenorientiert Sie stellt Transshyparenz uumlber Ergebnisse und Wirkungen her und uumlberpruumlft diese auf Verbesserungspotenziale

bull Evaluationen werden mittels wissenschaftlicher Techniken und Methoden durchgefuumlhrt in aller Regel gemaumlszlig den Methoden der empirischen Sozialforschung sowie nach offen gelegten Kriterien

(Vgl Wottawa 2003 S14)

4 5

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 6-7 091213 1524

Formen von Evaluation

Die Vielseitigkeit evaluatorischer Taumltigkeiten zeichnet sich in der Tatsashyche ab dass auf mehreren Ebenen zwischen einer Reihe unterschiedshylicher Formen von Evaluation unterschieden werden kann Hierzu zaumlhlt die bereits dargestellte Differenzierung zwischen Selbst- und Fremdshyevaluation die nach der evaluierenden Instanz unterscheidet Weiterhin wird gemaumlszlig den Aufgabenstellungen von Evaluation unterschieden

Evaluationen werden dazu eingesetzt

a) die Planung von Maszlignahmen Projekten oder Programmen zu verbessern (ex-ante Evaluation)

b) Durchfuumlhrungsprozesse zu analysieren (on-going Evaluation) oder

c) um Ergebnisse Wirkungen und Nachhaltigkeit von Maszlignahmen Projekten oder Programmen zu bestimmen (ex-post Evaluation)

Gemaumlszlig diesen Aufgabenstellungen nehmen Evaluationen einen untershyschiedlichen Charakter an Evaluationen koumlnnen

a) eher formativ angelegt sein dh sie beziehen sich auf Prozesse und zielen auf deren kontinuierliche Optimierung oder

b) einen eher summativen Charakter besitzen und wesentlich auf Ergebnisse im Sinne zusammenfassender Bilanzen fokussieren

Standards von Evaluation

Evaluation ist mithin ein weites Feld Um die Professionalitaumlt innerhalb dieses Feldes zu sichern sind bestimmte Standards zu beruumlcksichshytigen Die fuumlr Deutschland anerkannten Standards wurden durch die Deutsche Gesellschaft fuumlr Evaluation (DeGEval) definiert Demzufolge sollten Evaluationen folgende Eigenschaften aufweisen

bull Nuumltzlichkeit Evaluationen sollten sich strikt an den mit der Evaluation verbundenen Zwecken sowie an dem Informationsbedarf der Organisation ausrichten

bull Durchfuumlhrbarkeit Evaluationen sollten machbar sein dh etwa realistisch gut durchdacht diplomatisch und kostenbewusst geplant und ausgefuumlhrt werden

bull Fairness Im Kontext von Evaluationen sollten betroffene Personen respektvoll und fair behandelt werden

bull Genauigkeit Evaluationen sollten guumlltige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringen und vermitteln

(Vgl Deutsche Gesellschaft fuumlr Evaluation)

Wozu evaluieren Nutzen von Selbstevaluation

Wie und zu welchem Zweck das Instrument der Selbstevaluation in der Weiterbildung genutzt wird ist vielfaumlltig und haumlngt wesentlich von den Interessen die die Organisation mit der Evaluation verbindet ab Ganz grundsaumltzlich dient Evaluation der Generierung von Erkenntnissen hinsichtlich des Erfolgs der durchgefuumlhrten Taumltigkeiten und ihrer Ergebshynisse Diese Erkenntnisse tragen dazu bei Probleme zu erkennen In einem zweiten Schritt koumlnnen sie als Grundlage fuumlr Entscheidungen im Rahmen von Steuerungs- und Managementprozessen dienen mit dem Ziel die Bildungsarbeit zukuumlnftig zu optimieren In diesem Sinne kann Evaluation Teil des Qualitaumltsmanagements sein und dazu beitragen die Qualitaumlt der Bildungsdienstleistung sicherzustellen bzw diese weiter zu entwickeln

6 7

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 8-9 091213 1524

Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen

Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen

Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen

Funktionen definieren

Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten

Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen

Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)

Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt

Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen

Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren

Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren

Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation

8 9

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 10-11 091213 1524

Was wird evaluiert Gegenstaumlnde von Selbstevaluation

Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick

Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen

Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen

Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann

Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen

Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten

Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten

Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert

Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals

Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation

Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale

10 11

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 12-13 091213 1524

konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung

Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen

Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf

Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo

Evaluationsgegenstand definieren

Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden

koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen

Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen

bull Wozu soll die Evaluation dienen

bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten

bull Worin besteht genau Wissensbedarf

bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken

Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen

Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden

12 13

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 14-15 091213 1524

Wie evaluieren Umsetzung von Selbstevaluation

Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte

1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)

2 Bestimmung und Entwicklung der Evaluationsinstrumente

3 Datenerhebung

4 Datenauswertung

5 Entwickeln von Befunden und Ableitung von Konsequenzen

Das Evaluationskonzept

Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte

Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen

Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen

Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt

Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt

Bewertung Die Bewertungskriterien werden festgelegt

Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen

Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft

Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird

Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert

Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt

14 15

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 16-17 091213 1524

Operationalisierung

Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet

Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen

Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation

Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen

Methoden und Instrumente

Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren

Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein

bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden

bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden

bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben

bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)

bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet

bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden

bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen

16 17

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 18-19 091213 1524

Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren

In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann

Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden

Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden

Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden

Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen

18

Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden

Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten

Datenanalyse und -bewertung

Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich

Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren

Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen

Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung

19

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 4: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 4-5 091213 1524

Gegenwaumlrtig sind Evaluationen in der Weiterbildung thematisch breit aufgestellt und mit ganz unterschiedlichen Anliegen und Funktionen verbunden Die vorliegende Ausgabe der Heftenreihe bdquoweiter gelerntldquo moumlchte diese vorstellen und dabei auf den Nutzen abheben den Bilshydungsanbieter aus Evaluation ziehen koumlnnen

In diesem Kontext beschreibt die aktuelle Ausgabe was Evaluation ist wie man diese in der Praxis der Weiterbildung sinnvoll einsetzen kann und wie man sie schlieszliglich durchfuumlhrt Dabei setzt die Ausgabe einen Fokus auf Selbstevaluation

Selbstevaluationen sind dadurch bestimmt dass sie durch Personen durchgefuumlhrt werden die selbst zum Gegenstand der Evaluation gehoumlren (In-house-Evaluation)

Die praxisgestaltenden Akteure sind hierbei identisch mit der evaluierenden Instanz Selbstevaluationen unterscheiden sich darin von sogenannten Fremdevaluationen (oder auch externen Evaluationen) die durch Personen ausgeuumlbt werden die nicht Teil des zu bewertenden Gegenstandes sind

Die aktuelle Ausgabe von bdquoweiter gelerntldquo wurde in dem Anliegen geschrieben Anbietern von Weiterbildung einfuumlhrend eine praxisnahe Anleitung zur Selbstevaluation zu vermitteln Mittels dieser Anleitung sollen Bildungsanbieter in die Lage versetzt werden ihre Evaluationsshybedarfe besser zu erkennen und wissenschaftlich geleitet auf diese reagieren zu koumlnnen Dies impliziert eine Orientierung fuumlr all jene Bilshydungsanbieter die sich und ihre Maszlignahmen im Sinne des Qualitaumltsshymanagements uumlberpruumlfen wollen

Was ist Evaluation

Der Begriff bdquoEvaluationldquo bezeichnet ein spezifisches Handeln das systematische Verfahren sowohl der Informationsgewinnung als auch der Informationsbewertung umfasst Diese Verfahren koumlnnen an untershyschiedlichen Gegenstaumlnden ndash etwa Produkten Prozessen Maszlignahmen Programmen oder Projekten ndash angewendet werden

Unter diese eher wenig spezifische Definition von Evaluation faumlllt in der Praxis eine hohe Bandbreite an unterschiedlichen Aktivitaumlten Es zeigt sich dass der Begriff Evaluation in konkreten Kontexten houmlchst verschieden verwendet werden kann Stets jedoch gelten fuumlr wissenshyschaftliche Evaluationen die folgenden drei Kennzeichen

bull Evaluation ist auf die Bewertung von etwas auf die Beurteilung eines Wertes gerichtet

bull Evaluation ist ziel- und nutzenorientiert Sie stellt Transshyparenz uumlber Ergebnisse und Wirkungen her und uumlberpruumlft diese auf Verbesserungspotenziale

bull Evaluationen werden mittels wissenschaftlicher Techniken und Methoden durchgefuumlhrt in aller Regel gemaumlszlig den Methoden der empirischen Sozialforschung sowie nach offen gelegten Kriterien

(Vgl Wottawa 2003 S14)

4 5

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 6-7 091213 1524

Formen von Evaluation

Die Vielseitigkeit evaluatorischer Taumltigkeiten zeichnet sich in der Tatsashyche ab dass auf mehreren Ebenen zwischen einer Reihe unterschiedshylicher Formen von Evaluation unterschieden werden kann Hierzu zaumlhlt die bereits dargestellte Differenzierung zwischen Selbst- und Fremdshyevaluation die nach der evaluierenden Instanz unterscheidet Weiterhin wird gemaumlszlig den Aufgabenstellungen von Evaluation unterschieden

Evaluationen werden dazu eingesetzt

a) die Planung von Maszlignahmen Projekten oder Programmen zu verbessern (ex-ante Evaluation)

b) Durchfuumlhrungsprozesse zu analysieren (on-going Evaluation) oder

c) um Ergebnisse Wirkungen und Nachhaltigkeit von Maszlignahmen Projekten oder Programmen zu bestimmen (ex-post Evaluation)

Gemaumlszlig diesen Aufgabenstellungen nehmen Evaluationen einen untershyschiedlichen Charakter an Evaluationen koumlnnen

a) eher formativ angelegt sein dh sie beziehen sich auf Prozesse und zielen auf deren kontinuierliche Optimierung oder

b) einen eher summativen Charakter besitzen und wesentlich auf Ergebnisse im Sinne zusammenfassender Bilanzen fokussieren

Standards von Evaluation

Evaluation ist mithin ein weites Feld Um die Professionalitaumlt innerhalb dieses Feldes zu sichern sind bestimmte Standards zu beruumlcksichshytigen Die fuumlr Deutschland anerkannten Standards wurden durch die Deutsche Gesellschaft fuumlr Evaluation (DeGEval) definiert Demzufolge sollten Evaluationen folgende Eigenschaften aufweisen

bull Nuumltzlichkeit Evaluationen sollten sich strikt an den mit der Evaluation verbundenen Zwecken sowie an dem Informationsbedarf der Organisation ausrichten

bull Durchfuumlhrbarkeit Evaluationen sollten machbar sein dh etwa realistisch gut durchdacht diplomatisch und kostenbewusst geplant und ausgefuumlhrt werden

bull Fairness Im Kontext von Evaluationen sollten betroffene Personen respektvoll und fair behandelt werden

bull Genauigkeit Evaluationen sollten guumlltige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringen und vermitteln

(Vgl Deutsche Gesellschaft fuumlr Evaluation)

Wozu evaluieren Nutzen von Selbstevaluation

Wie und zu welchem Zweck das Instrument der Selbstevaluation in der Weiterbildung genutzt wird ist vielfaumlltig und haumlngt wesentlich von den Interessen die die Organisation mit der Evaluation verbindet ab Ganz grundsaumltzlich dient Evaluation der Generierung von Erkenntnissen hinsichtlich des Erfolgs der durchgefuumlhrten Taumltigkeiten und ihrer Ergebshynisse Diese Erkenntnisse tragen dazu bei Probleme zu erkennen In einem zweiten Schritt koumlnnen sie als Grundlage fuumlr Entscheidungen im Rahmen von Steuerungs- und Managementprozessen dienen mit dem Ziel die Bildungsarbeit zukuumlnftig zu optimieren In diesem Sinne kann Evaluation Teil des Qualitaumltsmanagements sein und dazu beitragen die Qualitaumlt der Bildungsdienstleistung sicherzustellen bzw diese weiter zu entwickeln

6 7

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 8-9 091213 1524

Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen

Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen

Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen

Funktionen definieren

Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten

Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen

Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)

Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt

Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen

Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren

Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren

Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation

8 9

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 10-11 091213 1524

Was wird evaluiert Gegenstaumlnde von Selbstevaluation

Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick

Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen

Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen

Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann

Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen

Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten

Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten

Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert

Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals

Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation

Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale

10 11

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 12-13 091213 1524

konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung

Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen

Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf

Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo

Evaluationsgegenstand definieren

Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden

koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen

Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen

bull Wozu soll die Evaluation dienen

bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten

bull Worin besteht genau Wissensbedarf

bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken

Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen

Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden

12 13

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 14-15 091213 1524

Wie evaluieren Umsetzung von Selbstevaluation

Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte

1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)

2 Bestimmung und Entwicklung der Evaluationsinstrumente

3 Datenerhebung

4 Datenauswertung

5 Entwickeln von Befunden und Ableitung von Konsequenzen

Das Evaluationskonzept

Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte

Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen

Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen

Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt

Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt

Bewertung Die Bewertungskriterien werden festgelegt

Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen

Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft

Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird

Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert

Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt

14 15

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 16-17 091213 1524

Operationalisierung

Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet

Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen

Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation

Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen

Methoden und Instrumente

Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren

Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein

bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden

bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden

bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben

bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)

bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet

bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden

bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen

16 17

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 18-19 091213 1524

Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren

In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann

Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden

Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden

Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden

Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen

18

Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden

Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten

Datenanalyse und -bewertung

Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich

Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren

Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen

Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung

19

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 5: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 6-7 091213 1524

Formen von Evaluation

Die Vielseitigkeit evaluatorischer Taumltigkeiten zeichnet sich in der Tatsashyche ab dass auf mehreren Ebenen zwischen einer Reihe unterschiedshylicher Formen von Evaluation unterschieden werden kann Hierzu zaumlhlt die bereits dargestellte Differenzierung zwischen Selbst- und Fremdshyevaluation die nach der evaluierenden Instanz unterscheidet Weiterhin wird gemaumlszlig den Aufgabenstellungen von Evaluation unterschieden

Evaluationen werden dazu eingesetzt

a) die Planung von Maszlignahmen Projekten oder Programmen zu verbessern (ex-ante Evaluation)

b) Durchfuumlhrungsprozesse zu analysieren (on-going Evaluation) oder

c) um Ergebnisse Wirkungen und Nachhaltigkeit von Maszlignahmen Projekten oder Programmen zu bestimmen (ex-post Evaluation)

Gemaumlszlig diesen Aufgabenstellungen nehmen Evaluationen einen untershyschiedlichen Charakter an Evaluationen koumlnnen

a) eher formativ angelegt sein dh sie beziehen sich auf Prozesse und zielen auf deren kontinuierliche Optimierung oder

b) einen eher summativen Charakter besitzen und wesentlich auf Ergebnisse im Sinne zusammenfassender Bilanzen fokussieren

Standards von Evaluation

Evaluation ist mithin ein weites Feld Um die Professionalitaumlt innerhalb dieses Feldes zu sichern sind bestimmte Standards zu beruumlcksichshytigen Die fuumlr Deutschland anerkannten Standards wurden durch die Deutsche Gesellschaft fuumlr Evaluation (DeGEval) definiert Demzufolge sollten Evaluationen folgende Eigenschaften aufweisen

bull Nuumltzlichkeit Evaluationen sollten sich strikt an den mit der Evaluation verbundenen Zwecken sowie an dem Informationsbedarf der Organisation ausrichten

bull Durchfuumlhrbarkeit Evaluationen sollten machbar sein dh etwa realistisch gut durchdacht diplomatisch und kostenbewusst geplant und ausgefuumlhrt werden

bull Fairness Im Kontext von Evaluationen sollten betroffene Personen respektvoll und fair behandelt werden

bull Genauigkeit Evaluationen sollten guumlltige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringen und vermitteln

(Vgl Deutsche Gesellschaft fuumlr Evaluation)

Wozu evaluieren Nutzen von Selbstevaluation

Wie und zu welchem Zweck das Instrument der Selbstevaluation in der Weiterbildung genutzt wird ist vielfaumlltig und haumlngt wesentlich von den Interessen die die Organisation mit der Evaluation verbindet ab Ganz grundsaumltzlich dient Evaluation der Generierung von Erkenntnissen hinsichtlich des Erfolgs der durchgefuumlhrten Taumltigkeiten und ihrer Ergebshynisse Diese Erkenntnisse tragen dazu bei Probleme zu erkennen In einem zweiten Schritt koumlnnen sie als Grundlage fuumlr Entscheidungen im Rahmen von Steuerungs- und Managementprozessen dienen mit dem Ziel die Bildungsarbeit zukuumlnftig zu optimieren In diesem Sinne kann Evaluation Teil des Qualitaumltsmanagements sein und dazu beitragen die Qualitaumlt der Bildungsdienstleistung sicherzustellen bzw diese weiter zu entwickeln

6 7

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 8-9 091213 1524

Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen

Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen

Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen

Funktionen definieren

Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten

Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen

Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)

Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt

Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen

Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren

Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren

Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation

8 9

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 10-11 091213 1524

Was wird evaluiert Gegenstaumlnde von Selbstevaluation

Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick

Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen

Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen

Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann

Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen

Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten

Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten

Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert

Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals

Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation

Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale

10 11

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 12-13 091213 1524

konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung

Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen

Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf

Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo

Evaluationsgegenstand definieren

Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden

koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen

Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen

bull Wozu soll die Evaluation dienen

bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten

bull Worin besteht genau Wissensbedarf

bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken

Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen

Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden

12 13

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 14-15 091213 1524

Wie evaluieren Umsetzung von Selbstevaluation

Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte

1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)

2 Bestimmung und Entwicklung der Evaluationsinstrumente

3 Datenerhebung

4 Datenauswertung

5 Entwickeln von Befunden und Ableitung von Konsequenzen

Das Evaluationskonzept

Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte

Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen

Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen

Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt

Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt

Bewertung Die Bewertungskriterien werden festgelegt

Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen

Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft

Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird

Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert

Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt

14 15

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 16-17 091213 1524

Operationalisierung

Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet

Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen

Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation

Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen

Methoden und Instrumente

Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren

Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein

bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden

bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden

bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben

bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)

bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet

bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden

bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen

16 17

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 18-19 091213 1524

Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren

In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann

Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden

Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden

Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden

Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen

18

Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden

Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten

Datenanalyse und -bewertung

Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich

Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren

Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen

Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung

19

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 6: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 8-9 091213 1524

Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen

Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen

Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen

Funktionen definieren

Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten

Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen

Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)

Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt

Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen

Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren

Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren

Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation

8 9

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 10-11 091213 1524

Was wird evaluiert Gegenstaumlnde von Selbstevaluation

Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick

Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen

Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen

Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann

Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen

Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten

Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten

Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert

Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals

Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation

Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale

10 11

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 12-13 091213 1524

konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung

Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen

Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf

Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo

Evaluationsgegenstand definieren

Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden

koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen

Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen

bull Wozu soll die Evaluation dienen

bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten

bull Worin besteht genau Wissensbedarf

bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken

Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen

Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden

12 13

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 14-15 091213 1524

Wie evaluieren Umsetzung von Selbstevaluation

Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte

1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)

2 Bestimmung und Entwicklung der Evaluationsinstrumente

3 Datenerhebung

4 Datenauswertung

5 Entwickeln von Befunden und Ableitung von Konsequenzen

Das Evaluationskonzept

Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte

Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen

Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen

Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt

Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt

Bewertung Die Bewertungskriterien werden festgelegt

Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen

Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft

Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird

Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert

Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt

14 15

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 16-17 091213 1524

Operationalisierung

Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet

Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen

Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation

Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen

Methoden und Instrumente

Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren

Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein

bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden

bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden

bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben

bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)

bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet

bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden

bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen

16 17

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 18-19 091213 1524

Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren

In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann

Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden

Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden

Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden

Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen

18

Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden

Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten

Datenanalyse und -bewertung

Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich

Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren

Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen

Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung

19

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 7: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 10-11 091213 1524

Was wird evaluiert Gegenstaumlnde von Selbstevaluation

Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick

Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen

Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen

Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann

Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen

Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten

Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten

Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert

Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals

Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation

Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale

10 11

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 12-13 091213 1524

konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung

Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen

Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf

Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo

Evaluationsgegenstand definieren

Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden

koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen

Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen

bull Wozu soll die Evaluation dienen

bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten

bull Worin besteht genau Wissensbedarf

bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken

Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen

Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden

12 13

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 14-15 091213 1524

Wie evaluieren Umsetzung von Selbstevaluation

Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte

1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)

2 Bestimmung und Entwicklung der Evaluationsinstrumente

3 Datenerhebung

4 Datenauswertung

5 Entwickeln von Befunden und Ableitung von Konsequenzen

Das Evaluationskonzept

Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte

Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen

Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen

Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt

Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt

Bewertung Die Bewertungskriterien werden festgelegt

Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen

Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft

Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird

Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert

Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt

14 15

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 16-17 091213 1524

Operationalisierung

Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet

Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen

Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation

Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen

Methoden und Instrumente

Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren

Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein

bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden

bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden

bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben

bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)

bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet

bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden

bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen

16 17

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 18-19 091213 1524

Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren

In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann

Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden

Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden

Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden

Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen

18

Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden

Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten

Datenanalyse und -bewertung

Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich

Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren

Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen

Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung

19

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 8: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 12-13 091213 1524

konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung

Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen

Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf

Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo

Evaluationsgegenstand definieren

Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden

koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen

Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen

bull Wozu soll die Evaluation dienen

bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten

bull Worin besteht genau Wissensbedarf

bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken

Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen

Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden

12 13

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 14-15 091213 1524

Wie evaluieren Umsetzung von Selbstevaluation

Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte

1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)

2 Bestimmung und Entwicklung der Evaluationsinstrumente

3 Datenerhebung

4 Datenauswertung

5 Entwickeln von Befunden und Ableitung von Konsequenzen

Das Evaluationskonzept

Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte

Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen

Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen

Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt

Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt

Bewertung Die Bewertungskriterien werden festgelegt

Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen

Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft

Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird

Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert

Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt

14 15

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 16-17 091213 1524

Operationalisierung

Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet

Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen

Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation

Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen

Methoden und Instrumente

Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren

Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein

bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden

bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden

bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben

bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)

bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet

bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden

bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen

16 17

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 18-19 091213 1524

Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren

In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann

Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden

Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden

Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden

Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen

18

Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden

Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten

Datenanalyse und -bewertung

Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich

Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren

Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen

Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung

19

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 9: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 14-15 091213 1524

Wie evaluieren Umsetzung von Selbstevaluation

Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte

1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)

2 Bestimmung und Entwicklung der Evaluationsinstrumente

3 Datenerhebung

4 Datenauswertung

5 Entwickeln von Befunden und Ableitung von Konsequenzen

Das Evaluationskonzept

Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte

Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen

Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen

Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt

Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt

Bewertung Die Bewertungskriterien werden festgelegt

Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen

Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft

Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird

Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert

Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt

14 15

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 16-17 091213 1524

Operationalisierung

Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet

Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen

Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation

Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen

Methoden und Instrumente

Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren

Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein

bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden

bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden

bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben

bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)

bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet

bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden

bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen

16 17

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 18-19 091213 1524

Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren

In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann

Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden

Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden

Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden

Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen

18

Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden

Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten

Datenanalyse und -bewertung

Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich

Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren

Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen

Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung

19

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 10: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 16-17 091213 1524

Operationalisierung

Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet

Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen

Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation

Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen

Methoden und Instrumente

Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren

Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein

bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden

bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden

bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben

bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)

bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet

bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden

bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen

16 17

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 18-19 091213 1524

Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren

In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann

Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden

Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden

Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden

Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen

18

Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden

Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten

Datenanalyse und -bewertung

Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich

Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren

Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen

Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung

19

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 11: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 18-19 091213 1524

Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren

In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann

Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden

Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden

Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden

Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen

18

Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden

Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten

Datenanalyse und -bewertung

Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich

Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren

Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen

Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung

19

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 12: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

weiter gelerntweiter gelernt

KOS_Selbstevulation_Inhaltindd 20-21 091213 1524

und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden

In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen

Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten

Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar

Staumlrken und Schwaumlchen von Selbstevaluation

Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden

Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden

Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden

Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten

20 21

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 13: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

KOS_Selbstevulation_Inhaltindd 22-23 091213 1524

weiter gelernt

Checkliste fuumlr eine erfolgreiche Selbstevaluation

Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen

Schritt 1 Vorbereitung der Evaluation

1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert

2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert

3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen

4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt

5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt

6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet

weiter gelernt

7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt

8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt

9 Ressourcen Wurden die Ressourcen bestimmt

Schritt 2 Erhebungsplanung

10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)

11 Instrumente Wurden die Evaluationsinstrumente entwickelt

Schritt 3 Erhebung

12 Erhebung Ist die Datenerhebung erfolgt

Schritt 4 Auswertung

13 Datenerfassung Sind alle Daten erfasst worden

14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden

15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden

22 23

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 14: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

KOS_Selbstevulation_Inhaltindd 24-25 091213 1524

weiter gelernt

Schritt 5 Bewertung

16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden

Schritt 6 Dokumentation

17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden

Schritt 7 Nutzung

18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden

19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet

weiter gelernt

Literatur und Quellen

Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132

Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster

Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg

Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)

Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)

Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek

Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen

Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam

25 24

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 15: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

KOS_Selbstevulation_Inhaltindd 26-27 091213 1524

weiter gelernt

Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)

Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern

Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld

Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)

Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster

26

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7

Page 16: Selbstevaluation in der Weiterbildung · Evaluation ist mithin ein weites Feld. Um die Professionalität innerhalb dieses Feldes zu sichern, sind bestimmte Standards zu berücksich

Nr 5 ndash Dezember 2013

Beitraumlge zur Weiterbildungsdiskussion

Selbstevaluation in der Weiterbildung

weiter gelernt

KOS Weiterbildung Umschlaegeindd 1 091213 1515

In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen

Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt

Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen

ISBN 978-3-9814948-7-7