WISSENSCHAFTLICHE DISKUSSIONSPAPIERE

Heft 59

Was ist Evaluation?

Dr. Wolfgang Meyer

Saarland University

Centrum fr Evaluationsforschung - CEval

Gabriela Hhns

Bundesinstitut fr Berufsbildung - BIBB

Schriftenreihedes Bundesinstituts

fr BerufsbildungDer Generalsekretr Bonn

Die WISSENSCHAFTLICHEN DISKUSIONSPAPIERE des Bundesinstituts fr Berufsbildung (BIBB) werdendurch den Generalsekretr herausgegeben. Sie erscheinen als Namensbeitrge ihrer Verfasser und gebenderen Meinung und nicht unbedingt die des Herausgebers wieder. Sie sind urheberrechtlich geschtzt. IhreVerffentlichung dient der Diskussion mit der Fachffentlichkeit.

Autoren:

Dr. Wolfgang Meyer,Center for Evaluation Research (CEval)Saarland University - FR 5.2Box 151 150D-66041 SaarbrckenF. R. GermanyPhone: ++49-(0)681-302-3320Fax: ++49-(0)681-302-3899e-mail: w.meyer@rz.uni-sb.de

Gabriela HhnsBundesinstitut fr BerufsbildungD-53043 BonnBundesrepublik DeutschlandTel.: ++49 (0)228-107-1931Fax: ++49-(0)228-107-2971E-Mail: hoehns@bibb.de

bersetzung ins Russische: Paul Kremel, Neuss

Vertriebsadresse:Bundesinstitut fr BerufsbildungFachabteilung 1.2 (V)53043 BonnBestell-Nr.: 14.059

Copyright 2002 by Bundesinstitut fr Berufsbildung, BonnHerausgeber: Bundesinstitut fr Berufsbildung,Der Generalsekretr, BonnInternet: www.bibb.deE-Mail: zentrale@bibb.deUmschlaggestaltung: Hoch Drei BerlinHerstellung: Bundesinstitut fr Berufsbildung, BonnDruck: Bundesinstitut fr Berufsbildung, BonnPrinted in Germany

ISBN 3-88555-718-5

Gedruckt auf Recyclingpapier, hergestellt aus 100 % Altpapier

wefers-middelhoffDiese Netzpublikation wurde bei Der Deutschen Bibliothek angemeldet und archiviert.URN: urn:nbn:de:0035-0028-3

3

1. EinleitungDie wissenschaftliche Evaluationsforschung gehrt als Teilgebiet sozialwissen-schaftlicher Forschungen weltweit seit vielen Jahren zu den am strksten expandieren-den Ttigkeitsfeldern von Akademikern. Immer mehr staatliche Institutionen in einerebenfalls stndig wachsenden Zahl von Lndern greifen zur Vorbereitung, Durch-fhrung und Aufbereitung der Ergebnisse ihrer politischen Programme auf die Unter-sttzung externer Experten Evaluatoren - zurck. In einigen Anwendungsbereichenkonnten sich Evaluationsroutinen herausbilden, und in manchen Lndern ist teilweisedie Durchfhrung von Wirkungskontrollen sogar gesetzlich vorgeschrieben.

ber den gegenwrtigen Stand der Institutionalisierung von Evaluationen sowie denhistorischen Verlauf dieser Wissenschaftssparte in den westlichen Demokratienmchte dieser Beitrag informieren. Eine kurze Begriffsklrung ist diesen Ausfhrungenvorangestellt, die schlielich auch eine Beschreibung internationaler Standards undmethodische Hinweise zur Durchfhrung von Evaluationen enthalten.

Ziel dieses Beitrags ist es, russischen Kollegen und Kolleginnen in der Berufsbildungeine kurze bersicht ber den Stand der internationalen Evaluationsforschung und-praxis und Anregungen fr den Aufbau eines eigenen, den internationalen Standardsentsprechenden, Evaluationskonzepts zu liefern. Schulleiter, Ausbilder, Lehrer und an-dere Praktiker der beruflichen Bildung soll dieser Beitrag ber die Aufgaben und Zielevon Evaluation informieren.

2. BegriffsbestimmungDer Begriff Evaluation stammt von dem lateinischen Wort valor, d. h. Wert, und derVorsilbe e / ex, d. h.: aus, und bedeutet bersetzt Bewertung, einen Wert aus etwasziehen. In seinem weitesten Wortsinn beschreibt der Begriff den Prozess der Be-urteilung des Wertes eines Produktes, Prozesses oder eines Programmes, was nichtnotwendigerweise systematische Verfahren oder datengesttzte Beweise zur Unter-mauerung einer Beurteilung erfordert.1 Somit ist z. B. bereits der morgendliche Blickaus dem Fenster zur Begutachtung des Wetters eine Evaluation. Obwohl der BegriffEvaluation den meisten Menschen unbekannt sein drfte, ist der damit beschriebeneVorgang so alt wie die Menschheit selbst.2

Fr die Bezeichnung der wissenschaftlichen Herangehensweise wurde das WortEvaluation gerade wegen seiner vergleichsweise geringen Verbreitung gewhlt, umsich von dem alltagssprachlichen Verstndnis von Bewertung oder Beurteilung

1 Wottawa & Thierau 1990: 92 vgl. Stockmann 2000: 11

4

abzuheben. Die allgemein anerkannten sozialwissenschaftlichen Definitionen von Evaluation unterstreichen die explizite Verwendung wissenschaftlicher Forschungs-methoden3 und verstehen unter Evaluationsforschung die systematische Anwendungsozialwissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Aus-gestaltung, Umsetzung und des Nutzens sozialer Interventionsprogramme.4

Damit unterscheiden sich wissenschaftliche Evaluationen von Alltagsevaluationen aus-schlielich durch die Nutzung empirischer Forschungsmethoden und die Einhaltungder hiermit verbundenen wissenschaftlichen Standards.5 Diese Differenzierung lsstsich nicht nur fr sozialwissenschaftliche Fragestellungen vornehmen: im Unterschiedzur eigenen Begutachtung der Wetterlage basiert das Urteil des Meteorologen aufwissenschaftlichen Analysen und dem Einsatz geeigneter standardisierter Messinstru-mente. Dies bedeutet nicht zwangslufig, dass sein Urteil zutreffender als die per-snliche Einschtzung sein muss. Durch die wissenschaftliche Fundierung des Urteilswerden aber die Bewertungskriterien offengelegt und dadurch die logischenAbleitungen von Bewertungen fr Dritte nachvollziehbar. Wissenschaftliche Evalua-tionen leisten somit einen wesentlichen Beitrag zur Versachlichung von Diskussionenund zur Objektivierung des Urteilsprozesses.

3. Historische Entwicklung und InstitutionenDie Ursprnge wissenschaftlicher Evaluationen lassen sich in den USA bis in dasneunzehnte Jahrhundert zurckverfolgen, als die Bundesregierung zum ersten Malexterne Inspektoren mit der Bewertung ffentlicher Programme beauftragte. Zu dendamals untersuchten staatlichen Einrichtungen gehrten Waisenhuser, Schulen,Krankenhuser und Gefngnisse.6 Eine erste Expansionsphase von Evaluationen lsstsich in den Vereinigten Staaten fr die dreiiger und vierziger Jahre des zwanzigstenJahrhunderts festhalten. Im Rahmen des New Deal wurden z. B. Reformprogrammezur Verminderung der Arbeitslosigkeit und zur Verbesserung der sozialen Sicherheitvon Evaluationsstudien begleitet.7 Die meisten Autoren bestimmen allerdings erst diefrhen sechziger Jahre als Ausgangspunkt professioneller Evaluationen, weil in derFolge umfangreicher staatlicher Sozial-, Bildungs-, Gesundheits-, Ernhrungs- und In-frastrukturprogramme nicht nur die Anzahl der Evaluationsstudien sprunghaft anstieg,sondern auch ein Institutionalisierungsprozess einsetzte.8

Ein wesentliches Kennzeichen der fortschreitenden Professionalisierung der Evalua-tionsttigkeiten in den USA war die Grndung einer Reihe einschlgiger Fachzeit-schriften, unter denen wohl das American Journal of Evaluation und die Evaluation 3 vgl. z.B. Bortz & Dring 2002: 102; Hadley & Mitchell 1995: 48; Mertens 2000: 41; Shadish 1994: 3524 Rossi, Freeman & Hofmann 1988: 35 vgl. Stockmann 2000: 126 vgl. Madaus, Stufflebeam & Scriven 19837 vgl. Stockmann 2000: 21f.8 vgl. Mertens 2000: 42ff.

5

Review zu den international am meisten rezipierten gehren drften. 1986 formiertesich durch den Zusammenschluss zweier kleinerer Evaluationsverbnde die AmericanEvaluation Association (AEA), die gegenwrtig mehr als 3.000 Mitglieder vertritt. Zieldieser Organisation ist die Verbesserung von Evaluationsmethoden und ihres prak-tischen Einsatzes sowie die Frderung wissenschaftlicher Evaluationsforschung in deramerikanischen ffentlichkeit (zu den Aufgaben und Zielen der AEA siehe die Websiteder Organisation www.eval.org). Durch die Verbreitung der Anfang der neunzigerJahre entwickelten Evaluationsstandards des Joint Committee sowie der GuidingPrinciples for Evaluators hat die AEA einen wesentlichen Beitrag zur Qualitts-sicherung von Evaluationen geleistet.

Nach Schtzungen wurden in den USA bereits 1976 etwa 600 Mio. $ fr die Evaluationvon sozialen Dienstleistungsprogrammen aufgewendet.9 In vielen Ressorts sind Eva-luationen gesetzlich vorgeschrieben und eigene Haushaltsmittel werden dafr bereit-gestellt. In den achtziger Jahren wurden sogenannte Sunset-Gesetze erlassen, diebei fehlendem Nachweis der Wirksamkeit von Programmen deren automatischeBeendigung nach einer festgelegten Zeitspanne vorsahen. 1993 verabschiedete derUS-Congress den Government Performance and Results Act, welcher die regel-mige Durchfhrung von Evaluationen fr alle Bundesprogramme gesetzlich veran-kerte.10 Insgesamt ist somit festzuhalten, dass in den USA wissenschaftlicheEvaluationen zu einem zentralen Steuerungsinstrument politischen Handelns gewor-den sind und sich entsprechende Institutionen zur Qualittssicherung der Evaluations-ttigkeit herausgebildet haben.

Im Vergleich zu den USA setzte in Europa eine Professionalisierung der Evaluations-forschung mit zehnjhriger Versptung Ende der sechziger Jahre ein. Zu den Vor-reitern dieser Entwicklung gehrten Schweden, Grobritannien und die BundesrepublikDeutschland. hnlich wie in den USA wurden Evaluationen zunchst hauptschlichzum Nachweis der Effektivitt von Programmen in der Bildungs-, Gesundheits- undSozialpolitik eingesetzt, um dann Ende der siebziger Jahre mit einer Prioritts-verlagerung auf Kosten-Nutzen-Erwgungen konfrontiert zu werden. Im Unterschied zuden USA stagnierte aber die Entwicklung der Evaluationsforschung in Folge derEinsparungen ffentlicher Haushalte, und die noch in den Anfngen befindlichen Insti-tutionalisierungsversuche scheiterten weitgehend. Erst Anfang der 90er Jahre ergabsich fr die Evaluationsforschung im Zuge der Reform- und Modernisierungsdebattestaatlicher Institutionen, die unter dem Stichwort New Public Management zuerst inGrobritannien, Holland und den skandinavischen Staaten Konturen gewann, einneuer Aufschwung.11

Beginnend in den spten 80er Jahren in Grobritannien - und auf europischer Ebenemit Formierung der European Evaluation Society (EES) - werden besonders seit Mitte 9 vgl. Stockmann 2000: 2110 vgl. Mertens 2000: 4911 vgl. Stockmann 2000: 23f.

6

der 90er Jahre in immer mehr Lndern Evaluationsgesellschaften hnlich der AmericanEvaluation Association gegrndet (1997 z. B. die Deutsche Gesellschaft fr Evalua-tion). Gegenwrtig existieren Evaluationsgesellschaften in Belgien, Deutschland, Finn-land, Frankreich, Grobritannien, Italien, den Niederlanden, Schweden und derSchweiz.12 In weiteren Lndern (z. B. sterreich) wurden vergleichbare Initiativengestartet.Trotz erheblicher Entwicklungsrckstnde lsst sich jedoch auch fr Westeuropafeststellen, dass sich die Evaluationsforschung etabliert hat und derzeit weiterhin starkexpandiert. Die Bemhungen zur Professionalisierung befinden sich, verglichen mitden USA, noch in einer Anfangsphase, es lassen sich allerdings in vielen Lndernrasche Fortschritte erkennen. Ohne systematische wissenschaftliche Beobachtungenund Beurteilungen der Wirkungen politischen Handelns kommen moderne Demo-kratien nicht mehr aus. Ein aktuelles Beispiel fr die politischen Konsequenzen wis-senschaftlicher Evaluationen stellt die PISA-Studie zur vergleichenden Evaluierung vonSchulleistungen in einer Vielzahl von Lndern dar13: Die Ergebnisse fr die Bundes-republik Deutschland wiesen zum einen auf Grund des schwachen Abschneidens derSchler auf einen akuten und seit Jahren vernachlssigten Handlungsbedarf hin, undzum anderen konnten einige langjhrige ideologische Grabenkmpfe der deutschenBildungspolitik durch Bereitstellung sachlicher Informationen beendet werden.Generell kann in Deutschland eine Reihe von Bereichen aufgezhlt werden, fr diebereits regelmig und standardisiert Evaluationen durchgefhrt werden. In der Ent-wicklungszusammenarbeit gehren wissenschaftliche Evaluationen schon seit mehrals zwanzig Jahren zu den Routinen der Projektdurchfhrung, wobei sich in letzter Zeitvor allem die Zahl der ex-post Evaluationen stark erhht hat.14 Die Diskussionen berFormen der Hochschulevaluation sind in einigen Bundeslndern bereits soweit fort-geschritten, dass es zur Etablierung standardisierter Evaluationsinstitutionen (z. B. derZentralen Akkreditierungsstelle ZEVA in Hannover) gekommen ist. Auch im Arbeits-marktbereich, bei sozialen Einrichtungen oder in der Schulpolitik sind entsprechendeAnstze erkennbar.Fr die berufliche Bildung ist festzuhalten, dass durch das Bundesinstitut fr Berufsbil-dung (BIBB) eine Vielzahl von Evaluationen selbst durchgefhrt oder als Auftrag anexterne Experten vergeben wird. Eine standardisierte Vorgehensweise konnte sich je-doch angesichts der Vielfalt unterschiedlicher Aufgabenstellungen noch nicht heraus-bilden. Evaluiert werden zum Beispiel alle neu geordneten Berufe, Modellversuche,neu eingefhrte Lehrinhalte wie Umweltbildung, neue Prfungsformen, Programme zurAusbildungsfrderung und zur Reduzierung der Jugendarbeitslosigkeit und vielesandere mehr.15

Ziel der Evaluationen ist es in jedem Fall, einen Beitrag zur Optimierung einesProgramms oder einer Neuerung zu leisten. 12 vgl. Leeuw 2000: 59 f.13 vgl. Baumert et al. 2000, 200114 vgl. Stockmann 1997; 2000a15 Berger, Walden 2001, Hrtel, Stockmann, Gaus 2000, Ebbinghaus, Grmar, Sthr 2001, Stiller, Sthr

7

4. Evaluationsstandards und DurchfhrungsprinzipienWie werden nun wissenschaftliche Evaluationen durchgefhrt? Hierfr wurden im Jahr1994 von einem eigens eingerichteten Joint Commitee on Standards of EducationalEvaluation in den USA Standards entwickelt, die in vier Hauptgruppen zusammen-gefasst wurden.16 Dabei sollen Ntzlichkeitsstandards sicherstellen, dass sich eineEvaluation an den Informationsbedrfnissen der vorgesehenen Evaluationsnutzerausrichtet. Zu ihnen gehrt z. B. die Offenlegung der eingesetzten Verfahren und Vor-gehensweisen gegenber den Auftraggebern und gegenber den Evaluierten. MitDurchfhrbarkeitsstandards soll gewhrleistet werden, dass eine Evaluation realistisch,gut durchdacht, diplomatisch und kostenbewusst ausgefhrt wird. Ein wesentlicherAspekt ist z. B. die angemessene Bercksichtigung der Interessen und Werte der aneiner Evaluation beteiligten Interessengruppen und Personen. ber die Festlegung vonKorrektheitsstandards wird geregelt, dass eine Evaluation rechtlich und ethisch korrektdurchgefhrt sowie dem Wohlergehen der in die Evaluation einbezogenen und durchdie Ergebnisse betroffenen Personen gebhrende Aufmerksamkeit gewidmet wird. Zuden wichtigsten Regeln ist hier die Offenlegung der Ergebnisse gegenber allen an derEvaluation beteiligten Personen zu zhlen. Mit den Genauigkeitsstandards schlielichsoll garantiert werden, dass eine Evaluation fachlich angemessene Informationen berden Nutzen des evaluierten Programms hervorbringt und vermittelt. Insbesondere dieVerpflichtung auf die adquate Nutzung allgemein anerkannter Verfahren zur Infor-mationsgewinnung ist dabei als wichtiger Gesichtspunkt hervorzuheben.

Die Standards wurden mittlerweile von Evaluationsgesellschaften in vielen verschiede-nen Lndern (u. a. in Deutschland und der Schweiz) bersetzt und in leicht modi-fizierter Form bernommen. Die Deutsche Gesellschaft fr Evaluation (DeGEval)arbeitet gegenwrtig an einer russischen bersetzung, die noch im Laufe diesesJahres verfgbar sein soll. Aufgrund ihrer weltweiten Verbreitung und der groen Zu-stimmung unterschiedlichster Akteure knnen die Joint Committee-Standards alsallgemein anerkannter Konsens der Evaluationsforschung zur Sicherung der Qualittvon Evaluationen bezeichnet werden. Auch auf der Ebene der EU, die ebenfallsEvaluationen in den verschiedensten Politikbereichen durchfhrt bzw. in Auftrag gibt,u. a. auch im Bereich der Berufsbildung, wird gegenwrtig an einer Anpassung derDeGEval-Standards auf Evaluationen und Wirkungsforschungen speziell im euro-pischen Berufsbildungswesen gearbeitet.

In den USA wurden diese Standards von der American Evaluation Association (AEA)durch Leitlinien fr Evaluatoren17 ergnzt. Die Guiding Principles for Evaluators for-dern von den Evaluatoren

16 ausfhrlich siehe Joint Commitee on Standards of Educational Education 2000; eine

Kurzzusammenfassung ist bei Widmer 2000 zu finden17 Shadish et al. 1995

8

die systematische, datenbasierte Untersuchung des zu evaluierenden Gegen-stands,

den Beleg ausreichender Fachkompetenz zur Durchfhrung von Evaluations-studien,

die Gewhrleistung eines fairen und integren Evaluationsprozesses,

den angemessenen Respekt gegenber den Persnlichkeitsrechten aller Beteilig-ten sowie

ein allgemeines Verantwortungsgefhl fr die durch Programme beeinflussteffentliche Wohlfahrt.

Den Auftraggebern wird empfohlen, Auftrge nur an Evaluatoren zu vergeben, die sichdiesen Prinzipien verpflichtet haben.

In den europischen Evaluationsgesellschaften ist es bisher noch nicht gelungen,einen vergleichbaren Konsens zur Formulierung von Leitlinien zu erzielen. Es gibt da-bei allerdings keine grundstzlichen Widerstnde gegen die von der AEA vorgelegtenund hier kurz vorgestellten Prinzipien.

Das wesentliche Problem einer einheitlichen Festlegung von Leitlinien fr Evaluatorenliegt vielmehr in der Vielfalt der bearbeiteten Aufgaben und Themenfeldern begrndet.Es wrde hier zu weit fhren, auf die Vielzahl der bearbeiteten Themenstellungen (zumBeispiel in den bereits oben erwhnten Politikbereichen Gesundheitswesen, Sozial-wesen, Bildungswesen und vielen anderen mehr) im einzelnen einzugehen und ihreBesonderheiten herauszustellen. Die vielfltigen Anforderungen an die Durchfhrungeiner Evaluation hngen beispielsweise vom politischen Prozess des zu evaluierendenProgramms ab, der sehr grob in drei verschiedene Phasen unterteilt werden kann18.Whrend der Programmentwicklung werden zur Untersuchung der Ausgangs- undRahmenbedingungen ex-ante Evaluationen (Machbarkeitsstudien) mit dem Ziel einerEinschtzung mglicher Durchfhrungsprobleme sowie der Erfolgschancen geplanterManahmen in Auftrag gegeben. Der Charakter dieser prognostisch orientiertenStudien unterscheidet sich stark von dem formativer Evaluationen, die als Begleit-forschung mglichst aktuelle Informationen ber den Programmverlauf sammeln undihre Bewertungen als Entscheidungshilfen fr die Steuerung zur Verfgung stellenmchten. Summative oder ex-post Evaluationen schlielich erfassen und beurteilen dielangfristigen Programmwirkungen, wobei strker als bei den anderen Vorgehenswei-sen die Identifikation kausaler Zusammenhnge im Vordergrund steht.

Als ein Beispiel kann das von Reinhard Stockmann entwickelte Evaluationskonzeptangefhrt werden, welches vom Bundesinstitut fr Berufsbildung (BIBB) und vomInstitut fr die Entwicklung der Berufsbildung (IRPO) zur ex-post Evaluation von 18 vgl. Stockmann 2000: 13 ff.

9

ausgewhlten deutsch-russischen Modellprojekten aus dem TRANSFORM-Programmgenutzt wird. Es handelt sich hierbei um ein theoriegeleitetes Konzept mit einemintegrativen methodischen Ansatz, dessen Grundlagen wie folgt kurz zu skizzierensind:19

Zur Bestimmung der Analysefelder werden drei unterschiedliche theoretische Modellezusammengefhrt.

1. Durch Nutzung von Erkenntnissen der Lebensverlaufsforschung (das zu evalu-ierende Projekt wird, grob vergleichbar mit dem menschlichen Lebensverlauf, in eineEntstehungsphase, eine Verlaufsphase und eine Phase der Nachwirkungen aufgeteilt)ergibt sich eine zeitliche Perspektive, die die historische Projektentwicklung und diejeweiligen Anforderungen zueinander in Beziehung setzt und so fr die einzelnenProjektphasen eine Bewertung der Entscheidungen zur Projektplanung und -steuerungermglicht.

2. Ein organisationstheoretisch gesttztes Wirkungsmodell lenkt den Blick auf dieLeistungsfhigkeit der jeweiligen Trgerorganisation eines Projekts (z. B. eine beruf-liche Lehranstalt, an der eine Neuerung des Berufsbildungssystems modellhaft erprobtwurde) und hilft die Frage zu beantworten, welche Auswirkungen im weitesten Sinn einProjekt auf die Trgerorganisation hatte, was sich im Zusammenhang mit dem Projektverndert hat.

3. Die Leistungsfhigkeit der Trgerorganisation ist auch fr die Verbreitung dereingefhrten Neuerungen ber die Grenzen der Organisation hinaus von ent-scheidender Bedeutung. In der beruflichen Bildung sollen beispielsweise von Modell-projekten Wirkungen sowohl innerhalb des Berufsbildungssystems (z. B. die Verbrei-tung des Modellversuchs) als auch innerhalb des Erwerbssystems (z. B. die Verbesse-rung der Anpassung von Qualifikationen an die Erfordernisse des Arbeitsmarktes)erzielt werden. Derartige Verbreitung oder, um den Fachterminus zu gebrauchen,Diffusion von Projektwirkungen ist in dem Evaluationskonzept von Stockmann eben-falls Gegenstand der Untersuchungen.

Bei der methodischen Vorgehensweise bercksichtigt das Konzept von Stockmanneinige Besonderheiten von Evaluationen. So werden durch den partizipativen Ansatzdie Fachkenntnisse und Erfahrungen von Evaluationsexperten mit dem Insiderwissender Projektbeteiligten zusammengefhrt. Grundlage ist der offene Austausch vonInformationen und die gegenseitige faire Behandlung whrend der Evaluierung.

Besondere methodische Schwierigkeiten knnten sich durch die Mngel einzelnerDatenerhebungsmethoden ergeben, die whrend einer Evaluation nicht wie im Ex-periment durch entsprechende Kontrollmanahmen ergnzt werden knnen. Um die

19 Ausfhrlich hierzu siehe: Stockmann 1997.

10

Schwchen der einzelnen Verfahren auszugleichen und dabei ihre Strken mglichstoptimal zu nutzen, werden in dem Evaluationskonzept unterschiedliche Datenerhe-bungstechniken in einem Multimethodenansatz zusammengefasst.

Obwohl auf diesem Weg wesentliche Verbesserungen der Datenqualitt erzielt werdenknnen, bleibt ein weiteres Problem davon unberhrt: in der Regel werden bei einerEvaluation einige wenige Projekte untersucht, zu denen dann sehr viele Informationenvorliegen, whrend die Evaluation letztendlich eine Vielzahl unterschiedlicher For-schungsfragen beantworten soll. Letztlich lsst sich nur durch geeignete Vergleichebestimmen, inwieweit die in einem Einzelfall gefundenen Zusammenhnge rein zuflligentstanden und damit einmalig oder die Folge systematischer und dementsprechendregelmig wieder auftretender kausaler Ursachen sind. Die Integration eines kom-parativen Ansatzes ist dementsprechend zur Identifikation von Problemfeldern und zurErarbeitung von Lsungsvorschlgen unabdingbar notwendig.

5. Ausblick

Was kann Russland aus der Geschichte der Evaluation lernen?

In Russland finden seit Beginn der Perestrojka Mitte der 80er Jahre und sehr intensivseit Beginn der 90er Jahre tiefgreifende Umwlzungen in allen Bereichen der Politikstatt, insbesondere auch im Bildungswesen. Es gibt ein neues Gesetz ber die Bil-dung, ein neues Verzeichnis der Ausbildungsberufe, neue Berufsbilder, neue For-derungen des Arbeitsmarkts an die Absolventen und entsprechend neue Ausbildungs-methoden, neue Schulformen. Berater aus verschiedenen auslndischen Staatenwurden eingeladen, damit Russland die jeweiligen herausragenden internationalenErfahrungen nher kennen lernen und gegebenenfalls fr sich bernehmen konnte. Inzahlreichen nationalen und internationalen Modellversuchen wurden und werdenNeuerungen im Bildungswesen erprobt. Allein das Bundesinstitut fr Berufsbildungfhrte zusammen mit dem russischen Partner IRPO neun teilweise sehr komplexeModellprojekte durch, in denen berufsbildende Ausbildungsgnge modernisiert odervllig neu konzipiert wurden.

Zum gegenwrtigen Zeitpunkt ist in Russland eine Art Besinnungspause eingetreten.Der Effekt vieler Vernderungen wird berdacht. Welche Wirkungen hat diese oderjene Neuerung gebracht, welche Beratung war effektiv und angemessen? WelcheBedingungen fhrten zum Erfolg eines Modellversuchs, und welche Modellversuchelohnt es zu verbreiten?

Eine systematische, wissenschaftlich begrndete und damit fr alle Beteiligten trans-parente und nachvollziehbare Antwort auf solche und hnliche Fragen erhlt man mitder Durchfhrung von Evaluationen.

11

Wie bereits aus dem historischen Abriss deutlich wurde, hat sich die wissenschaftlicheEvaluation in allen modernen westlichen Lndern als wichtiges Instrument zur ratio-nalen Steuerung politischen Handelns und zur ffentlichen Legitimierung von Ent-scheidungen, zur berprfung der Wirkungen staatlicher Programme und zur Kontrolleder Effektivitt eingesetzter finanzieller und sonstiger Ressourcen bewhrt. Entschei-dend ist hierbei die Sicherstellung der Professionalitt der Evaluationsdurchfhrung,wozu die Einhaltung internationaler Standards ebenso gehrt wie die Vermeidung vonBeeinflussung der Evaluationsergebnisse durch einzelne Interessengruppen. Der Ein-satz wissenschaftlicher Evaluationen nach internationalem Standard und die rckhalt-lose Offenlegung der Ergebnisse, auch wenn diese mglicherweise nicht den Wn-schen und Erwartungen entsprechen, trgt letzten Endes auch zu einem Klima derOffenheit, des Vertrauens, des Dialogs in der Gesellschaft bei, von dem alle profitieren.

Erste Kontakte zwischen russischen Sozialwissenschaftlern und deutschen Evalu-ationsforschern bestehen bereits. Diese Kontakte verdienen es, vertieft zu werden. Beider Durchfhrung von Evaluationen und auch bei der Einrichtung eigener Strukturender Evaluationsforschung in Russland knnen die russischen Sozialwissenschaftler aufdas Erfahrungswissen ihrer Kollegen und Kolleginnen insbesondere aus den west-europischen Lndern zurckgreifen.

Das IRPO, das bereits seit langem die Umgestaltungen im russischen Berufsbildungs-system wissenschaftlich begleitet, sammelt durch die Zusammenarbeit mit dem BIBBin einem gemeinsamen Forschungsprojekt erste Erfahrungen mit der Durchfhrungvon Evaluationen, die durch die Vertiefung spezifischer sozialwissenschaftlicher Quali-fikationen und durch eine systematische Erweiterung der Anwendungsbereiche aus-gebaut werden knnen. Mit diesem Ziel knnten entsprechende Fort- und Weiter-bildungskurse fr junge russische Akademiker durch erfahrene Evaluationsexpertenaus westlichen Lndern in Russland durchgefhrt oder entsprechende Angebote wiez. B. in Deutschland die regelmig vom Centrum fr Evaluation der Universitt desSaarlandes (CEval) in Zusammenarbeit mit der Deutschen Stiftung fr InternationaleEntwicklung (DSE) in Mannheim veranstalteten Schulungen genutzt werden.

Bereits durchgefhrt wurde in Zusammenarbeit des Bundesinstituts fr Berufsbildung,Bonn, mit der Universitt des Saarlandes und dem Institut fr die Entwicklung derBerufsbildung, Moskau, eine erste wissenschaftliche Evaluation von einem deutsch-russischen Beratungsprojekt, deren Ergebnisse in der evaluierten russischen Lehr-anstalt auf groes Interesse stieen und wiederum neue Impulse fr die Verbesserungder Unterrichtsttigkeit gaben. Eine zweite hnlich angelegte Evaluation eines indeutsch-russischer Kooperation modernisierten oder vllig neu konzipierten kaufmn-nischen Berufs steht in der Anfangsphase. Es ist zu erwarten, dass die Ergebnisse derEvaluationen die Diskussionen in der russischen Berufsbildung beleben und bereichernwerden.

12

LiteraturBAUMERT, J. & BOS, W. & LEHMANN, R. (Hrsg., 2000), TIMSS/III. Dritte internationale Mathematik- und

Naturwissenschaftsstudie Mathematische und naturwissenschaftliche Bildung am Ende derSchullaufbahn (2 Bde.), Opladen: Leske+Budrich.

BAUMERT, J. & KLIEME, E. & NEUBRAND, M. (Hrsg., 2001), PISA 2000. Basiskompetenzen von Sch-lerinnen und Schlern im internationalen Vergleich, Opladen: Leske+Budrich.

BERGER, K. & WALDEN, G. (2001), Evaluierung der Bund-Lnder-Programme zur Ausbildungsfrderungin den neuen Bundeslndern 1996 1999, Bonn: Bundesinstitut fr Berufsbildung

BORTZ, J. & DRING, N. (2002), Forschungsmethoden und Evaluation fr Human- und Sozialwissen-schaftler, Berlin u.a.: Springer (3. Auflage).

EBBINGHAUS, M. & GRMAR, G. & STHR, A., Evaluiert: Projektarbeit und Ganzheitliche Aufgaben:Ergebnisbericht zur Evaluation der Abschlussprfungen in den vier IT-Berufen, Bielefeld: Bertels-mann

HADLEY, R. G. & MITCHELL, L. K. (1995), Counseling research and program evaluation, Pacific Groce,CA: Brooks/Cole.

HRTEL, M. & STOCKMANN, R. & GAUS, H. (2000), Berufliche Umweltbildung und Umweltberatung Grundlagen, Konzepte und Wirkungsmessung, Bielefeld: Bertelsmann

JOINT COMMITTEE ON STANDARDS FOR EDUCATION EVALUATION, J.R. SANDERS (eds., 2000),Handbuch der Evaluationsstandards. Die Standards des Joint Committee on Standards for Edu-cational Evaluation. Aus dem Amerikanischen bersetzt von Wolfgang Beywl und Thomas Widmer.Deutsche Ausgabe bearbeitet und ergnzt von Wolfgang Beywl, Thomas Widmer und James R.Sanders, Opladen: Leske + Budrich.

LEEUW, F. L. (2000), Evaluation in Europe, in: Stockmann, R. (Hrsg.), Evaluationsforschung. Grundlagenund ausgewhlte Forschungsfelder, Opladen: Leske+Budrich, S. 57-76.

MADDAUS, G. F. & STUFFLEBEAM, D. L. & SCRIVEN, M. S. (1983), Program evaluation: A historicaloverview, in: Maddaus, G. F., M. S. Scriven & D. L. Stufflebeam (eds.), Evaluation Models, Boston:Kluwer-Nijhoff, pp. 3-22.

MERTENS, D. M. (2000), Institutionalizing Evaluation in the United States of America, in: Stockmann,R. (Hrsg.), Evaluationsforschung. Grundlagen und ausgewhlte Forschungsfelder, Opladen: Leske +Budrich, S. 41-56.

ROSSI, P. H. & FREEMAN, H. E. & HOFMANN, G. (1988), Programm Evaluation. Einfhrung in dieMethoden angewandter Sozialforschung, Stuttgart: Enke. Neueste Englische Auflage: Rossi, P. H.,H. E. Freeman & M. W. Lipsey (1999), Evaluation. A Systematic Approach, Thousand Oaks et al.:Sage (6th ed.).

SHADISCH, W. R. (1994), Need-based evaluation: good evaluation and what you need to know about it,in: Evaluation Practice, 15 (3), pp. 347-358.

SHADISH, W. R. & NEWMAN, D. & SCHEIRER, M. A. & WYE, C. (eds., 1995), The American EvaluationAssociations Guiding Principles, San Francisco: Jossey-Bass.

STILLER, I. & STHR, A. (2001), Ergebnisse aus der Evaluation der Broberufe, Bielefeld: Bertelsmann.

STOCKMANN, R. (1997), The Sustainability of Development Cooperation, Baden-Baden: Nomos.

STOCKMANN, R. (2000), Evaluation in Deutschland, in: ders. (Hrsg.), Evaluationsforschung. Grundlagenund ausgewhlte Forschungsfelder, Opladen: Leske + Budrich, S. 11-40.

STOCKMANN, R. (2000a), Evaluation staatlicher Entwicklungspolitik, in: ders. (Hrsg.), Evaluations-forschung. Grundlagen und ausgewhlte Forschungsfelder, Opladen: Leske + Budrich, S. 375-408.

WIDMER, T. (2000), Qualitt der Evaluation Wenn Wissenschaft zur praktischen Kunst wird, in:Stockmann, R. (Hrsg., 2000), Evaluationsforschung. Grundlagen und ausgewhlte Forschungsfelder,Opladen: Leske+Budrich, S. 77-102.

WOTTAWA, H. & THIERAU, H. (1990), Lehrbuch Evaluation, Bern u.a.: Huber Verlag.

59

?

- CEval

- BIBB

C

.

() . , . . .

:

- , (CEval) - FR 5.2/ 151 150-66041 : ++49-(0)681-302-3320: ++49-(0)681-302-3899e-mail: w.meyer@rz.uni-sb.de

, -53043 : ++49 (0)228-107-1931: ++49-(0)228-107-2971E-Mail: hoehns@bibb.de

: , .

: 1.2 ()-53043 . : 14.059

() 2002 by [Bundesinstitut fr Berufsbildung], . [Bonn]: , , 53043 . [53043 Bonn] : www.bibb.de : zentrale@bibb.de: [Hoch Drei], . [Berlin]: [Bundesinstitut fr Berufsbildung], . [Bonn]

ISBN 3-88555-718-5

, 100 % .

3

1. - . - , . , .

, . . .

, , . , . , , , .

2. valor . . /, e/ex , -. , , .1 , , , , . , , , , .2

1 Wottawa & Thierau 1990: 92 .. Stockmann 2000: 11

4

(, ). 3 - , , .4

, , . . , .5 - : . ,, , . , , . , , . . , .

3. , . , , , .6 30-40 . New Deal- , ,

3 . . Bortz & Dring 2002: 102; Hadley & Mitchell 1995: 48; Mertens 2000: 41; Shadish 1994: 3524 Rossi, Freeman & Hofmann 1988: 35 . Stockmann 2000: 126 . Madaus, Stufflebeam & Scriven 1983

5

.7 , , , , , , , , .8

, American Journal ofEvaluation Evaluation Review, , . 1986 - (American Evaluation Association,. ) . , ( www. eval. org). (Joint Committee), - (Guiding Principlesfor Evaluators) .

, 1976 600 . .9

. . , . 1993 (Govern-ment Performance and Results Act),

7 . Stockmann 2000: 21f.8 . Stockmann 2000: 21f.9 . Mertens 2000: 42ff.

6

.10 , , , , .

, . , . , , , , . . ( ) , . , , , ( New Public Management,. ).11

, , , (European Evaluation Society, EES), . . 1997 ,, (DeutscheGesellschaft fr Evaluation). , , , , ,, , .12 , .

10 . Mertens 2000: 4911 . Stockmann 2000: 23 f.12 . Leeuw 2000: 59 f.

7

, . , . . PISA, .13 , -, , -, , .

, . . expost, .. .14

, , (Zentrale Akkreditierungsstelle ZEVA). , .

, (BIBB), , , . . , , , , , , , 13 . Baumert . 2000/2000114 . Stockmann 1997; 2000a

8

, , .15

.

4. ? (Joint Committee on Standards of Educational Evaluation) 1994 , .16 . , , . , , . , , . , , . . , , / . - .

(, ). (DeGEval) .

15 Berger, Walden 2001, Hrtel, Stockmann, Gaus 2000, Ebbinghaus, Grmar, Sthr 2001, Stiller, Sthr200116 . Joint Commitee on Standards of Educational Education 2000; . Widmer 2000

9

. , , , . , , , ( , ), DeGEval .

(American Evaluation Association, AEA) --17 (Guiding Principles for Evaluators). -:

,

,

, , ,

. -, .

- . . - , , . (, , , , 17 Shadish .. 1995

10

.) . , , , , , . .18 ex ante, . . , ( ). , . ,, ex post . .

, , (BIBB) () ex post - TRANSFORM. , , .19

.

1. ( , ) , ,, , .

18 . Stockmann 2000 .: 13 19 .: Stockmann 1997.

11

2. , , , (, , - ) , , .

3. , , / . - () (, ), (, ). , , , .

. , , () - .

, . ( ).

. , , . , , . , , .

12

, , . , ( ) .

5.

?

( ) , . , , , , . . . - -, .

. , , , , .

, .

13

, , . , . ( , ), , , .

- , . , , .

, , BIBB - , - , . - . , , , , (CEval) (DSE) .

14

(. ), (. ) - , . - -. , , .

15

BAUMERT, J. & BOS, W. & LEHMANN, R. (Hrsg., 2000), TIMSS/III. Dritte internationale Mathematik- und

Naturwissenschaftsstudie Mathematische und naturwissenschaftliche Bildung am Ende derSchullaufbahn (2 Bde.), Opladen: Leske+Budrich.

BAUMERT, J. & KLIEME, E. & NEUBRAND, M. (Hrsg., 2001), PISA 2000. Basiskompetenzen von Sch-lerinnen und Schlern im internationalen Vergleich, Opladen: Leske+Budrich.

BERGER, K. & WALDEN, G. (2001), Evaluierung der Bund-Lnder-Programme zur Ausbildungsfrderungin den neuen Bundeslndern 1996 1999, Bonn: Bundesinstitut fr Berufsbildung

BORTZ, J. & DRING, N. (2002), Forschungsmethoden und Evaluation fr Human- und Sozialwissen-schaftler, Berlin u.a.: Springer (3. Auflage).

EBBINGHAUS, M. & GRMAR, G. & STHR, A., Evaluiert: Projektarbeit und Ganzheitliche Aufgaben:Ergebnisbericht zur Evaluation der Abschlussprfungen in den vier IT-Berufen, Bielefeld: Bertels-mann

HADLEY, R. G. & MITCHELL, L. K. (1995), Counseling research and program evaluation, Pacific Groce,CA: Brooks/Cole.

HRTEL, M. & STOCKMANN, R. & GAUS, H. (2000), Berufliche Umweltbildung und Umweltberatung Grundlagen, Konzepte und Wirkungsmessung, Bielefeld: Bertelsmann

JOINT COMMITTEE ON STANDARDS FOR EDUCATION EVALUATION, J.R. SANDERS (eds., 2000),Handbuch der Evaluationsstandards. Die Standards des Joint Committee on Standards for Edu-cational Evaluation. Aus dem Amerikanischen bersetzt von Wolfgang Beywl und Thomas Widmer.Deutsche Ausgabe bearbeitet und ergnzt von Wolfgang Beywl, Thomas Widmer und James R.Sanders, Opladen: Leske + Budrich.

LEEUW, F. L. (2000), Evaluation in Europe, in: Stockmann, R. (Hrsg.), Evaluationsforschung. Grundlagenund ausgewhlte Forschungsfelder, Opladen: Leske+Budrich, S. 57-76.

MADDAUS, G. F. & STUFFLEBEAM, D. L. & SCRIVEN, M. S. (1983), Program evaluation: A historicaloverview, in: Maddaus, G. F., M. S. Scriven & D. L. Stufflebeam (eds.), Evaluation Models, Boston:Kluwer-Nijhoff, pp. 3-22.

MERTENS, D. M. (2000), Institutionalizing Evaluation in the United States of America, in: Stockmann,R. (Hrsg.), Evaluationsforschung. Grundlagen und ausgewhlte Forschungsfelder, Opladen: Leske +Budrich, S. 41-56.

ROSSI, P. H. & FREEMAN, H. E. & HOFMANN, G. (1988), Programm Evaluation. Einfhrung in dieMethoden angewandter Sozialforschung, Stuttgart: Enke. Neueste Englische Auflage: Rossi, P. H.,H. E. Freeman & M. W. Lipsey (1999), Evaluation. A Systematic Approach, Thousand Oaks et al.:Sage (6th ed.).

SHADISCH, W. R. (1994), Need-based evaluation: good evaluation and what you need to know about it,in: Evaluation Practice, 15 (3), pp. 347-358.

SHADISH, W. R. & NEWMAN, D. & SCHEIRER, M. A. & WYE, C. (eds., 1995), The American EvaluationAssociations Guiding Principles, San Francisco: Jossey-Bass.

STILLER, I. & STHR, A. (2001), Ergebnisse aus der Evaluation der Broberufe, Bielefeld: Bertelsmann.

STOCKMANN, R. (1997), The Sustainability of Development Cooperation, Baden-Baden: Nomos.

STOCKMANN, R. (2000), Evaluation in Deutschland, in: ders. (Hrsg.), Evaluationsforschung. Grundlagenund ausgewhlte Forschungsfelder, Opladen: Leske + Budrich, S. 11-40.

STOCKMANN, R. (2000a), Evaluation staatlicher Entwicklungspolitik, in: ders. (Hrsg.), Evaluations-forschung. Grundlagen und ausgewhlte Forschungsfelder, Opladen: Leske + Budrich, S. 375-408.

WIDMER, T. (2000), Qualitt der Evaluation Wenn Wissenschaft zur praktischen Kunst wird, in:Stockmann, R. (Hrsg., 2000), Evaluationsforschung. Grundlagen und ausgewhlte Forschungsfelder,Opladen: Leske+Budrich, S. 77-102.

WOTTAWA, H. & THIERAU, H. (1990), Lehrbuch Evaluation, Bern u.a.: Huber Verlag.

EinleitungBegriffsbestimmungHistorische Entwicklung und InstitutionenEvaluationsstandards und DurchfhrungsprinzipienAusblickLiteraturAusgabe auf russisch