Dieter Blaschke, Hans-Eberhard Plath, Elisabeth Nagel

Konzepte und Probleme der Evaluationaktiver Arbeitsmarktpolitik am Beispiel Fortbildung

und Umschulung

25. Jg./1992

Sonderdruck aus:

Mitteilungenaus der Arbeitsmarkt- und Berufsforschung

3

Mitteilungen aus der Arbeitsmarkt- und Berufsforschung (MittAB)

Die MittAB verstehen sich als Forum der Arbeitsmarkt- und Berufsforschung. Es werden Arbeiten aus all den Wissenschaftsdisziplinen veröffentlicht, die sich mit den Themen Arbeit, Arbeitsmarkt, Beruf und Qualifikation befassen. Die Veröffentlichungen in dieser Zeitschrift sollen methodisch, theoretisch und insbesondere auch empirisch zum Erkenntnisgewinn sowie zur Beratung von Öffentlichkeit und Politik beitragen. Etwa einmal jährlich erscheint ein „Schwerpunktheft“, bei dem Herausgeber und Redaktion zu einem ausgewählten Themenbereich gezielt Beiträge akquirieren. Hinweise für Autorinnen und Autoren Das Manuskript ist in dreifacher Ausfertigung an die federführende Herausgeberin Frau Prof. Jutta Allmendinger, Ph. D. Institut für Arbeitsmarkt- und Berufsforschung 90478 Nürnberg, Regensburger Straße 104 zu senden. Die Manuskripte können in deutscher oder englischer Sprache eingereicht werden, sie werden durch mindestens zwei Referees begutachtet und dürfen nicht bereits an anderer Stelle veröffentlicht oder zur Veröffentlichung vorgesehen sein. Autorenhinweise und Angaben zur formalen Gestaltung der Manuskripte können im Internet abgerufen werden unter http://doku.iab.de/mittab/hinweise_mittab.pdf. Im IAB kann ein entsprechendes Merkblatt angefordert werden (Tel.: 09 11/1 79 30 23, Fax: 09 11/1 79 59 99; E-Mail: ursula.wagner@iab.de).

Herausgeber

Jutta Allmendinger, Ph. D., Direktorin des IAB, Professorin für Soziologie, München (federführende Herausgeberin) Dr. Friedrich Buttler, Professor, International Labour Office, Regionaldirektor für Europa und Zentralasien, Genf, ehem. Direktor des IAB Dr. Wolfgang Franz, Professor für Volkswirtschaftslehre, Mannheim Dr. Knut Gerlach, Professor für Politische Wirtschaftslehre und Arbeitsökonomie, Hannover Florian Gerster, Vorstandsvorsitzender der Bundesanstalt für Arbeit Dr. Christof Helberger, Professor für Volkswirtschaftslehre, TU Berlin Dr. Reinhard Hujer, Professor für Statistik und Ökonometrie (Empirische Wirtschaftsforschung), Frankfurt/M. Dr. Gerhard Kleinhenz, Professor für Volkswirtschaftslehre, Passau Bernhard Jagoda, Präsident a.D. der Bundesanstalt für Arbeit Dr. Dieter Sadowski, Professor für Betriebswirtschaftslehre, Trier

Begründer und frühere Mitherausgeber

Prof. Dr. Dieter Mertens, Prof. Dr. Dr. h.c. mult. Karl Martin Bolte, Dr. Hans Büttner, Prof. Dr. Dr. Theodor Ellinger, Heinrich Franke, Prof. Dr. Harald Gerfin, Prof. Dr. Hans Kettner, Prof. Dr. Karl-August Schäffer, Dr. h.c. Josef Stingl

Redaktion

Ulrike Kress, Gerd Peters, Ursula Wagner, in: Institut für Arbeitsmarkt- und Berufsforschung der Bundesanstalt für Arbeit (IAB), 90478 Nürnberg, Regensburger Str. 104, Telefon (09 11) 1 79 30 19, E-Mail: ulrike.kress@iab.de: (09 11) 1 79 30 16, E-Mail: gerd.peters@iab.de: (09 11) 1 79 30 23, E-Mail: ursula.wagner@iab.de: Telefax (09 11) 1 79 59 99.

Rechte

Nachdruck, auch auszugsweise, nur mit Genehmigung der Redaktion und unter genauer Quellenangabe gestattet. Es ist ohne ausdrückliche Genehmigung des Verlages nicht gestattet, fotografische Vervielfältigungen, Mikrofilme, Mikrofotos u.ä. von den Zeitschriftenheften, von einzelnen Beiträgen oder von Teilen daraus herzustellen.

Herstellung

Satz und Druck: Tümmels Buchdruckerei und Verlag GmbH, Gundelfinger Straße 20, 90451 Nürnberg

Verlag

W. Kohlhammer GmbH, Postanschrift: 70549 Stuttgart: Lieferanschrift: Heßbrühlstraße 69, 70565 Stuttgart: Telefon 07 11/78 63-0; Telefax 07 11/78 63-84 30: E-Mail: waltraud.metzger@kohlhammer.de, Postscheckkonto Stuttgart 163 30. Girokonto Städtische Girokasse Stuttgart 2 022 309. ISSN 0340-3254

Bezugsbedingungen

Die „Mitteilungen aus der Arbeitsmarkt- und Berufsforschung“ erscheinen viermal jährlich. Bezugspreis: Jahresabonnement 52,- € inklusive Versandkosten: Einzelheft 14,- € zuzüglich Versandkosten. Für Studenten, Wehr- und Ersatzdienstleistende wird der Preis um 20 % ermäßigt. Bestellungen durch den Buchhandel oder direkt beim Verlag. Abbestellungen sind nur bis 3 Monate vor Jahresende möglich.

Zitierweise:

MittAB = „Mitteilungen aus der Arbeitsmarkt- und Berufsforschung“ (ab 1970) Mitt(IAB) = „Mitteilungen“ (1968 und 1969) In den Jahren 1968 und 1969 erschienen die „Mitteilungen aus der Arbeitsmarkt- und Berufsforschung“ unter dem Titel „Mitteilungen“, herausgegeben vom Institut für Arbeitsmarkt- und Berufsforschung der Bundesanstalt für Arbeit. Internet: http://www.iab.de

Konzepte und Probleme der Evaluation aktiver Arbeitsmarktpolitik am Beispiel Fortbildung und Umschulung

Dieter Blaschke, Hans-Eberhard Plath, Elisabeth Nagel*

In einer Bestandsaufnahme zur Wirkungsforschung wird versucht, den Fundus vorliegender Erkenntnisse einer kritischen Zwischenbilanz zu unterziehen. Dabei werden zunächst die gesellschaftlichen und gesetzlichen Ausgangsbedingungen, die theoretischen Implikationen und vor allem die methodischen Probleme der Gewinnung von Erkenntnissen zur Evaluation aktiver Arbeitsmarktpolitik beleuchtet. In diesem Kontext sind die in ihren wesentlichen Hauptlinien dargestellten Ergebnisse denn auch weniger an Sachaussagen orientiert als vielmehr an der Verdeutlichung der jeweiligen Problemlage. Auf diesem Hintergrund werden Erfordernisse sowie erste Ansätze einer konzeptionellen Neubesinnung skizziert und unter Einbezug alternativer Überlegungen erörtert.

Gliederung 1 Die Forderung nach Evaluation

1.1 Die Entwicklung der beruflichen Weiterbildung und die „Philosophie“ des Arbeitsförderungsgesetzes

1.2 Die Evaluation als besondere Herausforderung an die Wissenschaft

1.3 Bedingungen der Wirksamkeit aktiver Arbeits-marktpolitik am Beispiel der Maßnahmen berufli-cher Weiterbildung und deren Evaluation

2 Evaluation – Begriffe, Leitbilder, Formen, Funktionen 2.1 Begriffsbestimmung 2.2 Leitbilder, Formen und Modellvorstellungen zur

Evaluation – Methodische Probleme und Lösungs-ansätze

2.3 Methodische Hauptprobleme des Wirkungsnach-weises

3 Zur Evaluation der aktiven Arbeitsmarktpolitik der BA am Beispiel der beruflichen Weiterbildung 3.1 „Evaluierbarkeitsanalyse“ 3.2 Die Ziele von FuU nach dem AFG 3.3 Die Verbleibsanalyse von FuU-Teilnehmern

4 Umrisse einer Neukonzeption der FuU-Begleitforschung 4.1 Die Bedingungsabhängigkeit der Wirkung von FuU-

Maßnahmen als methodisches Ausgangsproblem 4.2 FuU-Begleitforschung als methodisches Stufenpro-

gramm – ein Ausweg? 4.3 Andere Alternativen

Literatur

l Die Forderung nach Evaluation 1.1 Die Entwicklung der beruflichen Weiterbildung und die „Phi-losophie“ des Arbeitsförderungsgesetzes Fortbildung und Umschulung und die Beurteilung ihrer Wirkungen (Evaluation) stehen immer wieder im Mittel-punkt des Interesses, wenn es um die aktive Arbeitsmarkt-politik auf der Grundlage des Arbeitsförderungsgesetzes (AFG) geht.

Das gilt nicht erst seit der Öffnung der deutsch-deutschen Grenze und seit der Einigung, die die Arbeitsmarktpolitik und damit das AFG einer Belastung bisher nicht gekannten Ausmaßes unterwarfen. Die erste große Bewährungsprobe hatte das AFG, das 1969 in Kraft trat, bereits im Zusam-menhang mit der ersten Ölkrise zu bestehen, als ab Herbst 1973 die Arbeitslosenzahlen rasch zu steigen begannen. Ab 1980 brach mit dem neuerlichen Ölpreisschock die schon gut in Gang gekommene Erholung ab, die Arbeitslosigkeit stieg dramatisch an und erfaßte immer mehr Personen. Die Anlage und viele Einzelheiten des AFG spiegeln jedoch den Optimismus der sechziger Jahre wider, als man glaubte, die Hauptgrößen wirtschaftlicher Entwicklung durch Wirtschafts- und Finanzpolitik gezielt und mit relativ großer Präzision steuern oder beeinflussen zu können (vgl. Lampert 1989). Nach den Vorstellungen, die im sog. Stabilitätsgesetz, dem „Gesetz zur Förderung der Stabilität und des Wachstums in der Wirtschaft“ (StWG) von 1967, ihren Ausdruck fanden, kam der Arbeitsmarktpolitik, wie sie im Rahmen des zwei Jahre später in Kraft gesetzten „Arbeitsförderungsgeset-zes“ (AFG) betrieben werden sollte, bei der Verfolgung des Zieles, einen hohen Beschäftigungsstand zu erreichen und zu halten sowie die Beschäftigungsstruktur ständig zu verbessern, mit ihrem „Kernstück“, Förderung der betrieb-lichen Ausbildung, Fortbildung und Umschulung eine wichtige Funktion (Voelzke, 1991, S. 257), aber letztlich nur die Funktion der Feinkorrektur zu. Das gilt sicher nach wie vor, auch wenn im AFG selbst in seinen §§ l und 2 die sehr viel breitere und ambitioniertere Funktionsbestimmung aufgenommen worden war. Karr und Apfelthaler hatten jedoch bereits zu Beginn der neuer-lichen Arbeitsmarktkrise 1981 eine Erkenntnis formuliert, der sich heute kaum noch jemand verschließen wird: „Das Volumen der Arbeitslosigkeit, ausgedrückt beispielsweise in Jahresdurchschnittsbeständen an Arbeitslosen und determiniert durch die Größen Sozialprodukt, Produktivi-tät und Arbeitsangebot, ist von der Bundesanstalt für Arbeit, wiewohl im § 2 gefordert, nur gering zu beeinflus-sen“ (Karr und Apfelthaler 1981, S. 384). Während durch die Lohnersatzleistungen die Zeit der Suche nach einem neuen Arbeitsplatz erleichtert werden und durch den Einsatz der Arbeitsvermittlung die Optimie-rung der Allokation der Arbeitskräfte unterstützt werden sollte, war der aktiven Arbeitsmarktpolitik zunächst vor allem eine „prophylaktische“ Funktion (Franke 1990,

* Dr. Dieter Blaschke ist Leiter des Bereichs Soziologie im IAB, Dr. Hans-Eberhard Plath und Elisabeth Nagel sind Mitarbeiter in diesem Bereich. Der Beitrag liegt in der alleinigen Verantwortung der Autoren.

MittAB 3/92 381

S. 299) zugedacht worden, die in zwei Richtungen zielt bzw. zwei Seiten des Arbeitsmarktes betrifft: zum einen den einzelnen, da nach § 2 Ziff. l AFG verhindert werden sollte, daß „weder Arbeitslosigkeit noch unterwertige Beschäftigung“ vorkommen, und zum anderen das Wirt-schaftssystem, wobei inbesondere an das Arbeitskräftean-gebot gedacht war, wie die Formulierung zeigt, es solle auch „kein Mangel an Arbeitskräften“ auftreten. Investitionen in das Humankapital erleichtern es den ein-zelnen Unternehmen und damit dem Wirtschaftssystem, sich ständig neu an die sich wandelnden Gegebenheiten anzupassen, z. B. an neue technologische Entwicklungen, an neue gesetzliche Bestimmungen (z. B. EG), an neue Konkurrenten und neue Konkurrenzsituationen, an Ände-rungen in der Bevölkerung, was deren Zahl und deren Wertorientierungen oder Verhalten angeht, selbst an neue zugewanderte Personen (Ausländer, Aussiedler). Das gleiche gilt auch für die einzelnen Erwerbspersonen, die generell in ihrer „beruflichen Beweglichkeit“ gefördert werden (AFG § 2 Ziff. 2), denen aber auch Hilfen angebo-ten werden sollten für den Fall, daß sie in den Anpassungs-prozessen des Wirtschaftssystems wegen der technischen Entwicklung (Ziff. 3) oder des wirtschaftlichen Struktur-wandels einer „Abfederung“ bedürfen. Auf der Erfahrung aufbauend, daß es in solchen Prozessen bestimmte Grup-pen in der Regel besonders hart trifft, hat der Gesetzgeber auch einige von ihnen ausdrücklich im Gesetz erwähnt: die Behinderten (Ziff. 4), die Frauen (Ziff. 5) und die älteren Erwerbspersonen (Ziff. 6). Alle diese auf den einzelnen und auf das System zielenden Maßnahmen bauten bald auch auf Erkenntnissen aus der Mobilitätsforschung auf. Sie zeigten, daß die Anpassung des Systems durchaus nicht nur auf der freiwilligen oder erzwungenen Mobilität der Arbeitskräfte (Firmenwechsel, Berufswechsel, Branchenwechsel, auch Umzug an einen anderen Ort) beruhte, sondern komplementär dazu auf der vom Arbeitgeber akzeptierten Substitution von Personen mit bestimmten Berufsausbildungen durch solche mit ande-

ren Berufserfahrungen oder anderen formalen Ausbil-dungsabschlüssen. Das ist immer mit Lernherausforderun-gen und damit im weitesten Sinne mit beruflicher Weiter-bildung verbunden. Auch die teilweise Substitution von Arbeitskräften durch Maschinen als Teil der „Rationalisie-rung“ führt zu solchen Lernherausforderungen. Gedacht ist an unterstützende Maßnahmen dieser Prozesse. In der öffentlichen Wahrnehmung verengte sich diese Dop-pelperspektive des AFG im Gefolge des starken Anstiegs der Arbeitslosigkeit allerdings auf die einzelnen Erwerbs-personen. Dagegen trat die Frage der Konkurrenzfähigkeit der Volkswirtschaft im internationalen Wettbewerb, die früher die Diskussion um die Verbesserung oder den Erhalt des Humankapitals bestimmt hatte, in den Hinter-grund. Während die Maßnahmen der beruflichen Weiterbildung (Fortbildung, Umschulung und betriebliche Einarbeitung) in den ersten vier Jahren des AFG, wie bereits erwähnt, hauptsächlich „prophylaktisch“ oder zur Chancenerhöhung genutzt und auch so verstanden worden waren, trat seitdem die „kurative“ Funktion, die ablesbar ist an dem relativen Rückgang der Eintritte in Aufstiegsmaßnahmen, mehr und mehr in den Vordergrund (Hofbauer und Dadzio 1984, S. 183). Vor allem der enorme Anstieg der Arbeitslosigkeit bewirkte, daß auch die Zahl der arbeitslosen Maßnahme-teilnehmer, besonders der Frauen (zahlenmäßig und antei-lig) stark zugenommen hat (vgl. Tab. l . l und 1.2). Außer-dem hat sich zugleich die Inanspruchnahme der unter-schiedlichen Maßnahmearten stark geändert: Der Anteil der Aufstiegsmaßnahmen ist seit 1971 auf fast die Hälfte zurückgegangen (vgl. Tabelle 1.3). Allmählich traten auch Unvereinbarkeiten zutage, die u. E. im AFG angelegt sind. Dies betrifft die Zielvorgaben der §§ l und 2 AFG (insbesondere Ziff. 6) und die in § 34 und vor allem in § 36 formulierten Auflagen. Während sie in den Zeiten der Vollbeschäftigung nicht zu Problemen führten, kollidierten sie nun umso mehr, je mehr die Arbeitslosigkeit zur Massenarbeitslosigkeit wurde. Unter

382 MittAB 3/92

MittAB 3/92 383

politischem, auch (sozial)politischem Druck wurde die Teilnahme an FuU forciert, es kam zu einer „Zielverschie-bung“ (vgl. BRH 1989, 10.2 zu „Zielgruppen“). Die Arbeitsämter blieben dennoch an die Bestimmungen der §§ 36 und 34 gebunden, die ihnen u. a. auferlegten, die Zweckmäßigkeit der Maßnahmen „im Hinblick auf die Ziele des § 2 und unter Berücksichtigung von Lage und Entwicklung des Arbeitsmarktes“ zu prüfen. Während unter der Zielsetzung von § 2 (Abs. l und 6) also gerade in jenen Regionen mit besonders hoher Arbeitslo-sigkeit zu ihrer Bekämpfung viele FuU-Maßnahmen einzu-richten wären, müßte dort angesichts der Lage und Ent-wicklung des Arbeitsmarktes an der Sinnhaftigkeit der Maßnahmen gezweifelt werden – besonders, wenn sie in großer Zahl durchgeführt werden sollten. So wurden vom Bundesrechnungshof FuU-Maßnahmen auch regelmäßig moniert, während die Sozialgerichtsbarkeit einer Interpre-tation des § 36 widersprach, die der „Lage und Entwick-lung des Arbeitsmarktes“ zu viel Gewicht beimaß (Voelzke 199l)1. Daher ist es angesichts der zahlenmäßigen Entwicklung und des kräftigen Anstiegs der dafür einzusetzenden Finanzmittel (vgl. Tabelle 2), verständlich, daß das Inter-esse wuchs, durch Evaluation mehr über die Wirkung bzw. den „Erfolg“ von FuU zu erfahren. Die BA wird durch das AFG mit seinem § 191 Abs. l zudem verpflichtet, „den Erfolg eingeleiteter Maßnahmen zu überwachen“.

1 Der Gesamttext enthält einige implizite und ein paar explizite Wiederho-lungen, die u. E. deshalb nötig sind, weil angestrebt wurde, daß einzelne Teile des Textes auch weitgehend für sich allein verständlich sein sollten. Die Wiederholungen stehen dann allerdings eben in anderen Zusammen-hängen.

2 (a) „10.3 Erfolgsbeobachtung“ „Der BRH hat wiederholt beanstandet, daß die AÄ den Erfolg berufli-cher Bildungsmaßnahmen nicht ausreichend beobachten (zuletzt Schrei-ben des BRH an den Vorsitzenden des Haushaltsausschusses des Deut-schen Bundestages – VI l – 40 1204 – vom 15. 9. 1988). Auch das Vorprüfungsamt kommt im Rahmen seiner überregionalen Schwerpunktprüfung „Wirtschaftlichkeit von Fortbildungs- und Umschu-lungs- (FuU)-Maßnahmen“ zu dem Ergebnis, daß es dringend notwendig ist, den AÄ Erfolgskontrollen vorzuschreiben. Dabei sei es wesentlich festzustellen, inwieweit nach Abschluß der Maßnahnme die Teilnehmer „ausbildungsadäquate“ Arbeit aufgenommen haben. Das IAB gibt vierteljährlich bekannt, wieviele Teilnehmer nach dem Abschluß beruflicher Bildungsmaßnahmen entweder Alg/Alhi beziehen oder eine Versicherungspflichtige Beschäftigung aufgenommen haben (So!). Einige AÄ führen im Rahmen ihrer Möglichkeiten vereinzelt Erfolgskontrollen durch. So haben sie mit den Bildungsträgern vereinbart, sechs Monate nach Abschluß der Maßnahme einen Bericht über den Verbleib eines jeden Teilnehmers zu erstellen. Der BRH hält die zentral gesteuerte Erfolgsbeobachtung für unzureichend. Die vom IAB getroffenen Feststellungen lassen zwar erkennen, wieviele Teilnehmer nach Abschluß der Bildungsmaßnahmen eine Versicherungs-pflichtige Beschäftigung aufgenommen haben. Sie geben jedoch keinen Aufschluß darüber, ob die Teilnehmer eine dem Maßnahmeziel entspre-chende Beschäftigung aufgenommen haben. Dagegen (So!) weisen die Versuche einiger AÄ, Erfolgskontrollen durch-zuführen, in die richtige Richtung.“ (BRH 1989, Ziff. 10.3; Hervorh. nicht i. Original) (b) „Der PräsBA hat mitgeteilt, daß eine Orientierung der Erfolgskon-trolle von FuU-Maßnahmen an dem Ziel einer ,ausbildungsadäquaten Beschäftigung‘ wegen der grundlegenden methodischen Probleme nur sehr schwer erreichbar sei. Deshalb werde man sich auch weiterhin mit Annä-herungen an die Problematik begnügen müssen. Selbst ein Nachfassen durch schriftliche Befragungen einstiger FuU-Teilnehmer würde Ämter und Träger überfordern. Eine Dauerberichterstattung des IAB, die auf ständigen Neuerhebungen beruhen müßte, könne aus Kapazitätsgründen nicht durchgeführt werden. Er hat dem Vorsitzenden des Haushaltsaus-schusses des Deutschen Bundestages aber mitgeteilt, er beabsichtige, die Erfolgskontrolle weiter zu verbessern. Der BRH ist der Auffassung, daß es methodische Probleme nicht rechtfer-tigen, generell auf eine Erfolgskontrolle von FuU-Maßnahmen zu verzich-ten. Er begrüßt die Zusage des PräsBA, sich um die Behebung der Mängel zu bemühen.“ (BRH 1989, Ziff. 10.3; Hervorh. nicht i. Original).

l .2 Die Evaluation als besondere Herausforderung an die Wissen-schaft Eine umfassende „Definition“ bzw. Funktionsbeschrei-bung der Evaluation gibt Hofmann (1989, S. 171): Danach handelt es sich um „die systematische Anwendung sozial-wissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nut-zens bzw. der Wirkung sozialer Interventionsprogramme“. Sie geht im Anspruch also über die reine Feststellung von Wirkungen hinaus und reicht in verschiedene Bereiche praktischen Handelns hinein. Die diesbezüglichen Aktivitäten der Bundesanstalt für Arbeit (BA) in ihren Gliederungen beruhen auf dem Arbeitsförderungsgesetz (AFG) und stehen unter der Vor-gabe des Grundsatzes der Wirtschaftlichkeit und Sparsam-keit der Verwaltung. Aus ihm ergibt sich als tautologische Umformung, daß sie bei gegebenem Mitteleinsatz durch Sparsamkeit einen möglichst großen Erfolg erzielen soll. In diesem Bemühen wird sie u. a. durch externe Prüfinstan-zen, wie die sog. „Vorprüfung“ und den Bundesrechnungs-hof, ständig durchleuchtet (Hesse u. a. 1992; BRH fortlau-fend). Das zeigt, daß Theorie und Methodik der Evaluation stär-ker als andere Bereiche der Wissenschaft unmittelbar For-derungen der Praxis ausgesetzt sind. Umschreibungen der Evaluationstätigkeiten lassen erkennen, daß hier im Ver-gleich zur üblichen Forschung in den Sozial- und Wirt-schaftswissenschaften andere Aufgabenstellungen anfallen. Hinzu kommt, daß sich die sehr konkreten Anforderungen der Praxis und der Prüfer und die notwendigerweise abstra-hierenden Vorgehensweisen, zu der Wissenschaft in der Regel gezwungen ist, entgegenstehen. Das können zwei Zitate aus Prüfungsbemerkungen des BRH belegen2.

384 MittAB 3/92

Schließlich ist die Evaluation ebenso wie der Einsatz der Instrumente aktiver Arbeitsmarktpolitik selbst in das ganze Spannungsfeld zwischen Wirtschafts- und Sozialpolitik, Haushaltsrecht und Bundesrechnungshof, Verwaltungs-recht und Sozialgerichtsbarkeit eingebunden, in das die Finanzpolitik, gelegentlich die Innenpolitik (z. B. unter dem Argument der „Sicherung sozialer Stabilität“, Möller 1987, S. 373) und zunehmend auch die EG hineinwirken.

1.3 Bedingungen der Wirksamkeit aktiver Arbeitsmarktpolitik am Beispiel der Maßnahmen beruflicher Weiterbildung und deren Evaluation Die Entstehungszeit des AFG und der Erfahrungshinter-grund, vor dem es Ende der sechziger Jahre formuliert wurde, kommt in Besonderheiten zum Ausdruck, die sich noch immer bis hinein in Leitbilder der Erfolgskontrolle nachweisen lassen. Das sei hier in holzschnittartiger Ver-gröberung darzustellen versucht. Die Vorstellung vom Arbeitsmarkt bzw. von der Arbeitslo-sigkeit, die ausschlaggebend gewesen sein dürfte, ist mit den Begriffen „Vollbeschäftigung“ bzw. „strukturelle Arbeitslosigkeit“ zu umschreiben. Ausgegangen wurde also vom Problem der Arbeitskräfteknappheit und speziell vom Fachkräftemangel: 1969 lagen 87 Prozent der Fortbil-dungsmaßnahmen im Bereich der Aufstiegsfortbildung, 1971 waren es noch über 57 Prozent, 1991 aber nur noch 28 Prozent. Diese Bedingungen wirkten sich wohl auch auf den Vollzug der täglichen Arbeit der BA-Mitarbeiter aus, die die Ent-scheidungen für die Weiterbildung zu treffen hatten. Die regionale Arbeitsmarktsituation3 war für sie in der Form von Vermittlungsaufträgen bzw. in der Form vieler „offe-ner Stellen“ präsent. So gelang es auch mit großer Sicher-heit, für die berufliche Weiterbildung Schulungsziele bzw. Berufe zu identifizieren, für die die Aussichten gut waren. Paßten Personen mit ihren Eignungsvoraussetzungen dazu – 1971 z. B. waren keine fünf Prozent der männlichen FuU-Teilnehmer vorher arbeitslos gewesen -, so war die Ent-scheidung für Arbeitsberater einfach. Der Erfolg, gemessen an der beruflichen Eingliederung, war weitgehend sicher, denn die Betriebe nahmen die qualifizierten Personen gerne auf (vgl. Richter 1968; Bolte 1969). Und die Arbeitsmarktpolitiker hatten ein gutes Gewissen, denn es handelte sich in jedem Fall um eine Verbesserung des Humankapitals und damit der Flexibili-tät des Systems und der Beschäftigungsstruktur, die sich gemäß der herrschenden Lehre von der Bedeutung des Humankapitals als eine Verbesserung der Produktivität der Unternehmen und der Volkswirtschaft erweisen würde. Arbeitslosigkeitsentlastungseffekte waren noch nicht gefragt, sie wären zudem wohl als systemfremd empfunden worden. Mit den verschiedenen möglichen Maßnahmen der berufli-chen Weiterbildung ließ sich abgestuft auf die individuellen Anpassungsnotwendigkeiten reagieren. Die Maßnahmear-

3 Das Problem der sog. „Bedarfsfeststellung“ ist damit allerdings nicht

wirklich gelöst. Untersuchungen zur beruflichen Mobilität zeigten ja bald, wie stark der Ausgleich über Berufswechsel und Substitution erfolgte. Punktgenaue Qualifizierungen, die sich in einer Übereinstimmung von Schulungsziel und nachfolgendem beruflichem Einsatz erweisen würden, der sog. „fortbildungsadäquaten Beschäftigung“, einer der „topoi“ in den Prüfungen von BRH und Vorprüfung, sind eine Chimäre, wenn sie nicht im Unternehmen erfolgen, sondern der durch ein Arbeitskräfteüberange-bot charakterisierte Arbeitsmarkt dazwischentritt.

ten spiegelten außerdem die Verfassung des Arbeitsmark-tes wider: Den Löwenteil der Maßnahmen, mit denen man dem einzelnen viel helfen und zugleich den Fachkräfteman-gel der Unternehmen lindern konnte, machte ja die Auf-stiegsfortbildung der Techniker, Betriebswirte und Meister aller Art aus (vgl. Tabelle 1.3), Maßnahmen, die mit einer Prüfung abgeschlossen und mit einem Zertifikat belohnt werden. Sie bescheinigen der Arbeitskraft nicht nur, daß sie „beruflich beweglich“ ist, sondern ermöglichen ihr auch, sich anderswo, also auch an einem anderen Ort, um eine bessere Stellung zu bewerben. Dem einzelnen sollte damit in seinem Bemühen, beruflich voranzukommen, geholfen werden. Gelang das, hatte es seine positive Wir-kung auch bei den Unternehmen. Auftretende Friktionen in der Anpassung der Qualifikation der Belegschaften an neue Gegebenheiten zu beseitigen, blieb dennoch weitge-hend Aufgabe der Unternehmen.

Arbeitslosen, aber nicht nur ihnen, konnte mit den ande-ren Maßnahmetypen geholfen werden, mit Arbeitslosigkeit verband sich sogar die Chance, neue Qualifikationen zu erwerben: für einige Personen in der Form von Einarbei-tungszuschüssen, wenn es um höhere Arbeitsanforderun-gen am Arbeitsplatz ging, als durch den branchenüblichen Einarbeitungsaufwand zu vermitteln waren (betriebliche Einarbeitung). Vielen anderen genügte eine einfache Anpassungfortbildung. Einigen war mit dem Nachholen einer beruflichen Abschlußprüfung zu helfen. Und nur wenige brauchten eine Umschulung, weil sie einen jener Berufe erlernt oder ausgeübt hatten, die dem unaufhaltsa-men und erwünschten Strukturwandel von Wirtschaft und Gesellschaft zum Opfer fielen.

Mit dem Maßnahmebündel ließen sich im Prinzip auch die Probleme lösen, die bei dem normalen strukturellen Wan-del in den Regionen auftraten. Zielgruppen der Arbeits-marktpolitik spielten noch keine größere Rolle, mit den abgestuften Maßnahmen war ihnen aber im Prinzip zu helfen.

Solange das Hauptkriterium des Erfolges, die berufliche Eingliederung, unstrittig ist und erreicht wird (vgl. Bolte 1969), kann man sich in diesem Modell nun auch der Qualität der Maßnahmen und das heißt: der Qualität der erreichten Zertifikate zuwenden. Je besser deren Qualität ist, umso mehr helfen sie dem einzelnen und umso mehr wirken die Qualifikationsmaßnahmen in Richtung Produk-tivitätsfortschritt. Möglicherweise geht auch die Überzeu-gung, wie sie von der BA immer wieder geäußert wurde, das Angebot an Qualifizierung, was Inhalte und Qualität angeht, sei Angelegenheit der Bildungsträger selbst bzw. des Bildungsmarktes, auf jene frühen Erfahrungen zurück. Man muß sich dazu nochmals vor Augen halten, daß 1969 überwiegend Aufstiegsfortbildung finanziert wurde. Diese wurde in der Regel von verantwortlichen Institutionen durchgeführt, die dazu den besonderen Auftrag hatten und die – wie die IHK oder Handwerkskammern – in der Nähe der Unternehmen stehen. Qualität ist hier sozusagen „ein-gebaut“ und wird von der entscheidenden Marktseite, den Unternehmen, geprüft und durch Abstellen von Lehrkräf-ten und Prüfern auch gesichert (vgl. Sauter 1990, S. 62).

Die Leitbilder und Maßstäbe der Evaluation, wie sie vom BRH, von der Vorprüfung oder von den Gutachtern der Verwaltungshochschule Speyer (Hesse u. a. 1992) vertre-ten werden, sind u. E. also gedanklich immer noch von der hier grob skizzierten Ausgangssituation bestimmt. Aber die Verhältnisse haben sich grundlegend geändert.

MittAB 3/92 385

Seit 1973 kam es im Gefolge des ersten Ölpreisschocks zu weltweiten Konjunktureinbrüchen mit nachfolgenden Strukturkrisen und starkem Anstieg der Arbeitslosigkeit, da Arbeitsplätze in größerem Maße wegfielen, ohne daß an anderer Stelle Arbeitsplätze mindestens im gleichen Umfang entstanden. Die Realität wies nicht mehr die Bedingungen der „strukturellen Arbeitslosigkeit“ auf, wo es darum ging, Arbeitslose oder Arbeitskräfte, die auf relativ unrentablen Arbeitsplätzen arbeiteten, für andere Verwendungen zu qualifizieren. Was so problemlos zu machen und zu erreichen war – Qualifizierung für bekannte Verwendungen und problemlose anschließende Aufnahme von Arbeit -, funktioniert nicht mehr in der gewohnten Weise.

Die Arbeitsmärkte haben sich geändert und damit auch die Bedingungen der Arbeitsmarktpolitik. Wenn es also in einer Region oder bundesweit zu einem „globalen“ Arbeitsplatzdefizit kommt, bricht der geschilderte gedank-liche Zusammenhang zusammen. Es zeigt sich angesichts des Arbeitskräfteüberangebots, daß der sich nahezu auto-matisch einstellende Erfolg, den man dem Arbeitsamt zuschreiben konnte, bei weitem nicht allein vom Arbeits-amt abhängt, vielleicht sogar nur zum kleinsten Teil. Die berufliche Eingliederung im Anschluß an eine Arbeitslosig-keit ist vielmehr von einer Vielzahl von Faktoren abhängig, von denen nur wenige durch das einzelne Arbeitsamt mit seinen Vermittlungs- und Qualifizierungsangeboten beein-flußbar sind. (Die erforderliche Analyse der Wirkungs-weise der Weiterbildungs- und der Arbeitsmärkte kann hier noch nicht geleistet werden.)

Die Wirkungen der Arbeitsmärkte auf das Individuum ändern sich unter den Bedingungen hoher Arbeitslosigkeit. Als These formuliert: Unter den Bedingungen der Vollbe-schäftigung dominiert die Allokationsfunktion, unter den Bedingungen der Massenarbeitlosigkeit wird sie zuneh-mend zur Aussonderungsfunktion. Längere Arbeitslosig-keit hat eine ungünstige Wirkung auf die Motivation und die Qualifikation der Erwerbspersonen. Wissenschaftliche Ergebnisse zur Wirkung längerer Arbeitslosigkeit verstär-ken noch deren Bedeutsamkeit als ein Auslesemerkmal für die Einstellungsentscheidungen der betrieblichen Perso-nalpolitik.

Zwei Trends laufen gleichzeitig und gegeneinander: Die langandauernde Arbeitslosigkeit mit ihren Verfestigungs-tendenzen („Strukturalisierung“ und Hystereseeffekte), die sich als Wirkungen beim einzelnen nachweisen lassen, und der Anstieg der Anforderungen vor allem an die intellektuelle Leistungsfähigkeit. Mit den Maßnahmen der beruflichen Weiterbildung wird versucht, die Qualifika-tionslücke zwischen dem Angebot an Arbeitskräften und der Nachfrage nach Fachkräften zu schließen. Solange jedoch die Arbeitslosigkeit in großem Umfang bestehen bleibt, können nicht alle Erfolg haben, d. h. wieder eine Beschäftigung aufnehmen.

Erst unter dem Vorzeichen großer und anhaltender Arbeitslosigkeit ergibt sich also die neue Aufgabe, Human-kapital während der Zeiten, in denen es keine adäquate Verwendung finden kann, vor allem also in Zeiten kon-junktureller Arbeitslosigkeit, zu erhalten. Eine „qualifi-zierte Aufbewahrung“ mit dem Ziel des Qualifikationser-halts kann jedoch nur eine begrenzte Zeit durchgehalten werden, wobei nicht nur an die finanziellen Aufwände, sondern auch an die Wirkungen der Unsicherheit zu den-ken ist.

2 Evaluation – Begriffe, Leitbilder, Formen, Funktionen

2.1 Begriffsbestimmung Auszugehen ist von der starken Praxiseinbindung der Eva-luation, die in der folgenden begrifflichen Fixierung beson-ders deutlich wird: Demnach gehe es um „den gezielten Einsatz sozialwissenschaftlicher Forschungsmethoden zur Verbesserung der Planung und laufenden Überwachung sowie zur Bestimmung der Effektivität und Effizienz von Gesundheits-, Bildungs-, Sozialhilfe- und anderen sozialen Interventionsmaßnahmen“ (Rossi u.a. 1988, S. 3). In der Literatur, in der über Evaluationen berichtet wird, finden sich verschiedene Begriffe (Verbleib, Wirkung, Erfolg, Effektivität, Effizienz), die nicht immer eindeutig und in gleicher Weise verwendet werden. Bei Interventionsmaßnahmen im Bereich der Qualifizie-rung durch Bildungsmaßnahmen handelt es sich darum, in bestimmter Weise auf Personen einzuwirken und sie mit-tels „Intervention durch Interaktion“ mit neuen Fertigkei-ten, Wissensinhalten, Verhaltensweisen sowie übergrei-fend mit Orientierungs- und Handlungsfähigkeit auszustat-ten, d. h. „die Handlungsfähigkeit der Adressaten mit Bezug auf legitime Teilhabemöglichkeiten zu erhöhen“ (Hesse u.a. 1992, S. 92). Evaluation ist in verschiedenen Stadien möglich: vor Beginn der Interventionen, während der Durchführung und nach Abschluß von Maßnahmen (in der Terminologie des Europäischen Sozialfonds’ ex ante-, ongoing- und ex post-Evaluation, vgl. Cavalheiro u.a. 1991, S. 71 ff.; vgl. auch Planas und Garcia 1991). Bevor man mit Maßnahmen beginnt, kann man schon eine Reihe von Fragen stellen und Antworten suchen, z. B. danach, worin genau das Ziel besteht und ob es einen sinnvollen theoretisch und durch empirische Forschung einigermaßen gesicherten Zusammenhang zwischen der Intervention (Verhaltensbeeinflussung etc.) und dem ange-strebten Ziel gibt, weiterhin, wie man den vorgestellten Personenkreis ansprechen und erreichen will, welche Hin-dernisse dem entgegenstehen, ob man u. U. (auch) andere Personen einbeziehen wird und ob das gewollt ist bzw. wie sich dem gegensteuern ließe (sog. ex ante-Evaluation; bis hin zur Zielevaluation, Inputevaluation, Kontextevalua-tion, vgl. Albers 1987, Lange 1981, 1983, Rossi u. a. 1988, Will u. a. 1987). Man kann dann auch mit verschiedenen Fragen an die laufende Durchführung herangehen (ongoing-Evaluation; Prozeßevaluation, Begleitforschung), den Prozeß durch geeignete Rückmeldungsinstrumente begleiten, um evtl. steuernd eingreifen zu können. Gerade letzteres wird nicht unerheblich von der Stellung der Evaluationsinstanz abhängen (interne und externe Evaluation, Selbst- und Fremdevaluation: Gutachtermodell, Helfer- und Berater-modell). Die grundsätzlichen Probleme der ex post-Evaluation (Ergebnisanalyse, Erfolgskontrolle, Wirkungsanalyse, Pro-duktevaluation, Effektivitätskontrolle, Effizienzkontrolle), der Evaluation, an die man üblicherweise denkt, lassen sich an Hand weniger Fragen verdeutlichen: (1) Läßt sich eine Wirkung der Maßnahme in der beab-

sichtigten Richtung (genauer Zielbezug) bei den Perso-nen feststellen, die man erreichen wollte? (Verbleib, Wirkung, Effektivität)

(2) Läßt sich diese Wirkung dem Kurs, der Maßnahme, dem Programm (oder einer anderen Wirkgröße) zu-rechnen und ggf. zu welchem Anteil? (Wirksamkeit)

386 MittAB 3/92

(3) Hat das Programm unbeabsichtigte und unerwünschte Nebenwirkungen?

(4) Läßt sich ein Nettoeffekt (z. B. der Beschäftigung) nachweisen?

(5) Welche Kosten fallen für die Durchführung der Maß-nahmen an? (direkte und indirekte Kosten)

(6) Ist das eingesetzte Geld sparsam eingesetzt worden? (7) Ist diese Verwendungsweise auch im Vergleich zu

anderen Alternativen wirtschaftlich?

Die erste Frage, die sich nach der Durchführung der Akti-vitäten (ex post-Evaluation) stellt, ist die nach dem Ver-bleib der Teilnehmer. Nur wenn man, wie dies bei vielen betrieblichen Maßnahmen noch geschieht, lediglich nach dem Eindruck oder nach der Zufriedenheit mit dem Ablauf der Maßnahme fragt, hat man die Teilnehmer „zur Hand“. Den Verbleib zu kennen, ist die notwendige Bedingung, wenn man mit Erhebungen den Teilnehmern nachgehen will. Sie wiederzufinden ist, je nachdem, wieviel Zeit nach Beendigung der Maßnahme vergangen ist, möglicherweise eine schwierige und, je mehr Zeit inzwischen vergangen ist, umso kostspieligere Aufgabe. Versteht man unter dem Verbleib etwa den Erwerbsstatus der früheren Teilnehmer, so kann damit bereits eine Teilantwort auf die Frage nach dem Erfolg gegeben werden, wieviele Teilnehmer haben sich beruflich verbessert, wieviele haben den Sprung zurück in die Erwerbstätigkeit geschafft? Weitere Fragen ergeben sich im Hinblick auf diejenigen Themenbereiche, die mit den Begriffen Wirkung – Wirk-samkeit- Effektivität grob umrissen sind: Welche Verände-rung (i. S. von Wirkung) wurde durch die (freiwillige oder erzwungene) Teilnahme an dem sozialen, beruflichen, wirtschaftlichen etc. Interventionsprogramm gegenüber der „Ausgangslage“ herbeigeführt? Wurde das Ziel (i. S. von Wirksamkeit) erreicht bzw. bis zu welchem Grade? Was läßt sich alles feststellen (Nebenwirkungen)? Lindley (1991, S. 8) stellt vier grundlegende Konzepte zusammen, die bei solchen Fragen eine Rolle spielen: - „deadweight effect“ – bei welchem Anteil der Personen

im Programm ist überhaupt keine Wirkung festzustellen? - „Domino-Effect“ („Mitnahme“) – wieviele Personen

hätten die Maßnahme nicht gebraucht, obwohl sie einen Anspruch hatten (Streuverlust)?

- „Substitution“ – wieviele Personen haben zu Lasten anderer Erfolg (z. B. Arbeitsaufnahme von FuU-Teil- nchmern, die andere Personen, die deshalb entlassen wurden, ersetzen)?

- „Displacement“ („Verdrängung“) – wieviele Personen müssen in anderen Unternehmen, die die Maßnahmen nicht nützen, entlassen werden, weil bestimmte Unter-nehmen durch Nutzung der Angebote ihre Wettbewerbs-position verbessern konnten?

- Hinzuzufügen ist noch ein weiterer Nebeneffekt, der - wie besonders am Beispiel von Qualifizierungsmaßnah-men deutlich wird – zwar ein direkter „Beschäftigungsef-fekt“ ist, nämlich in Form der Beschäftigung von Ausbil-dern, Lehrkräften und anderen Mitarbeitern von Bil-dungsträgern (bis hin zu Baumaßnahmen, Ausstattung mit Maschinen, Gerätewartung, Putzkommandos etc. - ein zusätzlicher indirekter Beschäftigungseffekt), der aber dennoch nicht das eigentliche Ziel der Maßnahmen ist. Schneider (1988, S. 337) schätzte, daß 1987 wohl mehr Personen direkt im Gefolge der „Qualifizierungs-offensive“ beschäftigt waren, als die Bundesanstalt Mit-

arbeiter hatte, also mehr als 70000. Anläßlich der Dis-kussion mit Mitgliedern der Enquete-Kommission „Bil-dung 2000“ am 20. 9. 1989 in Nürnberg meinte er, „ca. 70-100000 Beschäftigte seien mit der Erbringung von Weiterbildungsleistungen im Auftrag der BA befaßt“ (Protokoll v. 6. 6. 1990). Ein direkter Beschäftigungs-effekt könnte auch von einer Verstärkung der Bemühun-gen zur Evaluation der Arbeitsmarktpolitik ausgehen. In diesem Zusammenhang wurde in den USA bereits von der „evaluation-research industry“ (Wilensky 1985) gesprochen. Evaluation ist kostspielig; je präziser die Auskünfte über den Verbleib und den Erfolg sein sollen, um so kostspieliger wird sie.

Man kann die Frage nach der Effektivität, die also eine Frage nach dem Nettoeffekt ist, auch so stellen: Welche Wirkungen sind allein der Maßnahme zuzuschreiben? Wel-che Effekte müßten demnach subtrahiert werden, weil sie ohnehin eingetreten wären – zum Beispiel im Hinblick auf die Personen, die daran teilnahmen, auf die Entwicklung der Arbeitslosigkeit oder auf die wirtschaftliche Entwick-lung der Region? Ein wichtiges Ergebnis aus frühen Versuchen, die Wirkung bestimmter Interventionen zu erfassen, war ja, daß es -z. B. bei Rauchern oder Alkoholikern, aber auch bei orga-nisch Kranken, also in der Therapie (vgl. Grawe 1992) -immer auch Personen gibt, denen es ohne gezielte und überwachte Maßnahmen gelingt, ihr Problem zu lösen. Man nennt dies die „Spontanremission“. Bei diesen Inter-ventionen kommt es zudem zu weiteren Ereignissen, die -in Abhängigkeit von der inzwischen vergangenen Zeit -berücksichtigt werden müssen, wenn es um die „Erfolgsfeststellung“ geht, den „Rückfällen“: Wieviele von den nach einer Maßnahme beruflich wieder Eingeglieder-ten werden erneut arbeitslos? Vom Erfolg der Maßnahme selbst müßten die Raten sol-cher Spontanremissionen und Rückfälle eigentlich abgezo-gen werden. Das führte jedoch in neue Probleme, beson-ders wenn das Kriterium, an dem der Erfolg von Bildungs-maßnahmen gemessen wird, in der Aufnahme von Arbeit besteht. Sie steht ja gar nicht im Zentrum der Einfluß-nahme, sondern kann nur ein Nebeneffekt der Qualifizie-rung sein (als solcher steht er allerdings gedanklich den-noch im Mittelpunkt des Interesses des AFG). Hier geht es schließlich um die Frage, ob sich der Netto-effekt nicht durch andere Eingriffe günstiger, wirtschaftli-cher, mit größerer Effizienz (mit geringerem Finanzmittel-einsatz, in kürzerer Zeit, mit höherem Wirkungsgrad, z. B. weniger Abbrechern, d. h. auch unter Vermeidung negati-ver Nebenwirkungen etc.) erzielen ließe. Auch die Beant-wortung dieser Fragen, zu deren Beantwortung Kosten-Wirkungs- und Kosten-Nutzen-Analysen und somit die Erfassung des Aufwandes und aller Wirkungen in Geldgrö-ßen vorauszusetzen sind, steht noch weitgehend aus.

Zusammenfassung: Verbleibsanalysen sind also eine Vor-bedingung für Evaluationen, da sie eine Vorbedingung für die Feststellung von Veränderungen bei den Teilnehmern und damit für die Wirkungsanalysen sind. Sie sind eine notwendige, aber bei weitem keine hinreichende Bedin-gung der Evaluation sozialer Interventionsmaßnahmen. Erfolg kann nur festgestellt werden, wenn Wirkungen nachgewiesen und zugerechnet werden können. Es muß sichergestellt sein, daß eine festgestellte Wirkung durch die Interventionsmaßnahme hervorgerufen ist, oder anders ausgedrückt, daß sie der Intervention, dem Programm, der

MittAB 3/92 387

Maßnahme zu Recht zugeschrieben werden kann (vgl. (vgl. Mertens u.a. 1988, S. 345). Hier liegt eine Achillesferse jeder Evaluationsforschung. Nicht alle Wirkungen aber können als Erfolg verbucht werden, denn Wirkungen können zielkonform sein, sie können den angestrebten Zielen aber auch entgegenlaufen, müssen ersteren dann gegengerechnet werden. Die Bewertung (Evaluation) nachgewiesener Wirkungen als positiv oder negativ ist jedoch ein eigener Akt, der sich auf keine Weise aus den Ergebnissen „ableiten“ läßt (vgl. Hofbauer und Dadzio 1987, S. 132).

2.2 Leitbilder, Formen und Modellvorstellungen zur Evaluation -Methodische Probleme und Lösungsansätze 2.2.1 Grundmodell: Experiment Zur Beantwortung bereits der ersten Fragen, ob sich eine Wirkung feststellen und ob sie sich gegebenenfalls und in welchem Ausmaß der Maßnahme zurechnen läßt, muß eine Untersuchung bestimmte Anforderungen erfüllen. Diese lassen sich am besten an dem die Kausalforschung orientierenden Paradigma verdeutlichen. Üblicherweise ist die Situation zu Beginn beruflicher Bil-dungsmaßnahmen folgendermaßen zu charakterisieren: Einerseits bestimmen die Teilnehmer aufgrund ihrer Inter-essenlage weitgehend selbst, ob und ggf. unter welchen Bedingungen sie lernen und auf welche Maßnahmen sie sich einlassen wollen. Andererseits müssen die Verant-wortlichen aufgrund der Bestimmungen des § 36 AFG auswählen (aber auch des § 2 „Zielpopulation“, Zielgrup-penorientierung), wer zur Maßnahme „zugelassen“ wird. Ist das jedoch der Fall, so kommen damit Einflüsse herein, die schließlich für den Erfolg oder Mißerfolg der Maß-nahme (gemessen als Lernerfolg oder als Eingliederungser-folg) den Ausschlag geben können. Läßt man zu, daß Personen sich sozusagen selbst um die Teilnahme an FuU-Maßnahmen bewerben4, so ist nicht auszuschließen, daß es zu „Mitnahmeeffekten“ bei Perso-nen kommt, die ohne die Maßnahmen auch hätten „vermit-telt“ werden können. Personen, die es wirklich nötig hät-ten, halten sich möglicherweise zurück, weil sie ihr Anlie-gen nicht vorbringen können (Blaschke 1986, S. 7). Der Zwang zur Auswahl, dem die Arbeitsberater unterliegen, wird -je nachdem – möglicherweise Personen erfassen, die wirklich nur gezwungenermaßen eine Teilnahme beginnen („Androhung“ einer Sperrzeit). Aber auch der andere Fall ist denkbar, daß die Arbeitsberater nur jene Personen auswählen, bei denen der Erfolg gesichert ist, die auch ohne FuU gut zu „vermitteln“ gewesen wären (vgl. Möller 1987, S. 374). Hinzu kommt die zusätzliche Auswahl, die von den Trägerinstituten getroffen werden muß, da sie gleichfalls an den Erfolgen gemessen werden (vgl. Wilensky 1985, S. 5). Wer diese Probleme vermeiden will, wird auf die Prinzi-pien experimentellen Vorgehens verwiesen (vgl. Björklund 1989). Als Grundmodell der Wirkungsforschung kann das Experiment in der Pharmaforschung gelten. Es zeichnet sich dadurch aus, daß hier sowohl eine Zufallszuweisung der Personen zu den Behandlungen und Versuchsleitern als

auch zu den Abstufungen des Präparates einschließlich des Placebo (Leerpräparat) im Doppelblindversuch gewährlei-stet ist und eine Messung des Ausgangsstatus vorliegt. Dieses Modell erlaubt durch Parallel- und Prä-Post-Ver-gleiche eine weitgehend eindeutige Wirkungszuschreibung kausaler Art und eine Abschätzung der Wirkungsgröße. Deshalb müssen sich alle anderen Versuche, (a) überhaupt Wirkungen und (b) unterschiedliche Wirkungen festzustel-len, an diesem Modell messen lassen. Übertragen auf die Durchführung von Qualifizierungsmaßnahmen hieße das, daß die prospektiven Teilnehmer per Zufall auf „Experi-mental“- und „Kontrollgruppe“ aufgeteilt werden müßten. Findet diese sog. „Randomisierung“ nicht statt, so erfolgen Selbst- und Fremdselektionsprozesse. Dem experimentellen Vorgehen, vor allem der Zufallszu-weisung der Teilnehmer auf die „Experimentalgruppe“, in der die Beeinflussung stattfindet, und auf die „Kontroll-gruppe“, die ohne Maßnahmen bleibt, aber auch der not-wendigen Zufallsauswahl – nicht unter den möglichen Teil-nehmern, sondern unter der Gruppe jener, die „normaler-weise“ teilnehmen (würden) (vgl. Björklund 1989, S. 16) -stehen in der Regel rechtliche und ethische Bedenken entgegen. Dies gilt insbesondere für Maßnahmen, die im Rahmen bestehender Gesetze durchgeführt werden und auf die ein Rechtsanspruch besteht. Denkbar scheint nicht einmal eine Zufallsaufteilung in allen jenen Fällen, in denen aus finanziellen Gründen nicht alle Personen, die für die Maßnahme in Frage kommen, gleichzeitig „bedient“ werden können (Hesse u.a. 1992, S.49). Aber auch dar-über hinaus sind die Hindernisse, die sich experimentellem Vorgehen entgegenstellen, beträchtlich. Typisch für die Evaluation im Feld der Sozialpolitik und der Arbeitsmarktpolitik ist heute, daß Untersuchungen erst dann einsetzen, wenn die Maßnahmen, deren Wirkun-gen erforscht werden sollen, auf gesetzlicher Grundlage bereits längst eingeführt worden sind. Da die individuelle Ausgangssituation in der Regel nicht genau bekannt ist, sind auch keine Prä-Post-Ansätze mög-lich. Davon abgesehen gibt es keine probaten Verfahren, mit denen sich der vorhandene Grad an Qualifikation wirklich messen ließe. Anders ist es, wenn soziale Interventionen zunächst in ihrer Wirkung abgeschätzt werden sollen. Diese Situation steht in der Literatur zur Evaluationsforschung im Mittel-punkt des Interesses. Dennoch beherrschen auch hier stati-stische Designs das Feld; experimentelle Versuchsanord-nungen sind auch im engeren Feld der sozialen Interven-tionsmaßnahmen äußerst selten. In sog. Modellversuchen oder in Fallstudien, soweit sie als Begleitforschung konzi-piert sind, ist eine Annäherung an die geschilderte Ideal-situation für die Evaluation noch am ehesten möglich.

2.2.2 Modellversuche und Fallstudien Modellversuche sind ein oft gewählter – scheinbarer -Ausweg aus der dargestellten Problematik, in dem eigene Schwierigkeiten auftauchen (vgl. Schneider 1992). Der Einsatz der mit der Durchführung betrauten Personen ist meist höher als er im normalen Betrieb erwartet werden kann. Das ist vor allem dann der Fall, wenn das Projekt etc. ein Erfolg werden soll (vgl. Björklund 1989, S. 15 ff.).

4 Am Beispiel von Raucherentwöhnungsprogrammen ist der Effekt der Selektionsprozesse unmittelbar einleuchtend. Wenn nur Personen – frei-willig – teilnehmen, die auf jeden Fall aufhören wollen zu rauchen, dann ist die Erfolgsquote vermutlich wesentlich höher, als wenn man auch Leute hineinzwingt oder hineinlockt, die gar nicht das Bedürfnis haben aufzuhören, die gar keinen „Leidensdruck“ haben.

Modellversuchen sollte ein genau definiertes Ziel zugrun-degelegt sein. Zur Zielerreichung geeignete Vorgehens-und Verfahrensweisen werden dargestellt. Zwischen ihnen

388 MittAB 3/92

wird nach einem Bewertungsschema entschieden (ex ante-Evaluation). Wo man sich unsicher ist, werden alternative Wege zugleich beschritten. Die Auswahl der Teilnehmer wird genau dokumentiert. Es sollte mindestens darauf Wert gelegt werden, daß es zur Zufallszuweisung von Personen auf die Durchführungsbedingungen kommt. Im Idealfall kann die „Selbstselektion“ (durch die Person selbst oder durch Verantwortliche in Ämtern oder bei Trägern) also verhindert werden. Die gewählten Alternati-ven werden während der Durchführungsphase genau über-wacht (monitoring) und Abweichungen oder Ereignisse bewertet (ongoing evaluation), so daß ständig auch steu-ernd eingegriffen werden kann, wenn bestimmte, nicht mehr tolerierbare Werte überschritten werden (Lerner-folgskontrollen, Beobachtung der Gruppenatmosphäre und der Lehrer-Teilnehmer-Interaktionen etc.). Bei evtl. Lernüberforderungen, auch solchen, die mit privaten Pro-blemsituationen der „Schüler“ zu tun haben, kann mit begleitenden Hilfen eingegriffen werden. Erwachsenenge-rechte pädagogisch-didaktische Lehrverfahren und Kon-trollen werden erprobt. Über alle Abbruchsituationen und auch alle verhinderten Abbruche wird Protokoll geführt, wobei auch vermerkt wird, mit Hilfe welcher Mittel es gelingt, jemanden zum Weitermachen zu bewegen. Halten wir fest: Eine eindeutige Antwort auf die Frage nach der Zurechenbarkeit des Erfolges von Maßnahmeteil-nehmern auf die Maßnahme ist nur bei einem experimen-tellen oder experimentähnlichen Vorgehen möglich, bei dem die „Randomisierung“ eingesetzt werden kann. Nur dann kann von einer wirklichen „Kontrollgruppe“ gespro-chen werden (Björklund 1989). „Kausale“ Zurechnung ist jedoch ein Begriff, der an theoretische Konzeptionen über die Wirkungsweise gebunden ist. Versuche, mittels statisti-scher Analysen und der Einführung von sog. „Vergleichs-gruppen“ die Frage zu beantworten, führen zu Unsicher-heiten, die vor allem mit der sog. „Selbstselektion“ der Teilnehmer zu tun haben. Das bedeutet: es gibt keine wirklichen Kontrollgruppen. Erreichbar ist allenfalls ein Abschätzen der Größenordnung, in der die nicht gemesse-nen Einflußfaktoren wirken könnten.

2.2.3 Statistische „Kausalanalyse“ mit Hilfe von Schätzmo-dellen Seit den Zeiten der Kreuztabellen sind viele Fortschritte gemacht worden, was die Möglichkeiten für umfassende und raffinierte multivariate statistische Analysen angeht. Die Modelle und Rechenverfahren, die inzwischen bereit-gestellt wurden, beruhen auf relativ komplizierter Mathe-matik. Die Anforderungen, die an die Verteilungsparame-ter der Daten gestellt werden müssen, werden selten erfüllt. Das Problem, daß viele Analysen sich auf Ereig-nisse beziehen, die entweder als Ja-Nein-Kategorien (z. B. Wiederaufnahme von Arbeit) oder als Mehrfachkategorien (z.B. Verbleib in Arbeitslosigkeit, Übergang in Arbeit, Aufnahme einer Ausbildung oder Weiterbildung, Abgang in die Nichterwerbstätigkeit) zu erfassen sind, die also nicht in metrischen Variablen abbildbar sind, wurde durch die Entwicklung einer besonderen Klasse von Analyseverfah-ren gelöst (vgl. Arminger 1988). Die statistische bzw. ökonometrische Analyse in der nicht-experimentellen sozialwissenschaftlichen Kausalforschung, um die es bei der Evaluation methodisch gesehen geht, steht dennoch weiterhin vor ernsten Problemen, die in dem Begriff der „unbeobachteten Heterogentität“ zusammen-

gefaßt werden. Dabei handelt es sich z.T. darum, daß bestimmte Daten nicht vorhanden sind (weil sie nicht erho-ben wurden oder aus methodischen Gründen nicht erhoben werden konnten, z.B. zur Motivation von Teilnehmern und Nichtteilnehmern), z. T. darum, daß bestimmte Daten nicht vorhanden sein können (da ein Teil der Personen, die eigentlich berücksichtigt werden müßten, die Nichtteilneh-mer, nicht in gleicher Weise wie die Teilnehmer – z.B. durch Befragung – erfaßt werden können). Unter diesen Problemen ragen zwei weiterhin besonders hervor (vgl. Jensen u.a. 1992): - Erstens die bereits besprochene „Selbstselektion“. Zuge-spitzt ergibt sich in unserem Zusammenhang die Frage, ob die Teilnahme(entscheidung) von individuellen Merkma-len oder Faktoren abhängt, die auch für den – wie auch immer festgestellten – „Maßnahmeerfolg“ (z. B. Bestehen einer Prüfung oder Eingliederung nach Abschluß der Maß-nahme) bedeutsam sind. Da in der Regel keine „Kontroll-gruppe“ im engeren Sinne zur Verfügung steht, wird auf verschiedene Weise versucht, Vergleichsgruppen zu kon-struieren und diese dann mit angemessenen statistischen bzw. ökonometrischen Verfahren zu analysieren. Haupt-zweck der Analysen ist dann zunächst, die Frage nach der „Vergleichbarkeit“ zu beantworten. Es geht darum, zu klären, ob aus der Analyse der verfügbaren Daten die Hypothese zurückgewiesen werden kann, die Teilnehmer und die Nichtteilnehmer unterschieden sich systematisch voneinander.

- Zweitens das Problem der „Zensierung“. Es entsteht, weil die Evaluation in der Regel Prozesse betrifft, deren zeitliche Erstreckung in beiden Richtungen weiter reicht als der Analysezeitraum. Hier geht es zum einen (sog. ,,Rechts“-Zensur) um das bekannte Phänomen, daß prak-tisch nie alle Teilnehmer erfolgreich sind (bzw. nicht alle in gleicher Weise erfolgreich sind). So haben beispielsweise bis zu dem Zeitpunkt, an dem die Analyse einsetzt, nicht alle bereits wieder Arbeit aufnehmen oder einen gleichen Verdienstzuwachs erreichen können. Führt man die Analy-sen des Erfolges also unter Einbeziehung nur jener durch, die innerhalb der beobachteten Zeit erfolgreich waren, so übersieht man, daß z. B. der „Abgang in Arbeit“ bzw. der „Verbleib in Arbeitslosigkeit“, der zu dem bestimmten Zeitpunkt feststellbar ist, eine willkürliche Beschneidung des Übergangsprozesses darstellt. Dieses Phänomen läßt sich durch bestimmte Korrekturen (sog. Heckman-Korrek- tur) lösen. Das andere Zensurproblem (sog. „Links“-Zen- sur), das praktisch nur in Befragungen ansatzweise gelöst werden kann, bezieht sich auf die Zeit vor Eintritt in eine Maßnahme. Hierbei wird davon ausgegangen, daß die Ereignisse vor Maßnahmebeginn ebenfalls Hinweise auf die individuellen Faktoren enthalten, von denen der Maß-nahmeerfolg und z. B. der Eingliederungserfolg abhängen.

Die Diskussion der letzten Jahre befaßte sich immer wie-der, von der einen oder von der anderen Seite her, mit den verbleibenden Problemen und Begrenzungen. Während die eine Fraktion die inhärenten (auch ethischen) Pro-bleme und die Aufwendigkeit experimenteller Verfahren in den Vordergrund rückt und sich für die statistische bzw. ökonometrische Analyse stark macht, stellen andere mehr auf die Inkonsistenz der Ergebnisse der statistischen Ver-fahren ab und brechen eine Lanze für die stärkere Berück-sichtigung von Experimenten in der Evaluation sozialer Interventionsmaßnahmen (vgl. Ferber und Hirsch 1982; Rossi und Wright 1984; Rossi u.a. 1988; Beywl 1989; Björklund 1989).

MittAB 3/92 389

Im IAB sind seit längerer Zeit entsprechende statistische Verfahren im Einsatz, die Anwendung auf die Evaluation im Bereich FuU ist im Gange, erste Ergebnisse dazu liegen bereits vor, sie werden demnächst veröffentlichungsreif sein.

2.3 Methodische Hauptprobleme des Wirkungsnachweises 2.3.1 Probleme der Zieldefinition Die Evaluation von Programmen oder Maßnahmen ist zunächst an die Vorgabe klar und eindeutig definierter Ziele gebunden, die durch die Intervention erreicht werden sollen. Die Bestimmung der Zielvorgaben, die ja auf der Sach- oder Gegenstandsebene erfolgen muß, ist sodann zu ergänzen (vgl. z.B. Rossi u.a. 1988, S. 21) durch die Operationalisierung dieser Ziele (methodische bzw. Krite-rienebene), durch eine Differenzierung der konkret zu erreichenden Ergebnisse sowie durch hinreichend genaue Angaben zu den Rahmenbedingungen und zu den Erfolgs-kriterien. So einsichtig diese elementaren Forderungen sind, so schwierig ist deren Erfüllung in Abhängigkeit vom jeweili-gen Gegenstandsbereich. Für den Bereich Fortbildung und Umschulung ergeben sich u.a. folgende Probleme: - Die zu definierenden Ziele entstammen nicht alle der gleichen Zielklasse. So sind beispielsweise wirtschaftliche und soziale bzw. sozialpolitische Ziele zu unterscheiden, die selbst wieder nach Art und Umfang differente Subziele enthalten.

- Soziale Ziele umfassen z. B. arbeitsmarktpolitische Ziele, wozu die Wiedereingliederung in Beschäftigung und andere Ziele dieser Art (Sekundärziele) gehören sowie unmittelbar auf die Individuen bezogene Ziele, nämlich die Verbesserung ihrer fachlichen und sozialen Qualifikatio-nen (Primärziele).

Daraus ergeben sich zunächst ungelöste Probleme einer Mehrziel-Orientierung auf der Basis heterogener, hierar-chisch gestaffelter Zielqualitäten (vgl. Plath 1990). Sodann ergibt sich bei der herkömmlichen Evaluationspraxis ein grundlegendes Problem der Art, daß der vorrangige Bewertungszusammenhang der Maßnahmen (nämlich die

Wiedereingliederung in Arbeit) und der vorrangige Ge-währleistungszusammenhang der (Primär-)Ziele (nämlich die je individuelle Qualifikation) divergieren können. Letz-teres ist aber die Basis für die erwartungsgerechte Erfül-lung von (betrieblichen oder anderen) Arbeitsanforderun-gen, worin das eigentliche Ziel aller Maßnahmen der beruf-lichen Weiterbildung bestehen dürfte bzw. müßte (vgl. z.B. Staudt 1991). - Die von einzelnen wissenschaftlichen Disziplinen bereit-gestellten theoretischen und methodischen Vorleistungen sind derzeit nicht so weit traktabel, als daß zweifelsfrei festgestellt werden könnte, wann ein FuU-Ziel erreicht oder verfehlt ist bzw. ab wann der erreichte Zustand als akzeptierbar gelten kann. Das heißt: Zielerreichungsgrade bzw. Ziel-Abstands-Differenzen können nicht mit hinrei-chender Genauigkeit ausgemacht werden. Geht man von der sinnvollerweise elementaren Vorstel-lung aus, daß der arbeitsmarktpolitische Variations- (bzw. „Handlungs- oder Gestaltungs-“)Spielraum bipolar und begrenzt ist (vgl. Plath 1987), so liegen am negativen Pol die Ausschließungsgrößen und am positiven Pol die Ziel-größen (vgl. Abbildung 1). Wichtig ist nun, daß die Vermeidung von Zuständen (Aus-prägungen von Risikofaktoren), die hier als Ausschlie-ßungsgrößen gekennzeichnet sind, als unerläßlich zu gelten hat, da Dequalifizierung und Demotivierung sowie über-greifend Persönlichkeitsdeformation die (geistige) Lei-stungsfähigkeit und die Leistungsbereitschaft (Arbeits- und Lernmotivation) der Erwerbspersonen nachhaltig abbauen und folglich das schon einmal bereitgestellte Humankapital und dessen weitere Einsetzbarkeit beträchtlich mindern. Demgegenüber ist das vollständige Erreichen der Zielgrö-ßen zwar anzustreben, es könnten – im Sinne zulässiger und vielleicht auch notwendiger Kompromisse – jedoch auch im sog. Okay-Bereich liegende Zielerreichungsgrade bzw. Ziel-Abstands-Differenzen zugelassen werden. Erforderlich wäre hier entweder so etwas wie ein „Ur-meter“, an dem sich die Erreichungsgrade und Differenzen bemessen ließen (Bewertung an einer externen Norm) oder eine, auf kriterienbezogener Validität beruhende, empiri-sche Bestimmung von „Schwellenwerten“ (relationale Be-wertung).

390 MittAB 3/92

Diese Modellvorstellung wäre von erheblichem instrumen-tellem Wert für die Evaluation von Maßnahmewirkungen, wenn sie theoretisch und methodisch angemessen praktisch umgesetzt werden könnte. - Ziele sollten in bezug auf Hauptwirkungen (vs. Neben-wirkungen) von Interventionen definiert werden. Haupt-wirkungen von FuU-Maßnahmen sind Erhalt, Anpassung, Erweiterung, Verbesserung oder Neuerwerb von qualifika- torischen Leistungsvoraussetzungen der Betroffenen. (Dabei wird also von den in der Praxis vorzugsweise ver-wendeten Kennwerten der Wiedereingliederung in Beschäftigung abgesehen, wie Eingliederungsquote, Quali-tät und Fortbestand (Stabilität) der Beschäftigung, Bil- dungsadäquatheit der Wiedereingliederung, Dauer der Arbeitsuche bis zur Wiedereingliederung, Qualität von Arbeitsplatz und Arbeitsbedingungen, Vollzeitarbeit, Angemessenheit der Entlohnung usw.). Nun ließen sich zwar der Erhalt, die Erweiterung und Verbesserung von Leistungsvoraussetzungen an deren vorherigem Niveau (und somit in gewissem Sinne am individuellen Qualifika-tionsbedarf) bemessen; dieses hat jedoch nicht die Qualität einer Zielgröße im hier verstandenen Sinne. Die Zielgröße entsprechend der zuvor skizzierten Haupt-wirkungsrichtung ist der gesellschaftlich bzw. volkswirt-schaftlich notwendige Qualifikationsbedarf bzw. dessen Deckung. Der Bedarf müßte nach Art und Höhe der Qualifikation und nach Anzahl von Personen mit jeweils bestimmter und erforderlicher Qualifikation ermittelt wer-den; die Bedarfsdeckung gleichermaßen. Beides ist gegen-wärtig jedoch nicht zu leisten. Erfahrungen des IAB mit der Bedarfsermittlung bei Arbeitgebern belegen, daß eine Lösung dieses Problems bereits auf der betrieblichen Ebene nicht in Sicht ist. Da es überdies jedoch ein individu-elles Recht auf „Bildung“ (sog. „social demand approach“ der Humankapital-Diskussion; vgl. auch Art. 12 GG) gibt, kann sich die Bedarfsermittlung gar nicht allein auf die Betriebsseite stützen. Hierbei soll nicht negiert werden, daß der Erhalt von Leistungsvoraussetzungen (Leistungsfähigkeit und Lei-stungsbereitschaft) fraglos auch ein gesellschaftlich lohnen-des Ziel ist, denn es werden Persönlichkeitsabbau sowie damit verbundene negative gesellschaftliche (Krankheiten, Kriminalität, etc.; vgl. Brenner 1976) und (bildungs)öko-nomische Konsequenzen (Verlust bereits investierten und Bereitstellung neu zu schaffenden Humankapitals) vermie-den. Die diesbezügliche methodische Zugriffsfähigkeit wäre jedoch auch nicht unproblematisch, da unter anderem große Analysebreite und erhebliche Analysetiefe miteinan-der vereinbart werden müßten, was bekanntlich kaum ge-lingt.

- Zielvorgaben können dann nicht in Hinblick auf deren Erreichung evaluiert werden, wenn statt alternativer Ziele alternierende Ziele definiert werden.

Letzteres ist der Fall, wenn das Gelingen von Wiederein-gliederung in Beschäftigung ebenso als Ziel von FuU ange-sehen wird, wie die Erhöhung des mit FuU-Maßnahmen erreichten Anteils von Zielgruppen oder „Problemgrup-pen“ bzw. von Benachteiligten des Arbeitsmarktes (Frauen, insbesondere Berufsrückkehrerinnen, Ältere, Jugendliche usw.), auch wenn deren Wiedereingliederung fraglich ist. Nach bisherigen Erfahrungen ist damit zu rechnen, daß diese beiden Ziele inkongruent sind: Je höher der Anteil der Zielgruppen, desto geringer der Eingliede-rungserfolg.

Derartige „Erklärungszusammenhänge“ und deren Reprä-sentationswerte sind notwendigerweise immer verifika-tionsorientiert, da jede Maßnahme, wenn auch aus wech-selnden Blickwinkeln, stets erfolgreich ist. In dieser „Immunisierung“ des Systems, die durch die Wahl der Kriterien und die Erwartung, daß sie gleichzeitig erfüllt werden sollten, geschieht, kommt ein echtes Dilemma der Arbeitsmarktpolitik zum Ausdruck (vgl. ähnlich Möller 1987, S. 373). Die Bemessung der Zielerreichung ist ebenso wie deren Abschätzung an die Nutzung von Kriterien gebunden, die bestimmte Forderungen erfüllen müßten, wenn sie als „Indikatoren“, d.h. als Größen, die etwas Bestimmtes anzeigen, akzeptiert werden sollten.

2.3.2 Indikatorprobleme Die Evaluation von Programmen oder Maßnahmen kann nur an Hand von Kriterien erfolgen, welche die intendierte Anzeigefunktion auch tatsächlich haben. Diese als indikatorische Valenz bezeichnete Eigenschaft von Kriterien ist mit methodischen Ansprüchen an die Erfaßbarkeit (bzw. Meßbarkeit) und Bewertbarkeit zu indizierender Sachverhalte verbunden, von denen folgende die wichtigsten sind: - Die genutzten Kriterien sollten quantitativ (metrisch) oder qualitativ variabel bzw. abstufbar sein sowie eine kontinuierliche oder diskrete Erfassung von Ausprägungs-graden bzw. graduell unterschiedlicher Wirkungen des zu untersuchenden Sachverhaltes ermöglichen. Dabei sind Kriterien, die bereits im individuellen Bezug Meß- oder Zähleinheiten aufweisen, gegenüber solchen zu bevorzugen, die erst im Populationsbezug quantifizierbar sind (z.B. Beherrschung der Kurzschrift in Anzahl Silben pro Minute vs. Anzahl der Personen mit Stenographie-kenntnissen). - Für die Kriterien sind Größe und Quellen unspezifischer Variabilität (sog. Eigenleben des Indikators oder „weißes Rauschen“, vgl. Tabelle 3 und Abbildung 2, wo sich sol-ches Eigenleben andeutet) abzuklären, bevor deren bedin-gungsspezifische Ansprechbarkeit (hier deren Sensibilität gegenüber Programm- bzw. Maßnahmewirkungen) beur-teilt werden kann bzw. Kriterienveränderungen eine Anzeigefunktion hinsichtlich der Differenzierung unter-schiedlicher Bedingungen zuzubilligen ist.

- Bei den heranzuziehenden Kriterien ist zu prüfen, ob deren Ansprechbarkeit auch von Latenzzeiten abhängen könnte, die zwischen Maßnahmenende und Manifesta-tionszeitpunkt von Wirkungen (Wirkungseintritt) zu veran-schlagen wären (Fristigkeit: Eine Evaluation in kurzer Frist ist problematisch, nach längerer Zeit ist jedoch eine Zurechnung mit immer größerer Unsicherheit behaftet).

- Kriterien mit eindeutigen Variabilitätsgrenzen (wie Ent-wicklungsdaten, Wachstumsdaten, Daten mit letalen, systemischen und Populationsbegrenzungen) zeigen sog. Ausgangswertabhängigkeiten bzw. Deckeneffekte. D.h.: Je höher der Ausprägungsgrad eines Kriteriums bereits ist, desto geringer ist der Anzeigebereich für weitere Verände-rungen, desto „stärker“ müssen Wirkungen sein, damit es überhaupt zur Indikation kommt.

Dieses in den Biowissenschaften wohlbekannte und seit langem bedachte Problem der kriterienvermittelten Abbildgüte von Wirkungen (vgl. Wilder 1931) wird in der

MittAB 3/92 391

sozialwissenschaftlichen Literatur zur Evaluation bisher nicht reflektiert und ist auch in methodischer Hinsicht nicht gelöst. - Die durch Kriterienveränderungen angezeigten Wirkun-gen bzw. deren Ausprägungsgrade bedürfen immer auch der Bewertung. Dabei ist im Prinzip klar, daß die untere Indikationsschwelle außerhalb der ohnehin zu erwartenden Schwankungsbreite des Kriteriums, die sich aus Zufalls-schwankungen um den „wahren Wert“ sowie aus der Feh-lervarianz ergibt, liegen muß. Weitaus problematischer ist die Bewertung oberhalb dieses Indikationsbereiches. So ist zunächst wohl davon auszuge-

hen, daß FuU-Maßnahmen, gemessen am Kriterium der Wiedereingliederung, erst dann als wirksam anzusehen sind, wenn die Wiedereingliederungsrate höher ist, als die durch die Eigendynamik des Arbeitsmarktes bedingte. Da hierbei jedoch die Konjunktur der bestimmende Faktor sein dürfte, könnten aufgrund dessen sowohl Dominanz-ais auch Überdeckungseffekte im Hinblick auf allfällige Abhängigkeiten und Zusammenhänge bestehen. Sodann ist weiterhin offen, ob die zu erwartende größt-mögliche Maßnahmenwirkung bei einer 100% igen Einglie-derung in umschulungsadäquate Beschäftigung anzusetzen ist oder ob darunter liegende Werte (von welcher Größen-ordnung?) bereits sachlich begründbare Grenzwerte dar-stellen könnten. Das hier benannte Problem verdichtet sich auf die in einer Reihe wissenschaftlicher Disziplinen in analoger Weise gestellte Kardinalfrage: Wo liegt die Grenze, von der ab Fehlbelastungen, Fehlentwicklungen, Fehlinvestitionen usw. auftreten? - Die eingesetzten Kriterien können nur dann den Rang von Indikatoren in Anspruch nehmen, wenn sie objektiv, zuverlässig und gültig die gefragten Wirkungen anzeigen. Dies wird als selbstverständlich angesehen, ist aber im Gegenstandsbereich der Evaluationsforschung kaum sichergestellt. Wären diese hauptsächlichen Güteforderun-gen nämlich erfüllt, wäre zugleich auch den Forderungen nach Spezifität, Selektivität und Trennschärfe der Kriterien Rechnung getragen. Dann brauchten beispielsweise Pro-bleme der Zurechenbarkeit von Wirkungen nicht mehr gesondert diskutiert zu werden. Eine derart stringente Indikation hängt jedoch nicht nur von der Abbildgüte der eingesetzten Kriterien ab, sondern auch vom Untersuchungsansatz, dessen Effizienz bei ran-domisierter Experimental- und Kontrollgruppenanordnung am höchsten zu veranschlagen ist.

392 MittAB 3/92

- Das aus bestimmten Gründen bevorzugt verwendete bzw. angemahnte Kriterium „berufliche Wiedereingliede-rung“ erschwert die Berücksichtigung der vorgängigen Überlegungen erheblich, da dessen Sachbezug zur Wir-kung von FuU einen hohen Grad an Vermitteltheit hat und durch intervenierende sowie Moderator-Variablen von z. T. unbekannter Art und Anzahl beeinflußt wird. Ähnli-ches trifft auch für das Kriterium „Erreichung des Maßnah-meziels“ und andere Kriterien mit gegenüber dem gefrag-ten Sachverhalt vergleichbarer Unscharfe zu. Damit wird die Nachweisbarkeit von FuU-Wirkungen in Frage gestellt, zumindestens aber die „Beweislast“ in vielleicht unnötiger und methodisch nicht tragbarer Weise erhöht.

3 Zur Evaluation der aktiven Arbeitsmarktpolitik der BA am Beispiel der beruflichen Weiterbildung 3.1 „Evaluierbarkeitsanalyse“ Alles das, was zuletzt unter den Überschriften Ziel- und Indikatorprobleme diskutiert wurde, läßt sich, über die methodischen Schwierigkeiten im eigentlichen Sinne hin-aus, unter dem Stichwort „Prüfung der Evaluierbarkeit“ darstellen. Hierbei geht es um eine Vorabprüfung unter zwei Aspekten. Zum einen handelt es sich um die Frage, ob das Programm in seinen Konzeptions- und Planungsgrundlagen so konkret ausgelegt ist, daß es evaluiert werden kann. Orientiert an den einzelnen Punkten, die Hofmann (1989, S. 172) auf-führt, lassen sich dazu verschiedene Fragen formulieren: (1) Ziele des Programmes, der Maßnahmen etc.: Gibt es mehrere Ziele, stehen diese in einem klaren Verhältnis von Über- und Unterordnung zueinander? Oder gibt es mögli-cherweise Ziele, die entweder einander widersprechen oder die nicht gleichzeitig verfolgt werden können? Hier-auf wird unter 3.2 nochmals gesondert eingegangen.

(2) Zielpopulation: Sind die Zielgruppen (target groups, eligible persons) genau bestimmt und bestimmbar, so daß in jedem Einzelfall die Zugehörigkeit einer Person exakt festgestellt werden kann? Wie ist deren „Erreichbarkeit“ für eine Teilnahme einzuschätzen? Läßt sich auf dieser Grundlage eine genauere „Bedarfsanalyse“ erstellen, z.B. zur Teilnehmerzahl, zum notwendigen Mitteleinsatz oder zur Maßnahmeintensität?

(3) Wirkungshypothesen: Welche Vorstellungen über die mutmaßlichen Wirkungsprozesse liegen der Konzeption des Programmes zugrunde? Sind diese theoretischen Annahmen hinreichend empirisch abgesichert? Welche Theorieannahmen bestehen über die Umwelt, in der das Programm wirken soll? Diese Fragen erfordern eigene Analysen der Wirkungsweise des Weiterbildungs- und des Beschäftigungssystems, die im Rahmen dieses Beitrages nicht geleistet werden können.

(4) Ressourcenbedarf: Welche Erkenntnisse gibt es über die Höhe der notwendigen Ressourcen (in finanzieller, personeller, materiell-technischer Hinsicht) zur Programm-durchführung in allen Stufen?

(5) Implementierung: Was soll auf der Grundlage der Erkenntnisse, wie sie in den Wirkungshypothesen formu-liert worden sind, konkret getan werden, wie muß vorge-gangen werden?

Zum anderen geht es um die objektkonkrete Überprüfung der methodische Einlösbarkeit geltend gemachter Ansprü-

che (z.B. durch Wissenschaft, Prüfinstanzen). Hierbei ergeben sich (wie weiter oben bereits erwähnt) sehr häufig beträchtliche Probleme. Diese resultieren u. a. aus Unscharfen in der Definition von Zielen, aus zweifelhafter Validität, Reliabilität, spezifischer Ansprechbarkeit usw. eingesetzter Kriterien als Indikatoren, aus der nicht ohne weiteres möglichen Realisierung von Kontrollgruppenan-sätzen mit randomisierter Subjektzuweisung sowie aus der Schwierigkeit einer untersuchungsplangerechten Zuord-nung und Differenzierung verfügbarer oder zu schaffender Daten. Daraus ergibt sich die Notwendigkeit, methodisch vertret-bare Kompromisse in der Weise einzugehen, daß eine möglichst weitgehende Annäherung an die artikulierten Ansprüche bzw. Forderungen gelingt.

3.2 Die Ziele von FuU nach dem AFG Während in einem sozialen Interventionsprogramm typi-scherweise das zu erreichende Ziel genannt wird (bzw. mehrere, der Intention nach miteinander vereinbare Ziele) und außerdem mehr oder weniger genaue Angaben zur Konzeption, zur Ausgestaltung und zur Umgestaltung ent-halten sind, müssen diese im Falle des AFG aus dem Gesetz und weiteren rechtlichen Unterlagen (z.B. FuU Anordnung), im Prinzip sogar aus der in den einschlägigen Kommentaren dokumentierten Rechtsprechung der Sozial-gerichte erschlossen werden. Das AFG formuliert bezüglich der beruflichen Weiterbil-dung mehrere relevante Ziele. Sie sind vor allem in den §§ l und 2 AFG enthalten. Es handelt sich um eine Plurali-tät von Zielen, die verschiedenen Oberzielen zuzuordnen sind. Eines betrifft die gesamtwirtschaftlichen Zusammenhänge, in die das Arbeitsmarktgeschehen eingeordnet ist. Diese Orientierung hängt mit den Überlegungen zusammen, die – zur gleichen Zeit angestellt, wie jene, die zum AFG führten – die Wirtschafts- und Finanzpolitik maßgeblich bestimmten (Stabilitätsgesetz etc.): Mit Hilfe der Maßnah-men nach dem AFG, die sich im Rahmen der Sozial- und Wirtschaftspolitik bewegen müssen, soll (so AFG § 1) „ein hoher Beschäftigungsstand erzielt und aufrechterhalten, die Beschäftigungsstruktur ständig verbessert und damit das Wachstum der Wirtschaft gefördert“ werden. Eine Konkretisierung hierzu findet sich im § 2 AFG, wo es unter Ziff. l heißt, „die Maßnahmen nach diesem Gesetz haben insbesondere dazu beizutragen, daß 1. weder Arbeitslosig-keit und unterwertige Beschäftigung noch ein Mangel an Arbeitskräften eintreten oder fortdauern“ und . . . „7. die Struktur der Beschäftigung nach Gebieten und Wirtschafts-zweigen verbessert wird“. Das zweite Oberziel betrifft vor allem den einzelnen, für den das Geschehen am Arbeitsmarkt existentielle Bedeu-tung hat. Dies ist eine Orientierung, die zur Sozialpolitik tendiert, was insofern stimmig ist, als das AFG und damit die Arbeitsmarktpolitik beim Bundesminister für Arbeit und Sozialordnung ressortiert und nicht beim Bundeswirt-schaftsminister. Diese Orientierung kommt vor allem in einigen der Ziffern des § 2 AFG zum Ausdruck, wo davon gesprochen wird, nachteilige Folgen technischer Entwicklung oder wirt-schaftlicher Strukturwandlungen für den einzelnen zu ver-meiden, sie auszugleichen oder zu beseitigen (Ziff. 3), die berufliche Eingliederung von Behinderten zu fördern

MittAB 3/92 393

(Ziff. 4), geschlechtsspezifische Problemlagen zu überwin-den und die berufliche Eingliederung vor allem von Frauen (Ziff. 5) sowie von älteren und anderen Erwerbstätigen (Ziff. 6) zu fördern, soweit „deren Unterbringung unter den üblichen Bedingungen des Arbeitsmarktes erschwert ist“.

Es scheint so, als wäre dadurch ein Konflikt in das AFG eingebaut worden, der jedoch erst nach und nach zum Vorschein kam. Im Laufe der mehr als zwanzig Jahre, die das AFG besteht und im Gefolge von markanten Änderun-gen der gesamtwirtschaftlichen Rahmenbedingungen (erste und zweite Ölkrise 1973 und 1979/80), die gravierende Auswirkungen auf die Konjunktur und damit auf das Arbeitsmarktgeschehen hatten, kam es zu Zielverschie-bungen und Zielrochaden. Die Gewichtigkeit der Ziele wechselte nochmals seit der Grenzöffnung durch die DDR und der deutschen Einigung.

Das zeigt sich besonders deutlich am Bereich Fortbildung und Umschulung, einem der beiden Kernbereiche der akti-ven Arbeitsmarktpolitik.

- Die Quasi-Generalziele des AFG (§§1 und 2) gelten auch für die Maßnahmen der beruflichen Weiterbildung (FuU); Fortbildung, Umschulung und betriebliche Einar-beitung gehören zu den Mitteln, mit denen die Ziele des AFG, im Hinblick sowohl auf die gesamtwirtschaftliche Komponente als auch auf die Hilfe für den einzelnen, verfolgt werden.

- Verschiedene Zielgruppen werden genannt (§ 2 Ziff. 3-6). Werden deren Probleme und Anliegen – von der Überwindung von Langzeitarbeitslosigkeit bis zur Hilfe beim Nachholen einer beruflichen Ausbildung oder beim beruflichen Aufstieg – ernst genommen, so ergibt sich daraus eine Vielfalt von Zielen und Teilzielen.

- In ähnlicher Weise kommen in den Maßnahmearten, die das AFG (§§ 40 ff.) vorsieht, verschiedene Unterziele zum Ausdruck: Motivierung und Orientierung, Erwerb (auch Nachholen) von formalen Qualifikationen (berufliche Auf-stiegsmaßnahmen oder Umschulung) bzw. von Teilqualifi-kationen (Anpassungsfortbildung, betriebliche Einarbei-tung).

- Es werden Zielabfolgen unterstellt, die jedoch durch die Realität des Arbeitsmarktgeschehens und zum Teil auch durch Rechtsprechung, Verwaltungsvorschriften und Ver-waltungshandeln wieder aufgehoben werden: z. B. regulä-rer Abschluß einer Qualifikationsmaßnahme vor der (Wie- der)Aufnahme von Arbeit. Tatsächlich ist „die Aufnahme von Arbeit“ aber ein vom Gesetz als unschädlich für evtl. Leistungsrückforderungen anerkannter Abbruchgrund. Die vorzeitige Aufnahme von Arbeit wird in einigen Maß-nahmetypen sogar gefördert und angestrebt (Lieber und Sauerbrey 1991, S. 162).

- Die Bestimmungen, die regeln, ob jemand an FuU- Maßnahmen teilnehmen kann (§ 36 AFG), enthalten nicht nur den Hinweis auf die individuelle „Eignung“, sondern in Ziff. 3 auch die Anweisung, immer auch „Lage und Ent-wicklung des Arbeitsmarktes“ zu berücksichtigen. Dem-nach kann nicht gefördert werden, wer „voraussichtlich auf dem für ihn in Betracht kommenden Arbeitsmarkt inner-halb angemessener Zeit nach Abschluß der Maßnahme in der angestrebten beruflichen Tätigkeit keine Beschäftigung finden kann“. Die Formulierung „voraussichtlich“ muß als eine Wahrscheinlichkeitsaussage der Arbeitsberater über anhand von Merkmalen umschreibbare Gruppen von Er-werbspersonen aufgefaßt werden.

Nach bisherigen Erkenntnissen erweist sich bei Teilpopula-tionen, die als Zielgruppen hervorgehoben werden, daß unter ihnen die Abbrecherquote besonders hoch ist und ihre berufliche Eingliederung „in angemessener Zeit“ „vor-aussichtlich“ viel seltener als anderen Absolventen gelingt. Da dies nun allerdings gerade jene Gruppen von Arbeitslo-sen sind, die § 2 Ziff. 6 AFG anspricht, ist damit eine latente Konfliktsituation umschrieben (vgl. schon Möller 1987, S. 374; Blaschke 1992 b). Externe Beobachter lassen unterschiedliche Vorstellungen zur Lösung dieser Konfliktsituation erkennen. So erwarten vor allem der BRH und die Vorprüfung fast stets die berufliche (Wieder) Eingliederung aller Teilnehmer, die im Prinzip auch zuvor alle „bestehen“ bzw. „mit Erfolg“ abschließen müßten, in eine maßnahmezielgerechte Beschäftigung. Im Falle ungünstiger regionaler Arbeits-marktlage müßte dann die Prüfung der „Lage und Entwick-lung des Arbeitsmarktes“ bei weitem Vorrang haben, und die individuelle Eignung für anspruchsvolle Qualifizierung und gar der individuelle Berufswunsch hätten zurückzu-stehen. Für andere (z.B. die Sozialgerichtsbarkeit; vgl. Voelzke 1991) steht der einzelne mit seinen Wünschen und Bedürf-nissen jedoch eindeutig im Vordergrund der Betrachtung. Das zeigt sich beispielsweise darin, daß sie aus dem Ergeb-nis der individuellen „Eignungs“prüfung, die Person sei für eine bestimmte Maßnahme nicht geeignet, die Forderung nach der Einrichtung eben solcher Maßnahmen ableiten, die den Lernbedingungen derartiger Personenkreise angemessen sind (vgl. Gagel 1981, S. 347). Im einen Fall wird ein Ziel allein in den Vordergrund gerückt, das zu erreichen stärkstens von Gegebenheiten des Arbeitsmarktes abhängt, die vom Arbeitsamt kaum beeinflußt werden können, so daß eigentlich immer nur eine „Bestenauslese“ (Eberwein und Tholen 1986, S. 146, 150) betrieben werden könnte (wobei die Zielgruppen nur selten zum Zuge kämen) und Maßnahmen nur durchzufüh-ren wären, wenn der Arbeitsmarkt in einer entsprechend guten Verfassung ist. Im anderen Fall verliert der Arbeits-markt eigentlich jede Bedeutung für die Orientierung der Maßnahmen. Die alleinige Ausrichtung aller Maßnahmen am Oberziel der beruflichen (Wieder) Eingliederung wird also der vor-findlichen Multidimensionalität der Zielvorgaben des AFG und seiner Auslegungsmöglichkeiten nicht gerecht. Diese Mehrdimensionalität wird allerdings noch durch die Mehr-stufigkeit der BA (Landesarbeitsämter und Arbeitsämter) überlagert, da die Umsetzung des AFG und seines „Pro-grammes“ in einzelne konkrete Maßnahmen vor Ort in Kooperation mit Weiterbildungsträgern geschieht.

3.3 Die Verbleibsanalysen von FuU-Teilnehmern In den bisherigen Untersuchungen, mit denen Antworten auf die Fragen nach der Wirkung bzw. dem Erfolg von Maßnahmen der beruflichen Weiterbildung gegeben wur-den, konnte diese Vielfalt der Ziele nicht im einzelnen verfolgt werden. Aus pragmatischen Gründen stand ein Merkmal im Vordergrund der Betrachtung, jenes, das die Öffentlichkeit am meisten interessiert: Wirkt FuU gegen Arbeitslosigkeit, insbesondere: Gelingt es, individuelle Arbeitslosigkeit abzubauen? (Vgl. Hofbauer 1979, S. 50; 1981, S. 258; Hofbauer und Dadzio 1984, S. 199; 1987, S. 129.) Daß hierzu, wie erwähnt, die Aussage möglich sein

394 MittAB 3/92

muß, der feststellbare „Erfolg“ sei (auch) der Teilnahme an der Maßnahme zuzuschreiben, war immer bewußt, ist jedoch bis heute nicht wirklich gelöst. In verschiedenen aufeinanderfolgenden Stadien wurde die Erforschung von Zusammenhängen innerhalb der Teilneh-mergruppen und zwischen ihnen und anderen Gruppen vorangetrieben (individuelle, Maßnahme- und Regional-merkmale sowie verschiedene Erfolgskriterien).

(1) Im ersten Stadium ging es darum, mittels schriftlicher Befragung und somit über Selbstauskünfte der früheren Teilnehmer den Erfolg der Maßnahmen zu eruieren, so wie die Befragten ihn einschätzten (vgl. Bolte 1969; Dadzio 1980; Hofbauer und Dadzio 1982). Mit Beginn der achtziger Jahre gelang es, die Möglichkei-ten zu nützen, die sich mit der Aufnahme der Sozialversi-cherungsnummer in die statistische Datenerfassung von Geschäftsvorgängen der BA auftaten.

(2) Durch Nutzung der Sozialversicherungsnummer wurde unter den statistisch erfaßten früheren Teilnehmern an FuU-Maßnahmen ca. ein Jahr nach deren Beendigung der Anteil der Personen ermittelt, die gegebenenfalls Arbeits-losengeld oder Arbeitslosenhilfe bezogen haben. Auf die-ser Vorgehensweise beruht das seit 1983 vom IAB durchge-führte Informationssystem der sog. „Quartalsmeldungen“ (vgl. RdErl 151/83), durch das die drei Stufen der BA (Hauptstelle, Landesarbeitsämter, Arbeitsämter) über die-sen Teilerfolg der Maßnahmen für alle Maßnahmearten sowie im Bereich der FEEA-Maßnahmen und der Umschulungsmaßnahmen für Schulungsziele getrennt nach Männern und Frauen informiert werden. Tabelle 3 und Abbildung 2 zeigen – in Quartalsabständen -die Entwicklung der Anzahl von Personen, die FuU-Maß-nahmen mit Erfolg beendet haben sowie die jeweiligen Anteile von Personen, die zwischen sechs und neun Monate später noch oder wieder Leistungen wegen Arbeitslosigkeit (Arbeitslosengeld oder Arbeitslosenhilfe) bezogen haben. Die Erwartung, daß alle jene, die keine dieser Leistungen bezogen, Arbeit aufgenommen hatten (Sozialpolitische Rundschau Nr. 44 vom 11.3.1983 „85% finden eine neue Stelle“), erwies sich als eine unrichtige Annahme, wie später weitere Datenabgleiche zeigten.

Wie Tabelle 3 und Abbildung 2 weiterhin zeigen, nahm die Teilnehmerzahl im Zeitraum zwischen 1982 und 1991 mit einigen Schwankungen deutlich zu. Dieser Zeitraum zeich-nete sich jedoch dadurch aus, daß auf die Phasen der Rezession und der Stagnation ein konjunktureller Auf-schwung folgte, der mit einer deutlichen Ausweitung der Beschäftigung auf den höchsten Nachkriegsstand verbun-den war. Dennoch blieben die „Wirkungs“indikatoren in ihrem Werteniveau davon bemerkenswert wenig beein-flußt.

(3) Dieses Abgleichsverfahren ist schon relativ aufwendig, wenn auch kostengünstiger als umfangreiche Erhebungen, in denen lediglich Stichproben befragt werden könnten. Der Aufwand steigt nochmals erheblich an, wenn im näch-sten Schritt der Datenabgleich mit der Beschäftigtenstati- stik mit dem Ziel vorgenommen wird, den Anteil jener unter den früheren Teilnehmern festzustellen, die – nach einer gewissen Zeit – tatsächlich eine Sozialversicherungs-pflichtige Beschäftigung aufgenommen haben (vgl. dazu auch für den Bereich der beruflichen Rehabilitation Blaschke und König 1992). Tabelle 4 und Abbildung 3 zeigen die Anteile unter den erfolgreichen früheren Teil-nehmern der Jahre 1982 und 1986, die an einem Stichtag, jeweils genau zwei Jahre nach Maßnahmeende, entweder in Beschäftigung standen oder noch oder wieder Arbeitslo-sengeld oder Arbeitslosenhilfe bezogen. Bemerkenswert erscheint die Veränderung der Verbleibsstruktur mit der Zunahme des Beschäftigtenanteils, aber auch der Verdop-pelung des Personenanteils ganz ohne Nachweis.

(4) Dieses grobe Maß, das nur einen Zeitpunkt erfaßt und zudem erst nach relativ langer Zeitdauer einsetzt, konnte inzwischen, nachdem es gelungen war, die riesigen Daten-mengen besser zu beherrschen, verfeinert werden, indem der Zeitraum in die Betrachtung einbezogen wurde.

Es muß in diesem Zusammenhang nochmals an das Pro-blem mit den Vergleichsgruppen erinnert werden. Wie erwähnt, geht es um die Frage, ob die Teilnehmer nicht in einem ebenso hohen Maße oder ebenso schnell wieder Arbeit hätten aufnehmen können, vielleicht sogar zu besse-ren Bedingungen, was Entgelt oder Stabilität der Beschäf-tigung angeht, wie andere arbeitslose Personen, die nicht an FuU-Maßnahmen teilgenommen hatten. Kasperek und

MittAB 3/92 395

Koop (1991) haben die verschiedenen Versuche des IAB, mit diesem Problem fertigzuwerden, zusammengestellt. Es handelte sich immer darum, für die anderen Bedingungen außer der Teilnahme selbst auf methodischem oder statisti-schem Wege wenigstens näherungsweise Gleichheit (cete-ris paribus) herzustellen. Für die statistische Analyse in der nicht-experimentellen Sozialforschung ist die Gleichheit grundlegend, aber nur in Annäherung erreichbar. (5) Zunächst erfolgten solche Vergleiche innerhalb der Gesamtheit der Arbeitslosen (vgl. Hofbauer 1981; 1984), die durch die Bestandsstichprobe Arbeitsloser (St4) seitens der BA repräsentiert wird. Verglichen wurde die Dauer der (nicht abgeschlossenen) Arbeitslosigkeit von Teilneh-mern und Nichtteilnehmern an FuU-Maßnaßnahmen. Das Ergebnis sprach zu Gunsten der FuU-Teilnehmer. In einem weiteren Versuch wurden die „Abbrecher“ als Vergleichsgruppe herangezogen, also jene, die zwar die FuU-Maßnahme begonnen hatten, sie aber innerhalb eines Monats vorzeitig beendeten, wobei der von den Arbeitsbe-ratern angegebene Grund des Abbruchs nicht die „Nicht-eignung“ sein durfte (vgl. Hofbauer und Dadzio 1987, S. 132). Der Vergleich fiel wiederum zu Gunsten der FuU-Teilnehmer aus. Auch dieser Versuch war der Kritik ausge-setzt, da es eine gut begründete Vermutung gab, man habe es bei den „Abbrechern“ mit einer negativ ausgelesenen Gruppe zu tun (vgl. Tabellen 5 und 6). (6) Eine andere Vorgehensweise zur Prüfung der Wirk-samkeit von FuU-Maßnahmen realisierten Kasperek und Koop (1991), indem sie Vergleichsgruppen aus arbeitslosen Nicht-Teilnehmern nach dem Prinzip der Paarbildung (Ver-

gleichbarkeit von Merkmalen je zweier Individuen) rekru-tierten. Evaluationsergebnisse gewannen sie aus der Gegenüberstellung der Wiedereingliederungsquote, der Dauer der Arbeitslosigkeit und qualitativer Merkmale von Versuchs- und Vergleichsgruppe. Es zeigte sich, daß bei der Versuchsgruppe (FuU-Teilnehmer) der Prozentsatz der Wiedereingliederung höher, die Dauer der Arbeitslo-sigkeit kürzer und die qualitativen Merkmale günstiger waren als bei der Vergleichsgruppe.

Selektionseffekte sind allerdings auch bei diesem Untersu-chungsplan nicht auszuschließen, die Paare sowie die Paar-linge stellen auf Grund zu geringer Fallzahlen keine Zufallsauswahl dar, und die zwischen den Prozentwerten benannten Unterschiede sind nicht erkennbar auf statisti-sche Signifikanz hin geprüft.

Das Problem wird in der Schilderung dieser Vorgehenswei-sen nochmals verdeutlicht: Es handelt sich hauptsächlich um Einwände, die sich auf die verzerrende Wirkung der Selbstselektion bzw. um die gezielte Auswahl der Teilneh-mer durch andere beziehen. Handelt es sich bei den Teil-nehmern um eine positive Auslese, also um besonders motivierte Personen, die sich von der Teilnahme selbst eine Verbesserung ihrer Chancen versprechen? Oder handelt es sich um eine negative Auslese, also vor allem um solche Personen, über die andere, nämlich die Arbeitgeber, bei denen sie sich beworben hatten, ein negatives Urteil gefällt haben? Sie werden nun aufgrund ihrer bisherigen Ge-schichte erfolgloser Versuche, von Dritten, den Vermitt-lern oder Arbeitsberatern, für die Teilnahme vorgesehen (und wenn sie nicht freiwillig mitmachen wollen, gelegent-

396 MittAB 3/92

lich auch unter „Androhung“ von Sperrzeiten zum Mitma-chen „überredet“).

(7) Unter dem Vorbehalt dieser Überlegungen stehen auch die folgenden Ergebnisse. Tabellen 5 und 6 zeigen, getrennt für Männer und Frauen, den Verbleibsstatus von Teilnehmern an FuU-Maßnahmen (einschließlich der Teil-nehmer an Aufstiegsfortbildung), die 1986 diese Maßnah-men (mit Erfolg bzw. vorzeitig) beendet haben, zum Zeit-punkt genau zwei Jahre nach dem Austritt aus der Maß-nahme. Inzwischen kann auch das Ergebnis eines Vergleichs der Beschäftigungsvolumina hinzugefügt werden, die die frü-heren Teilnehmer im Zeitraum von zwei Jahren nach der Beendigung der Maßnahmen erreichten. Tabelle 7 zeigt, getrennt für Männer und Frauen, wie stark von den Teil-nehmern an FuU-Maßnahmen, die 1986 diese Maßnahmen (mit Erfolg bzw. vorzeitig) beendet haben, die anschließen-den zwei Jahre „genutzt“ werden, entweder durch Beschäf-tigung oder durch Zeiten der Arbeitslosigkeit mit Bezug von Arbeitslosengeld oder Arbeitslosenhilfe oder durch erneute Teilnahme an Fortbildungs- und Umschulungs-maßnahmen. Der grobe Wert von ca. 50% Beschäftigungs-zeiten bei den früheren Teilnehmern steht den etwa 59% aller anderen im Laufe eines Jahres – aber kürzer als ein Jahr – beschäftigten Personen gegenüber (vgl. Blaschke 1992a, S. 5-6). Das Selbstselektionsproblem bleibt bestehen. Auch die Herstellung von ceteris paribus für vergleichbare Gruppen bleibt als ernsthaftes Problem bestehen, da nur wenige Merkmale in den Geschäftsstatistiken enthalten sind, die dafür herangezogen werden können.

(8) Inzwischen ist also klar, daß wir, wenn wir von „Erfolg“ oder „Wirkung“ sprechen, eigentlich über den „Verbleib“ der Teilnehmer, z.T. in differenzierten Ver-gleichen mit Gruppen von Nicht-Teilnehmern, z.T. in

noch differenzierteren Vergleichen zwischen verschiede-nen Gruppen von Teilnehmern informieren. Die Einglie-derungsquote (vgl. Tabellen 5 und 6) ist umso schlechter, je mehr Risikofaktoren vorliegen, also je älter die Teilnehmer sind, je mehr Defizite der schulischen Bildung und der beruflichen Ausbildung vorliegen und je niedriger die letzte „Stellung im Beruf“ war. Aufgrund dieser Merkmale gewonnene Extremgruppen unterscheiden sich nach dem Eingliederungserfolg beträchtlich. Der Eingliederungser-folg – gemessen am Anteil der Personen der jeweiligen Gruppe, die im Zweijahreszeitraum mindestens einmal einer Sozialversicherungspflichtigen Beschäftigung nachge-gangen sind – unterscheidet sich also eklatant für diese beiden Gruppen (vgl. Tabellen 8 und 9). Dennoch ist damit immer noch nicht zu belegen, daß FuU bei den mit dem höchsten Risiko der Nichtbeschäftigung belasteten Gruppe auch am wenigsten wirksam ist, denn es könnte immerhin sein, daß Personen aus dieser Personen-gruppe – wenn sie einmal arbeitslos geworden sind – ohne FuU in einem noch geringeren Anteil wieder eine Sozial-versicherungspflichtige Arbeit aufnehmen. Eine näherungsweise Lösung dieses Selektivitätsproblems könnte durch die Konstruktion einer Vergleichsgruppe von Personen aus der Beschäftigtenstichprobe ermöglicht wer-den. Personen, die aus Beschäftigung in Arbeitslosigkeit übergegangen sind und danach wieder eine Beschäftigung aufgenommen haben, sollen mit vorher arbeitslosen FuU-Teilnehmern verglichen werden, die ebenfalls eine Beschäftigung aufgenommen haben. Der Vergleich wird vorgenommen (a) anhand der Dauer der anschließenden Beschäftigung (erste Beschäftigung nach FuU bzw. Gesamtdauer), (b) der Beschäftigungsvolumina, (c) der Stabilität der Beschäftigung, d.h. der durchschnittlichen Dauer der anschließenden Beschäftigungsverhältnisse, oder (d) des durchschnittlichen Monatsentgelts in der ersten anschließenden Beschäftigung. An der Erstellung der Voraussetzungen für diese Analysen wird gearbeitet.

Tabelle 7: Volumenbetrachtung Männer und Frauen Volumina der Sozialversicherungspflichtigen Beschäftigung, des Leistungsbezugs (Alg und Alhi) und der erneuten Fu U -Teilnahme im Zeitraum von genau zwei Jahren nach Austritt (1986) aus einer Vollzeit-FuU-Maßnahme (ohne Deutsch-Sprachlehrgänge, § 41 a-Maßnahmen und ohne betriebliche Einarbeitung) von deutschen Teilnehmern*), die vor Eintritt in die Maßnahme arbeitslos waren -Erauen und Männer

MittAB 3/92 399

Tabelle 8: Volumenbetrachtung Extremgruppen Männer Volumina der Sozialversicherungspflichtigen Beschäftigung, des Leistungsbezugs (Alg bzw. Alhi) und der erneuten FuU-Teilnahme im Zeitraum von genau zwei Jahren nach Austritt (1986) aus einer Vollzeit-FuU-Maßnahme (ohne Deutsch-Sprachlehrgänge, § 41 a-Maßnahmen und ohne betriebliche Einarbeitung) von deutschen Teilnehmern*, die vor Eintritt in die Maßnahme arbeitslos waren für alle Teilnehmer und für zwei Extremgruppen – Männer

4 Umrisse einer Neukonzeption der FuU-Begleitforschung 4.1 Die Bedingungsabhängigkeit der Wirkung von FuU-Maßnah-men als methodisches Ausgangsproblem Den im AFG formulierten Grundsätzen zur beruflichen Weiterbildung liegen offenbar Annahmen über Bedingun-gen und Wirkungen zu Grunde, die während des Zeitrau-mes der Entstehung des Gesetzes in höherem Maße zutra-fen als in späteren Etappen (80er und 90er Jahre). Daraus ergeben sich einige bedenkenswerte Konsequenzen:

1. Die den Rechtsnormen des AFG immanente Logik unterstellt, daß FuU arbeitsmarktrelevanten Erfordernis-sen der wirtschaftlichen und strukturellen Entwicklung einer Region oder der ganzen Volkswirtschaft Rechnung trägt und folglich die Absolventen beruflicher Weiterbil-dung mit großer Sicherheit wieder in adäquate Erwerbstä-tigkeit eingegliedert werden.

2. Nur bei Vorhandensein stabiler derartiger Wechselwir-kungszusammenhänge, läßt sich die Annahme machen und

400 MittAB 3/92

Tabelle 9: Volumenbetrachtung Extremgruppen Frauen Volumina der Sozialversicherungspflichtigen Beschäftigung, des Leistungsbezugs (Alg bzw. Alhi) und der erneuten FuU -Teilnahme im Zeitraum von genau zwei Jahren nach Austritt (1986) aus einer Vollzeit-FuU-Maßnahme (ohne Deutsch-Sprachlehrgänge, § 41 a-Maßnahmen und ohne betriebliche Einarbeitung) von deutschen Teilnehmerinnen*, die vor Eintritt in die Maßnahme arbeitslos waren für alle Teilnehmerinnen und für zwei Extremgruppen – Frauen

einschränkungslos aufrechterhalten, daß die Wirkungen von FuU in der Wiedereingliederungsrate zum Ausdruck kommen und folglich auch dort ersichtlich sein müßten.

3. Dies setzt wirtschaftliche Bedingungen voraus, die lediglich zu strukturellen Verschiebungen und allenfalls vorübergehend zu struktureller Arbeitslosigkeit führen.

4. Derartige Strukturwandlungen können etwa bei grund-legenden technologischen Innovationen eintreten (wie z.B. bei generellen Übergängen von der Teilmechanisie-rung zur Mechanisierung und von dieser zur Automatisie-rung) oder bei Verlagerung bzw. Wechsel von Produk-

tionslinien (regional oder überregional). Solche Entwick-lungen könnten sich hypothetisch in der Art absolvierter FuU-Maßnahmen (Aufstiegsqualifizierung, Anpassungs-qualifizierung zur Anpassung der Kenntnisse und Fähigkei-ten an die veränderten beruflichen Anforderungen, vgl. Tabelle 3) sowie eventuell auch in erhöhter Mobilität wi-derspiegeln. 5. Entscheidend ist, daß unter der Bedingung struktureller Arbeitslosigkeit der hier beschriebenen Art die Logik des AFG (Notwendigkeit der Bewältigung veränderter Anfor-derungen bzw. Arbeitslosigkeit – FuU -- Übernahme anspruchsvollerer Aufgaben bzw. Wiedereingliederung)

MittAB 3/92 401

aufzugehen scheint, weil sie unter diesem Blickwinkel (nämlich der infolge veränderter Bedingungen umgehen-den Modifikation und damit auch weiteren Nutzung des Humankapitals) entwickelt worden ist. 6. Ändern sich aber – im Gegensatz dazu – die wirtschaftli-chen Bedingungen in der Weise, daß strukturelle Arbeits-losigkeit säkularer Art entsteht, weil die Industrie in eine Strukturkrise geraten und ein langfristiges globales Arbeitsplatzdefizit entstanden ist (Arbeitsplätze und Beschäftigung sind in Größenordnungen auf lange Sicht weggebrochen), dann sind die vorgenannten logischen Implikationen in der Realität nicht mehr gegeben.

7. In diesem Falle können FuU-Maßnahmen, gleich wel-cher Art, nicht mehr mit hoher Sicherheit zur Wiederein-gliederung in Erwerbstätigkeit führen, sondern nur noch mit einer (un)bestimmten Wahrscheinlichkeit, und die Wiedereingliederungsrate hat als Kriterium, zumindestens einschränkungslos, keine hinreichende Abbildgüte mehr. Ausnahmen könnten sich dann ergeben, wenn, wie in den neuen Bundesländern, bestimmte Bereiche, wie z.B. der Verwaltungs- und Dienstleistungssektor, völlig neu aufge-baut werden müssen und daher viel Personal binden. Unter diesen Umständen könnten hypothetisch wiederum bestimmte FuU-Maßnahmen, wie z. B. berufliche Umschu-lung, mit systematisch steigenden Anteilen zu Buche schlagen.

8. Bei langfristigen globalen Arbeitsplatzdefiziten können FuU-Maßnahmen als Instrumente der aktiven Arbeits-marktpolitik nur dann in dem Maße in erwarteter Weise wirksam werden, wie sie wirtschafts-, industrie- und struk-turpolitische Maßnahmen flankieren. Sonst könnten durch Pendeln und Abwanderung Kompensationsvorgänge in Gang gesetzt werden, die zu einer regional durchaus nicht in jeder Hinsicht wünschenswerten Mobilität beitrügen (sog. passive Sanierung).

9. Dessenungeachtet ist der Nutzen beruflicher Weiterbil-dung nicht als gering anzusehen. Denn sie verhindert Dequalifikation bzw. Persönlichkeitsabbau, erhält folglich das Humankapital, hat eine Brückenfunktion für die spätere Nutzung erhaltener bzw. eventuell auch erweiterter Leistungsbefähigung und Leistungsbereitschaft und entla-stet den Arbeitsmarkt (vgl. Blaschke 1992a). Erforderlich ist aber eine ebenso umfassende wie differenzierte Nutzen-beurteilung.

10. Damit wird folgendes deutlich und läßt sich thesenartig formulieren: Die Wirkung von FuU, bemessen an der Rate beruflicher Wiedereingliederung, ist eine Funktion des Vorhandenseins einer definitiven wirtschafts- und arbeits- marktpolitischen Bedingungskonstellation. Die so bemes-sene Wirkung von FuU verringert sich in dem Maße, in dem das definitive Bedingungsgefüge sich ändert. Wird diese Bedingungsabhängigkeit von FuU übersehen, kön-nen leicht Fehlurteile über Sinn und Nutzen entstehen. Daher wird eine Einordnung von FuU in hinreichend voll-ständige Wirkungs- und folglich auch Betrachtungs- sowie Bewertungszusammenhänge unerläßlich.

4.2 FuU-Begleitforschung als methodisches Stufenprogramm -ein Ausweg? Die bislang dominierende Begleitforschung von FuU-Maß-nahmen, bei der im wesentlichen mittels statistischer Ver-fahren thematisch relevante Verwaltungsdaten ausgewertet werden und die zu orientierenden „Global- oder Über-

blicksanalysen“ führt, könnte als erste bzw. „abgehobene“ Ebene eines methodischen Stufenprogramms aufgefaßt werden. Auf dieser Ebene resultieren statistische Daten-sätze aus Grundgesamtheiten bzw. Populationen. Die zweite Ebene eines derartigen Stufenprogramms könnte in einer objektkonkreten (d.h. auf Bildungsinstan-zen bezogenen) und die Maßnahmendurchführung vor Ort begleitenden Forschung gesehen werden. Hierbei handelt es sich um differenzierende, zumeist dem Prinzip der Pro-blemrepräsentanz folgende, kasuistisch angelegte Untersu-chungen, welche die zuvor genannten orientierenden Ana-lysen schwerpunktmäßig inhaltlich untersetzen können. Dabei besteht Gelegenheit, neben einer Ergebnis- gegebe-nenfalls oder bedarfsweise auch eine Prozeßevaluation durchzuführen. Auf dieser Ebene sind Teilpopulationen oder Personengruppen die Untersuchungseinheit. Auf der dritten Ebene so eines methodischen Programms könnten der Möglichkeit nach feinanalytische Untersu-chungen erfolgen, bei welchen einzelne Individuen analyti-sche Bezugsgrößen wären. Auf Details soll in diesem Zusammenhang nicht eingegangen werden. In eine FuU-Begleitforschung der zweiten Ebene, die -ebenso wie Qualitätskontrollen zu FuU – von Untersucher-teams im anwendungsnahen Bereich (vgl. Will u. a. 1987), also in Objekten vor Ort durchzuführen wären, könnten folgende Überlegungen eingehen: - Die im Rahmen des Weiterbildungsmarktes wirksamen Einflußfaktoren (wie z.B. Angebots-Nachfrage-Relatio- nen, Ziele von Qualifikationen bzw. Maßnahmearten, inhaltliche und zeitliche Dimensionierungen von Bildungs-angeboten, fachliche und didaktische Sachkundigkeit der Lehrkräfte, charakteristische Voraussetzungen und Absichten der Weiterzubildenden, materiell-technische Ausstattungen von Bildungseinrichtungen) müßten so weit wie möglich als variierende Bedingungen in einem Varia-blenplan berücksichtigt und folglich entweder konstant gehalten oder in ihrer Wirksamkeit kontrolliert werden.

- Unter diesen Umständen sind unter der naheliegenden Annahme einer zufallsbedingten Gleichverteilung (und damit Neutralisierung) von Selektionseffekten verglei-chende Wirkungsanalysen verschiedener Formen von FuU- Maßnahmen (und deren Dauer) möglich und über sog. relationale Effekte Wirkungsaussagen ableitbar.

- Untersuchungsansätze, die solchen Überlegungen fol-gen, sind zwar keine Kontrollgruppenansätze, die Ver-suchs- und Kontrollgruppen als unabhängige Hauptvaria-blen aufweisen (Teilnehmer an Maßnahmen vs. Nicht-Teilnehmer), wohl aber Vergleichsgruppenansätze unter-schiedlich „behandelter“ Versuchsgruppen (unterschiedli-che FuU-Maßnahmen absolvierende Teilnehmer).

Die geringere Effizienz derartiger Ansätze bzw. Untersu-chungspläne in bezug auf den Wirkungsnachweis könnte durch eine über das Kriterium der Wiedereingliederung hinausgehende sowie differenziertere Definition abhängi-ger Variablen (Bemessungskriterien für Maßnahmewir-kungen) teilweise ausgeglichen werden (Erhöhung der Nachweisempfindlichkeit). - Es könnte, vorbehaltlich der Ergebnisse näherer Prüfun-gen, ein sog. Mehrmethodenansatz realisiert werden, in welchem neben statistischen Daten auch solche aus Doku- mentenanalysen (z. B. Lehrpläne, Praktikumsprogramme, Übungen, Klausuren), schriftlichen und mündlichen Befra-gungen (von Teilnehmern, Abbrechern, Lehrkräften,

402 MittAB 3/92

betrieblichen Personalabteilungen usw. zu Erwerb und Nutzung von Qualifikation, Lehr- und Lernprozessen, Lehr- und Lernmitteln u.a.) und eventuell aus Beobach-tungen (exemplarische Recherchen) erfaßt und je nach Ansatz als abhängige Variablen genutzt werden könnten. Unabhängige Variablen wären dann z.B. unterschiedliche FuU-Maßnahmen (z.B. FEEA-Maßnahmen, Umschu-lungsmaßnahmen, Maßnahmen zur Aufstiegsqualifikation) mit merkmalsgeschichteter Teilnehmerzuordnung und wei-teren Merkmalen (z.B. regionale) als Schichtungskrite-rien. Dabei wäre keine Stichproben-, sondern Problem-bzw. Sachrepräsentanz anzustreben. Stellt dieses, in seinen Konturen nur grob und in seinen Ebenen selektiv beschriebene methodische Stufenpro-gramm nun einen Ausweg dar? Aus theoretischer Sicht spricht einiges dafür, daß eine weitere Annäherung an die Problemkerne der Evaluation von FuU-Maßnahmen möglich ist. Nennenswerte Fort-schritte wären wohl schon dann zu erreichen, wenn neben den üblicherweise verwendeten Kriterien aus dem – von Qualifikationsvorgängen stark abgehobenen – Beschäfti-gungssystem (wie z.B. berufliche Wiedereingliederung als Hauptkriterium) auch Kriterien aus dem inhaltlich kongru-enten Bildungssystem (sog. Lernfeldkriterien, die sich aus den Lehr- und Lernprozessen sowie dem Lernerfolg rekru-tieren) gewonnen und als Indikatoren genutzt werden könnten. Eine einigermaßen haltbare Überprüfung dieser Annah-men, die selbst noch der weiteren theoretischen Bearbei-tung bedürfen, erfordert jedoch breitgefächerte empirische Studien, die nicht im „institutionellen Alleingang“, son-dern allenfalls in Kooperation mit anderen Forschungs-gruppen oder -einrichtungen möglich sind, die von „Haus aus“ subtile Feldforschung betreiben. Dabei dürften eine weitere Differenzierung der einzelnen Stufen, die Separation und Begründung aussagefähiger Variablen und die Definition trennscharfer Kriterien sowie deren Überprüfung wesentliche Inhalte weiterer Arbeits-schritte sein. Alles dies und die Abklärung weiterer Fragen wäre Gegenstand aufwendiger Voruntersuchungen. Schon diese sind jedoch vom IAB allein nicht zu leisten, da der organisatorische, personelle, sachliche und zeitliche Auf-wand dessen Kapazität bei weitem übersteigt.

4.3 Andere Alternativen Ist es angesichts all der angeführten Schwierigkeiten über-haupt sinnvoll, auf die vorschriftsmäßige Evaluation zu setzen? Und: Ist es für die Wissenschaft etwa ein Offenba-rungseid, wenn man diese Frage stellt, da sie ja eine andere Frage, die starke Untertöne des Zweifels trägt, impliziert: Was ist überhaupt zu erwarten und zu erhoffen? Und wenn die Vorgehensweise nicht gemäß den Regeln der Kunst erfolgen könnte, welche Alternativen gibt es dann? Welche Teile des Anspruchs müssen dann aufgegeben werden? Z. B. der Zielbezug, das Problem mit der Ungenauigkeit der Ziele, mit der Vielzahl von Zielen, mit der Unverein-barkeit von Zielen, mit dem Zielwechsel (Zielrochaden). Für Sarrazin (1992) ist klar, daß es in politischen Systemen – zu denen die Arbeitsmarkt- und Sozialpolitik ohne Frage gehören – ständig zu Zielkonflikten kommen muß, und daß diese nicht grundsätzlich lösbar sind. Deshalb kann es dann sein, daß ein Sachverhalt sich aus einem Blickwinkel klar als unwirtschaftlich erweist, während er von einem anderen

Standpunkt aus betrachtet (z.B. von der Lebensfähigkeit oder der Stabilität des gesellschaftlich politischen Systems) ganz anders zu beurteilen ist.

Hierzu gehört auch noch die Tatsache, daß die BA zwar als Veranstalter und wichtiger Überwacher etc. des Pro-gramms beruflicher Weiterbildung fungiert, daß sie aber in allen wesentlichen Stufen der Qualifikationsvermittlung außen vor bleibt. Sie trifft eine Auswahl der Personen, die teilnehmen sollen, aber schließlich muß man dem Bil-dungsträger auch ein Auswahlrecht zugestehen, das von manchen Trägern (und im Falle der betrieblichen Einarbei-tung bereits vom Arbeitgeber) auch konsequent genutzt wird. Die Idee der Durchführung kann vom Arbeitsamt, soweit es um Auftragsmaßnahmen geht, entwickelt worden sein. Wie sie schließlich umgesetzt wird, liegt – trotz aller Qualitätskontrollen -, nahezu allein beim Träger, speziell bei den sog. „freien Maßnahmen“. Die Qualität der Durch-führung (vgl. BIBB 1991) kann nur beim Träger erfaßt werden (vgl. RdErl. vom 21. 8. 1991 und vom 14. 7. 1992). Und das Endprodukt der Qualifizierung, wie immer man es erfaßt, liegt beim Träger. Die BA bedient sich einer „black box“ (die sie mit Hilfe der „institutionellen Förderung“ z.T. auch auszugestalten hilft), in der die Qualifizierung durchgeführt wird. Einblick in die „black box“ und Einfluß darauf, was dort geschieht, versucht man über verschie-dene prozeßbegleitende Instrumente (z.B. Teilnehmerbe-fragung, Besuche in den Kursen; BA-Entwurf eines „Prüf-leitfadens“ und Stellungnahme des BIBB vom 11. 6. 1992) zu gewinnen. Dennoch ist letztlich nur das Zertifikat, sofern der erfolgreiche Teilnehmer eines erhält, Qualitäts-merkmal.

Evaluationsforschung kann keinen Standpunkt außerhalb der miteinander konkurrierenden Vielfalt von „Interessen“ einnehmen. Dennoch folgt aus solcher Einsicht nicht Untä-tigkeit. Handlungsgrenzen der Arbeitsmarktpolitik sind immer wieder neu zu bestimmen. Die Randbedingungen des arbeitsmarktpolitischen Handelns ändern sich ständig. Wirtschaftlichkeit ist eine auch unabhängig von der späte-ren Eingliederung der Teilnehmer immer zu prüfende Größe im konkreten Aufgabenvollzug.

Man könnte – nicht nur als Abwehr von allfälligen Vorwür-fen – unter Umständen auch an andere Politikbereiche die Frage stellen, wie sie mit der Tatsache leben, nicht über Evaluationsergebnisse verfügen zu können, die nach den Regeln der Kunst erstellt worden sind.

Dennoch muß man die Hände nicht in den Schoß legen. Das Leben stützt sich überall auf Vermutungen, die oft als Überzeugungen daherkommen. Gerade dort, wo es darum geht, durch Geld oder durch Maßnahmen (die auch Geld kosten) das Verhalten von Menschen zu beeinflussen, ist die Unsicherheit über die Wirkungen und den Erfolg groß (Forschung über Massenkommunikation und Werbung).

Das gilt selbst in Wirtschaftsunternehmen, wo alle Mög-lichkeiten des auf die Erfassung finanzieller Bewegungen gestützten „controlling“ genutzt werden (Graf 1992). Die so wichtige Frage nach dem Nutzen der Werbung oder des Marketing ist nicht in der Weise trennscharf zu beantwor-ten, daß man bestimmen könnte, welche Hälfte des dafür eingesetzten Geldes eingespart werden könnte. Glaubt man doch zu wissen, daß die eine Hälfte zum Fenster hinausgeworfen ist. Aber eben: welche? Und dennoch hält man daran fest – so lange man glaubt, es sich leisten zu können – und legt die Hände nicht in den Schoß.

MittAB 3/92 403

Der als notwendig erkannte Geldeinsatz muß im Rahmen der bekannten Einflußgrößen und im Rahmen rechtmäßi-gen Handelns wirtschaftlich und sparsam erfolgen (vgl. Hesse u.a. 1992, S.35 ff.). Es geht also um eine „Wirt-schaftlichkeitsmaximierung“, nicht aber um eine „Gewinn-maximierung“ (Philippsen 1991). Und das wird von vielen Stellen ständig überwacht. Die Qualitätskontrolle (vgl. Sauter und Harke 1988), die Überwachung von Maßnahmen, die statistische Erfassung der Vorgänge (in einer der Forschung zugänglichen Form) und die Weiterverfolgung des beruflichen Werdegangs der Personen, die einmal teilnahmen, lassen sich im Laufe der Zeit noch verbessern. Eine der Maximen, die verfolgt werden könnten, ist mit der Überzeugung verbunden, daß der Markt – so er denn besteht – einen starken selbstregulierenden Einfluß neh-men kann. Die FuU-Philosophie setzte – wie ausgeführt wurde – auf den Markt und die ihm innewohnenden Rege-lungskräfte. „Die Frage der Marktnähe ist auch wichtig für das Urteil, welche Formen der Kosten oder der Ausgaben-rechnung zur Verbesserung der Wirtschaftlichkeit dienen können“ (Sarrazin 1992, S. 150). Ist dieser Überzeugung aber, was die Weiterbildung angeht, eine realistische Variante abzugewinnen? Kann es eine Konkurrenz der Weiterbildungsträger in der Region geben, so daß die besten auch den meisten Zulauf bekämen? Auf dem „Wei-terbildungsmarkt“ werden nicht – wie auf dem Wochen-markt – „Inspektionsgüter“ gehandelt. Der einzelne kann auch nicht beobachten, wie es jenen geht, die an bestimm-ten Maßnahmen bei bestimmten Bildungsträgern teilge-nommen haben. Weiterbildungsabschlüsse sind am ehesten als Erfahrungsgüter zu begreifen, über die erst nach länge-rer Zeit Aussagen möglich sind. Aber vielleicht gibt es Signale, die gesendet werden kön-nen und die von potentiellen Weiterbildungsteilnehmern und von Unternehmen auf der Suche nach guten Mitarbei-tern wahrgenommen werden können. (An sich gilt ja die Idee der Konkurrenz zwischen Bildungsträgern, wenn man an Schulen oder Hochschulen denkt, in Deutschland als ein systemfremdes Element.) Eine Möglichkeit könnte die Festlegung sein, daß es für die Weiterbildung nur noch anerkannte Zertifikate geben darf (vgl. Sauter 1990, S. 62; 1992, S. 383). Es wäre dann klar, was Absolventen können, so daß ein Standardprodukt bzw. eine Standardproduktpa-lette angeboten würde. (Standardprodukte werden aller-dings schon mit den dualen Ausbildungen angestrebt, die nach ca. 377 Ausbildungsordnungen zu erfolgen hat. Den-noch gibt es starke Abweichungen zwischen den Ausbil-dungen, je nachdem, in welchem Betrieb sie durchgeführt werden.) Die Idee von Sarrazin, Wirtschaftlichkeit dadurch anzu-streben, daß man auf eine möglichst kleine und qualifi-zierte Verwaltung setzt, „die sich in sehr weitgehender Form privater oder zumindest privatrechtlich geführter Dienstleistungsunternehmen bedient und dabei die Mög-lichkeiten zur Leistungsverbesserung durch Herstellung und Nutzung von Konkurrenz möglichst umfassend nutzt“, ist im wesentlichen bereits der Kern der bisherigen FuU-Philosophie. Die immer wieder von der BA verlangte stärkere Einbindung sozusagen als eigener Unternehmer im Feld der Weiterbildung (entweder durch Curriculum-entwicklung – vgl. Hesse u.a. 1992 – oder durch Organisa-tion von Bildungsangeboten) könnte zu einer ungeheuren Aufblähung des Apparates führen. Das Thema ist natürlich noch längst nicht ausdiskutiert, denn die Rede von der

Weiterbildung als der „vierten Säule des Bildungssystems“ impliziert u.E. durchaus stärkere Institutionalisierungen, die dann von der BA zu leisten wären. Die Frage, welche Hälfte des Geldes nicht dazu beiträgt, die Ziele zu erreichen, wird weitgehend offen bleiben müssen.

Literatur Albers, J. (1987): Zu Ansätzen, Ergebnissen und Problemen der

Evaluation beruflicher Weiterbildung. Hamburg 1987. Arminger, G. (1988): Modelle zur Analyse qualitativer Variablen

in stetigem Zeitverlauf. In: Meier, F. (Hrsg.), Prozeßforschung in den Sozialwissenschaften. Stuttgart – New York: Springer 1988, S. 77-91.

Beywl, W. (1989): Zur Weiterentwicklung der Evaluationsmetho-dologie. Grundlegung, Konzeption und Anwendung eines Modells der responsiven Evaluation. In: Europäische Hoch-schulschriften. Reihe 22, Soziologie (174) Frankfurt/M.: Lang 1989.

BIBB (1991): Checkliste Qualität beruflicher Weiterbildung. Ber-lin: Bundesinstitut für Berufsbildung 1991.

Björklund, A. (1989): Evaluation of Training Programs: experien-ces and proposals for future research. WZB discussion paper FS I 89-13. Berlin: WZB 1989.

Blaschke, D. (1986): Soziale Qualifikationen von Erwerbsperso-nen im Berufsleben. MatAB 7/1986.

Blaschke, D. (1992a): Der betriebliche Nutzen von Fortbildung und Umschulung. In: IAB-Werkstattbericht Nr. 13, 17. 8. 1992.

Blaschke, D. (1992b): Arbeitsmarktaussichten für benachteiligte Personengruppen. In: Berufliche Bildung für Männer und Frauen – Chancen für alle. Dokumentation einer INFO-Börse über Innovative Ansätze zur Beruflichen Integration von Erwerbslosen. Frankfurt: Pädagogische Arbeitsstelle, Deut-scher Volkshochschulverband 1992, S. 13-16.

Blaschke, D., P. König (1992): Berufliche Wiedereingliederung von Rehabilitanden. IAB-Werkstattbericht Nr. 3 vom 27. 3. 1992

Bolte, K. M. (1969): Untersuchung über Ergebnisse der berufli-chen Fortbildung im Rahmen des „Individuellen Förderungs-programms“. In: Mitt(IAB) 7, S. 509-520.

Brenner, H. (1976): Estimating the Social Costs of National Economic Policy – Implications for Mental and Physical Health, and Criminal Aggression. Washington: United States Govern-ment Printing Office 1976.

Bundesrechnungshof (1989): Bericht 1989 zur Haushalts- und Wirtschaftsführung der Bundesanstalt für Arbeit gemäß § 223 Arbeitsförderungsgesetz (einschließlich Stellungnahme zu der Jahresrechnung für das Haushaltsjahr 1987) (Abgeschlossen nach dem Stand vom 11. 08. 89).

Bundesrechnungshof (1992): Bericht 1992 zur Haushalts- und Wirtschaftsführung der Bundesanstalt für Arbeit gemäß § 223 Arbeitsförderungsgesetz (einschließlich Stellungnahme zu der Jahresrechnung für das Haushaltsjahr 1990) (Abgeschlossen nach dem Stand vom 07. 04. 1992).

Cavalheiro, A., J. Molsosa, R. Aernoudt (1991): Begleitung, Kontrolle und Bewertung der vom ESF kofinanzierten Aktio-nen. In: Soziales Europa 1991, 2, S. 69-73.

Dadzio, W. (1980): Berufliche Eingliederung nach der Umschu-lung. In: MatAB 1980, 4, S. 1-6.

404 MittAB 3/92

Eberwein, W., J. Tholen (1986): Öffentliche Arbeitsvermittlung als politisch-sozialer Prozeß. Bremen: Kooperation Universität Arbeiterkammer Bremen 1986.

Ferber, R., W. Z. Hirsch (1982): Social Experimentation and Economic Policy. London etc.: Cambridge University Press 1982.

Franke H. (1990): Brennpunkt Arbeitsmarkt, Lehrbuch für politi-sche und betriebliche Praxis. Percha: R. S. Schulz 1990.

Gagel, A. (1981): Die Bedeutung der arbeitsmarktpolitischen Wirkungsforschung für die Rechtsfindung. In: MittAB 3, S. 345-349.

Graf, W. (1992): Bildungscontrolling – Messung betrieblicher Qualifizierungsmaßnahmen. In: GdWZ 3 (1992), S. 9-12.

Grawe, K. (1992): Psychotherapieforschung zu Beginn der neunzi-ger Jahre. In: Psychologische Rundschau 43 (1992), S. 132-162.

Hesse, J. J., K. Lüder, R. Pitschas (1992): Gutachten „Verbesse-rungsmöglichkeiten bei der Aufgabenwahrnehmung im Inter-esse einer wirtschaftlicheren Gestaltung der Fachaufgaben in den Dienststellen der Bundesanstalt für Arbeit (§§ 7, 9 BHO)“. Speyer – Oxford, Februar 1992.

Hofbauer, H. (1979): Wirksamkeit der beruflichen Erwachsenen-bildung. In: MittAB l, S. 42-50.

Hofbauer, H. (1981): Untersuchungen des IAB über die Wirksam-keit der beruflichen Weiterbildung. In: MittAB 3, S. 246-262.

Hofbauer, H., W. Dadzio (1982): Die Wirksamkeit von Maßnah-men zur Verbesserung der Vermittlungsaussichten für Arbeits-lose nach § 41 a AFG. In: MittAB 4, S. 426-433.

Hofbauer, H., W. Dadzio (1984): Berufliche Weiterbildung für Arbeitslose. In: MittAB 2, S. 183-200.

Hofbauer, H., W. Dadzio (1987): Mittelfristige Wirkungen beruf-licher Weiterbildung. In: MittAB 2, S. 129-141.

Hofmann, G. (1989): Evaluationsforschung. In: Endruweit, G., G. Trommsdorff (Hrsg.): Wörterbuch der Soziologie. Stuttgart: Enke 1989, S. 171-172.

Jensen, P, P.J. Pedersen, N. Smith, N. Westergard-Nielsen (1992): Measuring the Effects of Labour Market Training Pro-grams. In: EALE 1992, paper 1.018 (erscheint demnächst).

Karr, W., G. Apfelthaler (1981): Zur Dauer der Arbeitslosigkeit. In: MittAB 4, S. 384-390.

Kasperek, P., W. Koop (1991): Zur Wirksamkeit von Fortbil-dungs- und Umschulungsmaßnahmen. In: MittAB 2, S. 317-332.

Kühl, J. (1992): Konzeptionelle Überlegungen für die Weiterent-wicklung des Arbeitsförderungsgesetzes. In: WSI-Mitteilungen 7/1992, S. 402-411.

Lampert, H. (1989): 20 Jahre Arbeitsförderungsgesetz. In: Mitt-AB 2, S. 173-186.

Lange, E. (1981): Evaluierung der Berufsberatung der Bundesan-stalt für Arbeit. Theoretischer und methodischer Ansatz. In: MittAB 3, S. 289-300.

Lange, E. (1983): Zur Entwicklung und Methodik der Evalua-tionsforschung in der Bundesrepublik Deutschland. In: Zsch. f. Soziol. 1983, 3, S. 253-270.

Lieber, P., K. Sauerbrey (1991): Zur Qualität und zum Erfolg AFG-geförderter Bildungsmaßnahmen. In: arbeit und beruf 6/1991, S. 161-162.

Lindley, R. M. (1991): Methods of Evaluation for the European Social Fund: A Proposal for Generic Evaluation of the ESF. University of Warwick, Institute for Employment Research, 1991 (Ms.).

Mertens, D., L. Reyher, J. Kühl (1988): Ziele und Möglichkeiten von Wirkungs-Analysen. In: MittAB 3, S. 209-223, wieder in: Mertens, D. (Hrsg.). Konzepte der Arbeitsmarkt- und Berufs-forschung, Eine Forschungsinventur des IAB. (BeitrAB 70) Nürnberg 1988, 3. Aufl., S.341-359.

Möller, R. (1987): Qualifizierungsoffensive zur Bekämpfung von Arbeitslosigkeit – Anmerkungen zur Ermittlung ihres Erfolgs. In: arbeit und beruf 12/1987, S. 373-377.

Philippsen (1991): Controlling im Bereich FuU, TOP 2 der Dienst-besprechung LAA Düsseldorf 17. 10. 1991.

Planas, J., M. Garcia (1991): Methodology for the Ex-Post Eva-luation of Operational Programmes Co-Financed by the ESF. Bellaterra: Universität Autönoma de Barcelona 1991.

Plath, H.-E. (1987): Zur projektbegleitenden Aufgabengestaltung bei integrierten Fertigungssystemen. In: Psychol. f. d. Praxis 1987, 3, S. 214-234.

Plath, H.-E. (1990): Das menschzentrierte Arbeitskonzept – The-sen zum Gegenstand. In: Arbeitswissenschaften 1990, 2, S. 81-88.

„Qualität beruflicher Bildungsmaßnahmen“ – eine neue Maß-nahme der Anpassungsfortbildung für Mitarbeiterinnen der Bundesanstalt für Arbeit. In: Ba-intern Jahrgang 15, Nr. 13 v. 1. 10. 1991.

Richter, H. J. (1968): Untersuchung über das Ergebnis der berufli-chen Fortbildung im Rahmen des individuellen Förderpro-gramms (IAB-Forschungsprojekt 3 – 23 A), Vortest und Haupt-untersuchung 1968 (Ms.).

Rossi, P. H., J. D. Wright (1984): Evaluation Research: An Assessment. In: Ann. Rev. Sociol. 10 (1984), S. 331-352.

Rossi, P. H., H. E. Freeman, G. Hofmann (1988): Programm-Evaluation. Stuttgart: Enke 1988.

Sarrazin, T. (1992): Der Stellenwert des Wirtschaftlichkeitsprin-zips in Staat und Verwaltung. In: VOP 3/1992, S. 141-150.

Sauter, E. (1990): Qualität in der beruflichen Weiterbildung. Hagen: Fern-Universität 1990.

Sauter, E. (1992): Ansätze zur Qualitätssicherung in der berufli-chen Weiterbildung. In: WSI-Mitteilungen 6/1992, S. 380-387.

Sauter, E., D. Harke (1988): Qualität und Wirtschaftlichkeit beruflicher Weiterbildung (= Berichte zur beruflichen Bildung, Heft 99). Berlin, Bonn: BiBB 1988.

Schneider, H. (1988): Qualifizierungsoffensive – Wohin steuert die berufliche Weiterbildung? In: ibv Nr. 6 vom 10. 2. 1988, S. 337-338.

Schneider, H. (1992): Bildungspolitischer Bedarf für Innovatio-nen. In: Berufliche Bildung für Männer und Frauen – Chancen für alle. Frankfurt: PAS 1992, S. 17-19.

Staudt, E. (1991): Dequalifikation durch Weiterbildung. In: Han-delsblatt Nr. 108 vom 10. 6. 1991.

Voelzke, Th. (1991): Weiterbildung und Arbeitsmarktpolitik. Rechtliche Regelung der individuellen Weiterbildungsförde-rung im Arbeitsförderungsgesetz. In: MittAB 24 (1991), Nr. 2, S. 256-262.

Will, H., A. Winteler, A. Krapp (1987): Evaluation in der berufli-chen Aus- und Weiterbildung. Konzepte und Strategien. Hei-delberg: Sauer 1987.

Wilder, J. (1931): Das „Ausgangswertgesetz“, ein unbeachtetes biologisches Gesetz und seine Bedeutung für Forschung und Praxis. In: Zsch. Ges. Neurol. u. Psychiatr. 137 (1931), S. 317-338.

Wilenski, H. L. (1985): Nothing Fails Like Success: The Evalua-tion-Research Industry and Labor Market Policy. In: Industrial Relations 24 (1985), S. 1-19.

MittAB 3/92 405