Gemeinsame Wirkungsevaluation des deutschen Beitrags … · • Beratung von TESDA...

Gemeinsame Wirkungsevaluation des deutschen Beitrags im philippinischen Berufsbildungssystem Evaluationsgegenstand – Evaluationsdesign – Reliabilität und Validität – Ergebnisse und Empfehlungen

Referent: Stefan Silvestrini Bereichskoordinator Entwicklungszusammenarbeit Centrum für Evaluation Postfach: 15 11 50 66041 Saarbrücken E-Mail: [email protected] Tel.: 06 81 – 3 02 – 36 79

17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 2

Evaluationsgegenstand

Deutscher Beitrag zur Verbesserung des philippinischen Berufsbildungssystems, durch die Einführung dualer/dualisierter Ausbildungsgänge • Weiterbildung von Leitern und Verwaltungsmitarbeitern

aus Berufsschulen • ‚Training of Trainers‘ (ToT) • Bereitstellung von technischer Ausrüstung und

Unterrichtsmaterialien • Beratung der Ausbildungseinrichtungen • Beratung von TESDA

Umsetzungszeitraum der Maßnahmen: 1996 bis 2007 Durchführungsorganisationen: DED, GTZ/CIM, InWEnt und KfW Strategischer Partner: Technical Education and Skills

Development Authority (TESDA)

Evaluations-gegenstand

Evaluationsdesign

Reliabilität und Validität

Ergebnisse und Empfehlungen


Ziel der Evaluation

Ermittlung der Wirkungen auf der Ebene der… • Zielgruppen: Auszubildende/Absolventen der

Berufsschulen, Partnerunternehmen • Mittler: Unterstützte Berufsschulen • Systemebene: Berufsbildungssystem,

Arbeitsmarkt, soziale und ökonomische Entwicklung

Bewertung der Relevanz, Effektivität, Impact, Effizienz und Nachhaltigkeit der Maßnahmen

Entwicklung von Empfehlungen für zukünftige Programme


Evaluationsdesign




Evaluationsumsetzung

Methodische Konzeption Hypothesengeleitete Analyse Multi-Methoden-Ansatz ( Ergebnistriangulation) Entwicklung eines quasi-experimentellen Designs Kombination von zufälliger und geschichteter

Stichprobenziehung Anwendung deskriptiver und inferenzieller statistischer

Verfahren Organisation Entwicklung eines übergreifenden Analyserasters und

Datenerhebungsplans Aufteilung der Datenerhebung in ‚Vor-‘ und ‚Hauptmission‘ Einsatz eines vierköpfigen Evaluationsteams Einrichtung eines lokalen und Headquarter-Supports

(Management Team, Steering Committee)


Evaluationsdesign




Datenbasis

Qualitative Daten aus Gesprächen mit 150 Interviewpartnern

Quantitative Daten aus der schriftlichen Absolventenbefragung ( Vergleichsgruppendesign)

Quantitative Daten aus der Online-Befragung von ehemaligen ToT-Teilnehmern

Programmdokumente

Statistiken über Berufsbildung und den Arbeitsmarkt


Evaluationsdesign




Absolventenbefragung

Vorbereitende Maßnahmen

Identifizierung aller geförderter Berufsschulen (!)

Sicherstellung der Repräsentativität der Sampledaten

Entwicklung eines detaillierten Arbeits- und Zeitplans

Identifikation von Ansprechpartnern und Wissensträgern

Praktische Einschränkungen bei der Datenerhebung

Double-Difference-Messung nicht möglich

Kontaktaufnahme mit den Absolventen

Logistik und Zeitrahmen


Evaluationsdesign





Sehr hohe inhaltliche und statistische Repräsentativität der Ergebnisse auf der Ebene der direkten Zielgruppen

Steigerung der Reliabilität und Validität der Ergebnisse

Ergebnistriangulation durch Vergleich der ‚gematchten‘, ‚ungematchten‘ und qualitativen Daten

Übertragbarkeit der empirischen Ergebnisse auf die Grundgesamtheit der potentiellen Zielgruppen und Mittler aufgrund geringer Stichprobengröße nicht möglich

Jedoch: Plausibilitätsprüfung aufgrund der Datenbasis möglich aufgrund

• der Größenordnung der erzeugten Wirkungen,

• der Diffusionseffekte auf Mittlerebene sowie

• statistischer Daten


Evaluationsdesign




Capacity Development

Auf Mittlerebene (Berufsschulen) Maßnahmen führten zur Verbesserung der fachlichen und

didaktischen Kenntnisse des Lehrpersonals …der Organisation und Verwaltung der Berufsschulen …der Beziehung der Schulen zu ihren Partnerunternehmen Auf der Systemebene (beim strategischen Partner TESDA) Ergebnisse schwierig zu messen aufgrund unzureichender

empirischer Evidenz • + Ausweitung der rechtlichen Grundlagen • – Keine nachhaltigen Veränderungen erkennbar • – Abzug von ausgebildeten Fachkräften in ein anderes

Projekt in Äthiopien


Evaluationsdesign




Relevanz

Zielgruppenebene Die Auszubildenden benötigten eine verbesserte Berufsausbildung Die Unternehmen hatten (und haben immer noch) einen Bedarf an

besser qualifizierten Arbeitskräften Mittlerebene Die Berufsschulen mussten ihre Leistungsfähigkeit zu steigern, um

ihren Zielgruppen eine angemessene Ausbildung zu ermöglichen Systemische Ebene Die Auswahl der Fachbereiche war zum Zeitpunkt der Maßnahmen-

konzeption angemessen, ihre Relevanz für den verringerte sich jedoch im Umsetzungszeitraum

Geberperspektive Die Zielsetzung der Beiträge stand in Einklang mit der strategischen

Ausrichtung der deutschen EZ im Berufsbildungs- und Arbeits-marktsektor

Die Relevanz wird mit ‚gut‘ bewertet


Evaluationsdesign




Effektivität

Zielgruppenebene

Die Beschäftigungsfähigkeit der Absolventen der unterstützten Berufsschulen wurde deutlich gesteigert

Partnerunternehmen beschäftigen bevorzugt Absolventen der unterstützten Berufsschulen

Die Bereitschaft der Partnerunternehmen mit den Berufsschulen zusammenzuarbeiten wurde z.T. gesteigert

Mittlerebene

Die organisatorische und fachlich-didaktische Leistungsfähigkeit der Berufsschulen wurde durch die Maßnahmen erheblich verbessert

TESDA hat nicht in erwarteter Weise die Einführung eines dualen/dualisierten Ausbildungssystems vorangetrieben

Die Effektivität wird mit ‚gut‘ bewertet


Evaluationsdesign




Impact

Der Impact wird mit ‚nicht zufriedenstellend‘ bewertet


Evaluationsdesign



Keine der übergeordneten Zielsetzungen wurde erreicht!

Ein Beitrag zur Reduktion der Arbeitslosigkeit der TVET-Absolventen ist weder anhand der statistischen Daten nachzuweisen, noch ist er aufgrund der empirischen Ergebnisse plausibel

Das durchschnittliche Einkommen der Zielgruppen hat sich weder im Umsetzungszeitraum noch danach signifikant erhöht

Die landesweite Einführung dualer/dualisierter Ausbildungsgänge wurde nicht erreicht

(Die Produktivität des industriellen Sektors hat sich nicht verändert)


Effizienz

Zielgruppenebene Hohe Kosteneffizienz im Vergleich zu ähnlichen Programmen

anderer Geber Mittlerebene Effizienz der Maßnahmenumsetzung wurde durch

Verzögerungen und Probleme mit der technischen Ausrüstung z.T. beeinträchtigt

Geringe Effizienz der Maßnahmen, die sich auf TESDA bezogen Geberperspektive Sehr effiziente Zusammenarbeit der DO Hohe Komplementarität der Beiträge der verschiedenen DO

Die Effizienz wird mit ‚zufriedenstellend‘ bewertet


Evaluationsdesign




Nachhaltigkeit

Zielgruppenebene Die Maßnahmen leisteten einen wesentlichen Beitrag zur

zukünftigen beruflichen Entwicklung der Absolventen Mittlerebene Inwieweit die unterstützten Berufsschulen ihr duales/dualisiertes

Ausbildungsangebot beibehalten, hängt von zwei Faktoren ab: • Ob seitens der Unternehmen Bedarf signalisiert wird und • ob die Schulen ihre Ausrüstung instand halten und ihre Curri-

cula an sich verändernde Anforderungen anpassen können Systemische Ebene Drei Faktoren, die eine nachhaltige Wirksamkeit beeinträchtigen

• Unzureichende Diffusionseffekte auf der Mittlerebene • Mangelnde Unterstützung durch TESDA • Abnehmende Relevanz der unterstützten Fachbereiche

Die Nachhaltigkeit wird mit ‚nicht zufriedenstellend‘ bewertet


Evaluationsdesign




Empfehlungen I

Für die Durchführungsorganisationen

Systematische Analyse und Dokumentation der gewonnenen Erkenntnisse für zukünftige Programme, wesentliche Aspekte:

• Vergleich der unterschiedlichen Ansätze

• Identifikation von ‚Good Practices‘ der Zusammenarbeit

• Beobachtung des Einflusses anderer Geberaktivitäten

Abschätzung der erforderlichen Größenordnung der direkten Wirkungen und Diffusionseffekte zur Erzeugung systemischer Wirkungen

Stärkere Fokussierung auf die Unternehmen, da sie ein starkes Interesse an einer Verbesserung der Qualifikation ihrer Arbeitskräfte haben


Evaluationsdesign




Empfehlungen II

Für die Durchführungsorganisationen

Intensiverer ‚Follow-Up-Support‘

In Bezug auf die Bereitstellung technischer Ausrüstung

• Intensives Monitoring der Bedarfsanalyse und der Auslieferung

• Auswahl der Ausrüstung auf Grundlage der Kompetenzen ihrer Nutzer

• Monitoring der Instandhaltung der Ausrüstung in den Berufsschulen

Für TESDA

Weg von der Geberorientierung, hin zur Entwicklung und Propagierung einer eigenen, bedarfsorientierten Strategie


Evaluationsdesign




Vielen Dank für Ihre Aufmerksamkeit!

Kontakt: Stefan Silvestrini Centrum für Evaluation Postfach: 15 11 50 66041 Saarbrücken E-Mail: [email protected] Tel.: 06 81 – 3 02 – 36 79


Fragestellungen

Allgemeine Verständnisfragen?

Bezüglich der Ergebnisse

Schlussfolgerungen aus den Ergebnissen?

Übertragbarkeit der Ergebnisse und Empfehlungen auf andere Länder/Regionen?

Bezüglich der Methodik

Anwendbarkeit des Ansatzes in anderen Regionen/Kontexten?


Subject Area Representation

Subject area categories Basic population Share

Ideal sample size

Real sample size

1 Automotive (technology), autotronics 26 26,53 3,98 4

2 Electrician, electronic, electronics 23 23,47 3,52 4

3 Welding, metal fabrication/engineering/working 17 17,35 2,60 3

4

Refrigeration, air-condition technology, pneu./hydro. 9 9,18 1,38 1

5

Mechatronics, automation, mechanical technology 6 6,12 0,92 1

6

Animal production, farming, agro technology, fishpond proc. 4 4,08 0,61 1

7 Tourism, food preparation 3 3,06 0,46 1

8 Cabinet and furniture making 3 3,06 0,46 0

9 Shoe manufacturing 1 1,02 0,15 0

10 Health care 1 1,02 0,15 0

11 IT 1 1,02 0,15 0

12 Pedagogy 1 1,02 0,15 0

13 Jewelery making 1 1,02 0,15 0

14 Wood technology 1 1,02 0,15 0

15 Other (not specified) 1 1,02 0,15 0

98 100,00 15,00 15


Evaluationsdesign




Supported Institutions by GIO

DED

InWEnt

DED & InWEnt

GTZ & KfW

CIM & InWEnt

GTZ, InWEnt & KfW

CIM, GTZ & KfW

CIM, GTZ, InWEnt & GTZ

DED, GTZ, InWEnt & KfW

CIM, DED, InWEnt, GTZ & KfW

GIO No. of supported training institutions Share within basic population

CIM 8 5,16

DED 22 14,19

GTZ 28 18,07

InWEnt 69 44,52

KfW 28 18,07

Total 155 100,00


Evaluationsdesign




Regional Clustering

Northern cluster

Western cluster

Metro Manila cluster

Central cluster Southern cluster

Average per capita income (national mean: 173 thousand pesos in 2006)

Below national mean (142.5 tP)

Slightly above national mean (177.7 tP)

Considerably above national mean (311 tP)

Below national mean (133 tP)

Considerably below national mean (120 tP)

Share of total GDP (2005-2007)

33,2% 32,6% 16,5% 17,7%

Population density

Average population density

High population density

Highest population density

Low population density

Lowest populations density

Ethnical composition

Homogeneous (less than 5 different ethnic groups)

Homogeneous (mostly Tagalog)

Heterogeneous Heterogeneous Homogeneous (mostly Muslims)

Geographical composition

Coherent land disposition, mainly rural

Coherent land disposition, mainly urbanized

Coherent land disposition, highly urbanized

Very disparate land disposition, mainly rural

Coherent land disposition, mainly rural

Vicinity of training institutions

Disparate Contiguous Very contiguous Very disparate Very disparate

Sectoral characteristics

Industrialized western region, more rural eastern region

Industrialized Industrialized with high share of service sector

Rural character Rural character


Evaluationsdesign




Random Selection


Wirkungskette

Problem Analysis

Activities and

Output

Use of Output

Outcome

Impact

Highly aggregated

Impact

Beneficiary level: • Lack of adequate qualification

opportunities • Lacking or insufficient

qualification • Unemployment/

underemployment • Precarious economic situation

Institutional level: • Inefficient management and

administrative capacities • Lack of systematic demand oriented

curricula and training concepts • Inability to offer adequate

qualification opportunities

Systemic level: • Hindered access of deprived social strata to the education and labour

market • Inferior access of girls to TVET • Insufficient steering capacity of the coordinating authority (TESDA) • Low reputation of vocational training within industry and society • Mismatch between qualifications provided by the TVET-system and the

demands of the industry

Consulting of training institutions (efficient school management, curriculum development, application of DTS, gender related issues etc.)

Training of trainers (application of DT, teaching methods etc.)

Provision of technical equipment and teaching material and maintenance support

Consulting of TESDA HQ regarding efficient management structures

Support of TESDA HQ and RCs in developing a supportive framework for DTS (accreditation, curriculum development, legislative framework etc.)

Dissemination of the adop-ted competences within the training institutions

Development and application of improved curricula by the training institutions

Utilisation and maintenance of provided technical equipment and teaching material

Dissemination of the acquired competences within TESDA

Reorganisation of the TVET-system (towards the introduction of DTS)

Improved qualification/ employability of graduates from supported training institutions

Enterprises increasingly participate and/or employ graduates from dual/dualized trainings

Improved management and training capacities of vocational training institutions

Steering capacities of TESDA have been improved and it advocates the introduction and establishment of dual/dualized trainings

Nationwide introduction and establishment of dual and dualized training programs (indicator: number/share of training institutions that offer dual or dualized trainings)

Increased employment

Poverty reduction Economic development

Improvement of the TVET-system

Enterprises have a better-qualified workforce at their disposal

Improved employment situation of TVET graduates (indicators: unemployment rate, wage, job satisfaction, position within the enterprise) Supported training institutions forward their

knowledge to other institutions

Increased productivity of enterprises that employ TVET graduates (indicators: productivity, contribution to GDP)


Institution Received support Characteristics

Name Type of institu-tion

Training approach

Subject area

ToT C/IE Equip-ment

No. of partner enterprises

Drop-out rate

Graduate absorp-tion*

Internal dissemi-nation

External dissemi-nation

Tarlac Training Center Private DTP ME, El ++ 25% 70%

Angeles City National Trade School

Public OJT El +/- n.a. n.a. -

Systems Plus Computer Foundation

Private DTS, DTP CT, El +/- n.a. 90% -

TESDA RTC III Mariveles RTC DTP ME +/- n.a. 100% - -

Mary Help Christians School

Churchly DTS, DTP EI ** + 20% 70%

Batangas State University Public DTS ME - ~ n.a. 100% -

Monarc Foundation Technical Institute

Private DTS AM - + n.a. 90%

Punlaan School Churchly DTS TF ++ 15% 100% -

TESDA RTC Taguig RTC OJT ME - ~ n.a. >50% - -

TESDA RTC VI Talisay RTC DTP, OJT AM - +/- n.a. 50% -

TESDA RTC VII Cebu RTC OJT AM +/- n.a. n.a. -

Center for Industrial Technology and Enterprise

Churchly DTP El - ~ n.a. 100%

RTC X Tagaloan RTC DTP ME - + <5% 90% -

Lupon School of Fisheries Private DTP TF ~ 55% n.a. n.a. n.a.

Besuchte Berufsschulen


Arbeitsmarktentwicklung

Sector/ Subject area Development of employees* Development contribution to GDP*

Agriculture, hunting and forestry 0,55 -0,25

Fishing -0,04 -0,04

Mining and quarrying -0,12 0,53

Manufacturing -1,21 -4,91

Electricity, gas and water 0,23 2,67

Construction -0,82 -0,57

Wholesale and retail trade -5,69 -7,36

Hotels and restaurants 0,46 -0,59

Transport, storage and communication -1,47 4,55

Financial intermediation 1,02 5,14

Real estate and other business activities 4,71 0,27

Private education 1,41 0,45

Health and social works 0,98 0,37

Other community and personal services -0,02 -0,26


Evaluationsdesign




Arbeitsmarktstatistiken

16,87%

16,43%

21,68%

19,47%

21,29%

18,96%21,19%

20,04%19,41%

15,72%

0%

5%

10%

15%

20%

25%

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006

Entwicklung der Jugendarbeitslosigkeit

0%

5%

10%

15%

20%

25%

30%

35%

40%

1.decile

2.decile

3.decile

4.decile

5.decile

6.decile

7.decile

8.decile

9.decile

10.decile

1997

2006

Einkommensanteile nach Einkommensdezilen


Evaluationsdesign




Ergebnistriangulation

Beispielhypothese Beschäftigungsfähigkeit der Absolventen der geförderten Schulen

ist besser als die der Absolventen der nicht geförderten Schulen Partnerunternehmen bevorzugen Absolventen von geförderten Berufsschulen (Indikator: Anteil der übernommenen Absolventen)

Vergleich ohne Matching-Verfahren Direkter Vergleich bestätigt positiven Einfluss

(Differenz: + 18 Prozentpunkte) Vergleich mit PSM Ergebnisse bestätigen positiven Einfluss nicht Qualitative data Interviewergebnisse offenbaren, dass Absolventen der

geförderten Berufsschulen oftmals bessere Arbeitsplätze angeboten bekommen, als die bei den Partnerunternehmen

Schlussfolgerung Qualitative Daten unterstützen Hypothese und legen

intervenierende Effekte offen


Evaluationsdesign



Gemeinsame Wirkungsevaluation des deutschen Beitrags … · • Beratung von TESDA...

Documents

Transcript of Gemeinsame Wirkungsevaluation des deutschen Beitrags … · • Beratung von TESDA...