Workshop „Evaluation in der auswärtigen Kulturpolitik“23. Juni 2006 am Centrum für Evaluationder Universität des Saarlandes

Evaluation von internationalen Austauschprogrammen – Erfahrungen aus der Praxis

2

Was ist das ZEM?

Zentrum für Evaluation und Methoden 1999 an der Rheinischen Friedrich-Wilhelms-Universität Bonn

gegründet

Arbeitsauftrag des ZEM(Auftrags-)Forschung und Kompetenzvermittlung in Bezug auf Qualitätssicherung & Evaluation in verschiedenen

Anwendungsgebieten mit Schwerpunkt Bildung Statistische Methoden Umfragen

3

Ablauf des Vortrages

Erfahrungen des ZEM mit der Evaluation internationaler Austauschprogramme

Was ist so besonders an der Evaluation internationaler Austauschprogramme?

Interessen der verschiedenen Stakeholder Organisation und Zielvorgaben

Was soll überhaupt geprüft werden? Die Zielexplikation Verschiedene Programmziele der Stakeholder Methodenempfehlungen

Wie kann das geprüft werden? Der Wirksamkeitsnachweis Verschiedene Ansätze für den Wirksamkeitsnachweis

4

Erfahrungen des ZEM mit der Evaluation internationaler Austauschprogramme

Onlinegestützte Befragungen in verschiedenen Organisationen Goethe Institut

Besucherreisen (bis 2005 Paper-Pencil) InWEnt gGmbH

Amerikaprogramme Japan Programm/ Programm in der Region Asien/Pazifik Heinz Nixdorf Programm Vorbereitungsstätte für Entwicklungszusammenarbeit (V-

EZ) Deutscher Entwicklungsdienst (DED)

5

Besondere Situation bei der Evaluation von internationalen Austauschprogrammen - die Stakeholder

OrganisatorenGeldgeberLeistungs-empfänger

Auswärtiges Amt

Bundesministerium für wirtschaftl. Zusammen-arbeit und Entwicklung

Goethe Institut

InWEnt gGmbH

DED

Journalisten, Meinungsträger

Schüler/Studenten

Arbeitnehmer

6

Besondere Situation bei der Evaluation von internationalen Austauschprogrammen - Organisation & Zielvorgaben

Rechtfertigungszwang der Organisatoren gegenüber dem Geldgeber

Auftraggeber der Evaluation sind die Organisatoren, Adressat der Geldgeber Kontakte zwischen Evaluator und Geldgeber nur selten möglich

Wenig Erfahrungen mit Evaluationen und ihren Aussagemöglichkeiten bei den Organisatoren

Schwierigkeiten bei der präzisen Formulierung der unterschiedlichen Ziele: z.B. Abbildung von Berufsbiographien z.B. Abbildung des Nutzens von Auslandsaufenthalten für spätere

Arbeitgeber Schwierigkeiten bei der Operationalisierung der Ziele

Frageformulierung Filterführung

Konkurrenz durch Inhouse-Programme

7

Was soll überhaupt geprüft werden? Empfehlungen zur Zielexplikation

Berücksichtigung der Ziele aller Stakeholder Wenn möglich: Interviews, Gruppendiskussionen mit allen

Teilnehmern Analyse verwandter Literaturbereiche (Auslandsentsendung) Analyse von Programmunterlagen, Flyern Analyse von Politikerklärungen des Geldgebers Analyse von Zwischen- und Abschlussberichten der

Teilnehmer Konfrontation und Diskussion der verschiedenen Ziele mit

dem Auftraggeber, Zielranking

Bei regelmäßigen Evaluationen: Aktualisierung der Ziele

8

Was soll überhaupt geprüft werden? Die Ziele der Geldgeber

OrganisatorenGeldgeberLeistungs-empfänger

Vermittlung eines positiven, modernen Deutschlandbildes

• durch Besuche in Deutschland

• durch Berichte und Auftreten im Ausland

9

Was soll überhaupt geprüft werden?Zusätzliche Ziele der Organisatoren

OrganisatorenGeldgeberLeistungs-empfänger

Vermittlung konkreter Unterstützung/ Informationen Auslandserfahrung Berufserfahrung Sprachförderung

10

Was soll überhaupt geprüft werden? Zusätzliche Ziele der Leistungsempfänger

OrganisatorenGeldgeberLeistungs-empfänger

• Persönlichkeits- entwicklung

• Abenteuer

11

Der Wirksamkeitsnachweis - Ziele der Geldgeber und Operationalisierungsmöglichkeiten

Vermittlung eines positiven Deutschlandbildes

Beitrag des Aufenthaltes zur Veränderung des Deutschlandbildes bzw. des Gastlandbildes einschätzen

Kontakte zur einheimischen Bevölkerung während des Aufenthaltes und Aufrechterhaltung der Kontakte

Kontakte zu Angehörigen anderer Nationalitäten während des Aufenthaltes und danach

12

Ein Beispiel

Vorstellung von Deutschland

2003 weitgehend bestätigt 120 44,6%

revidiert 149 55,4%

2004 weitgehend bestätigt 40 39,6%

revidiert 61 60,4%

2005/2006 Umstellung auf Onlinebefragung:

Wenn revidiert Hat sich Ihr Deutschlandbild verbessert vs. verschlechtert?

In welchen Aspekten hat sich Ihr Deutschlandbild verändert? Was gefällt Ihnen besser, was weniger gut?

13

Der Wirksamkeitsnachweis - Ziele der Organisatoren und Operationalisierungsmöglichkeiten

Berufserfahrung, Auslandserfahrung, Sprachliche Entwicklung Berufsbiographien: wer ist der Arbeitgeber, Internationalität der

Aufgabe sowie des Arbeitgebers, Führungsebene, Einfluss des Aufenthaltes auf weitere Beschäftigung

Weiterbildung in Folge des Aufenthaltes, Nutzung der Auslandserfahrung durch den Arbeitgeber

Einschätzung der eigenen Sprachkenntnisse, Berichte über Nutzung der Sprachkenntnisse im Beruf

Vermittlung konkreter Unterstützung/Informationen Zufriedenheit mit Gesprächspartnern, Kontakten, Infomaterialien Einschätzung des Nutzens der Informationen für die eigene Arbeit

14

Ein Beispiel

0% 20% 40% 60% 80%

Kann ich nicht beurteilen, da ich seit dem USA-Praktikum demArbeitsmarkt nicht zur Verfügung stehe.

Meine Position am Arbeitsmarkt hat sich noch in anderer Formgeändert, und zwar:

Meine Position am Arbeitsmarkt hat sich durch den USA-Aufenthalt nicht verändert.

Spätere Arbeitgeber haben meine in den USA gesammelteninterkulturellen Erfahrungen wertgeschätzt.

Spätere Arbeitgeber haben meine in den USA gesammeltenfachlichen Erfahrungen wertgeschätzt.

Ich habe Kontakte geknüpft, die ich in den folgendenAnstellungen nutzen konnte.

Ich habe Kontakte geknüpft, die zu einer Anstellung geführthaben.

Ich habe mich beruflich umorientiert.

In Bewerbungsgesprächen wurde der USA-Aufenthalt seitensdes Stellenanbieters positiv bewertet.

Ich konnte meine Stellensuche auf den englischsprachigenRaum ausweiten.

Mir stand ein größeres Stellenangebot zur Verfügung, dessenAnforderungsprofil ich entsprach.

Programmjahrgänge vor 2004 Programmjahrgänge 2004 - 2005 Gesamt

Inwiefern hat Ihr Praktikum Ihre Position am Arbeitsmarkt verändert?

15

Ein Beispiel

War die berufliche Position, die Sie nach dem Aufenthalt eingenommen haben, im Vergleich zu vorher eine......

0% 20% 40%

Ich war vor demPraktikum nochnicht berufstätig.

eher höherePosition

eher gleichwertigePosition

eher niedrigerePosition

16

Ein Beispiel

Berufliche Verwertbarkeit der Ergebnisse der Reise

2003 Ja 269 97,1%

Nein 1 0,4%

Weiß noch nicht 7 2,5%

2004 Ja 100 95,2%

Nein 2 1,9%

Weiß noch nicht 3 2,9%

17

Der Wirksamkeitsnachweis - Ziele der Leistungs-empfänger und Operationalisierungsmöglichkeiten

Persönlichkeitsentwicklung, Abenteuer Selbsteinschätzungen in Bezug auf die Verbesserung bei

verschiedenen Eigenschaften, Kompetenzen, Soft Skills Berichte über Erfahrungen, die nur im Ausland gemacht werden

können, Selbstberichte über die besonderen Erfahrungen während des Aufenthaltes

Analyse offener Aussagen

18

Ein Beispiel

Durch den Aufenthalt haben sich die folgenden Kenntnisse/Fähigkeiten positiv entwickelt:

0% 20% 40% 60% 80% 100%

Präsentationskompetenz

Überzeugungsfähigkeit

Netzwerkkompetenz

Flexibilität in Entscheidungen

Konfliktfähigkeit

Teamfähigkeit

Risikobereitschaft

Organisationsfähigkeit

fachliche Kenntnisse

Improvisationsvermögen

englische Schriftsprache

fachspezifische Englischkenntnisse

Selbstbewusstsein

allgemeine Englischkenntnisse

trifft zu trifft eher zu

19

Ein Beispiel

„Dies gibt mir großes Selbstbewusstsein. Dass ich alles Organisatorische etc geschafft und eine neue Kultur erfahren und erschlossen habe (in allen Bereichen des Lebens inkl. Arbeit, Alltag, Freundschaften).“

„Ich versuche mich selbstständig zu machen und diesen Mut hatte ich vorher nicht.“

„Durch internationale Kontakte habe ich eigene Werte und Charakterzüge neu überprüft.“

„Internationale Entwicklungsprogramme (beruflich, privat) sind wohl eine der wichtigsten Investitionen in junge Menschen. Die Chancen sich weiterzuentwickeln (beruflich, menschlich) werden fast immer wahrgenommen. Für mich war diese Zeit die beste Zeit meines Lebens. Ohne dieses Programm wäre ich nicht dort, wo ich heute bin.“

20

Der Wirksamkeitsnachweis – eine neue Methode?

Entwicklung von Eigenschaften und Kompetenzen im Verlauf von Auslandsaufenthalten

Quasilängsschnittliches Design: Unterteilung des Auslandsaufenthaltes in drei Gruppen Befragung aller Gruppen zu zwei Zeitpunkten

Gruppe 1: vor der Entsendung und zu Beginn des Aufenthaltes Gruppe 2: während der Entsendung Gruppe 3: am Ende der Entsendung und nach der Rückkehr ins Heimatland

Erfassung der Entwicklungen innerhalb der Gruppen Identifikation der Einflüsse verschiedener Auswahl-,

Vorbereitungs- und Betreuungsmöglichkeiten auf die Ausprägung von Kompetenzen und Eigenschaften

21

Herzlichen Dank für Ihre Aufmerksamkeit!

Prof. Dr. Georg Rudinger

Zentrum für Evaluation und Methoden

Rheinische Friedrich-Wilhelms-Universität Bonn

Bonner Talweg 57

53113 Bonn

Tel: 0228 - 33 64 11 04

rudinger@uni-bonn.de

www.zem.uni-bonn.de