Wirkungsforschung-für-die-Beratung-in-Bildung,-

Beruf-und-Beschäftigung:-Dimensionen-und-

Anforderungen-an-deren-Erfassung-

-

Vortrag-im-Rahmen-des-ELGPNBSeminars:-„Wirkungen,-Nutzen-und-

Evidenzbasierung-lebensbegleitender-Beratung“-(BMBF,-n")-

-

02.07.2015-

Prof.&Dr.&Christiane&Schiersmann&

Dr.&Peter&Weber&

Gliederung&

1.  Abgrenzung&Wirkungsforschung/Evaluation/Evidenzbasierung&

2.  Wirkungsdimensionen&der&Beratung&3.  Methodische&Herausforderungen&4.  Fazit:&Konsequenzen&für&die&Wirkungsforschung&

&Literatur&

2&

Abgrenzung&Evaluation/Wirkungsforschung&

3&

Wirkungsforschung&Evaluation& Methoden&der&empirischen&Sozialforschung&Legitimation&

Dialog&

Handlungsbezogene&Erkenntnis&

Kontrolle/&Steuerung&

Wissenschaftliche&Erkenntnis/Reflexion&

Entwicklung&

Theorieentwicklung&

Validierung&von&Theorien&

Einbettung&in&wissenschaftlichen&

Kontext&

Evidenzbasierung&Orientierung&für&politische&Entscheidung&

Orientierung&für&Praxis&

2.&Wirkungsdimensionen&von&Beratung&

4&

Input& Prozess& Output& Outcome&

Längerfristige&Auswirkung&

Unmittelbare&Auswirkung&

Ursprung&der&Wirkung&

Voraussetzung&für&den&Prozess&

Kontext&

2.&Wirkungsdimensionen&von&Beratung&

5&

Input& Prozess& Output& Outcome&

Längerfristige&Auswirkung&

Unmittelbare&Auswirkung&

Ursprung&der&Wirkung&

Voraussetzung&für&den&Prozess&

Kontext&

2.&Wirkungsdimensionen&von&Beratung&

6&

Input& Prozess& Output& Outcome&

Längerfristige&Auswirkung&

Unmittelbare&Auswirkung&

Ursprung&der&Wirkung&

Voraussetzung-für-

den-Prozess-

Kontext&

7&

�  Setting,&Beratungsangebot&•  Geeignete&Räumlichkeiten&(Größe,&Helligkeit)&•  Ungestörte&Umgebung&&•  Face&to&face,&telefonisch,&onlinegestützt&&•  Anzahl&der&TN&

�  Eingesetzte&Materialien,&Methoden&und&Instrumente&�  Zeitliche&Faktoren&(Anzahl&und&Länge&der&

Beratungsstunden)&�  Komplexität/&Art&der&Problemlage&des&RS&

(Beratungsanlass)&�  Ausgangssituation&des&RS&(Herkunft,&Geschlecht&etc.)&�  Qualifikation&des&Beraters&

2.&Wirkungsdimension:&Input&

2.&Wirkungsdimensionen&von&Beratung&

8&

Input& Prozess& Output& Outcome&

Längerfristige&Auswirkung&

Unmittelbare&Auswirkung&

Ursprung-der-

Wirkung-

Voraussetzung&für&den&Prozess&

Kontext&

9&

2.&Wirkungsdimension:&Prozess&

f Wertschätzung&und&emotionale&Unterstützung&des&Ratsuchenden&durch&den&Berater&

f Affektaktivierung&und&–kalibrierung&f  Förderung&von&Problemanalysen&f  Förderung&ergebnisorientierter&Selbstreflexionen&f  Zielklärung&f Ressourcenaktivierung&f  Förderung&der&Umsetzungsunterstützung&

Quelle:&Greif&2015&&

2.&Wirkungsdimensionen&von&Beratung&

10&

Input& Prozess& Output& Outcome&

Längerfristige&Auswirkung&

Unmittelbare-

Auswirkung-

Ursprung&der&Wirkung&

Voraussetzung&für&den&Prozess&

Kontext&

11&

2.&Wirkungsdimension:&Output&

�  Zufriedenheit&der&RS&(mit&Prozess&o.&Ergebnis)-�  Informationen/Wissen&wurden&erworben&�  Fähigkeiten/Kompetenzen&wurden&erworben/

weiterentwickelt&•  Problemlösen&•  Entscheiden&•  Bewerben&•  Emotionen&regulieren&•  Einstellungen&reflektieren&&•  Ziele&setzen&und&Zielerreichungsstrategien&nutzen&•  Eigene&Ressourcen,&Potenziale,&Stärken&erkennen&

2.&Wirkungsdimensionen&von&Beratung&

12&

Input& Prozess& Output& Outcome&

Längerfristige-

Auswirkung-

Unmittelbare&Auswirkung&

Ursprung&der&Wirkung&

Voraussetzung&für&den&Prozess&

Kontext&

13&

2.&Wirkungsdimension:&Outcome&

Individuelle-Ebene-

� !!Intrapersonelle&Faktoren&•  Selbstwirksamkeit&•  Selbstwertgefühl&&•  Berufsbiographische&Gestaltungskompetenz&

� &&Bildung&•  Bildungsmaßnahme&belegt&•  (Zusatzf)Qualifikation&abgeschlossen&

� &&Beschäftigungssituation&•  Stelle&gefunden,&neue&Beschäftigung&erhalten&•  Berufswechsel&eingeleitet&•  Start&einer&Selbständigkeit&vollzogen&•  Bessere&Bezahlung/Beförderung&erreicht&

�  Langfristige&Zufriedenheit&mit&der&Beratung&

14&

2.&Wirkungsdimension:&Outcome&

Organisationale-Ebene-

� Kosteneinsparung&durch&effektivere&Stellenvermittlung&&� Betriebe:&Kosteneinsparung&durch&geringere&AusbildungsfAbbruchquote&und&angemessene&Weiterbildungsquote&

15&

2.&Wirkungsdimension:&Outcome&

Gesellschaftliche-Ebene-

� Steigende&Erwerbsquote&&� Höhere&Schulf/Studienabschlussquote&&� Passenderer&Übergang&in&Beschäftigung&� Zunahme&der&Anerkennung&von&Bildungsabschlüssen&(z.B.&Migranten)&� Erhöhter&Zugang&zu&Bildung/Arbeitsmarkt&für&spez.&Zielgruppen&� Ausschöpfung&des&Stellenmarkts&� Bessere&Ausschöpfung&des&Fachkräftepotenzials&� Höhere&Steuereinnahmen&(Lohnsteuer)&&� Geringere&Sozialausgaben&� Stärkung&Innovationskraft/unternehmerisches&Denkens&

&3.&Methodische&Herausforderungen&

Methodische&Ansätze&und&Herausforderungen&zu&den&Ebenen:&&•  Output&f&mehr&als&die&Erfassung&von&Zufriedenheit?&•  Outcome&f&Skalengestützte&Studien&zur&Erfassung&

intraindividueller&Effekte&und&(relativ&wenige)&Einzelstudien&zu&Wirkungen&auf&organisationaler&und&gesellschaftlicher&Ebene&

•  Was&beeinflusst&Wirkung?&–&&Kaum&Berücksichtigung&von&Input&und&Prozess&in&der&Outcomeforschung&

•  Wirkungsforschung&als&Prozessforschung&–&Ansätze&zur&Identifikation&spezifischer&Wirkfaktoren&in&der&Beratung&&

•  Evidenzbasierung&–&Die&„kritische&Masse“&noch&nicht&erreicht?!&

16&

3.&Methodische&Herausforderungen&

f  Hohe&Komplexität&und&viele&beeinflussende&Faktoren&f  Zuschreibung&von&Effekten&auf&klar&eingrenzbare&Interventionen&f  Nutzung&vorhandener&Daten&und&Vergleichbarkeit&von&Ergebnissen&&&&&&&&&

17&

Beratung& Wirkung&

Fazit:&Konsequenzen&für&die&Wirkungsforschung&

&�  Quantitative&Studien&über&mehrere&Messzeitpunkte&und&unter&

Einbezug&von&Input&und&Prozessfaktoren&�  Kombination&verschiedener&Wirkungsebenen&und&angemessener&

Erfassungsinstrumente&�  Entwicklung&vergleichbarer&Forschungsdesigns&auf&Basis&von&

definierten&Indikatoren&&�  Erfassung&von&Prozessdynamiken&(Wirkung&im&Prozess,&

Prozessverläufe)&mit&angemessenen&Erhebungsinstrumente&(quantitative&und&qualitative)&&

�  Qualitative&Forschung&zur&Exploration&des&„wie“&in&der&Beratung&&�  Triangulation&von&Ergebnisse&(quantitative&und&qualitative)&&�  Evidenzstudien&mit&noch&klarerer&Definition&der&methodischen&

Anforderungen&und&Alternativen&

&&&&&&&

18&

Literatur&

•  Bimrose,&J.,&Barnes,&S.&–A./Hughes,&D.&(2008).&'Adult&career&progression&and&advancement:&a&five&year&study&of&the&effectiveness&of&guidance‘.&London:&Warwick&institute&for&employment&research,&DfES,&[Report&to&Government].&

•  Danish&Clearinghouse&for&Educational&Research&(Hrsg.)&(2011).&Systematic&research&review&on&guidance&and&career&planning&for&young&people&and&adults&(Draft&Version&of&Synthesis,&not&published).&http://www.dpu.dk/en/aboutdpu/danishclearinghouseforeducationalresearch/&&

•  Department&for&Education&and&Skills/Institute&for&Employment&Studies&(2005):&Intermediate&Impacts&of&Information,&Advice&and&Guidance.&Research&Report&RR638.&

•  EGSA/Regional&Forecasts&Nord&Irland&(2008):&Examining&the&Impact&and&Value&of&EGSA&to&the&NI&Economy.&

•  Graf,&E.fM.&(2015).&Linguistische&Evaluation&eines&CoachingfProzesses&–&Die&KofKonstruktion&der&Veränderung&durch&Coach&und&Klientin.&In&Geißler,&H./&Wegener,&R.&(Hrsg.)&(2015):&Bewertung&von&Coachingprozessen.&Wiesbaden:&Springer,&S.&211f230.&

•  Greif,&S.&(2015):&Allgemeine&Wirkfaktoren&im&Coachingprozess.&Verhaltensbeobachtungen&mit&einem&Ratingverfahren.&In:&Geißler,&H./&Wegener,&R.&(Hrsg.):&Bewertung&von&Coachingprozessen.&Wiesbaden:&Springer,&S.&51f80.&

•  Haug&E.&H./Plant,&P.&(2015)&,&Researchfbased&knowledge:&researchers’&contribution&to&evidencefbased&practice&and&policy&making&in&career&guidance.&International&Journal&for&Educational&and&Vocational&Guidance,&DOI&10.1007/s10775f015f9294f6,&S.&&

•  Hooley,&T./Marriott,&J./Sampson,&J.P.&(2011):&Fostering&College&and&Career&Readiness:&How&career&development&activities&in&schools&impact&on&graduation&rates&and&students’&life&success.&Derby:&International&Centre&for&Guidance&Studies,&University&of&Derby.&

19&

Literatur&

•  Hughes,&D.&u.a.&(2009)&(Hrsg.).&Evidence&and&Impact:&Careers&and&GuidancefRelated&Intervention.&Reading:&CfBT&Education&Trust.&http://www.eep.ac.uk/DNN2/Portals/0/IAG/interactiveDocument_v20_web.swf&

•  Kiss,&I.&u.a.&(2009):&Possible&Indicators&for&analysing&Efficiency&of&career&Counselling&in&Hungary.&•  Kuper,&H.&(2008):&Wissen&–&Evaluation&–&Evaluationswissen.&In:&Brüsemeister,&T./Eubel,&K.D.&(Hrsg.):&

Evaluation,&Wissen&und&Nichtwissen.&Wiesbaden:&VS&Verlag,&S.&61f73.&•  Perdrix,&S./Stauffer,&S./Masdonati,&J./Massoudi,&K./Rossier,&J.&(2011).&Effectiveness&of&career&counseling:&

A&onefyear&followfup.&In:&Journal&of&Vocational&Behavior&80&(2012)&565–578.&•  Schiersmann,&C./&Weber,&C.&(2013):&Beratung&in&Bildung,&Beruf&und&Beschäftigung.&Eckpunkte&und&

Erprobung&eines&integrierten&Qualitätskonzepts.&Bielefeld:&Bertelsmann.&&•  Stockmann,&R.&(2006):&Qualitätsmanagement&und&Evaluation.&In:&Böttcher,&W./Holtappels,&H.G./Brohm,&

M.&(Hrsg.):&Evaluation&in&Bildungswesen.&Eine&Einführung&in&Grundlagen&Praxisbeispiele.&Weinheim&und&München:&Juventa&Verlag,&S.&23f38.&

•  Stufflebeam,&D.L.&(2001):&Evaluation&Models.&New&Directions&for&Evaluation,&89.&San&Francisco,&CA:&JosseyfBass.&&

•  Smith,&D./EPPIfCentre&(Hrsg.)&(2005).&A&systematic&literature&review&of&research&(1988f2004).&EPPIfCentre,&Social&Science&Research&Unit.&http://eppi.ioe.ac.uk/cms/Default.aspx?tabid=346&

&

20&