Herzlich Willkommen zur Jahrestagung des Arbeitskreises ... · Beispiel ISPA: „Erfahrung des...

www.bibb.de

Herzlich Willkommen zur

Jahrestagung des Arbeitskreises Berufliche Bildung

Programmevaluation in der beruflichen Weiterbildung

Dr. Franziska Pfitzner-Eden (PHINEO), Dr. Claudia Zaviska (BIBB)

10.05.2019, Bonn

Ablaufab 09:00 Uhr

09:30 Uhr

10:00 Uhr

11:15 Uhr

11:30 Uhr

12:15 Uhr

12:30 Uhr

13:30 Uhr

14:45 Uhr

15:00 Uhr

15:30 Uhr

Ankommen

Begrüßung und thematische Einführung

Berufsorientierungsprogramm

Referent*in: Carolin Kunert (BIBB), Dr. Jörn Sommer (InterVal)

Cafépause

Konzeption eines Evaluationsauftrags am Beispiel einer Ausbilderfortbildung

Referentin: Dr. Monika Bethscheider (BIBB)

Zusammenfassende Diskussion im Plenum

Mittagspause (auf Selbstkostenbasis)

Diskurswerkstatt: Entwicklung von Handreichungen für Ausschreibungen im Dialog mit

Auftraggebenden und Evaluierenden

Cafépause

Zusammenführung der Ergebnisse und Ausblick

Ende der Veranstaltung

Intentionen

Ergebnisse der AK-Treffens im Rahmen der DeGEval-Jahrestagung 2018

Austausch und Vernetzung (ggf. über Online-Plattform)

Produkte zur Qualitätssicherung innerhalb des AK (Übersicht zielführender Methoden je nach Fragestellung, Orientierung für Auftraggebende etc.)

Perspektivisch: verbindliche Arbeitsgruppe

Vielfalt und fehlende Transparenz von Programmevaluationen

Systematische Erfassung laufende und abgeschlossener Evaluationsprojekte fehlt

Methodenvielfalt und thematische Bandbreite

Evaluationsauftragsvergabe als „Weichenstellung“ für die Güte von Programmevaluationen

Einheitliche (inhaltliche) Kriterien für Vergabeverfahren?

Konstellationen: interne vs. externe Evaluation, Mischformen?

Professionalisierung: Methoden- vs. Fachkompetenz?

Evaluationen in der Berufsbildung – Bsp. aus dem BIBB

Zur Funktionslogik von Programmen in der Berufsbildung: Artikel von Karin Büchter: Programmförderung als Politische Strategie. BWP 5/18.

Blackbox Programmevaluation?!

Evaluationsbereiche in der Berufsbildung

• Programmevaluation (nat./internat. F&E-Programme, Umsetzungsprogramme, Modellversuche etc.)

• Evaluation von Einzelmaßnahmen(Vorbereitungs-, Aus- und Weiterbildungsmaßnahmen, Lehr-/Lernarrangements)

• Institutionelle Evaluation von (Weiter-)Bildungseinrichtungen/ Selbstevaluation

• Analyse von Transferpotenzialen und Akzeptanzanalysen

Evaluationsansätze

• Ex-Ante Evaluation (Erhebung der Ausgangssituation, Zielfestlegung, Folgenabschätzung)

• Ex-Post Evaluation (Ziel-Ergebnis-Abgleich, Wirkungen, Empfehlungen)

• Formative Evaluation (begleitende, reflexive und steuernde Funktion)

• Summative Evaluation (systematisierende, bewertende Funktion/Entscheidungsgrundlage)

• Meta-Evaluation/-analyse

• Mischformen (z.B. Kombination Ex-Ante-Eval., formativer Begleitung und Ex-Post-Eval.)

Met

ho

den

der

em

pir

isch

en S

ozi

alfo

rsch

un

g

Erfassungsproblem: Abgrenzung zu F&E-Projekten und Monitoring?

Leitfragen

Wie kann der Dialog zwischen Auftraggebenden und Evaluierenden gelingen?

Welche „typischen“ Rollen und Aufgaben gibt es?

Welche (Doppel-)Rolle nimmt die Projektleitung (z.B. BIBB oder andere nachgeordnete Behörden als Auftraggeber und Auftragnehmer der BMBF) ein?

Wo ist die Projektleitung verortet (beim Auftraggeber oder bei den Evaluierenden)?

Welche Rechte, Pflichten und Einflussmöglichkeiten haben Evaluierende (gegenüber Auftraggebenden)?

Was sind „sinnvolle“ (i.S. der DeGEval-Kriterien) inhaltliche Vergabekriterien?

Wie ist das Verhältnis von Fachkompetenz und Methodenkompetenz für „zielführende“ gelingenden Programmevaluationen?

(Wie) werden die Ziele und das Vorgehen der Programmevaluation ausgehandelt?

Wie werden die Ergebnisse veröffentlicht bzw. in die relevanten Praxiskontexte transferiert? Gibt es eine Veröffentlichungspflicht?

Evaluation des BerufsorientierungsprogrammsEntstehung, Umsetzung und Schlussfolgerungen

Carolin Kunert, BIBB und Dr. Jörn Sommer, INTERVAL

GmbH

10.05.2019 in Bonn

Agenda

• Eckdaten des Berufsorientierungsprogramms und der Forschungsaufträge

• Entstehung der Evaluation• Beteiligung verschiedener Akteure

• Ziele und Inhalte

• Vergabeverfahren, Leistungsbeschreibung und Auswahlprozess

• Umsetzung des Auftrags• Projektmanagement

• Aufgaben, Rollenverteilung und Interaktion

• Umgang mit abweichenden inhaltlichen Vorstellungen

• Formative Anteile

• Im Nachhinein: Berichterstattung, Schlussfolgerungen und neue Fragen• Ergebnisvielfalt und Berichterstattung

• Schlussfolgerungen und Konsequenzen

Carolin Kunert, BIBB 4.1/BOPJörn Sommer, INTERVAL GmbH

Eckdaten des Berufsorientierungsprogramms und der Forschungsaufträge


Basisinformationen zum Berufsorientierungsprogramm (BOP)

• Start 2008

• Verstetigung des BOP in 2010

2-3 Tage Potenzialanalyse ab Klasse 7-8

80 Stunden/2 Wochen Werkstatttage in Klasse 8

• Zielgruppe: Schülerinnen und Schüler allgemeinbildender Schulen

• Gefördert vom Bundesministerium für Bildung und Forschung

• Administrative und fachliche Umsetzung im BIBB

• Durchführung in überbetrieblichen und vergleichbaren Berufsbildungsstätten

• In Kooperation mit allgemeinbildenden Schulen


Forschungsdesign zum Berufsorientierungsprogramm (BOP)


W3

4. Nachbeauftragung einesquantitativen Panelsn=2294-1408, Kontrollgruppendesign

3. Jährlich standardisierte Befragungen der Berufsbildungsstätten und Prozessdatenanalysen – teils auch Befragung Schulen

W2W1 W4Abg Kl9

1. Qualitatives Panel SuS: Start vor der Potenzialanalyse bis nach Schulabgang (n=232-174)

W3W2W1

LKabg

LKKl9

SuSAbg

SuSW2SuSW1SuSW3

2013 2014 2015 2016

W4Abg Kl10

Eltern

2. Komplementäre Beobachtungen der Interventionen und Interviews mit Beteiligten

KG:IG:

5. Nachbeauftragung einerquantitativen einmaligen Befragung in Abgangsklassenn=2170, Kontrollgruppendesign

6. Komplementäre Befragungen Schulen

Umsetzung Experiment zu Potenzialanalysen und Reflexionsgesprächen

Gymnasien Schule 1 Intervention Variante 1 FK 1

FK 2

FK 3

FK ...

FK 14

FK 15

FK 16

Schulform Schulen Interventionin Varianten

Umsetzung durch Fachkräfte eines Trägers

Hauptschule /

Mittelschule

Schule 2

Schule 3

Schule 4

Schule 5

Schule 6

Intervention Variante 2



Kontrollgruppe

Zufallsverteilungder SuS auf Gruppen

Rotation


Entstehung der Evaluation


Von der Idee zur Auftragsvergabe - Zeitstrahl

Erste interne Überlegungen

im BIBB

10/2011

12/2012

Auftragsvergabe

03/2012

Start Gespräche mit

BMBF und BBFI

09/2012

Veröffentlichung Leistungs-

beschreibung

17.10.12

Ende Angebotsfrist


Beteiligte Akteure bei der Auftragsentwicklung und -vergabe

Federführung:

Programmstelle

Berufsorien-tierung BIBB

BMBF Referat

314

BIBB: BBFI Team;

Vergabestelle

• Geldgeber• Vorgabe (politisches)

Erkenntnisinteresse und Ziele

• Letzte Entscheidungsinstanz• ⚡ Herausforderung:

Vorgaben zum Evaluationsdesign

• BBFI: Inhaltliche Beratung der Programmstelle und des BMBF

• Vergabestelle: Beratung zu Vergabefragen

• Rückmeldung zur Leistungsbeschreibung

• Anstoßen der Aktivitäten• Beteiligte zusammenbringen• Inhaltliche Einarbeitung und

konzeptionelle Vorarbeiten • Kostenkalkulation• Koordination Abstimmung• Leistungsbeschreibung• Kommunikation/Vermerke

rund um die Vergabe • Antragsbewertung und

Aufbereitung• ⚡ Herausforderung:

Vorgespräche mit möglichen Bietern sind kritisch


Ziele der Evaluation

1. Förderung der Berufswahlkompetenz der Schülerinnen und Schüler

2. Auswirkungen auf Lernmotivation und Lernverhalten der Schülerinnen und Schüler

3. Auswirkungen auf Praktikumswahl und Verbleib nach Schulende

4. Unterstützung schulischer Berufsorientierungskonzepte und regionaler Gesamtkonzepte zur Berufsorientierung

Überprüfung der Zielerreichung des BOP

Ableitung von Handlungsempfehlungen (formativ und summativ)


Identifikation und Überprüfung von Einflussfaktoren zur erfolgreichen Umsetzung des BOP

Entscheidung für Vergabeverfahren

Offenes Verfahren (Bei BOP-Evaluation europaweite Ausschreibung)

• Vorrangig zu wählendes Vergabeverfahren

• Die Leistung ist eindeutig und erschöpfend zu beschreiben, so dass miteinander vergleichbare Angebote zu erwarten sind (Leistungsbeschreibung).

• Angebotsfrist hier: 40 Tage

• Informationsfragen sind zulässig, keine Verhandlungen

• Nach Entscheidung erfolgen zunächst Absagen, die Zuschlagserteilung erst nach einer Frist von 10 Arbeitstagen

• Folgeaufträge sind unter Beachtung rechtlicher Vorgaben möglich

• ⚡ Herausforderung: eindeutige Beschreibung der Leistung, wenn die Expertise dazu eigentlich beim Auftragnehmer „eingekauft“ werden soll.


Eignungskriterien…

…sind AusschlusskriterienBOP Evaluation 2012: Fachkompetenz, Leistungsfähigkeit und ZuverlässigkeitInterventionsstudie 2018: Berufliche Leistungsfähigkeit und wirtschaftliche Leistungsfähigkeit

Beispiel BOP EVA:„Sozialwissenschaftliche Fach- und Methodenkompetenz, belegt durch Erfahrung des eingeplanten Personals mit qualitativen und quantitativen Evaluationsmethoden.“ „Sachkompetenz zum Thema Berufsorientierung und Berufsbildung, belegt durch Angaben über Erfahrungen und Projekte im spezifischen Themenfeld“

(Referenzen sind beizufügen)

Beispiel ISPA:„Erfahrung des Bieters mit vergleichbaren Interventionsstudien, Forschungsprojekten oder Evaluationsvorhaben, nachzuweisen durch mindestens drei Referenzen aus den letzten drei Jahren.“„Sachkompetenz im Themenfeld Berufsorientierung und Berufswahl, belegt durch Angabe von mindestens fünf Projekten im spezifischen Themenfeld aus den letzten drei Jahren.“


Hier sind die Anforderungen eindeutiger und transparenter definiert

Wertungskriterien (BOP-Evaluation 2012)

Kriterium Gewichtung Bewertungskriterien

Gesamtpreis 30% Der niedrigste Preis wird mit 10 Punkten bewertet. Für alle weiteren Bieter ermittelt sich die Punktzahl aus dem prozentualen Anteil zum Bestbieter. Beispielsweise wird der übersteigende Prozentanteil von 10% von den 100% in Abzug gebracht. Der Punktwert wird nach kaufmännischen Regeln auf ganze Zahlen gerundet.

Fachliche Qualität des Angebotes 45%

8-10 Punkte 4-7 Punkte 0-3 PunkteInhaltliche Schlüssigkeit des Gesamtkonzeptes im Hinblick auf die Ziele der Evaluation

20% Entspricht voll den Anforderungen in der Leistungsbe-schreibung

Entspricht den Anforderungen in der Leistungsbe-schreibung

Entspricht nur zum Teil bis gar nicht den Anforderungen der Leistungsbe-schreibung

8-10 Punkte 4-7 Punkte 0-3 Punkte

Darstellung des methodischen Vorgehens in Bezug auf Erhebungs- undAuswertungsmethoden sowie zur Entwicklung der zielgruppenspezifischen Instrumentarien

25% Entspricht voll den Anforderungen in der Leistungsbe-schreibung

Entspricht den Anforderungen in der Leistungsbe-schreibung

Entspricht nur zum Teil bis gar nicht den Anforderungen der Leistungsbe-schreibung


Plausibilität der Arbeits- und Zeitplanung 10% Arbeits- und Zeitplanung ist transparent und plausibel

Arbeits- und Zeitplanung ist weitgehend transparent und plausibel

Arbeits- und Zeitplanung ist nicht oder nur in Ansätzen transparent und plausibel


Art und Umfang der Erfahrungen des eingeplanten Personals

15 % Langjährige ausgewiesene Kenntnisse und Erfahrung in Evaluationsmethoden, Befragung von Schüler/-innen oder Jugendlichen sowie in der Berufsorientierung (> 5 Jahre)

Ausgewiesene Kenntnisse und Erfahrung in Evaluationsmethoden, Befragung von Schüler/-innen oder Jugendlichen sowie in der Berufsorientierung (3-5 Jahre)

Kenntnisse und Erfahrung in Evaluationsmethoden, Befragung von Schüler/-innen oder Jugendlichen sowie in der Berufsorientierung (< 3 Jahre)


Transparenz bei der Angebotsbewertung

Durch eine Verfeinerung der Kriterien wird die Angebotsbewertung erleichtert:

Ausgewiesene Kenntnisse und Erfahrung in Evaluationsmethoden, Befragung von Schüler/-innen oder Jugendlichen sowie in der Berufsorientierung (3-5 Jahre)

4-7 Punkte

Es wurden mindestens

6 Projekte in den

letzten 5 Jahren

durchgeführt

5 Punkte

Umfang der Erfahrungen des eingesetzten Personals Konzept (ISPA)

10 Punkte: Sehr gutes KonzeptDas Erhebungs- und Auswertungskonzept entspricht in besonderem Maße den Anforderungen der Ausschreibung. Es beinhaltet sehr gute Vorschläge zur Operationalisierung der Forschungsfragen.

8 Punkte: Gutes KonzeptDas Erhebungs- und Auswertungskonzept entspricht den Anforderungen der Ausschreibung. Es beinhaltet gute Vorschläge zur Operationalisierung der Forschungsfragen.…

Konzeptbewertung bleibt subjektiv, muss aber in der Dokumentation plausibel begründet werden

BOP-EVA 2012 ISPA 2018


Umsetzung des Auftrags


Zentrale Herausforderungen

• Erhebungsinstrumente

• Befragungsgenehmigungen

• Akquise von Schulen

• Befragungsmanagement /

Panelpflege

• Komplexe Auswertungen /

Dokumentation

• Schlussfolgerungen

Projektmanagement

Angebot

Umsetzung

AbstimmungKonkretisierung

von nicht genau

Spezifiziertem

Zusätzliche Leistungen

teils unter Verzicht anderer

Anpassung

der angebotenen

Umsetzung an

Unvorhergesehenes

Beispiel:Verteilung von

Themen auf jährliche Befragung

der BB-Stätten/ÜBS


Partner und Steuerung

INTERVAL

• Evaluation• Management

Leibniz Univ. Hannover

• Messen vonBerufswahlkompetenz

qualiNETZ

• Ansätze guter Praxis

Verständnis als Team,Interesse am Gegenstandund am Ergebnis

Beispiel klare Steuerung

• Akquise von Schulen

Beispiel Grenzen Steuerung

• ErhebungsinstrumenteWie sind Skalen zu wählen?Abgrenzung qualitativer und quantitativer Instrumente?

Definierbarkeit der Leistungbegrenzt Möglichkeit über Verträge zu steuern


Verlauf bei abweichenden Vorstellungen

Erhebungsinstrumente

• Abweichende Qualitätskriterienstatistische Gütekriterien und Etabliertheit

vs. Experteneinschätzung zur Validität

• Eskalation bis zur Drohung der Uni

aus Projekt auszusteigen

• Entscheidung BMBF: im Zweifelsfall

definiert beauftragte Uni Qualität

• Ob Entscheidung für Projekt inhaltlich

gut war, nicht empirisch zu prüfen

Berichtswesen

• Erste Fassungen verschiedener

Sach- und Zwischenberichte nicht

immer in gewünschter Qualitätz.B. fragmentiert, langatmig, wissenschaftlich-

unverständlich, teils unzureichende Belege

• Wiederholte Hinweise des BIBB/BMBF

zum Überarbeitungsbedarf

• Missverständnisse/Sorgen der Uni

konnten moderiert werden

• Im Ergebnis vorzeigbare Berichte


Interaktion Team-Auftraggeber

1. Vorgaben Leistungsbeschreibung / Abstimmung von möglichen Abweichungen

2. Inhaltliche Abstimmung über sinnvolle zusätzliche Leistungen / Nachbeauftragung

3. Inhaltlicher Austausch auf Augenhöhe (je nach Akteur) bei Entwicklung Fragebögen

4. Hinzuziehung externer Expertise für Suche nach Konfliktlösungen

5. Anmahnen von Qualitätsmerkmalen (vor allem Leserfreundlichkeit der Berichte)

6. Reflexion von Schlussfolgerungen im fachlich (nicht politisch) geleiteten Diskurs


Formative Anteile

Formate der Evaluation

• Zwischenberichte /Sachberichte

• Workshop

• Beiträge Fachtagungen

• Abschlussbericht mitausgearbeitetenEmpfehlungen

Angeboten / nicht nachgefragt

• Produkte für Außenauftritt / Handreichungen guter Praxis

FrühzeitigepraxisrelevanteErgebnisse

• Gendergeringerer Nutzen für w,Berufswahlspektrum

• ReflexionBedarf begleitender / päd. Einbettung

• Transparenz

BIBB• Auswahl Themen für

Fachtagung• Expertenveranstaltung• Artikel in BWP• Anpassung Richtlinien

Berufsbildungsstätten• Wissen über gute Praxis• Ggf. vermehrt

Umsetzung guter Praxis


Im Nachhinein: Berichterstattung, Schlussfolgerungen und neue Fragen


Etc.

Methodenmix

Quant. Querschnitts-Befragung Abgangsklassen

quantitatives Panel

qualitatives Panel

• Qualitatives Panel bereits „quantitativ“ umfangreich

• Dadurch Abgrenzung zum nachbeauftragten quantitativen Panel nicht ideal (weniger aber längere Interviews hätten größeren Mehrwert zu den stand. Erhebungen gehabt)

• Verschiedene Module liefern nicht immer gleiche Ergebnisse

• Triangulation notwendig• Reduzierte Transparenz bei der

Ableitung von Schlussfolgerungen • Insgesamt aber Qualitätssteigerung


Berichterstattung – 3 Säulen

Artikel:

- BWP

- AGBFN

- Datenreport

- Artikel des

Evaluationsteams

- …


Kernergebnisse

→ Komplexe Einflussfaktoren auf Berufswahlkompetenz, BOP ist einer davon, der Nachweis nicht immer eindeutig

→ SuS, insbesondere Jungen mit Perspektive Ausbildung, profitieren deutlich vom BOP

→ Teilnahme allein genügt nicht: Wirkungen hängen davon ab, wie SuS das BOP individuell annehmen

→ Hohe Relevanz von Gesprächen zum Thema (über alle Akteure hinweg): vorbereitend, nachbereitend, begleitend

→ Individuell passender Schwierigkeitsgrad der Aufgabenstellungen und Aufgabenvielfalt wirkt sich positiv aus


XXX

Beispiel: Handlungsempfehlungen zu den Potenzialanalysen

Folie 31

1. Die Selbstbewertung und Selbstreflexion sollte gestärkt werden.

Selbsteinschätzungen im Spiegel von Fremdbewertungen sowie die eigenen Schlüsse der Schülerinnen und Schüler sollten im Mittelpunkt der Reflexionsgespräche stehen.

Selbst erarbeitetes Ergebnis

2. In Potenzialanalysen Transparenz zu Zielen und Bezüge zu Berufswahlfragen für Schülerinnen und Schüler erkennbarer herausarbeiten

Anleitung• Einführung um welche

Kompetenzen es in den einzelnen Übungen geht

• und welche Bedeutung sie für die Berufe haben

Vorbereitung • them. Hinführung wichtig• Inhalt: berufliche Ziele,

eigene Stärken, Bedeutung der Kompetenzen, Berufe und Berufsfelder

Aufgaben• Schlüsselkompetenzen

sind Gegenstand,sollten aber auch an beruflichen Handlungs-situationen beobachtet werden.

Erkunden beruflicher Interessen/Neigungen• Z.B. Interviews oder

Collagen mit biografischen Elementen

Formatives Aufgreifen der Themen Transparenz und „Beruflichkeit“


Beispiele: Konsequenzen aus Handlungsempfehlungen

Reflexionsprozesse

Seminar Feedback/ Reflexion

Videotagebuch Werkstatttage

Forschungs-projekt

ISPA

Reflexions-konzept

Werkstatttage

Ggfls. Neuausrichtung Potenzialanalys

e

Individualisierung und Angebotserweiterung

Workshop Binnendifferenzierung

der Aufgaben

Fokuserweiterung um Schule/Studium

im Anschluss

Alle Schulformen

Richtlinien-änderungen

Modellprojekte Gymnasien


Ggfls. Überführung in

Richtlinie

Indiv. Gespräch nach Werkstatttage

Abschließende Diskussionspunkte

• Entscheidung für Vergabeverfahren (sinnvolle Alternative: Verhandlungsverfahren)

• Projektleitung beim AG oder AN <–> Vor- und Nachteile

• Fachkompetenz des AG

• Politische Dimension von Evaluationsaufträgen und –ergebnissen

• Projektmanagement: Wunsch und Realität

• Abwägung der Anforderungen an den AN: Themenkompetenz –

Methodenkompetenz – Erfahrung mit Politik


Vielen Dank für Ihre Aufmerksamkeit


www.bibb.de

Erste Erprobung eines Qualifizierungsangebots für ausbildendes Personal

- Konzeption und Vergabe eines Evaluationsauftrags -

Jahrestagung des Arbeitskreises Berufliche Bildung der DeGEval:

„Programmevaluation in der beruflichen (Weiter-)Bildung“, Bonn, 10. Mai 2019

Dr. Monika Bethscheider, Fachstelle überaus im BIBB

www.bibb.de

Erste Erprobung eines Qualifizierungsangebots für ausbildendes Personal –Konzeption und Vergabe eines Evaluationsauftrags

1. Das Qualifizierungsangebot Entstehung, Ziel und Inhalte der Fortbildungsmodule

2. Leistungsbeschreibung zur EvaluationAnforderungen an den Auftragnehmer

3. Ausschreibung

Bewertungskriterien, Auftragsvergabe

4. Zusammenarbeit

Zuständigkeiten, Abstimmungsprozesse

www.bibb.de

1. Das Qualifizierungsangebot: Entstehung, Ziel und Inhalte der zu erprobenden Fortbildungsmodule

• Berufliche Qualifizierung junger Flüchtlinge – Vorbereitung des Ausbildungspersonals

• Von niedrigschwelligen Videoclips zu vertiefenden Fortbildungsmodulen

• Ziel des Angebots, Inhalt der vier Module

• Blended Learning

• Erprobung an zwei Standorten

• Überarbeitung nach prozessbegleitender Evaluation

Erste Erprobung eines Qualifizierungsangebots für ausbildendes Personal – Konzeption und Vergabe eines Evaluationsauftrags

www.bibb.de

2. Leistungsbeschreibung: Anforderungen an den Auftragnehmer

• Kontextwissen (Feldkenntnisse)

• Zielformulierung unter Anerkennung der Grenzen eines kleinen Projekts

- begrenzter Zeitrahmen, kleines Sample

• Methodisches Ausschöpfen der speziellen Möglichkeiten eines kleinen Projekts

- differenzierter Einblick in die Rahmenbedingungen vor Ort

- quantitativer und qualitativer Zugang zum gesamten Feld

- Erkenntnisgewinn durch vergleichendes Arbeiten

- Prozessbegleitung von der Akquise an

• Enge Kooperation mit dem BIBB als Auftraggeber


www.bibb.de

3. Ausschreibung und Vergabe des Auftrags

• E-Vergabe, Bieterfragen

• Bewertungskriterien

- Inhaltliche Überzeugungskraft des Konzepts; Nachvollziehbarkeit des methodischen Vorgehens (35%)

- Qualifikation, Feldkenntnisse, Evaluationserfahrung des eingesetzten Personals (35%)

- Preis (30%)

• Auswahl

- Bandbreite der Angebote

- Entscheidung


www.bibb.de

4. Zusammenarbeit: Zuständigkeiten und Abstimmungsprozesse

• Abstimmung mit dem Ministerium (BMBF)

• Abstimmung innerhalb der Projektgruppe


www.bibb.de

Herzlichen Dank für Ihre Aufmerksamkeit!


Spielregeln Diskurswerkstatt

Drei unterschiedliche Themen werden an Tischen bearbeitet

jeder Tisch wird von einem Host betreut

jede/r Teilnehmende arbeitet 20 min an einem Tisch

nach 20 min wird der Tisch gewechselt

nach 60 min war jede/r Teilnehmende an jedem Tisch

Ergebnisse des Diskurses werden von den Teilnehmenden und den Hosts gemeinsam schriftlich festgehalten

jede/r Host stellt die Ergebnisse des eigenen Tischs im Rahmen der Zusammenführung vor

Leitfrage der Diskurswerkstatt

Wie können nutzbringende (externe) Evaluationen von hoher Qualität gemäß der DeGEval Standards gewährleistet werden?

(1) Erarbeiten Sie für jede dargestellte Stufe des Ausschreibungs- und Vergabeprozesses Gelingensfaktoren aus der Perspektive von (a) Auftraggebendenund (b) Auftragnehmenden.

(2) Erarbeiten Sie für jede dargestellte Stufe des Evaluationsprozesses Gelingensfaktoren und aus der Perspektive von (a) Auftraggebenden und (b) Auftragnehmenden.

(3) Erarbeiten Sie für jede dargestellte Stufe des sich anschließenden Prozesses der Verbreitung und Umsetzung der Evaluationsergebnisse Gelingensfaktoren aus der Perspektive von (a) Auftraggebenden und (b) Auftragnehmenden.

1. Ausschreibung/

Vergabe

2. Durchführung der Evaluation

3. Verbreitung/ Umsetzung der

Ergebnisse

Stufen Tisch 1

1. Rahmen abstecken: Wozu dient die Evaluation? Was genau wollen wir wann wissen (Art der Evaluation)? Welcher Aufwand an Evaluation ist für den Nutzen adäquat (Evaluationsumfang)?

2. Erstellung und Veröffentlichung von Teilnahmeunterlagen

3. Angebotserstellung

4. Bewertung der Angebote und Entscheidung

5. Info der (nicht) erfolgreichen Anbieter

6. Vertragsabschluss mit Auftragnehmenden

Wozu dient die Evaluation? Was genau wollen wir wann wissen (Art der Evaluation)? Welcher Aufwand an Evaluation ist für den Nutzen adäquat (Evaluationsumfang)?

Stufen Tisch 1: Ausschreibungs- und Vergabeprozess

Rahmen abstecken

Erstellung und Veröffentlichung

der Ausschreibung

Angebots-erstellung

Bewertung der Angebote

und Entscheidung

Zusage bzw. Absage der Teilnehmer

Vertrags-abschluss

Ergebnisse Tisch 1: Ausschrei-bungs- undVergabe-prozess

Stufen Tisch 2

1. Auftragsklärung/Kick-Off

2. Recherche zum Evaluationsgegenstand

3. Entwicklung der Evaluationsinstrumente

4. Datenerhebung

5. Datenauswertung und –interpretation

Was ist die Zielstellung der Evaluation? Welche Fragestellungen sind erkenntnisleitend? Wie ergebnisoffen soll die Evaluation angelegt sein?

Stufen Tisch 2: Evaluationsdurchführungsprozess

Auftragsklärung/ Kick-Off

Recherche zum Evaluations-gegenstand

Entwicklungder

Evaluations-instrumente

DatenerhebungDatenauswertung/

-interpretation

Ergebnisse Tisch 2: Evaluations-durch-führungs-prozess

Stufen Tisch 3

1. Erstellen des Verbreitungskonzepts der Ergebnisse: u.a. legt dies Zeitpunkt, Umfang und Format der Zwischen- und Endberichte fest

2. Zwischenberichte: u.a. Arbeitsfortschritt, auftretende Probleme, Datenverfügbarkeit, Abweichungen vom Angebot/Auftrag

3. Endbericht/Präsentation der Ergebnisse

4. Nutzung der Evaluationsergebnisse: u.a. Implementation von Handlungsempfehlungen, Transfer von Erkenntnissen

Verbreitungs-konzept erstellen

Berichtspflichten

(Zwischenberichte, Abschlussbericht,

Änderungen, Anpassungen etc.)

Veröffentlichung der Ergebnisse

(wiss. Publikation, Öffentlichkeits-arbeit,

Vorträge etc.)

Nutzung und Verbreitung der

Ergebnisse

(Praxis, Wissenschaft, Bildungspolitik)

Wie werden die Ergebnisse aufbereitet? Welche Zielgruppen sollen adressiert werden? Welche Medien/Kanäle werden genutzt? Wie werden die Ergebnisse in den relevanten Handlungskontexten verbreiten bzw. in die Praxis transferiert?

Stufen Tisch 3: Verbreitung/Umsetzung der Ergebnisse

Ergebnisse Tisch 3: Verbreitung und Umsetzung derErgebnisse

Herzlich Willkommen zur Jahrestagung des Arbeitskreises ... · Beispiel ISPA: „Erfahrung des...

Documents

Transcript of Herzlich Willkommen zur Jahrestagung des Arbeitskreises ... · Beispiel ISPA: „Erfahrung des...