www.bmbf.de | www.ascot-vet.net
Duale Ausbildung auf dem Prüfstand: Leistungs- und Kompetenzmessung in der beruflichen Bildung – Ergebnisse
der BMBF-Initiative ASCOTPotsdam, 16. September 2015
www.bmbf.de | www.ascot-vet.net
Fachforum 1:Kompetenzmessverfahren in der Praxis –Nutzen, Chancen, Herausforderungen
Potsdam, 16. September 2015
www.bmbf.de | www.ascot-vet.net
Ergebnisse aus den ProjektenEin Streifzugvon Prof. Dr. Susan Seeber, Prof. Dr. Susanne Weber,Prof. Dr. Martin Baethge und Prof. Dr. Reinhold Nickolaus
Potsdam, 16. September 2015 4
Gliederung1. Ziele der Initiative2. Ausgewählte Befunde aus den gewerblich-technischen Berufen3. Ausgewählte Befunde aus dem Bereich Gesundheit/Pflege4. Ausgewählte Befunde aus dem kaufmännischen Bereich5. Befunde zu den Kontextfaktoren
Potsdam, 16. September 2015 5
1. Ziele der Initiative
Potsdam, 16. September 2015 6
valide Messung beruflicher Kompetenzen mit technologie-basierten Verfahren und durch realitätsnahe Abbildung beruflicher Arbeits- und Geschäftsprozesse
Kompetenzmodellierung , d.h. Beschreibung beruflicher Kompetenzen (Dimensionalität, Niveau) und Erklärung des Kompetenzerwerbs
Zusammenhang von Fachkompetenzen , übergreifenden Kompetenzen und Kontextfaktoren (individuelle Hintergrundfaktoren, betriebliche und schulische Ausbildungsqualität)
enge Wissenschaft-Praxis-Kooperation und Transfer: enge Zusammenarbeit mit Praxispartnern, Transfer auf andere, verwandte Berufe, in Prüfungspraxis, in europäische Kontexte
Potsdam, 16. September 2015 7
IndustriekaufmannSpeditionskaufmann
ÖkonomischeKompetenz / IT Kompetenz
Kaufmännisch
Elektroniker EAKfz‐Mechatroniker
Gewerblich‐technisch
Medizinische Fachangestellte
Alten‐/Krankenpflege
SozialkommunikativeKompetenzen
Gesundheit
Lesen / Mathematik / Naturwissenschaften
Berufsspezifische Kompetenzen
Berufsübergreifende Kompetenzen
Allgemeine Kompetenzen
Kontextfaktoren
Potsdam, 16. September 2015 8
• Gespräche mit Kammervertretern• Gespräche mit Ausbildern • Analyse von Facharbeiten (N=205)• Arbeitsplatzanalysen (10 Wochen)
• Lehrplananalyse • Lehrbuchanalysen • Lehrerinterviews • Schülerbefragung • Analyse von IP-Schulprojekten• Auswertung von Internetforen
• Stellenanzeigenanalyse (N=437; 1 J.)
• Literaturanalyse • Neuere Studien, Meta-Analysen
Domänenanalyse“big idea”
Wissen-schaft
Arbeits-markt
Berufs-schule
Aus-bildungs-betriebe
THEO
RIe
PRA
XIS
Unter Mithilfe von: u.a. …
Bosch und Siemens Hausgeräte
Potsdam, 16. September 2015 9
2. Ausgewählte Befunde aus dem gewerblich-technischen BereichProjektgruppe KFZ Prof. Reinhold Nickolaus
Dr. Stephan AbeleB.Eng. M.Sc. Stefan BehrendtProf. Dr. Tobias GschwendtnerSebastian Heilig MADr. Anja SarnitzDipl. Gwl. Thomas SchmidtWolfgang Weber, MAT. TrzebiatowskiH. Heinzmann
Projektgruppe EA Prof. Reinhold NickolausProf Dr. Bernd Geißel
Dr. Felix WalkerDipl. GewL Nico LinkMatthias Hedrich, MADipl. Gwl. Leo Van Waveren
Potsdam, 16. September 2015 10
Ausgangssituation und Zielsetzungen der Projekte (Kfz; EA)
Vorarbeiten: EA: keine; Kfz:• Kompetenzstruktur- und Niveaumodelle für Fachwissen und Fehlerdiagnosekompetenz • Simulationen erweist sich als valide zur Kompetenzmessung (Fehlerdiagnose) Probleme/offene Fragen: Kfz: zum Teil erhebliche Probleme mit der Messgenauigkeit; mit den verfügbaren Tests wurden nur Teile der Anforderungsbereiche berücksichtigt (Fachwissen, Problemlösekompetenz; Service,Reparatur)EA: Neuentwicklungen notwendig
Ziele: Kfz: Erweiterung der Instrumentenbasis um die zentralen fachl. Tätigkeitsbereiche abzudecken Messgenauigkeit verbessern; Überprüfung der Eignung von Simulationen für andere AnforderungsbereicheEA: Anforderungsanalysen; Instrument- und Modellentwicklung für Fachwissen und analytische/konstruktive Problemlösekompetenz (Struktur- und Niveaumodelle); Erklärungskraft des FW? Validität der Simulationen?
Potsdam, 16. September 2015 11
Durchgeführte Studien zur Klärung der Fragen
Studien zu den Anforderungen (Curricula, Tätigkeiten)
Studien zur Struktur des FW und den erreichten Niveaus
Studien zur Erfassung der Problemlösekompetenzen(Simulationen und ihre Validität, erreichte Niveaus)
Studien zur Erfassung des Handlungswissens (Videovignetten)und erzielte Leistungen
Studien zu Zusammenhängen zwischen den Kompetenzen(und den Kontextfaktoren)
Erprobung in Prüfungskontexten
Potsdam, 16. September 2015 12
Entstandene Produkte (11 Tests, 6 Kfz, 5 EA)
1. Reliable und valide Fachwissenstests; mehrere Versionen (2. Aj Kfz, 3. Aj.Kfz/EA)2. Reliabler handlungsnaher Fachwissenstest (Bezug Fehlerdiagnose); offene Aufgabenformate,
konsequent handlungssystematisch), Kfz3. Reliabler und valider Test zur Erfassung des Handlungswissens im Bereich
Reparatur/Instandhaltung (Videovignetten), Kfz4. Test zur Erfassung der Ausbilderurteile zu den Reparatur- / Instandhaltungskompetenzen, Kfz5. Reliabler und valider Test zur Erfassung der Fehlerdiagnosekompetenzen (Kfz: erweiterte
Simulation: Klimaanlage etc., EA: Steuerungstechnische Anlagen); jeweils reale Arbeitsproben und Simulation
6. Reliabler und valider Test zur Erfassung der konstruktiven Problemlösekompetenzen (EA), reale Arbeitsproben und PBT)
Potsdam, 16. September 2015 13
Ergebnisse zur Diagnostik des Fachwissens (Kfz und EA)AusgangsproblemeKfz: Am Ausbildungsende 5-6 dim. Struktur; Reliabilität unbefriedigend. EA: Keine einschlägigen Vorarbeiten: Ziele: valide und reliable Instrumente, als Basis für adaptives Testen; Prüfung auf Dimensionalität.Untersuchungsanlage• Neuentwicklung der Fachwissenstests, geschlossene Aufgabenformate • Kfz: N= 920 im 3. Aj. (50 Sch., 4 BL.) / EA: N=878 im 3. Aj. (33 Sch. 9 BL)Ergebnis• Mehrdimensionalität bestätigt sich in beiden Domänen: • Kfz: Modell mit 6 Dimensionen passt am besten, 3 dimensionales Modell vertretbar
(Mechanik, Elektrotechnik, Arbeits- und Umweltschutz); Reliabiltitäten (EAP/PV): 7-Dim: AUS 0.5, ansonsten 0,67 – 0,75; 3-Dim: AUS 0.5; Mechanik 0.78; Elektro 0.75; 1-Dim: 0.80
• EA: 3 dim. Modell passt am besten (Grundlagen, Elektr. Energietechnik, Automatisierungstechnik/SPS)
• Reliabiltitäten (EAP/PV): 0.72 bis 0.78
• Auszubildende der Industrie erreichen signifikant höhere Fachwissensleistungen als jene im Handwerk
Potsdam, 16. September 2015 14
Kompetenzstrukturmodell „Fachwissen EA“
AT / SPS EET G
Kogn. Grundfähigkeiten
Reihenfortsetzung Klassifikation Matrizen Topolog. Schlussfolgerungen
.67**
.82*.74*
.83*
.56** .57** .50**
.4*.4*.6*
*p < 0.05**p < 0.01
Potsdam, 16. September 2015 15
Leistungsspektren im Fachwissen der EA
Potsdam, 16. September 2015 16
Erreichte Niveaus im Fachwissen (Beispielaufgabe Niveau 2)
Lösungsquote Stufe I: 47,8 %Stufe II: 72,8 %
87.2 %
Potsdam, 16. September 2015 17
Erreichte Niveaus im Fachwissen (Beispielaufgabe Niveau 4)
Lösungsquote Stufe I: 4,0 %Stufe II: 8,7 %Stufe III: 29.8 %Stufe IV: 60.3 %
91.9 %
Potsdam, 16. September 2015 18
Zwischenfazit zum Fachwissen
• Es liegen gute Instrumente vor, mit welchen man das Fachwissen messen kann
• Das Fachwissen ist in beiden Berufen mehrdimensional
• Die verschiedenen Dimensionen des Fachwissens hängen relativ stark zusammen
• In beiden Berufen zeigt sich, dass ein substantieller Anteil der Auszubildenden schwierigere Aufgaben nicht bewältigen kann und den hohen Anforderungen, wie sie in den Curricula formuliert werden nur bedingt gerecht werden Förderbedarf
• Die Leistungsunterschiede in den Klassen und zwischen den Klassen sind zum Teil erheblich
• Das stellt für die Lehrkräfte eine erhebliche Herausforderung dar
Potsdam, 16. September 2015 19
Validität: Computersimulation Kfz / EA- Fehlerdiagnosekompetenz
AusgangsproblemAufwändige und oft wenig standardisierte Erfassung von Fehlerdiagnosekompetenzen mit realen Arbeitsproben; Sind Simulationen geeignet die Fehlerdiagnosekompetenzen sicher abzuschätzen?Untersuchungsanlage• Kfz: 2 Erhebungen in Schulen und ÜbAS im Cross-over-Design, NGes=190, • EA: Erhebungen in Schulen und Großbetrieben, N=150 (300)• Jeweils 2 Gruppen; 8 Kfz-Defekte (Komfortsysteme, Fahrwerk, Türsteuerung),
EA 8 Softwarefehler: jeweils 4 in Realität und 4 in ComputersimulationErgebnisse• Eindimensionale Modelle jeweils mit guter Passung, Kfz: r=0.89, EA r ≥ . 85 (latent)
• Ergebnisse sprechen für konvergente Validität, d.h. die bereits für Kfz Simulationen des Motormanagements und Start-Strom-Beleuchtung gewonnenen Ergebnisse werden in beiden Domänen mit neuen Simulationen repliziert.
Verwertungsperspektive• Simulationen sind sowohl in Large-scale-Assessments in der beruflichen Bildung als auch in
Prüfungskontexten geeignet valide und reliable Ergebnisse zu gewinnen
Potsdam, 16. September 2015 20
Ergebnisse EA, KfzEA
r ≥ . 85**
Kfzr = .95**/.99**; .89**
Potsdam, 16. September 2015 21
Zusammenhänge der Kompetenzen (Kfz) und die Erklärungskraft des Fachwissensfür die Leistungen im praktischen Bereich
Fachwissen
Fehlerdiagnose
Reparatur
Service
0.803
0.75
R²=0.563
R²=0.549
R²=0.615
0.711
0.55
0.44
0.39
Didaktische ImplikationenGroße Bedeutung des Fachwissens für die Bewältigung der Anforderungen (Beispiel Kfz)Didaktische Schwerpunkte?; Prüfungszuschnitte (Subdimensionen berücksichtigen)
Potsdam, 16. September 2015 22
Zusammenhäng zwischen der analytischen und konstruktiven Problemlösekompetenz mit dem Fachwissen EAAusgangsfragenGibt es eine konstruktive und eine analytische Problemlösekompetenz?; Wie bedeutsam ist das Fachwissen für die Fehlerdiagnosekompetenz?Untersuchungsanlage• 3. Ausbildungsjahr, Auszubildende aus Großbetrieben , N=124• Erhebung: FW, analytische PLK (Fehlerdiagnosekompetenz) konstruktive PLF (Programmierung), IQErgebnisse: ja, konstruktive und analytische Problemlösekompetenzen sind eigene Subdimensionen
Verwertungsperspektive• Fachwissen hat hohe prädiktive Kraft für die Problemlösekompetenz. Mehr Aufmerksamkeit für das
Fachwissen in den didaktischen Prozessen?!; Prüfungszuschnitte; Förderung der Problemlösekompetenzen
n=211, Χ²/df= 1.48, CFI=.93, RMSEA=.048 [.039‐.056], WRMR= .997Alle Ladungen und Korrelationen sind hoch signifikant. Gestrichelte Verbindungen sind nicht signifikante Faktorladungen.
Analytische Problemlöse-kompetenz
Konstruktive Problemlöse-kompetenz
r=.58
AT& SPS
EET
G
.77r=.97
R²=.51
R²=.40
Intelligenz
IQ1
IQ2
IQ3
IQ4
.43.58.6
2.55.65
.40
.40
r=.96
.52r=.94
.25
.22
Potsdam, 16. September 2015 23
Validität eines Papier und Bleistifttests zur Erfassung der konstruktiven Problemlösekompetenz EA
AusgangsproblemAufwändige Erfassung von konstruktiven Problemlösekompetenzen. Genügt ein handlungsnaher Wissenstest auf Papier und Bleistiftbasis um die konstruktive Problemlösekompetenz abzuschätzen?Untersuchungsanlage• Erhebungen in Schulen und Großbetrieben (Bayern und BW) im Cross-over-Design, N=278• 2 Gruppen und 8 Problemstellungen: jeweils 4 in realer Programmierumgebung und 4 in Papier- und
BleistiftversionErgebnisse• Eindimensionale Modelle jeweils mit guter Passung, r=0.90 (latent, fixiert, beide Gruppen)• Ergebnisse sprechen für konvergente Validität, d.h., es ist möglich, die konstruktive
Problemlösekompetenz auch mit Papier und Bleistifttests reliabel und valide zu erheben. Verwertungsperspektive• Das erleichtert die Prüfungspraxis erheblich und gibt auch die Möglichkeit, die Programmierfähigkeit
ohne aufwändige Programmierumgebungen zu schulen
Potsdam, 16. September 2015 24
Weitere Ergebnisse
• Ausbilderurteile zu den Kompetenzen der Auszubildenden sind durch Milde- Effekte verzerrt (Kfz)• Prüfungsergebnisse sind an einem Teil der Standorte nicht fair; Benachteiligung von
Auszubildenden sind die Folge (Kfz)• Die Testergebnisse korrelieren abgesehen von diesen problematischen Standorten hoch mit den
Prüfungsergebnissen• Im Servicebereich erreichen die Kfz-Auszubildenden bessere Leistungen als in den
anspruchsvolleren Anforderungsbereichen (Fehlerdiagnose); im Servicebereich sind bereits im 2. Aj. Routinebildungsprozesse beobachtbar
• Bei den Fehlerdiagnosen bleiben die Auszubildenden wie beim Fachwissen deutlich hinter den curricularen Ansprüchen zurück
• Es ist für die Auszubildenden (EA) leichter konstruktive (Programmierung) als analytische (Fehlerdiagnose) Anforderungen zu bewältigen
• Die Fehlerdiagnosekompetenz ist mit Papier und Bleistifttests nicht reliabel erfassbar
Potsdam, 16. September 2015 25
3. Ausgewählte Befunde aus dem Bereich Gesundheit/Pflege
Projektgruppen
Georg-August-Universität Göttingen Prof. Dr. Susan Seeber, Prof. Dr. Matthias Schumann, Dipl. Päd. Thilo KetschauJanne Kleinhans, M. Sc.,Theresas Rüter, M. Sc.
Bundesinstitut für Berufsbildung (BIBB) BonnDr. Agne DietzenDr. Tanja TschöpeMoana MonnierChristian Srbeny
Universitätsmedizin Göttingen:Barbara Waldeck
Potsdam, 16. September 2015 26
Gemeinschaftspraxis für Allgemeinmedizin und Orthopädie, Hannover, Ost‐Stadt
Potsdam, 16. September 2015 27Wissensarten in Anlehnung an Shavelson, Ruiz‐Primo & Wiley (2005); Kognitive Anforderungen in Anlehnung an Winther (2010)
Kompetenzdimensionen(Inhalts‐/Handlungsbereiche)
Test‐aufgaben
Kompetenzen in Labordiagnostik und Hygienemanagement
Kompetenzen in der Patientenbetreuung und ‐versorgung
Kaufmännisch‐verwaltende Kompetenzen
Fähigkeiten/Kompetenzniveaus
Kognitive Anforderungenz. B.Kognitive Taxonomie
Inhaltliche Komplexität
Selbstwirksamkeit/Selbstregul.
MotivationEpistem. Überzeugungen
Wissen
Sachverhalte reproduzieren
BewertenKritisieren
Systemische Zusammen‐hänge herstellen
Analysieren, Elaborieren, Validieren
Hohe Vernetzung, mehrere Handlungs‐stränge, u.U.verschiedener Fachgebiete
isolierte Wissensinhalte
Modellierungs‐leistung
Einfache , vollständige Modellierungen
Komplexe und anspruchsvolle Modellierungen
keine bzw. unvollständige Modellierung
Deklaratives Wissen
Prozedurales Wissen
Strategisches Wissen
Wissensartenz. B.
Einfaches Anwenden
Gewissen‐haftigkeit
Berufsethische Orientierungen
Kompetenzmodell
Potsdam, 16. September 2015 28
Assessmentstruktur CoSMed
Deklarativer Wissenstest (adaptiv):(30 Min)
* Medizinisch‐gesundheitsbezogene Wissen in der Patientenbetreuung und –versorgung* Wissen in der Labordiagnostik und im Hygienemanagement* Kaufmännisch‐verwaltendes Wissen
Handlungskompetenzen (VidSim):(Rotiertes Design, 75 Min)
* Medizinisch‐gesundheitsbezogenes Wissen in der Patientenbetreuung und ‐versorgung* Wissen in der Labordiagnostik und im
Hygienemanagement* Kaufmännisch‐verwaltendes Wissen
Mathematische naturwissenschaftliche und LeseKompetenzen (adaptiv):(Mathe + Nawi oder Lesen pro
Schüler, 30 Min)
Kontextfragebogen (Sikofak) (45 Min): zu betrieblichen und schulischen Ausbildungsbe‐dingungen,zur Bildungsbiografie und zum Elternhaus,zu Motivation, Interesse, Einstellungen zu Arbeit und Beruf sowie zu Persönlichkeitsmerkmalen
4 Unterrichtsstunden =
180 Minuten
Potsdam, 16. September 2015 29
Verteilung Fähigkeitsniveau beim adaptiven Fachwissenstest
Mittelwert: = 0,296; Streuung: ‐1,97 bis 2,21 EAP/PV Reliability: 0.77
0
50
100
150
200
250
‐2bis‐1,75
‐1,74bis‐1,5
‐1,49bis‐1
‐0,99bis‐0,75
‐0,74bis‐0,5
‐0,49bis‐0,25
‐0,24bis0
0,01bis0,25
0,26bis0,5
0,51bis0,75
0,76bis1
1,01bis1,25
1,26bis1,5
1,51bis1,75
1,76bis2
2,01bis2,25
Anzahl Schüler
θ
Mittlere Itemschwierigkeit
Potsdam, 16. September 2015 30
Medical expertise in laboratory diagnostics and
hygiene management
Competencies in business‐administration
Wright map – 3 dimensional Rasch‐Analysis
Competencies in patient care and elementary diagnostics
Latent correlation 3 dim model: (1) business‐administr./(2)comp. patient care: 0.606(1) business‐adminstr./(3) comp. Laboratory work, hygiene managem.: 0.640(2) comp. patient care/(3) comp. Laboratory work, hygiene managem.: 0.807
Verteilung von Fähigkeitsniveau und Item-schwierigkeiten beim video- und simulations-gestützten Test
Potsdam, 16. September 2015 31
EAP/PV Reliability: 0.59 / 0.81 / 0.77N = 997
KaVePaBeVe
LaHy
Verteilung von Fähigkeitsniveau und Item-schwierigkeiten beim video- und simulations-gestützten Test
Potsdam, 16. September 2015 32
Deutliche Differenzen im Kompetenzprofil zwischen den Haupthandlungsfeldern;
Signifikante Leistungsunterschiede am Ende der Ausbildung nach Vorbildungsniveau; vor allem zwischen Jugendlichen mit max. HSA und mittlerem und höherem Schulabschluss
Verteilung von Fähigkeitsniveau und Item-schwierigkeiten beim video- und simulations-gestützten Test
Potsdam, 16. September 2015 33
4. Ausgewählte Befunde aus dem kaufmännischen Bereich
Projektgruppen
D.I.E, Bonn/ Universität Paderborn Prof. Dr. Esther Winther, Dr. Dagmar Festner, Julia Sangmeister,
Ludwig-Maximilians-Universität MünchenInstitut für WirtschaftspädagogikProf. Dr. Susanne WeberDr. Sandra Trost, MBRDipl.-Hdl. Michaela Wiethe-KörprichDipl.-Hdl. Christine Weiß
Institut für Statistik, LMU München:Prof. Dr. Clemens DraxlerDipl.-Psych. Can Gürer
Georg-August-Universität GöttingenProf. Dr. Susan SeeberMichelle Liedtke
Potsdam, 16. September 2015 34
Inhaltselemente der Testung
Allgemeineberufsbezogene
Tätigkeiten
Geschäftsprozesse
Intrapreneurship
Potsdam, 16. September 2015 35
UnternehmenssimulationALUSIM GmbH ist ein innovatives
und projektorientiertes Unternehmen
(42 MA am Standort Kassel), das hochwertige Produkte aus
Aluminium herstellt.
Potsdam, 16. September 2015 36
Potsdam, 16. September 2015 37
Eingang einer E-Mail
Potsdam, 16. September 2015 38
Geschäftsprozesse
Bearbeitung einer Kundendatei im Rahmen der Abwicklung einer Bestellung
Potsdam, 16. September 2015 39
TestdesignNationale Stichprobe
Potsdam, 16. September 2015 40
Geschäftsprozesse + Kaufmännische Literalität
Kaufmännische LiteralitätEAP/PV: 0.856
GeschäftsprozessEAP/PV: 0.833
Potsdam, 16. September 2015 41
Intrapreneurship
Ideen GenerierungEAP/PV: 0.800
Planung + UmsetzungEAP/PV: 0.890
Potsdam, 16. September 2015 42
Transfer: Spedition
Potsdam, 16. September 2015 43
Zusammenfassung für COBALIT
Die theoretischen Kompetenzmodelle zur kaufmännischen Kompetenz konnten empirisch bestätigt werden (ließen sich sogar bereits in Studien replizieren).Deutschlandweit verfügen Auszubildende über gute bis sehr gute Kompetenzen: • Bearbeitung und Abwicklung von Geschäftsprozessen• Planung und Umsetzung einer innovativen Intrapreneurship-IdeeNoch zu verbessern wären • Kaufmännische Literalität• Ideen-Entwicklung (inkl. Wahrnehmen von IP-Gelegenheiten)
Als Gelingensbedingungen für die Förderung von Intrapreneurship kristallisieren sich die folgenden Kontextfaktoren heraus: neben Vorbildung, Alter und familiärem Bildungshintergrund vor allem - „Innovationsklima“ und - Lerngelegenheiten im Betrieb
Potsdam, 16. September 2015 44
5. Befunde zu den Kontextfaktoren
Potsdam, 16. September 2015 45
Art des BetriebsLernortkoope-
ration Planmäßigkeit
Ausbildung Personelle und
materielle Ressourcen
u.a.
Lernklima Qualität der
Instruktion u. Lernkontrolle Qualität Aus-bildungsauf-
gaben Dispositions-
chancen u.a.
Berufliche Dispositionen
und Lernmotivation
Schulab- schluss
Erfolgs-/Ver-sagenserfahrung
Übergang in Ausbildung Vorberufl. Arbeitser-fahrung
u.a.
Haushaltskon-stellation
Berufs-/Bil-dungsstatus
Eltern Kuturelles
Kapital Migrations-hintergrund
u.a.
Institutionelle Kontextfaktoren Individuelle soziale Kontextfaktoren
Distale Faktoren
Proximale Faktoren
Bildungs-biografie
Soziale Herkunft
Ausbildungsverhalten
Berufliche Kompetenzen
Potsdam, 16. September 2015 46
Anteile Auszubildender mit günstigen 1) betrieblichen Ausbildungsbedingungen nach Dimensionen betrieblicher Prozessqualität und Ausbildungsberufen (Angaben in %)
1) sehr positive oder eher positive Beurteilung
Potsdam, 16. September 2015 47
betriebliche Lernortkoordination (β=0.160)betriebliches Ausbildungsangebot (β=0.130)personelle und materielle Ressourcen (β=0.126)Planmäßigkeit Ausbildungsablauf (β=0.116) Betriebliches
β=0.330 Interaktionsklima
Bildungsbiografie (β=0.062)β=0.375 R-Quadrat= 0.331
betriebliche Lernortkoordination (β=0.176)Planmäßigkeit Ausbildungsablauf (β=0.131)
personelle und materielle Ressourcen (β=0.124)
betriebliches Ausbildungsangebot (β=0.121) Gestaltungsqualität β=0.344 betriebliche Ausbildung
Ressourcen der sozialen Herkunft (β=0.076)Bildungsbiografie (β=0.062) β=0.311
R-Quadrat= 0.278
betriebliches Ausbildungsangebot (β=0.121)Planmäßigkeit Ausbildungsablauf (β=0.115)
β=0.176Strukturqualität
Aufgabenstellung
Ressourcen der sozialen Herkunft (β=0.100)Bildungsbiografie (β=0.077
β=0.489R-Quadrat= 0.306
personelle und materielle Ressourcen (β=0.191)betriebliches Ausbildungsangebot (β=0.082) zeitliche betriebliche Lernortkoordination (β=0.064) β=0.457 Dispositionschancen
Bildungsbiografie (β=0.061)Ressourcen der sozialen Herkunft (β=0.049)
β=0.079 R-Quadrat= 0.229
individuelle Ausbildungsdispositionen (β=0.463)
Planmäßigkeit Ausbildungsablauf (β=0.339)
individuelle Ausbildungsdispositionen (β=0.366)
individuelle Ausbildungsdispositionen (β=0.286)
institutionelle Faktoren
individuelle (soziale) Faktoren
institutionelle Faktoren
individuelle (soziale) Faktoren
institutionelle Faktoren
individuelle (soziale) Faktoren
institutionelle Faktoren
individuelle (soziale) Faktoren
Effektstärken (Beta) institutioneller und individueller (sozialer) Faktoren auf Qualitäten betrieblicher Ausbildung
Potsdam, 16. September 2015 48
hohe Strukturqualität betrieblicher Arbeitsaufgaben
betriebliche Ausbildungsqaulität (β=0.167)
professionelles Ausbildungspersonal betriebliche Hintergrundfaktoren (β=0.119)
β=0.214
Schulabschluss Bildungsbiografie (β=0.292)
fehlender Migrationshintergrund Ressourcen der sozialen Herkunft (β=0.234) β=0.311
berufliche Aspiration: niedrige Statusorientierung
individuelle Ausbildungsdispositionen (β=0.131)
β=0.412
R-Quadrat= 0.210
Unterstützung durch Mitschüler schulische Ausbildungsqaulität (β=0.214)
geringe Lernprozesskontrolle, ausgeprägte Aufgabenvielfalt
betriebliche Ausbildungsqualität (β=0.137)
Betriebsgröße betriebliche Hintergrundfaktoren (β=0.109) β=0.289
ungünstiges Lernklima allgemein-bildende Schule, Schulabschluss β=0.311
niedrige Intensität Lehrstellensuche
β=0.435R-Quadrat= 0.273
Geschäftsprozess-kompetenz
Industriekaufleute
Pflegekompetenz Altenpfleger/innen
berufliche Aspiration: niedrige Statusorientierung
individuelle Ausbildungsdispositionen (β=0.327)
Bildungsbiografie (β=0.254)
institutionelle Faktoren
individuelle (soziale) Faktoren
institutionelle Faktoren
individuelle (soziale) Faktoren
Effektstärken (Beta) institutioneller und individueller (sozialer) Faktoren auf Kompetenzen von Industriekaufleuten und Altenpfleger/innen
Potsdam, 16. September 2015 49
6. Zusammenfassung und Ausblicke
Potsdam, 16. September 2015 50
Zusammenfassung
• ASCOT hat die Evidenz-Basierung in der beruflichen Bildung gestützt und vorangetrieben und zugleich gezeigt, wie curriculare Zielsetzungen, instruktionale Umsetzungen und Assessment- und Evaluationsprozesse sinnvoll aufeinander zu beziehen sind (C-I-A-Triade).
• Über die Kompetenzorientierung lassen sich sowohl die individuelle Förderung (unabhängig von der sozialen Herkunft), die Entwicklung von gesellschaftlichen Humanressourcen als auch die Vorbereitung für gesellschaftliche Teilhabe stützen und weiter entwickeln.
• Hervorzuheben ist das große Interesse an den Arbeiten und Ergebnissen der ASCOT-Initiative auf Seiten der Betriebe, der beruflichen Schulen und der Verbände. Die wechselseitige Kenntnisnahme und Kooperation zeigen sich dabei auf vielfältige Weise, wie Unterstützung bei der Datengewinnung, Austausch von Zwischenergebnissen, vielfältige Validierungen und politischer Rückhalt.
Potsdam, 16. September 2015 51
O-Töne: ASCOT-Beteiligten
„Es ist zentral, bereits während der kaufmännischen Ausbildung innovative Projektarbeit der jungen Leute zu fördern und zu prüfen. Ich bin beeindruckt, wie hoch diesbezüglich das Potential ist, das bereits nachgewiesen werden kann. Auszubildende sind nicht selten kreativer, als man es ihnen zutraut.“ (Dr. Josef Amann, IHK München und Oberbayern)
„Aus den Erkenntnissen der ASCOT-Projektverbünde lassen sich wertvolle Impulse für die qualitative Weiterentwicklung der IHK-Prüfungspraxis gewinnen. Insbesondere geht es darum, die Kompetenzorientierung auf Basis wissenschaftlich fundierter Kriterien systematisch weiter auszubauen und die Diagnostik und damit die Aussagekraft der Prüfungen fortzuentwickeln und weiter zu verfeinern..“ (Dr. Wolfgang Vogel, AKA Nürnberg
Potsdam, 16. September 2015 52
„Der stetige Theorie-Praxis-Austausch, der in dieser Forschungsinitiative von den Wissenschaftlern umgesetzt wurde und den wir durch Expertenratings aktiv unterstützt haben, hat mir die inhaltliche sowie methodisch-didaktische Qualität der Instrumente sehr deutlich gemacht. Das computerbasierte Aufgabenformat ist nicht nur für das Assessment, sondern auch für die zukünftige Instruktion äußerst hilfreich. Ich habe ein gutes Gefühl, wenn wir als Schule uns hier einbringen." (OStD Johann Riedl, Kaufmännische Berufsschule, Deggendorf)
O-Töne: ASCOT-Beteiligten
Potsdam, 16. September 2015 53
„Es hat Spaß gemacht, Aufgaben am Computer zu bearbeiten! Das war mal etwas ganz anderes.“(Auszubildender der Berufsschule IV Augsburg)
O-Töne: ASCOT-Beteiligten
Potsdam, 16. September 2015 54
Vorstellung des „Pool for Talents“ in Disseminationsgesprächen mit der Praxis
u.a. …
Potsdam, 16. September 2015 55
Dank
Die ASCOT-Initiative bedankt sich für die kooperative Zusammenarbeit und nachhaltige Unterstützung bei allen Beteiligten Institutionen, Schulen,
Betrieben, Verbänden, IHK, AKA, den Lehrerinnen und Lehrern, Ausbilderinnen und Ausbildern und in besonderem Maße den
Auszubildenden, die engagiert bei den vielen Erhebungen mitgearbeitet haben.
Die ASCOT-Initiative bedankt sich bei den Verantwortlichen des Bundesministeriums für Bildung und Forschung sowie des Projektträgers
für die Unterstützung.
Potsdam, 16. September 2015 56
Backup
Beispiel‐Items
Potsdam, 16. September 2015 57
Untersuchungsmodell für die berufsfachliche KompetenzDeterminanten/Kontextfaktoren:
Intelligenz, Motivation, Basiskompetenzen und Lehr‐Lernbedingungen
Problemlösekompetenz (PLK)
Fach‐systematisches
Wissen
Analytische Problemlöse‐
kompetenz (PLK)
KonstruktiveProblemlöse‐
kompetenz (PLK)
Handlungs‐wissen
Fachwissen (FW)
Potsdam, 16. September 2015 58
Expertenbegleitete Aufgabenentwicklung
Erfassen curricularer
Schwerpunkt-setzungen
Erstellung und Konzeptionierung
der Aufgaben
Begutachtung der Aufgaben Experten-workshop I
Pilotierung
Vorstellung Ergebnisse Experten-
workshop II
Überarbeitung Aufgaben
Abnahme Endversion der
Aufgaben Experten-
workshop III
Haupterhebung
2012 2013 / 2014
Potsdam, 16. September 2015 59
Ergebnisse zu Zusammenhängen zwischen den Fachwissensdimensionen Kfz
Arbeits- undUmweltschutz Mechanik Elektrotechnik
.58
.63 .90
Potsdam, 16. September 2015 60
Fachwissen Kfz, Erreichte Niveaus in Mechanik
Potsdam, 16. September 2015 61
Orientierungen für die Praxis (Auswahl)
Prüfungen und Anerkennungen
• Welche Kompetenzdimensionen müssen in den Prüfungen abgedeckt werden ?• Mit welchen Fehleinschätzungen müssen wir rechnen, wenn einzelne Kompetenzdimensionen
unberücksichtigt bleiben?• Wie können wir die Aussagekraft der Prüfungsergebnisse erhöhen?• Mit Papier- und Bleistiftaufgaben kann man keine analytischen, eventuell aber konstruktive
Problemlösekompetenzen messen• Was macht die Aufgaben schwer? (Gezielte Variation)• Simulationen als kostengünstige und zugleich zuverlässige Prüfungsform?• Berücksichtigung solcher Testverfahren bei Anerkennung informell erworbener Kompetenzen?
Potsdam, 16. September 2015 62
Orientierungen für die Praxis
Didaktik
Konstruktive und analytische Kompetenzen sind empirisch eigene Konstrukte
Eigene Förderansätze notwendig?!
Bei Kfz Mechatronikern kann man im Ausbildungsverlauf im Service und Reparaturbereich z.T
Routinebildungsprozesse beobachten bei den Fehlerdiagnosen nicht
Lerngelegenheiten im Betrieb?
Relativ viele Auszubildende auf niedrigen Leistungsniveaus
Förderbedarfe; Entwicklung/Erprobung spez. Förderansätze
Ordnungsarbeit/ Lehrplangestaltung
Potsdam, 16. September 2015 63
Zu prüfende Rechnung:
Estimate(s) WeightedMNSQ
Count % oftotal 0 / 1 / 2
Discrimination
0.22 1.98 0.96 72 / 25 / 3 0.32
Potsdam, 16. September 2015 64
Estimate(s) WeightedMNSQ
Count % oftotal 0 / 1 / 2
Discrimination
‐1.50 ‐0.98 0.92 72 / 25 / 3 0.26
Setting:Während Herr Weber vom Arzt behandelt wird, beauftragt Herr Dr. Harling die MFA, die Verordnung von Krankenhausbehandlungen auszufüllen, da der Notarztwagen bald eintreffen wird.
10 Felder zu berücksichtigen:3 davon nicht ankreuzen,7 Informationen aus Patientenakte entnehmen und eintragen
Potsdam, 16. September 2015 65
Estimate WeightedMNSQ
Count % oftotal 0 / 1
Discrimi‐nation
‐0.76 0.96 48 / 52 0.34
Setting: Die Patientin stellt eine Rückfrage zur Strahlenbelastung.
Top Related