Beurteilung von Prüfungsleistungen in der Praxis

Dietmar Stolecki St.-Hospital Dortmund

Referat Fort- und Weiterbildung

Kath. St.-Johannes-Gesellschaft Dortmund gGmbH 1

Beurteilung von Prüfungsleistungen in der Praxis

- (k)eine leichte Aufgabe?

Was erwartet Sie?

1. Lernziel- versus Kompetenzorientierung

2. Handlungskompetenz

3. Vorüberlegungen zur Prüfungsgestaltung

4. Prüfungssituationen/Prüfungsleistungen

– 2 Fallbeispiele

5. Beurteilungsfehler

2

1. Lehren - Lernen

Lernziele sind die Verkehrszeichen des Unterrichts 3

Lernziele

Sie werden vor dem Unterricht bestimmt

Verdeutlichen, was der Lernende am Ende wissen, können

und beherrschen soll

Zeigen Lernenden Mittel und Wege des Begreifens auf

Werden

anhand von Intensitätsstufen präzisiert (hierarchisiert)

in 3 Lernzieldimensionen differenziert

4

Taxonomie Dimension: kognitive Lernziele

(nach Benjamin Bloom et al. 1986)

Beginn des Moduls

Beginn der Ausbildung

Ende der Ausbildung

Ende des Moduls

Kontext erklären, erläutern

Maßnahmen ermitteln

Risiko- Faktoren KHK

Ursache A-sklerose

Präven- tionen

Lebensum- stände

Entwick- lung eines Plans

Versorgungs- plan

5

Taxonomie Dimension: affektive Lernziele

(nach Krathwohl et al 1978)

Ende der Ausbildung

Ende des Moduls

Beginn des Moduls

Beginn der Ausbildung

Entwickelt ein Gespür

Vorläufige Einstellung

Aufbau von eigenen Zielen

6

Taxonomie Dimension: psychomotorische Lernziele

(nach Dave 1973)

Ende der Ausbildung

Ende des Moduls

Beginn des Moduls

Beginn der Ausbildung

Alle Bilder: S. Schewior-Popp. Lernsituationen planen. Thieme, Stuttgart 2014

Übung

Korrekte Ausführung / Training

Situationsbezogene Anwendung

Anwendung jederzeit möglich

7

Gemeinsamkeit

• Lernziele als auch Kompetenzen richten ihren Fokus auf die Ergebnisse der Bildungsprozesse (Outcomes)

Lernziele

• Curriculumtheorie geht davon aus, dass Lernende die nötigen Qualifikationen erwerben (Lernzielerreichung: Richt-, Grob-, Nah-, Fernziele)

• Lernziele werden operationalisiert (feinbestimmt)

– damit kompetent in einer Dimension und Hierarchiestufe

• In Prüfungen führ(t)en sie zur „Detailverliebtheit“

Lernziele versus Kompetenz

Kompetenzorientierte Didaktik

• Mehrere Wege führen zum Ziel

• Kompetenz entwickelt sich kumulativ und langfristig und

• im Zusammenspiel von Wissen, Fertigkeiten und Einstellungen 8

Konzept der beruflichen Handlungskompetenz

• Theo Hülshoff (Berufs- und Wirtschaftspädagoge) (Das Handlungskompetenzmodell, Landau 2004)

– „Um eine konkrete Handlung auszuführen, benötigt ein Mitarbeiter immer mehrere Schlüsselqualifikationen bzw. Anteile von ihnen, die zusammen der Problemlösung dienen.“

• Dreh- und Angelpunkt beruflicher Kompetenz:

– domänenspezifisches Wissen und Können (Fachkompetenz)

– Identifikation mit grundlegenden Werten (Persönlichkeitskompetenz)

• Handlungskompetent ist, der in konkreten Situationen Tätigkeiten so ausführen kann, dass er selbst und entsprechende Experten mit den gezeigten Leistungen zumindest zufriedengestellt sind.

9

Konzeptionelle, Analyse- und Problemlösungsfähigkeiten

domänenspezifisches Wissen und Können

Summe aus Motivation, Werten Verantwortungsbewusstsein, Flexibilität, Selbständigkeit…

Handlungs- kompetenz

Handlungskompetenz durch

berufliche Bildung

Methodenkompetenz

Fachkompetenz

Personale Kompetenz

Empathie, Konflikt- und Teamfähigkeit, Kommunikations- und Kooperationsfähigkeit

Sozialkompetenz

10

Das Handlungskompetenz-Modell - Dimensionen der vier Kompetenzen

Personale Kompetenz

Soziale Kompetenz

Methodische Kompetenz

Fachliche Kompetenz

Ich-Kompetenz Selbst-Kompetenz

Individuelle Handeln

Ich-Du-Wir-Kompetenz, kommunikatives Handeln

Interaktives Handeln, interaktive Kompetenz

Kognitive Kompetenz, Handlungswissen

Inwieweit steuere ich mein Handeln, meine Tätigkeit nach vereinbarten Werten, Regeln, Normen?

Wie gestalte ich die zwischenmenschlichen Beziehungen im Arbeitsprozess, bei meinem Handeln, meiner Tätigkeit?

Wie gestalte ich methodisch den Arbeitsprozess, mein Handeln, meine Tätigkeit?

Welches Wissen gibt es über den auszuführenden Arbeitsprozess, zu meinem Handeln, meiner Tätigkeit?

Theo Hülshoff 2004 11

• Kompetenzorientierung greift tief in die Konzeption von Aus-, Weiterbildung und Studium ein (Kernforderung im Bologna-Prozess)

• und stellt die Frage:

– Was sollen Lernende nach Abschluss einer Lehrveranstaltung, eines Moduls, einer Aus- bzw. Weiterbildung bzw. eines Studiengangs wissen und können?

Ergo

• Outcomes (damit Prüfungsleistungen) haben eine wichtige strukturierende Funktion - für Lehrende und für Lernende (!)

Folge: Transparenz

• Lehrende benennen relevante Kriterien und differenzieren in verschiedene Niveaus der Leistungsanforderung - modulspezifisch oder modulübergreifend

• (und halten sich daran)

Lernende beziehen sich darauf!

3. Bedeutung für die Praxis - Vorüberlegungen zu Beurteilungen

12

Anbahnung kompetenzorientierter Prüfungen

• Planung kompetenzorientierter Prüfungen beginnt bei der Konzeption von Lehrveranstaltungen/ Modulen.

Folgen:

• Wenn der handelnde Umgang mit Wissen überprüft werden soll,

• muss das Modul mit formulierten Lernergebnissen betrachtet werden.

• Durch kompetenzorientierte Lehre werden Lernende auf die Prüfung durch entsprechende Lernsettings vorbereitet.

Quelle Bild: Constructive Alignment - TUM

John Biggs, Catherine Tang: Constructive Alignment. Teaching for quality Learning … (2011)

(Ausrichtung)

13

Constructive Alignment (Lehr-, Lernausrichtung)

Bedeutung für Praxis: • Nicht nur im Unterricht sondern auch durch Lernsettings

(Training on the job/Praxisanleitung) müssen Lehr-Lernaktivitäten genau so gestaltet sein, dass die Lernenden die angestrebten Lehr-Lernziele erreichen können!

• In der Beurteilung wird das Erreichen dieser Ziele geprüft Text: Vgl. Hochschuldidaktik 1-2/2013

Prüfung kompetenzbezogen

Kompetenz als Learning Outcome

Prüfungsziele

Modulziele

Aufgaben Notwendige Lehr-,

Lernprozesse

Bild: Oliver Reis. Kompetenzorientierte Prüfungen: Prüfungstheorie und Prüfungspraxis. ICE 13. Köthen (Anhalt) 2013.

14

Handlungs- kompetenz

Entwicklung von Handlungskompetenz im

Kontext von Handlungsfeldern

Sozialkompetenz Methodenkompetenz

Fachkompetenz

Personale Kompetenz

Situative Ermöglichung

Persönliches Wollen Soziales Dürfen

Individuelles Können

Stolecki D: Arbeitsfeld Intensivstation und Anästhesie. In: Intensivpflege u. Anästhesie. Ullrich, Stolecki (Hrsg.) Thieme, Stuttgart 2015, modifiziert nach Hülshoff

15

Voraussetzungen zu kompetenzorientierten Prüfungen

16

Gefahren und Folgen

• Fehlt diese gezielte Verkopplung (und das Feedback), so klaffen die Erwartungen an Lernen und die tatsächlichen Lernaktivitäten der Lernenden ggf. weit auseinander

• Frustration

Folge • Bedingungsanalyse zwischen Bildungsstätte und Praxis

Enge Theorie-Praxis-Verzahnung Ermöglichung notwendiger Lehr-Lern-Settings Übungs-(Prüfungs)aufgaben mit fachlicher Problemstellung

koppeln Lernende sollen damit eigenständig Lösungen entwickeln

• Lerninselkonzept?

17

Prüfungsformate

Prüfungskonzeption anhängig von der Funktion:

1. Ergebnisorientierte Prüfung (summativ)

– prüft vorwiegend Wissen und Methodenbeherrschung

– Klausur, mündliche Prüfung: Abschluss eines Moduls

2. Prozessorientierte (formativ)

– Aufgabenstellung, z.B. praktische Prüfung, enthält einen fachlichen Feldbezug und macht genutztes Wissen sichtbar durch Überprüfung des Lösungsweges

• ist problemlösungsorientiert

• gestattet methodisch gesteuerte eigene Schritte im Handlungsfeld

• verlangt intentionales Handeln des Prüflings

→ Ein gelungenes Modularisierungskonzept , das auf Kompetenzen ausgerichtet ist, benötigt beide Prüfungsformen 18

4. Fallbeispiel: Prüfungssituation (Intensiv) Professionelles Handeln in komplexen Pflegesituationen

Übergeordnete learning outcomes

Absolventen der Weiterbildung

• ermitteln den Pflegebedarf kritisch kranker Menschen…

• begründen und planen geeignete Pflegeinterventionen,

• führen sie aus und evaluieren deren Wirkungen…

• beziehen wissenschaftliche Erkenntnisse fallorientiert ein (evidence based nursing)…

• führen ärztlich delegierte Maßnahmen fachgerecht aus

• steuern und überwachen die erforderlichen Geräte / Instrumente…

• führen in Notfällen die CPR eigenverantwortlich aus und koordinieren sie…

19

Die Absolventen

• handeln in Situationen mit Menschen bei eingeschränkter […] Bewegungsfähigkeit auf Basis der Physiologie/Pathophysiologie des Bewegungsapparates und der damit im Zusammenhang stehenden Störungen.

• erfassen systematisch die Bewegungsfähigkeit und Gefährdung (Dekubitus, Kontraktur, Thrombose, Wahrnehmungseinschränkung) des Patienten, analysieren die ermittelten Daten […] zur Situation.

• entwickeln selbständig Konzepte, um Risiken / Folgeschäden der eingeschränkten Bewegungsfähigkeit zu minimieren, Bewegung zu fördern.

• gestalten, koordinieren und evaluieren die Pflegemaßnahmen und setzen bewegungsfördernde Konzepte bei kritisch Kranken situationsgerecht um.

Pflegesituationen mit bewegungsbeeinträchtigten Menschen

20

Unterrichtsinhalte, Anleitungssituationen und Skilltrainings

Assessments zur Bewegungsfähigkeit: u.a. Medical Research Council (MCR) -Score,

Vitalparameter

Skill-Training: passive

Mobilisationsformen

Mobilisations- und Bewegungskonzepte - Bobath, Kinästhetik

Skill-Training: aktive

Mobilisationsformen

Formen der Intensivierten Frühmobilisierung kritisch Kranker

Förderung der Wahrnehmung u. a. Basale Stimulation, Affolter

Fallorientierte Intensivpflege Bewegungseinschränkung bei

Verbennung/Trauma/Ersatzverfahren

Unterricht zu allen Themen - Physiologie Bewegungssystem

- Prävalenz Dekubitusentstehung

Pflegesituationen mit bewegungsbeeinträchtigten Menschen

21

Skill-Training: Selbsterfahrung Wahrnehmung

Einschätzung des Patienten

1. Relevante Vorerkrankungen

2. Vigilanz, Motivation

3. Welche Bewegungsoptionen hat der Patient? (MRC-Score)

• Beurteilung der Kraftgrade (Normale Kraft - sichtbare Kontraktionen)

• In welcher Transferklasse befindet sich der Patient? (Transferklasse 1-3)

• Mobilisierungsstufen (Stufe 4-0)

• Ressourcen?

4. Analgesie: erforderlich?

5. Erstmobilisation oder Fortsetzung? – Probleme bisher?

Planungen zur passiven Mobilisation

• Optionen auswählen und priorisieren

• Vorhandene Ressourcen einbinden

• Gezielte Überwachung definieren

• Räumliche und materielle Voraussetzungen bestimmen

• Zeitliche Vorgehensweise festlegen

• ….

Pflegesituationen mit bewegungsbeeinträchtigten Menschen

22

Passive Mobilisation

Durchführung der Intervention

• Der Patient wird über die Maßnahme informiert

• Zu Beginn wird die Schmerzsituation geklärt

• Blockierende Lagerungsmaterialien werden entfernt

• Alle Gelenke werden in spezifischer Reihenfolge physiologisch mobilisiert, das jeweilige proximale Gelenk fixiert, die jeweilige Extremität ausreichend unterstützt

• Evtl. Eigenbewegungen des Patienten werden gefördert

• Die Maßnahmen werden in ausreichender Frequenz durchgeführt

• Widerstände des Patienten (Schmerzen) werden berücksichtigt

• Der TN handelt interprofessionell und gibt Daten an KG weiter

Pflegesituationen mit bewegungsbeeinträchtigten Menschen

23

Durchführung der Intervention

• Grundregeln der Hygiene und der Asepsis werden beachtet

• Evtl. Wünsche und Bedürfnisse des Patienten werden berücksichtigt

• Dem Patienten wird ausreichend Zeit gewidmet

• Die Würde des Patienten wird beachtet

• Der Patient erhält ein Feedback und wird

– bei den Übungen evtl. korrigiert

– in seiner Motivation unterstützt durch Hinweise auf seine Fortschritte

Pflegesituationen mit bewegungsbeeinträchtigten Menschen

24

Kompetenz

• Der Absolvent fördert durch die gewählten und durchgeführten Interventionen kompetent die Mobilisation des Patienten, fördert dessen Wahrnehmung, auch durch Kommunikation, arbeitet hygienisch und….

Pflegesituationen mit atembeeinträchtigten Menschen

Die Absolventen

• handeln in Situationen mit atembeeinträchtigten Menschen auf Basis detaillierter Fachkenntnisse der Physiologie und Pathophysiologie sowie aktueller (pflege-)wissenschaftlicher Erkenntnisse

• wenden Methoden der klinischen und apparativen Atemüberwachung an, werten die ermittelten Parameter [… ] aus und nutzen sie unter Hinzuziehung weiterer relevanter Informationen zu einer differenzierten Situationsanalyse

• planen selbständig präventive Pflegemaßnahmen, führen sie fall- und situationsorientiert durch und werten sie aus…

• entwickeln fall- und situationsorientiert Strategien zur apparativen und nicht apparativen Unterstützung und Förderung der Atmung, gestalten gezielt das Weaning vom Respirator und werten die Wirkung des medizinisch-pflegerischen Angebotes aus.

25

Pflegesituationen mit atembeeinträchtigten Menschen

Unterrichtsinhalte, Anleitungssituationen und Skilltrainings

Einweisung in und Inbetriebnahme von Beatmungsgeräten nach MPBetreibV

Skill-Training: Versorgung Tubus/Kanüle - VW,

e.b. Absaugen, Umlagerung

Klinisches und apparatives respiratorisches Monitoring,

Dokumentation relevanter Daten

Skill-Training: NIV

Skill-Training: 180°, 135°-Bauchlagerung

Kontinuierliche LRT

Einstellung und Anpassung der Modi bei diversen Krankheitsbildern und

Veränderungen

Mobilisierung und Lagerung des ateminsuffizienten Patienten

Atemunterstützende Maßnahmen z.B. CPAP, ATC, ASE

Unterricht zu allen Themen - Physiologie, Pharmakologie etc.

26

Fallbesprechung in Praxis - auch Prüfungssituation

Beispiel: Gesamtversorgung bis Weaning

Ist-Situation

• 54 J. Mann, Zustand nach Darm-OP, 7. Tag

• Intubiert, kontrolliert beatmet, hämodynamisch stabil

• analgosediert mit Sufentanil

• Partiell enteral via gastral platzierter Sonde ernährt

• Diverse i.v.-Zugänge, art. Druckmessung, DK

• Therapeutisches Ziel: Weaning (Entwöhnung vom Respirator)

27

Fallbesprechung in Praxis Beispiel: Gesamtversorgung bis Weaning

1. Strukturierte Übergabe

• Der TN informiert strukturiert anhand der Daten aus der Anamnese von der Aufnahme bis zum status quo.

2. Ableitung relevanter Probleme

• Aus der Datensammlung und dem Verlauf leitet problemorientierte und damit zielgerichtete fachlich korrekte Interventionen ab.

3. Interventionsplanung, -durchführung, Evaluation

• Die jeweiligen Interventionen werden im Kontext begründet […]

• die Aufgaben verantwortlich unter Nutzung der jeweiligen Tätigkeitsspielräume initiiert, selbständig gemanagt und evaluiert

28

Fallbesprechung in Praxis - auch Prüfungssituation

Beispiel: Gesamtversorgung bis Weaning

Problemanalyse (u.a.)

• Pat. immobilisiert, intubiert – alle Prophylaxen notwendig, passive Mobilisation

• Darmmotilität ↓ - Steigerung notwendig

• Monitoring Herz-Kreislauf, Respiration, Hygiene….

• Bilanzierung

• Ausreichende Ernährung (Eiweißmangel?)

• Sedierungsgrad? (z.B. RASS)

• Kontext von Ernährung/Sedierung zum Weaning

• Differenzierung der Weaningstrategie

• Lagerungsart

29

Fallbesprechung in Praxis - auch Prüfungssituation

Kompetenzen

• Der TN erfasst alle wesentlichen Parameter der klinischen und apparativen Überwachung, schätzt die Daten / Parameter richtig eingeschätzt (Labor, Vital…), gibt sie situationsgemäß weiter (Arzt, therapeutisches Team)

• Der Bezug von Ernährung zum Weaning wird hergestellt, die Voraussetzung zum Weaning wird ermittelt, notwendige Schritte werden eingeleitet

• Andere berufliche Disziplinen werden situationsbedingt involviert

• Der Umgang mit Tubus, Beatmungsgerät, Ernährung erfolgt sicher

• Mit dem Patienten findet eine angemessene Kommunikation statt (Ankündigung von Maßnahmen, Wortwahl)

• Grundregeln der Hygiene und der Asepsis werden beachtet

• Die Ablauforganisation bezogen auf die Handlungsschritte ist sinnvoll und zeitökonomisch (Wegezeiten)

• Der TN versorgt den Patienten handlungskompetent…

30

Kompetenzorientierte Prüfung - Ableitung von Beurteilungskriterien

Personale Kompetenz

Soziale Kompetenz

Methodische Kompetenz

Fachliche Kompetenz

• Steuert der TN sein Handeln nach vereinbarten Werten, Regeln, Normen? Zeigt er entsprechendes Verantwortungsbewusstsein?

• Zeigt er Flexibilität in veränderten Situationen?

• Wie gestaltet der TN die zwischenmenschlichen Beziehungen im Arbeitsprozess mit dem interdisziplinären Team, mit Angehörigen?

• Setzt der TN das notwendige fachspezifische Wissen situationsgemäß ein?

• Wendet er notwendige Konzepte an?

• Ist der Arbeitsprozess auf die Situation inhaltlich, zeitlich, ökonomisch, hygienisch abgestimmt und sicher vollzogen?

• Handelt er Kontextbezogen und begründet?

31

Beurteilungsfehler kennen

• Hof-Effekt Der Prüfer schließt aus dem Vorhandensein einer Eigenschaft oder Fähigkeit auf das gleichzeitige Vorhandensein anderer Eigenschaften oder Fähigkeiten, ohne diese jedoch explizit festzustellen.

• Positionseffekt Der erste (letzte) Eindruck bzw. die erste (letzte) Information prägt das Urteil. Alle anderen Informationen werden an das gefasste Urteil angepasst.

• Reihenfolgeneffekt Oft bei mündlichen Prüfungen anzutreffen. Die Leistung eines Prüfungskandidaten wird dabei nicht an den festgelegten Anforderungen, sondern an der Leistung des vorangegangenen Prüflings gemessen.

32

Beurteilungsfehler kennen

• Milde-Effekt/Strenge-Effekt Erwünschte Eigenschaften, Fähigkeiten oder richtige Antworten werden hoch gewichtet, unerwünschte Eigenschaften, Fehler oder Lücken hingegen vernachlässigt. Der umgekehrte Fall ist beim Strenge-Effekt gegeben.

• Zentrale Tendenz Die Bewertungen konzentrieren sich auf den mittleren Bereich (etwa um die Note 3), die extremen Bereiche (etwa die Noten 1 und 6) werden vermieden.

• Kontrastfehler Er liegt vor, wenn der Prüfer Fähigkeiten, Eigenschaften des Prüflings, die er selber nicht hat, besonders positiv oder negativ beurteilt.

• Ähnlichkeitseffekt Der Prüfer bewertet solche Fähigkeiten, Eigenschaften etc. des Prüflings besonders positiv (selten negativ), über die er auch selber verfügt.

33

Ich kann nicht genug betonen, dass Lehrende an ihrer eigenen Unsicherheit scheitern oder sich

im Nebel ihres eigenen Handelns verirren, wenn sie nicht genau wissen, was der Lernende am

Ende der Lerneinheit können soll. modifiziert nach R.F. Mager

34

für Ihre Aufmerksamkeit! 35