Portfolioarbeit aus empirischer Perspektive: Ein ... › typo3temp › secure... · und...

Portfolioarbeit aus empirischer Perspektive: Ein Forschungsüberblick mit Leerstellen

Portfolio in der Lehrerinnen- und LehrerbildungBaden-württembergische Netzwerktagung | 03.05.2019Lina Feder & Tim Fütterer

Bildquellen- https://uxmastery.com/10-steps-to-a-perfect-ux-portfolio/- https://pixabay.com/de/illustrations/statistik-analyse-grafik-daten-3411311/

2 | Lina Feder und Tim Fütterer © 2019 Universität Tübingen

Zugeschriebene Potenziale Empirische Befunde?

Portfolioarbeit in der Lehrerbildung

Struktur


1. Einführung: Portfolioarbeit als Containerbegriff in der Lehrerbildung2. Systematischer Überblick zu Potenzialbereichen3. Zwischenfazit4. Forschungsüberblick: Studien und Befunde5. Leerstellen6. Diskussion



Konzept Portfolio• unterschiedliche Intentionen, Zielsetzungen und Konzepte

(Häcker & Lissmann, 2007; Häcker, 2012)à ‚Portfolio(-arbeit)‘ als Containerbegriff

• zunehmend stärkere konzeptionelle Abgrenzung zwischen dem Einsatz in der Schule und der Lehrerbildung

• konzeptionelle Praxisorientierung im Diskurs (Feder & Cramer, 2018)

Tradition des Instruments• längere Tradition von Portfolios im angloamerikanischen Raum (Barton &

Collins, 1993; Krause, 1996; McLaughlin & Vogt, 1996)• sukzessive Verbreitung auch im deutschsprachigen Raum

(Hascher & Sonntagbauer, 2013; Koch-Priewe & Störtländer, 2016; Ziegelbauer & Gläser-Zikuda, 2016)

Bildungspolitische Vorgaben

1. Einführung



1. Einführung

Steigerung Reflexivität

Förderung der Entwicklung

Evaluation

Alternative Leistungsbeurteilung

Berufsbiographische Begleitung

Rollenfindung

Entwicklung eines eigenen Profils

Explikation subjektiver Theorien

Identitätsbildung

…

Hohes (zugeschriebenes) Innovationspotenzial (Hascher & Sonntagbauer, 2013; Koch-Priewe & Störtländer, 2016; Ziegelbauer & Gläser-Zikuda, 2016; Feder & Cramer,

2019)

Fragestellung


(1) Welche Potenziale werden der Portfolioarbeit in der Lehrerbildung in der wissenschaftlichen Literatur zugeschrieben und wie quantifizieren sie sich?

(2) In welchen Kategorien lässt sich der Charakter der deutschsprachigen, wissenschaftlichen Literatur zur Portfolioarbeit beschreiben?

2. Systematisierung Potenziale

Methode


Systematische Literatur Review (Cooper & Hedges, 2009):

• systematische Literaturrecherche nach Kriterien

• Replizierbarkeit und Vollständigkeit

• kein einheitliches Verfahren zur Durchführung einer Review

(American Psychological Association, 2010)

• Schlagwortsuche in einschlägigen Zeitschriften und Herausgeberbänden

(‚Portfolio‘ und ‚Lehrerbildung‘ sowie Flexionen)


Methode



Text 3

Text 1

Text 2Einschlusskriterien für die Literatur-recherche und -selektion: • Zeitraum: 2005-2016• deutschsprachige Veröffentlichungen in

Herausgeberbänden oder Zeitschriften• Bezug zur ersten oder zweiten Phase der

Lehrerbildung• explizite oder implizite Formulierung von

Potenzialen der Portfolioarbeit entsprechend der Forschungsfrage

Analysekorpus: 19 Zeitschriftenartikel; 52 Artikel aus Herausgeberbänden (N = 71)

Methode



Analyseschritt I (Inhaltsanalyse) • niedrig-inferente Kodierung aller

genannten Potenziale unter induktiv gebildeten Kategorien, anschließende Clusterung(Krippendorff, 2013 )

• Kontrolle der Beurteiler-übereinstimmungen mittels Krippendorff‘s Alpha (Krippendorff, 2013)

365

241

8419

193 189

106 10562

0

50

100

150

200

250

300

350

400

Reflexio

n

Profess

ionalisieru

ng

Selbsts

tändigke

it ste

igern

Portfolio

als Instr

ument k

ennenlernen

Rahmenbedingungen der L

ehrerb

ildung

Sammelm

appe

Begleitu

ng und Austa

usch

Leist

ungsmessu

ng

Verbindung von A

usbild

ungsbesta

ndteile

n

‚Strukturinstrument‘

Ergebnisse: Potenziale (Feder & Cramer, 2018)



N = 1364 (Textstellen in 71 Texten); Krippendorff‘s Alpha = .86

19

‚Professionalisierungsinstrument‘

Methode



Analyseschritt II (Inhaltsanalyse) • dichotome Kodierung der Texte

unter induktiv gebildeten Kategorien durch zwei unabhängig Kodierende (Krippendorff, 2013)

• Kontrolle der Beurteiler-übereinstimmungen mittels Krippendorff‘s Alpha (Krippendorff, 2013)

Ergebnisse: Kategorisierung der Portfolioliteratur (Feder & Cramer, 2018)



Portf

olio

liter

atur

Kategorie 1: abstrakt-konzeptionell 51/71

Kategorie 2: konkret-konzeptionell 43/71

Kategorie 3:empirisch 27/71

N = 71; Krippendorffs Alpha: .67/.82/.76

Das Internationale Netzwerk Portfolioarbeit (INP)



Das Netzwerk• DEU, AUT, CHE, LUX

• Alle Stufen des Bildungsbereiches

• Austausch Erfahrungen an

Bildungsinstitutionen

Der SchwerpunktAnwendungsorientierung –

Einsatz in der Praxis

Bilderquelle: https://www.portfolio-inp.ch/

Das Internationale Netzwerk Portfolioarbeit (INP)


Das Handbuch Portfolio Arbeit. Konzepte, Anregungen Erfahrungen aus Schule und Lehrerbildung (Brunner, Häcker & Winter, 2011)

• Konzeptuelle Grundlagen der Portfolioarbeit• Erfahrungen in unterschiedlichen Bildungskontexten• Fokus: Leistungsbeurteilung

Portfolio im Unterricht. 13 Unterrichtseinheiten mit Portfolio(Schwarz, Volkwein & Winter, 2008)

• Detaillierte Unterrichtsbeispiele als Prototypen• Portfolio macht Schule. Unterrichts- und Schulentwicklung mit Portfolio (Bräuer,

M. Keller und Winter, 2012)

• Detaillierte Beispiele der Einführung von Portfolios an Schulen

Kompetenzorientierter Unterricht mit Portfolio (S. Keller & König, 2017)

• Konzeptualisiert Portfolio als Instrumente der Unterrichtsentwicklung und der Leistungsbeurteilung in einem kompetenzorientierten Unterricht


Insgesamt: Austausch von Praxiserfahrung &

Anwendungsorientierung


3. Zwischenfazit

hohes (zugeschriebenes) Innovationspotenzial (Hascher & Sonntagbauer, 2013; Koch-Priewe & Störtländer, 2016; Ziegelbauer & Gläser-Zikuda, 2016; Feder & Cramer, 2018)

bildungspolitische Vorgaben (Monitor Lehrerbildung, 2018)

?Portfolioliteratur(Feder & Cramer, 2018)


• Modelle (bspw. Prozessmodelle)• Metaphern und Definitionen• Dimensionierung• (heuristische) Identifizierung von Potenzialen; „A portfolio can (…) be adjusted

to serve varying purposes“ (Imhof & Picard, 2009, S. 150)

Theoretische und konzeptionelle Arbeit


4. Forschungsüberblick

Zahlreiche nationale und internationale theoretische und konzeptionelle Vorarbeiten

Qualitative und Quantitative Zugänge - Ausgewählte Publikationen



Lernprozesse dokumentieren, reflektieren und beurteilen

Lerntagebuch und Portfolio auf dem Prüfstand

Lerntagebuch und Portfolio aus empirischer Sicht

Portfolioarbeit phasenübergreifend gestalten

2007

2009

2010

2016

• Viele qualitative Forschungsarbeiten• Forschungsbereiche: Nutzung (Einstellung, Akzeptanz, Motivation),

Gelingensbedingungen, Evaluation (ohne experimentellem Design)• Es existieren Befunde zur Wirksamkeit aus quantitativen Settings, bspw.

Förderung selbstregulativer Fähigkeiten, aber Achtung:• Selbsteinschätzungen und Erfahrungsberichte: Höhere Ausprägungen• Heterogene Befunde: Quasi-experimentelle Studien mit Prä-Post-Design:

• Kein Effekt (Brouër & Gläser-Zikuda, 2010; Brouër, 2007)

• Ggf. negative Effekte, oberflächliche Lernstrategien (Baeten et al., 2008)

Qualitativer & Quantitativer Zugang – Status Quo



Zahlreiche nationale und internationale theoretische und konzeptionelle Vorarbeiten & Dominanz qualitativer Studien

Qualitative und Quantitative Zugänge - Studien und Befunde – Überblick (Feder & Cramer, in press)



Potenzial (α) Studie Kode (α)

Entwicklung von Reflexivität (1.0)

Barsch & Glutsch (2016) Brouër (2007) Christen & Hofmann (2013) Egloffstein et al. (2010) Jahncke (2015) Pineker & Störtländer (2013)

000000

Entwicklung berufsbezogener Fähigkeiten(1.0)

Gläser-Zikuda et al. (2010) 0

Möglichkeit der Leistungsmessung(1.0)

Bäuerlein & Fraefel (2016) +

(1.0)

Qualitative und Quantitative Zugänge - Studien und Befunde - Überblick



Portfolios in der LehrerInnenbildung. Ein aktueller Überblick zur empirischen Befundlage (Hofmann et al., 2016)

Methode• Systematische Literaturrecherche (iterativ)

• Onlinedatenbanken (FIS, ERIC, DIPF-Publikationsdatenbank),

einschlägige Monographien und Sammelbände

• Einschlusskriterien:

• Portfolios aus allen drei Phasen in der Lehrerbildung

• Portfolio als Teil eines Treatments

• Studien mit nachvollziehbarer & gut dokumentierter Methodik

Befunde• 1. Phase: 4 Studien (2000, 2008 und 2013)

• 2. Phase: 1 Studie (2006)

• 3. Phase: 3 Studien (2007 und 2010)

Qualitative und Quantitative Zugänge - Studien und Befunde (1. Phase)



E-Portfolios als Instrument zur Professionalisierung in der LehrerInnenbildung(Klampfer, 2013)

Kontext: E-Portfolioeinsatz in der Lehrerbildung in Österreich – ProfessionalisierungFokus: Identifizierung von Prädiktoren der Akzeptanz und Motivation zur Portfolioarbeit Methode: Intervention (1 Semester) im Quasi-Experiment, Prä-Post-Onlinebefragung, N = 64 (3./5. Semester, 12 m) angehende Lehrpersonen gleichverteil auf TG und KGInstrumente:• subjektiver Lernerfolg, 4 Items („Ich habe durch die Reflexionen mit dem E-Portfolio viel

Neues gelernt“), α = .93• Akzeptanz, 4 Items (Ich würde meinen Studienkollegen/-innen die Arbeit mit E-

Portfolios in der Schulpraxis empfehlen), α = .82• intrinsische Motivation, 3 Items (Die Arbeit mit dem E-Portfolio könnte mir Spaß

machen.), α = .91Ergebnisse: • r = .598, p ≤ .01 (Motivation – Lernerfolg)• r = .495, p ≤ .01 (Akzeptanz – Lernerfolg)• Motivation zu t0 n.s.; deskriptiv Abfall der Motivation in KG Anstieg in TG




Views on using portfolio in teacher education (Imhof & Picard, 2006)„the issue of how the effects of portfolio methods can be determined has received littleattention“

Kontext: Portfolioeinsatz im Vorbereitungsdienst in Hessen – ProfessionalisierungFokus: Akzeptanz und Effekt auf Einstellungen und KompetenzenMethode: Quasi-Experiment, Kontrollgruppendesign, N = 144 Referendare (32 m; 118 TG)Instrumente:• proaktive Einstellungen (Schwarzer & Schmitz, 1999; Ich fühle mich verantwortlich dafür,

dass Dinge passieren), α = .64• Selbstwirksamkeit (Schwarzer & Schmitz, 1999; Ich bin überzeugt, dass ich alle relevanten

Fachinhalte auch den schwierigsten Schülern erfolgreich vermitteln kann), α = .77Analyse: t-TestErgebnisse:• Viele Referendare fanden Portfolios wichtig und nützlich• Bedenken der Ausbilder zu ehrlichen Reflexionen• Keine signifikanten Gruppenunterschiede




Qualität der Arbeit mit Professional Development Portfolios (Fütterer, 2019)

Fokus:Förderung der Qualität der Portfolioarbeit (AV) im Vorbereitungsdienst S-H

Methode: Experiment, N = 39

Ergebnisse:• Beanspruchung,

Motivation und selbstregulative Fähigkeiten bedeutsame Prädiktoren

• Mehr Zeit nicht hinreichend

• DI besser für Belastete

Analyse: ANOVA, Multiple Regressionsanalysen

Qualitative und Quantitative Zugänge - Auswahl laufender empirischer Projekte



• Wirkung dialogischer Leistungsbeurteilung mit Portfolios auf Motivation (Fütterer, Brouër & Stürmer - Kiel & Tübingen)

• Systematisierung von Potenzialen und Grenzen (Feder & Cramer - Tübingen)• Entwicklung und Validierung eines Fragebogens zur Messung der Akzeptanz

einer Portfolioarbeit in der Lehrerausbildung (Fütterer, Feder & Cramer - Tübingen)

• Wirkung dialogischer Leistungsbeurteilung mit Portfolios auf Motivation (Fütterer, Brouër & Stürmer - Kiel & Tübingen)

• Systematisierung von Potenzialen und Grenzen (Feder & Cramer - Tübingen)• Entwicklung und Validierung eines Fragebogens zur Messung der Akzeptanz





Entwicklung und Validierung eines Fragebogens zur Messung der Akzeptanz einer Portfolioarbeit in der Lehrerausbildung (Fütterer, Feder & Cramer - Tübingen)

Ziegelbauer, 2016

1. ProfessionalisierungDrei Dimensionen (z. B.

Reflexivität), 9 Items

2. StrukturierungFünf Dimensionen (z.B.

Möglichkeit der Präsentation), 15 Items

Feder & Cramer, 2018

Erwarteter Nutzen der Innovation

____________________

- Nutzen- Relevanz- Wertzuschreibung




Entwicklung und Validierung eines Fragebogens zur Messung der Akzeptanz


Beispiel

Ich traue Portfolioarbeit zu, dass sie...

Möglichkeit der ‚Brücken-funktion‘

Item 1... theoretische und praktische

Ausbildungsbestandteile verbindet.

Item 2… unterschiedliche Ausbildungsbestandteile (z. B.

Bildungswissenschaften und Fachdidaktiken) verbindet.

Item 3… die Phasen der Lehrerbildung (Studium und

Referendariat) verbindet.

Woran fehlt es?


5. Leerstellen

Einheitliche Strategie & Gesamtbild„Schon Publikationen, die einen Überblick über die empirische Befundlage ermöglichen oder sich konkret auf empirische Studien und belastbare Ergebnisse beziehen, sind rar. Es liegt demzufolge ein enormes Forschungsdefizit vor.“ (Hofmann et al., 2016, S. 35)

Konkret fehlt es z. B. an Untersuchungen …• zu Effekten von Portfolios• zur Arbeit am Portfolio (Prozesskomponenten)• zu systematische Variation von Gelingensbedingungen• (an Metaanalysen)• …

Was sollte unternommen werden?


5. Leerstellen

Methodenvielfalt• mehr hochwertige quantitative Forschung

• RCT & quasiexperimentelle Designs• Große Stichproben• Metaanalysen (sofern möglich)

• mehr hochwertige qualitative Forschung• Multimethodische Analysen (bspw. Interview- und

Videoanalysen)• Prozessbeobachtung

Mixed-Methods-Designs

Herausforderungen für die Forschung


5. Leerstellen

Keine einheitliche Sprache (bspw. Definitionen, Konzepte)

Fehlende Messinstrumente (bspw. Reflexionsqualität)

Interne Validität - viele Einflussfaktoren (bspw. Implementation, individuelle kognitive und motivationale Voraussetzungen)

Finanzielle Förderung?


hohes (zugeschriebenes) Innovationspotenzial (Hascher & Sonntagbauer, 2013; Koch-Priewe & Störtländer, 2016; Ziegelbauer & Gläser-Zikuda, 2016; Feder & Cramer, 2018)


bildungspolitische Vorgaben (Monitor Lehrerbildung, 2018)

Portfolioliteratur(Feder & Cramer, 2018)

kaum empirische Fundierung von Portfolioarbeit: „enormes Forschungsdefizit“ (Hofmann, Wolf, Klaß, Grassmé & Gläser-Zikuda, 2016; Feder & Cramer, 2018)

6. Diskussion

6. Diskussion


• “It is time for the research to make this crucial shift so that ePortfolios can either attain their full potential, or valuable time and resources can be allocated to a more worthy cause.” (Bryant & Chittum, 2013, S.196 )

• Es gibt eine gut organisierte Portfolio-Bewegung mit=> viel theoretischer und konzeptioneller Vorarbeit=> vielen qualitativen Arbeiten & kleine Stichproben

(Fütterer, 2019; Hofmann et al., 2016; Feder & Cramer, in press)

• Frage, „[...] ob die Portfolio-Diskussion nicht auch einer ‚Prozessillusion‘ unterliegt und insgesamt ein viel bescheidenerer Anspruch an Portfolios erhoben werden sollte.“ (Hascher & Sonntagbauer, 2013)

Erkenntnisse und Schlussfolgerungen

Es braucht eine

Scientific Community -

What works?

Danke.

Kontakt:Lina Feder1 & Dr. Tim Fütterer2

Universität Tübingen

1 Tübingen School of [email protected] Hector-Institut für Empirische [email protected]

Portfolioarbeit aus empirischer Perspektive: Ein ... › typo3temp › secure... · und...

Documents

Transcript of Portfolioarbeit aus empirischer Perspektive: Ein ... › typo3temp › secure... · und...