Erhebungs- und Auswertungsmethoden in der empirischen ......a) Kooperatives Schreiben (Moti...

Markus Schmitt | Moti Brinkhaus

Erhebungs- und Auswertungsmethoden in der empirischen Schreibforschung

Dr. Markus Schmitt (Pädagogische Hochschule Heidelberg)

Moti Brinkhaus, M.Sc.

(Leibniz Universität Hannover)

http://www.uni-hannover.de/


Input I

Forschungsmethoden in der empirischen Schreibforschung



Input I: Forschungsmethoden in der empirischen Schreibforschung

Begriffsklärung:

Forschungsmethoden

Erhebungsmethoden

Auswertungsmethoden




Forschungsmethoden als Überbegriff, umfasst auch Erhebungs- und Auswertungsmethoden

Je nach Forschungsfrage wird in quantitativer Forschung eine dieser drei Varianten umgesetzt:

• Experimentelle Studie

• Quasiexperimentelle Studie

• Nichtexperimentelle Studie (Korrelationsstudie)




Forschungsmethodische Aspekte:

• Anlage einer Studie/Untersuchung (Versuchsplan)

• Zeitliche Struktur

• Zielgruppe/Stichprobe

• unabhängige Variable(n) = UV und abhängige Variable(n) = AV sowie deren Messung (Operationalisierung)

• Entscheidung über Erhebungs- und Auswertungsmethode




Bedeutung der Forschungsfrage:

• Anhand dieser muss entschieden werden, welche Forschungsmethode (inkl. Erhebungs- und Auswertungsmethode) geeignet ist

• Auf Basis der Forschungsfrage werden i.d.R. Hypothesen formuliert, die empirisch prüfbar sind.

• Auch stärker qualitativ ausgerichtete Forschung nutzt forschungsleitende Fragen, um theoriegeleitet und mit definierten Vorannahmen zu Erkenntnis zu kommen.




Um welche Phänomene geht es in der Schreibforschung? • Schreibprozess: Planen, Anfertigen und Überarbeiten von

Texten (klassisches theoretisches Modell: Hayes & Flower, 1980)

• Schreibprozess: Zusammenspiel von Teilprozessen im zeitlichen Verlauf

• (typische) Entwicklung schreibbezogener Kompetenzen • Qualität (und Qualitätsunterschiede) in Texten • Motivation zum Schreiben • …




Was könnten typische Forschungsfragen in der Schreibforschung sein (Beispiele)?

Grundlagenaspekte:

• Wie lässt sich der Prozess des Schreibens präzise und theoretisch fundiert beschreiben?

• Welche Rolle spielen die Komponenten des Arbeitsgedächtnisses beim Schreiben?

• Welche Rolle spielen Blickbewegungen während des Schreibprozesses?

Entwicklungsaspekte:

• Wie verläuft der individuelle Erwerb schreibbezogener Kompetenzen typischerweise?

• Wie lassen sich Risikofaktoren identifizieren?

• Welches sind wichtige Vorläuferkompetenzen für die Entwicklung von Schreibkompetenz?

Interventionsaspekte:

• Wie lässt sich Schreiben bei bestimmten Zielgruppen fördern?

• Wie effektiv ist eine Fördermaßnahme?

• Welche Rolle spielen Schreibstrategien?

• Welche Rahmenbedingungen sind günstig zur Förderung schreibbezogener Prozesse?



Arbeitsauftrag I

„Forschungsfragen“



Input II

Erhebungsmethoden in der empirischen Schreibforschung



Input II: Erhebungsmethoden in der empirischen Schreibforschung

Das Spektrum an möglichen Erhebungsmethoden ist theoretisch nicht begrenzt. Für schreibprozessbezogene Fragestellungen gibt es allerdings einige „Klassiker“.

Mit Blick auf die Erhebungssituation muss aber zunächst die Bedeutung des Schreibanlasses betrachtet werden!

Die Entscheidung über den Schreibanlass (Stimulusebene) bestimmt im Wesentlichen mit, welche Art von innerpsychischen Prozessen überhaupt zugänglich werden.

Schreibanlässe unterscheiden sich hinsichtlich… • Strukturierungsgrad • Situierungsgrad • evoziert („künstlich“) / nicht evoziert („natürlich“) • Leseanteil • thematischer Komplexität • kommunikativem Charakter (Adressatenorientierung) • kooperativem Charakter (interpersonelle Ebene) • …



Methoden der Schreibprozessforschung. (entnommen aus Linnemann, 2017, S.337)



Digitale Stifte/Schreibtablet

• Beispiel: Eye & Pen Software (Chesnet & Alamargot, Universität Poitier) – Video: http://eyeandpen.net/eye-and-pen-en/presentation-en/

• synchrone Datenaufzeichnung

• Einblicke in die mentalen Prozesse während des Schreibens

• Analyse von Schreibflüssigkeit, Pausen(länge), Druck (Motorik), Blickbewegungen


http://eyeandpen.net/eye-and-pen-en/presentation-en/











Arbeitsauftrag II

Die „Think Aloud“-Methode (lautes Denken)



Arbeitsauftrag II: Die „Think-Aloud“-Methode (lautes Denken)

Theoretischer Hintergrund: nicht nur für Schreibforschung relevant. Wurde aber z.B. auch von Hayes und Flower (1980) eingesetzt.

Ziel: innerpsychische Prozesse beobachtbar machen. Dabei kann man drei mögliche Verbalisierungsebenen differenzieren (in Anlehnung Ericsson & Simon, 1993; zit. n. Konrad, 2010):

• talk aloud

• think aloud -> bestmöglicher Zugang zu nicht bereits verbalisierten Inhalten im Arbeitsgedächtnis

• reflection prompts

Zwei definierte Rollen: Proband/-in(nen) und Beobachter/-in(nen)



Input III

Forschungsmethoden und Erhebungsmethoden:

Ein Blick auf Kovariaten



Alphabet Task (Berninger & Alsdorf, 1989)

• Klasse 5 (n=146)

• Klasse 9 (n=131)

min max MW SD

Alphabet Task 5 21 12,3 3,7

min max MW SD




Kooperatives Schreiben (Lehnen, 2017, S. 305)

• häufig Kombination aus mündlicher und schriftlicher Interaktion • hier: Kooperatives Schreiben als Forschungsmethode und nicht

als didaktisches Konzept

Rückmeldeorientierte Verfahren („fremder“ Text)

Ko-Autorschaft (gemeinsamer Text)

mündlich schriftlich mündlich schriftlich

Schreibkonferenz virtuelle Schreibkonferenz, Textlupe, Textkarussell, Arbeitsjournal

konversationelle Schreibinteraktion (reziprokes Formulieren/ Aushandeln)

virtuelle Schreibinteraktion (paralleles oder sequentielles Formulieren, z.B. Wikis)



Arbeitsauftrag III

„Schreibforschung konkret“



Arbeitsauftrag III: Schreibforschung konkret Vier Stationen zum Entdecken von Erhebungsmethoden und Kovariaten „Checkliste“ für die Gruppen; Ausfüllen im Anschluss an das Kennenlernen

der Stationen Folgende vier Stationen: a) Kooperatives Schreiben (Moti Brinkhaus) b) Keystroke-logging: Translog II (Markus Schmitt) c) Poster zu Kovariaten und Material

zur exemplarischen Erprobung (Markus Schmitt) d) Ratingverfahren (Moti Brinkhaus)

Wichtiger Hinweis: Auf Grund der Zeit(knappheit) gehen wir davon aus, dass jeder zumindest drei der vier Stationen kennenlernen kann.



Input IV

Auswertungsmethoden in der empirischen Schreibforschung



Kooperatives Schreiben

… als Forschungsmethode:

• Einblick in vollständige Textgenese/Entstehungsprozesse

• Verdeutlichung der Herausforderungen beim Schreiben

• Einblick in das Verhältnis von prätextuellen Ideen und verschriftlichten Ideen

• Einblick in subjektive Vorstellungen, Textmusterwissen und adressatenbezogenes Wissen des Schreibers



Kooperatives Schreiben

• Herausforderungen bei der Planung von Studien:

• Gruppenzusammensetzung

• Muster der Interaktion

• Scaffolding

• Schreibaufgabe/Aufgabenkomplexität

• Was wird als UV und AV herangezogen?



Keystroke Logging Analyse der gewonnenen Daten mit Blick auf den zeitkritischen Verlauf Wichtige Indikatoren: • Schreibdauer • Pausen • so genannte „bursts“ • Lokation und zeitlicher Verlauf von Tippfehlern und Korrekturprozessen -> Interpretationsschwierigkeiten beachten! Sowohl qualitative Analysen (was bedeutet eine Pause in ihrem Kontext?) als auch quantifizierende Analysen (statistischer Art; z.B. kumulierte Pausenhäufigkeiten, durchschnittliche Pausenlänge) möglich Gilt grundlegend auch für erfasste Handschriftprozesse Prinzipiell auch Kopplung an eye-tracking-Daten möglich. Dies bietet dann sehr differenzierte Analysemöglichkeiten! Leider noch kein einheitlicher „Exportstandard“ mit Blick auf Dateiformate/-typen etabliert



Keystroke Logging: Übersicht Programme

(Quelle: www.writingpro.eu)



Kovariaten



Beispiel zur Erhebung von Kovariaten Klasse 5 (n=146)

Klasse 9 (n=131)

• für Mittelwertsvergleiche: Anzahl korrekt bearbeiteter Items (RW) oder Bearbeitungszeiten hilfreicher als Rückgriff auf Normdaten

min max MW SD

CFT20-R Wortschatz 4 27 17,0 5,0

SLS 10 51 28,5 8,0

Listening Span 0 10 4,1 2,1


min max MW SD

CFT20-R Wortschatz 1 30 24,3 4,6

SLS 13 70 44,3 10,3

Listening Span 1 11 5,8 2,2 Alphabet Task 0 36 21,1 6,1



Beispiel zur Erhebung von Kovariaten

Alphabet Task

SLS CFT 20R Corsi-Block Listening Span

Klasse 5 - .26** .30** - .30**

Klasse 9 .29** .35** .44** .33** .38**

Korrelation mit der Textqualität im Bericht (naives Rating)



Ratingverfahren

Ber 1 Ber 2 Ber 3 Ber 4 Arg 1 Arg 2 Arg 3 Arg 4

Stufe 0

Stufe 1

Stufe 2

Stufe 3

Stufe 4

Stufe 5

21.11.2015



Ratingverfahren: Herausforderungen

• standardisierte Verfahren vs. selbst entwickelte Verfahren

• globale vs. analytische Verfahren

• Fokus auf Inhalt, Grammatik, Lexik, Genre, Makrostruktur, ...

• zeitliche und finanzielle Aspekte

• Quantifizierbarkeit und Dichotomisierung

• (Konstrukt-) Validität

• Interraterreliabiltät

• didaktische Implikationen

• ....



Beispiel eines analytischen Verfahrens

• Detaillierte Textanalyse: Sprachliche Merkmale, die zum Zustandekommen der Textfunktion, Verständlichkeit und Kohärenz beitragen

• zentrale Kategorien (Basis: Zürcher Textanalyseraster, Nussbaumer &

Sieber, 1994):

– Vollständigkeit von Informationen

– Sprachliche Realisierung

– Kohärenz

– Textstruktur (Anfang/Ende)

• Formulierung der Kriterien entlang der spezifischen Aufgabe



analytisches Verfahren



analytische Verfahren

• Frage nach gleichgewichteter Aggregation der Items

• Berechnung der internen Konsistenz der versch. Skalen:

– je nach Textsorte variierend, einzelne Aspekte gehören offenbar „mehr“ zu einer Kategorie als andere



Korrelation mit anderen Textqualitätsmaßen

Bericht Textlänge NAEP naives Rating

Vollständigkeit .44** .65** .62**

Beschreibung .52** .64** .61**

Lokalisiation .56** .65** .63**

sprachl.

Realisierung .37** .65** .57**

Rahmung/Kohärenz .49** .39** .31**



Korrelation zwischen verschiedenen Textqualitätmaßen

Stichprobe: n=277, Klasse 5 und 9, Bericht

• Textlänge und NAEP: .60**

• Textlänge und naives Rating: .52**

• NAEP und naives Rating: .75**



weitere Auswertungsmethoden

• sprachliche Merkmale in den Texten als Hinweise auf kognitive und sprachliche Kompetenzen

– reine Auszählungen von Anzahl der Wörter, Anzahl der Types, bildungssprachliche Merkmale, Kohäsionsmittel, Textprozeduren, ...

– Beurteilungen von spezifischen Textstellen (z.B. Angemessenheit obligatorischer Verben)

– Annotationen und Kategorisierungen von Textstellen (induktiv oder deduktiv), z.B. in MAXQDA

• Zusammenhang der Merkmale mit Designfaktoren und/oder Textqualität



ABSCHLUSS

…wir freuen uns auf eine angeregte Diskussion!



Hilfreiche Links

• www.eyeandpen.net/ (digitales Schreibpad)

• https://edupad.ch/ (Tool zum digitalen kooperativen Schreiben)

• https://wiki.zum.de/wiki/Kooperatives_Schreiben (Überblick zu verschiedenen Tools zum kooperativen Schreiben)

• www.writingpro.eu (Webseite Schreibprozessforschung)

• https://sites.google.com/site/centretranslationinnovation/home (Homepage Translog II)

• www.schreibkompetenz.com (deutschsprachige Schreibforschergruppe)

• https://www.uni-giessen.de/fbz/fb05/dies (dieS-Forschergruppe: didaktisch empirische Schreibforschung)


http://www.eyeandpen.net/

https://edupad.ch/

https://edupad.ch/

https://wiki.zum.de/wiki/Kooperatives_Schreiben

https://wiki.zum.de/wiki/Kooperatives_Schreiben

http://www.writingpro.eu/

https://sites.google.com/site/centretranslationinnovation/home

https://sites.google.com/site/centretranslationinnovation/home

http://www.schreibkompetenz.com/

https://www.uni-giessen.de/fbz/fb05/dies





Literatur Becker-Mrotzek, M., Brinkhaus, M., Grabowski, J., Hennecke, V., Jost, J., Knopp, M., Schmitt, M., Weinzierl, C. & Wilmsmeier, S. (2015).

Kohärenzherstellung und Perspektivenübernahme als Teilkomponenten der Schreibkompetenz: von der diagnostischen Absicherung zur di-daktischen Implementierung. In A. Redder, J. Naumann & R. Tracy (Hrsg.), Forschungsinitiative Sprachdiagnostik und Sprachförderung – Ergebnisse. Münster: Waxmann, S. 177-205.

Berninger, V. W. & Alsdorf, B. (1989). Are there errors in error analysis? Journal of Psycheducational Assessment, 7, 209–222.

Grabowski, J., Becker-Mrotzek, M., Knopp, M., Jost, J. & Weinzierl, C. (2014). Comparing and combining different approaches to the as-sessment of text quality. In D. Knorr, C. Heine & J. Engberg (Eds.), Methods in writing process research (pp. 147–165). Frankfurt/M.: Lang.

Hayes, J.R. & Flower, L.S. (1980). Identifying the organization of writing processes. In L.W. Gregg & E.R. Steinberg (Eds.), Cognitive processes in writing: An interdisciplinary approach (pp. 3–30). Hillsdale, NJ: Lawrence Erlbaum Associates.

Knopp, M. & Schmitt, M. (2017). Prädiktoren der Schreibkompetenz. In M. Becker-Mrotzek, J. Grabowski & T. Steinhoff (Hrsg.), Forschungshandbuch empirische Schreibdidaktik. Münster: Waxmann, S. 239-252.

Konrad, K. (2010). Lautes Denken. In G. Mey & K. Mruck (Hrsg.), Handbuch qualitative Forschung in der Psychologie. Wiesbaden: Springer VS, S.476-490.

Lehnen, K. (2017). Kooperatives Schreiben. In M. Becker-Mrotzek, J. Grabowski & T. Steinhoff (Hrsg.), Forschungshandbuch empirische Schreibdidaktik. Münster: Waxmann, S. 299-313.

Linnemann, M. (2017). Erfassung von Schreibprozessen: Methoden, Techniken, Tools. . In M. Becker-Mrotzek, J. Grabowski & T. Steinhoff (Hrsg.), Forschungshandbuch empirische Schreibdidaktik. Münster: Waxmann, S. 335-352.

Nussbaumer, M. & Sieber, P. (1994). Texte analysieren mit dem Zürcher Textanalyseraster. In P. Sieber (Hrsg.), Sprachfähigkeiten – Besser als ihr Ruf und nötiger denn je!. Aarau: Sauerländer, S. 141-186.

Wilmsmeier, S., Brinkhaus, M. & Hennecke, V. (2016). Ratingverfahren zur Messung von Textqualität in Schülertexten. Bulletin suisse de linguistique appliquée, 103, 101-117.



Vielen Dank für Ihre Aufmerksamkeit!


Erhebungs- und Auswertungsmethoden in der empirischen ......a) Kooperatives Schreiben (Moti...

Documents

Transcript of Erhebungs- und Auswertungsmethoden in der empirischen ......a) Kooperatives Schreiben (Moti...