98 Uwe Maier

Empirische Sonderpädagogik, 2017, Nr. 2, S. 98-115ISSN 1869-4845 (Print) · ISSN 1869-4934 (Internet)

Verlaufsdiagnostik und Förderung im Lernbereich

Sprachbetrachtung in der Sekundarstufe I mit

Moodle

Uwe Maier

Pädagogische Hochschule Schwäbisch Gmünd

Zusammenfassung

Verlaufsdiagnostik spielt zunehmend für Diagnostik und Förderung in heterogenen Klassen derSekundarstufe eine Rolle. Die bisher entwickelten Verfahren fokussieren allerdings überwie-gend Grundfertigkeiten in der Primarstufe. In dieser Studie wird deshalb der Frage nachgegan-gen, inwiefern eine Verlaufsdiagnostik nach dem Prinzip des mastery measurement geeignet ist,um Lernfortschritte im Bereich Sprachbetrachtung in der Sekundarstufe I abzubilden und indi-viduelle Übungsangebote anzustoßen. Hierfür wurden formative Tests sowie Übungen undGlossare für Teilfacetten der Sprachbetrachtung entwickelt und in einem Moodle-Kurs umge-setzt. An der dreijährigen Begleitforschung nahmen 10 Realschulen mit 34 Lehrkräften und 820Schülerinnen und Schülern teil. Eine systematische Nutzung der Übungen und Glossare führtezu Lernzuwächsen in den einzelnen Wissensbereichen. Mit der differenzierten Analyse der Nut-zerdaten konnten jedoch auch dysfunktionale Nutzungsweisen identifiziert werden. Die Befun-de werden herangezogen, um den Moodle-Kurs zu optimieren.

Schlagwörter: Verlaufsdiagnostik, Lernfortschrittsdiagnostik, formatives Assessment, Sprachbe-trachtung, Deutschunterricht, Sekundarstufe

Student progress monitoring and mastery assessment in the domain of

German grammar and spelling for secondary students

Abstract

Student progress monitoring is an important prerequisite for adaptive teaching in highly diversesecondary classrooms. To date, most of the techniques and progress monitoring measures focusprimary education learning goals such as basic computation skills or reading fluency. This studyaims at investigating if a progress monitoring system, based on the concept of mastery measure-ment, helps teachers in German secondary classrooms to adapt instruction in the field of Ger-man grammar and spelling. We therefore developed a Moodle course with different learningcontent modules, each of them comprising formative mastery tests for progress monitoring, glos-saries and adaptive assignments. We sampled 34 secondary teachers and 820 students who wor-ked with the Moodle course during several months. Moodle test point and assignment scores,glossary clicks and final questionnaire data were analyzed. Learning gains can be explained witha systematic use of adaptive assignments and glossaries. However, results also revealed ineffi-

99Verlaufsdiagnostik und Förderung im Lernbereich Sprachbetrachtung mit Moodle

Konzepte derLernfortschrittsdiagnostik

Unter den Stichworten „Lernfortschrittsdiag-nostik“ und „Verlaufsdiagnostik“ wurden inden letzten Jahren verstärkt Ansätze disku-tiert und Verfahren erprobt (z. B. Strath-mann & Klauer, 2010; Hasselhorn, Schnei-der & Trautwein, 2014), die auf US-ameri-kanische Studien zum curriculum-basedmeasurement zurückzuführen sind (z. B.Fuchs et al., 1994; Fuchs, 2004). Mit Ver-fahren des curriculum-based measurementkann die frühzeitige Diagnostik bzw. Prä-vention von Lernschwierigkeiten und dieÜberwachung von Förderinterventionen inzentralen Lernbereichen wie dem Lesenoder den Grundrechenfertigkeiten unter-stützt werden. Einsatzgebiete sind vorwie-gend die Primarstufe und Förderschulen. Esgibt eine Reihe von Studien, in denen dieEffektivität von Lernfortschrittsdiagnostik inden Domänen Lesen und Rechnen nachge-wiesen wurde (z. B. Topping & Fisher,2003; Nunnery, Ross & McDonald, 2006;Topping, Samuels & Paul, 2007).

Das entsprechende Testkonzept wirdvon Fuchs und Deno (1991) als general out-come measurement (GOM) oder auch long-term progress monitoring beschrieben. Fürdie Lernfortschrittsdiagnostik nutzt man ei-nen Indikator, der sich leicht testen lässtund dennoch eine zuverlässige Aussageüber die Lernentwicklung in der ganzenLerndomäne liefert. Beispielsweise wird dieLeseflüssigkeit als Indikator für Fortschritteim gesamten Leselernprozess herangezogen(Walter, 2010; Souvignier, Förster & Schul-te, 2014). Grundlage für die Lernfortschritts-diagnostik ist die Generierung beliebig vie-ler, ungefähr gleich schwerer Paralleltestfor-men. Ebenso muss die Testdurchführungs-dauer relativ kurz sein, um das Verfahren

tatsächlich auch im Unterrichtskontext an-wenden zu können. Fuchs und Deno(1991) nennen eine Reihe von Vorteilen ei-ner Lernfortschrittsdiagnostik nach demPrinzip des general outcome measurement:Lehrkräften steht ein einfaches und beliebigoft wiederholbares Testverfahren zur Verfü-gung, um Lernfortschritte in zentralen Do-mänen über einen längeren Zeitraum zuprüfen. Diese Tests können von Expertenentwickelt und standardisiert werden.Durch die langfristig angelegte Messungkönnen auch Behaltens- und Transferleis-tungen erfasst werden. Ein Nachteil ist aller-dings die aufwändige Prüfung der Ände-rungssensibilität des Indikators (z. B. Klauer& Strathmann, 2013). Es ist nicht immerklar, ob die Lernfortschrittsmessung mit ei-nem Indikator auch alle Lernzuwächse inder Lerndomäne anzeigt.

Die in der Literatur gut dokumentiertenund in Studien evaluierten Beispiele einerVerlaufsdiagnostik nach dem Prinzip desgeneral outcome measurement beschrän-ken sich auf grundlegende, überwiegendprozeduralisierte Fertigkeiten wie Lesenund Rechnen in der Primarstufe. Mittlerwei-le spielen aber Diagnostik und individuelleFörderung auch in der Sekundarstufe I einewichtige Rolle. Trotz unterschiedlichsterSchulstrukturen gibt es in allen Bundeslän-dern einen Trend zu Schulformen mit meh-reren Bildungsgängen sowie inklusivenKonzepten. Zu Beginn der Sekundarstufe Imüssen die Lehrkräfte auf ungleiche Lern-voraussetzungen reagieren. Ebenso müssenLehrkräfte bei ihren Unterrichtsangebotenund Förderkonzepten verschiedene Bil-dungsabschlüsse antizipieren.

Lerndomänen in der Sekundarstufe Isind zunehmend durch deklarative Wis-sensbestände geprägt. Für die Beschreibungvon Lernfortschritten in diesen Lerndomä-

cient patterns of usage, either depending on the course materials or school-side implementationproblems. Evaluation data were used to improve the progress monitoring system.

Key words: Student progress monitoring, curriculum-based measurement, mastery measure-ment, mastery assessment, secondary education, learning management system, Moodle

100 Uwe Maier

nen muss es möglich sein, auch den festge-legten Zuwachs an Faktenwissen oder kon-zeptuellem Wissen beschreiben zu können.Wenn man prüfen möchte, ob eine Schüle-rin die Interpunktionsregeln kennt und an-wenden kann, muss man direkt nach diesenRegeln fragen bzw. deren Anwendung prü-fen. Es gibt keinen allgemein gültigen Indi-kator für Schreibkompetenz, der auch etwasüber die Beherrschung von Interpunktions-regeln aussagen könnte.

Fuchs und Deno (1991) beschreiben ei-ne Lernfortschrittsdiagnostik, bei der sämtli-che Wissensfacetten mit Tests abgedecktwerden müssen, als specific subskill maste-ry measurement. Die Lerninhalte werdendabei in Teilfertigkeiten gegliedert und alseinzelne Lernziele geordnet. Für die Mes-sung wird jeder Teilfertigkeit bzw. jederTeilfacette der Wissensdomäne ein spezifi-sches Set an Testitems zugeordnet. Ebensowird bei jeder Teilfertigkeit ein mastery cri-terion für das Erreichen des Teillernzielsfestgelegt. Die meisten Beispiele hierzustammen aus den 1960er und 1970er Jah-ren und waren Teil des Unterrichtskonzep-tes mastery learning (Kulik, Kulik & Bangert-Drowns, 1990) und werden im Rahmen derDiskussion über formative assessment wie-der aufgegriffen (z. B. Guskey, 2007 und2010; Zimmermann & Dibenedetto, 2008).

Beim mastery learning wird der Lern-stoff entlang von Begriffen oder Fertigkeitenin kleine Einheiten im Umfang von ein biszwei Unterrichtswochen aufgeteilt. Nachjeder Einheit folgt ein formativer Kurztest,mit dem geprüft wird, was die Lernendenbereits können und wo noch Lücken sind.Da die Tests kleinschrittig angelegt sind,müssen die Lernenden den Lernstoff nahezukomplett beherrschen (mastery). Als Min-destpunktzahl für die Tests (passing score,cutting score) haben sich Werte zwischen80% und 90% etabliert. Das Resultat desformativen Tests sind konkrete Hinweise fürLernende und Lehrkräfte, woran noch gear-beitet werden muss. Die Lehrkraft stellt fürdiese Phase weitere Aufgaben und Übun-gen zur Verfügung. Danach bearbeiten die

Lernenden einen weiteren Paralleltest, umden Erfolg der Übungsphase zu prüfen.

Lerndomäne Sprachbetrachtung

Die deutschdidaktische und sprachwissen-schaftliche Literatur der letzten Jahrzehntediskutiert unter den weitgehend synonymverwendeten Begriffen „Sprachbetrach-tung“, „Sprachbewusstheit“, „metasprachli-che Fähigkeiten“ oder „Sprache und Sprach-gebrauch untersuchen“ eine neue Akzentu-ierung des traditionellen Grammatik- undRechtschreibunterrichts im Fach Deutsch(Ossner, 2006; Bredel, 2007). Schülerinnenund Schüler sollen in die Lage versetzt wer-den, grammatikalische Phänomene und Re-gelungen in sprachlichen Handlungszusam-menhängen anwenden zu können. Eichlerund Nold (2007, S. 63) differenzieren hier-für zwischen Sprachreflexion/Grammatikund sprachlichem Handeln als zwei mitei-nander verbundenen Teilbereichen derSprachbewusstheit. Bei der Sprachbetrach-tung steht deklaratives Wissen (Grammatik-wissen) im Vordergrund. Beim sprachlichenHandeln wird explizites Wissen (Gramma-tikwissen) oder implizites Wissen (Sprach-gefühl) angewendet, um eigene oder frem-de sprachliche Produktionen zu korrigieren.Sprachbewusstheit bzw. metasprachlicheFähigkeiten beziehen sich jedoch nicht nurauf die semantische oder syntaktische Ebe-ne der Sprache. Die für den Schriftspracher-werb wichtige phonologische Bewusstheitwird beispielsweise als metasprachliche Fä-higkeit auf Wortebene beschrieben. Meta-sprachliche Fähigkeiten spielen damit auchfür die Erklärung von Teilleistungsstörungenwie der Lese-Rechtschreibschwäche einewichtige Rolle.

Diese Vorstellung von Sprachbetrach-tung als zentralem Bestandteil des Deutsch-unterrichts wurde in den nationalen Bil-dungsstandards und den darauf bezogenenVergleichsarbeiten (VERA 3 und 8) aufge-griffen. Im Kompetenzbereich „Sprache undSprachgebrauch untersuchen“ in den Bil-dungsstandards im Fach Deutsch für den

101Verlaufsdiagnostik und Förderung im Lernbereich Sprachbetrachtung mit Moodle

Mittleren Schulabschluss (Kultusminister-konferenz, 2004) geht es sowohl um die Re-flexion als auch um die Gestaltung vonmündlichen Äußerungen oder Texten in be-stimmten funktionalen Verwendungszusam-menhängen. Der Kompetenzbereich ist sehrkomplex, weil Phänomene der deutschenSprache auf unterschiedlichen Ebenen (Gra-phem-Phonem-Korrespondenz, Wort, Satz,Text) mit verschiedensten Verwendungszu-sammenhängen (Kontexte, Textsorten usw.)in Verbindung zu bringen sind. In denKMK-Standards wird eine Reihe von Inhal-ten der deutschen Grammatik im Zusam-menhang mit ihrer Funktion für den Sprach-gebrauch genannt (Kultusministerkonfe-renz, 2004, S. 19): „Satzstrukturen kennenund funktional verwenden“, „Wortartenkennen und funktional gebrauchen“, „gram-matische Kategorien (z. B. Tempus, Modus,Aktiv/Passiv) und ihre Leistungen in situati-ven und funktionalen Zusammenhängenkennen und nutzen“ sowie „wichtige Re-geln der Aussprache und der Orthographiekennen und beim Sprachhandeln berück-sichtigen“.

Trotz der Bedeutung dieses Kompetenz-bereichs für den Deutschunterricht gibt eskeine standardisierten und für den Unter-richt praktikablen Testverfahren, die vonLehrkräften eingesetzt werden könnten, umdas Vorwissen oder die Lernentwicklung er-fassen zu können. Die Forschung hierzu fo-kussiert vor allem Testitems und Kompe-tenzmodelle zur Sprachbetrachtung für na-tionale Vergleichsstudien (z. B. Klieme et al.2006; Eichler & Nold, 2007). Diese eignensich nicht für eine gezielte Planung von För-derung.

Ziele und Fragestellungen

Ziel des Projektes war, eine digitale Lern-verlaufsdiagnostik nach dem Prinzip desmastery assessment in einem Lernbereichder Sekundarstufe I zu entwickeln und zuevaluieren. Die Lernverlaufsdiagnostik soll-te sich auf ein Hauptfach beziehen und

über mehrere Schuljahre hinweg anwend-bar sein. Aus diesen Überlegungen herauswurde der Lernbereich Sprachbetrachtungim Fach Deutsch ausgewählt. Im Sinne ei-ner formativen Diagnostik sollte das Instru-ment Förderoptionen direkt im Anschlussan die Diagnostik anbieten (Übungen sowieGlossare mit Definitionen und Regeln fürdie Wiederholung). Folgende Fragestellun-gen standen im Zentrum der Evaluation:1. Wie und in welchem zeitlichen Umfang

setzen die Lehrkräfte die Verlaufsdiag-nostik in ihrem Deutschunterricht ein?

2. Welche Lernzuwächse erzielen dieSchülerinnen und Schüler in den einzel-nen Modulen der Verlaufsdiagnostik?

3. Lassen sich Lernzuwächse mit der Bear-beitung von Übungen und der Nutzungder Glossare in verschiedenen Phasender Verlaufsdiagnostik erklären?

4. Wie werden die Feedbackinformationender Verlaufsdiagnostik von den Lehrkräf-ten rezipiert und wie bewerten Sie dieseim Vergleich zu anderen diagnostischenInformationsquellen aus ihrem Unter-richt?

Stichprobe

Die Durchführung des Projektes erstrecktesich über die drei Schuljahre 2013/14,2014/15 und 2015/16. Im Frühjahr 2013wurde allen Realschulen in einem Schul-amtsbezirk per Anschreiben eine Projekt-teilnahme angeboten. Mit interessiertenSchulen wurden Details zunächst telefo-nisch oder per E-Mail geklärt. Um das Pro-jekt näher zu erläutern und die technischeAusstattung sowie das geplante Vorgehenzu erklären, wurden schulinterne Lehrer-fortbildungen abgehalten. Die endgültigeStichprobe für die Datenanalyse umfasste34 Klassen (10 Lehrer, 24 Lehrerinnen). ImMittel lag die Klassengröße bei 24.1 Schüle-rinnen und Schülern mit einem Minimal-wert von 15 und einem Maximalwert von31 Personen pro Klasse. Die teilnehmendenKlassen verteilten sich auf sieben Realschu-len, eine Werkrealschule sowie zwei Schu-

102 Uwe Maier

len mit mehreren Schulabschlüssen. Es han-delte sich überwiegend um Schulen in länd-lichen Gemeinden oder Kleinstädten. DieSchülerstichprobe umfasste 820 Personen,davon 424 Schülerinnen (51,7%) und 396Schüler (48,3%). Schwerpunktmäßig nah-men Klassen aus den Jahrgangsstufen 7 (16Klassen) und 8 (15 Klassen) teil. Drei Klas-sen waren aus der Jahrgangsstufe 5/6.

Verlaufsdiagnostik für denLernbereich Sprachbetrachtung inMoodle

Moodle ist eine nichtkommerzielle Lern-plattform, die weltweit vor allem im Hoch-schulbereich, zunehmend aber auch anSchulen zum Einsatz kommt. Innerhalb ei-nes Kurses können verschiedenste Aktivitä-ten zur Verfügung gestellt werden, die vonden Kursteilnehmern online aufgerufenbzw. ausgeführt werden können. Die Funk-tionalität Test in Moodle eignet sich sehr gutfür die flexible Programmierung einer forma-tiven Diagnostik, vor allem durch unter-schiedliche Test- und Übungsaufgabenfor-mate und vielfältige Möglichkeiten für dieRückmeldung und Analyse von Ergebnisda-

ten. An der Pädagogischen HochschuleSchwäbisch Gmünd konnte der Moodle-Host für das Projekt genutzt werden. Die amProjekt beteiligten Schulklassen erhielten ex-terne Accounts. Die Lehrkräfte wurden alsTutoren angelegt und konnten die Ergebnis-se ihrer Klasse über das Internet einsehen.

Die Verlaufsdiagnostik umfasst fünf Test-und Übungsmodule in einem Moodle-Kurszu den Themen Wortarten, Kommasetzung,Satzglieder, Zeitformen sowie Groß- undKleinschreibung. Um die inhaltliche Lern-progression abbilden zu können, wurdenfür jedes Modul Lernziele auf drei Niveau-stufen definiert (Tabelle 1). Diese Einteilungder Lernziele orientiert sich an aktuellenLehrwerken und dem baden-württembergi-schen Bildungsplan. Niveau 1 entsprichtGrundschulwissen, das zu Beginn der Se-kundarstufe I beherrscht werden sollte (z. B.die Wortarten Nomen, Verben, Adjektiveund Artikel). Auf Niveaustufe 2 wird Wissenim Bereich Sprachbetrachtung geprüft, dasim Bildungsplan für die Realschule in denJahrgangsstufen 6 bis 8 verankert ist. DieTests auf Niveaustufe 3 prüfen grammatika-lisches Wissen, das in Schulbüchern eherselten angesprochen wird. Test- und

Niveau Wortarten Komma-setzung

Zeitformen Satzglieder Groß-/Klein-schreibung

1 VerbenNomenArtikelAdjektive

AufzählungenSatzreihen

PräsensPräteritumPerfektZukunft I

SubjektPrädikatAkkusativobjektDativobjekt

NomenEigennamenSatzanfänge

2 Niveau 1 undAdverbienPronomenKonjunktionenPräpositionen

Satzgefüge (Kon-junktional-satz)wörtliche Rede

Niveau 1 und-PlusquamperfektFutur II

Niveau 1 undAdv. Bestimmun-gen des Ortes,der Zeit, der Artund Weise, desGrundes

Niveau 1 undAbstrakte No-menFremdwörterNominalisierun-genAnredeZeitanga-ben

3 Niveau 2 und In-terjektionNumerale Eigen-namen

Satzgefüge (Rela-tivsatz)InfinitivgruppenAppositionen

Niveau 2 undZeitformen beiversch. Textsor-ten anwendenkönnen

Niveau 2 undGenitivobjektPräpositionalesObjekt

Niveau 2 undNominalisierungnach PronomenMengenangabenArtikel

Tabelle 1: Übersicht Testmodule und Niveaustufen

103Verlaufsdiagnostik und Förderung im Lernbereich Sprachbetrachtung mit Moodle

Übungsaufgaben auf Niveau 3 enthalten zu-dem komplexeres Wortmaterial und verlan-gen höhere Transferleistungen (z. B. Kennt-nis der Anwendung von Zeitformen in ver-schiedenen Textsorten).

Die Test- und Übungsfragen bestehenaus einem Wort- und Satzmaterial, das sichan lebensweltlichen Erfahrungen vielerSchülerinnen und Schüler orientiert. Dieunterschiedlichen Testaufgabenformate vonMoodle werden genutzt, um spezifische As-pekte des Wissens zu prüfen (Abbildung 1).Für die Bereiche Wortarten, Zeitformen (Ni-veau 1 und 2) und Satzglieder wurde dasAufgabenformat Single Choice gewählt. DieAufgaben zur Kommasetzung wurden alsLückentexte angelegt, in dem die Kommatadurch ein Drop-down-Menü vervollständigtwerden müssen. Das Format Lückentextwurde auch bei den Zeitformen (Niveau 3)verwendet. Zur Prüfung von Wissen im Be-reich der Groß- und Kleinschreibung wur-den Audiodateien in die Testitems einge-bunden. Die Schülerinnen und Schüler hör-ten ein Wort und mussten in einem vorge-gebenen Satz die Lücke ergänzen.

Im Moodle-Kurs konnten die einzelnenLernbereiche frei gewählt werden. Die Ler-nenden wurden allerdings durch die Kur-seinstellungen gezwungen, mit dem forma-tiven Test auf Niveaustufe 1 zu beginnen.Beim Erreichen des Mindestwerts von 80%richtig gelöster Aufgaben (cutting score),wurde der nächsthöhere Test freigeschaltet.Falls nicht, konnte ein Test frühestens nacheinem Tag wiederholt werden. Es standenkeine Paralleltestversionen zur Verfügung.Die Schülerinnen und Schüler wiederholtendenselben Test noch einmal. Die damit ver-bundenen Erinnerungseffekte führen natür-lich zu einer Einschränkung der echten Re-testreliabilität (siehe nächstes Teilkapitel).Andererseits ist es das Anliegen einer forma-tiven Diagnostik, bereits allein durch dieDurchführung von Tests Lernzuwächse an-zuregen. Wenn sich eine Schülerin oder einSchüler die Mühe macht, die Fehler bei derersten Testdurchführung genau zu studie-ren, konnte sie bzw. er davon bei der zwei-ten Testdurchführung profitieren. Dies wardidaktisch so gewollt, schränkt aber die Re-liabilität der Testwiederholung ein.

Abbildung 1: Screenshot mit Beispiel für eine Testaufgabe (Wortarten, Niveau 1)

104 Uwe Maier

Bei Nichtbestehen eines Tests standenÜbungsaufgaben für die jeweilige Niveau-stufe zur Verfügung (Abbildung 2). DieÜbungsaufgaben und die Tests unterschie-den sich in der Art der Rückmeldung. Wäh-rend bei den Tests die Rückmeldung erstnach Bearbeitung aller Aufgaben angezeigtwurde, erhielten die Lernenden unmittelbarnach jeder Übungsaufgabe eine Rückmel-dung zur Korrektheit der Lösung. Danachkonnte die Übungsaufgabe sofort noch ein-mal bearbeitet werden. Für alle Bereiche

wurden zudem Glossare angelegt, die al-phabetisch sortierte Einträge (Regeln, Bei-spiele, Merksätze) zu den jeweiligensprachlichen Phänomenen enthielten (Ab-bildung 3).

Die Lehrkräfte konnten mit der Teilneh-merübersicht das Gesamtergebnis der Klas-se bzw. einzelner Schülerinnen und Schülerin den Testmodulen und für die gesamteKlasse einsehen. In einzelnen Testberichtenwurden die Ergebnisse der Schülerinnenund Schüler zu einem Testmodul genauer

Abbildung 2: Übungsaufgabe Kommasetzung mit Feedback und Hinweisen

Abbildung 3: Screenshot aus dem Glossar Wortarten

105Verlaufsdiagnostik und Förderung im Lernbereich Sprachbetrachtung mit Moodle

angezeigt. Richtig beantwortete Fragen wur-den grün, teilweise richtig beantwortete Fra-gen orange und falsch beantwortete Fragenrot markiert. Durch Klicken auf eine einzel-ne Aufgabe öffnete sich ein Fenster mit derAufgabenstellung, der Schülerantwort mitMarkierungen zur Korrektheit und der er-reichten Punktzahl.

Überprüfung der Testgüte

Formative Tests im Rahmen einer Verlaufs-diagnostik sollen möglichst exakt das zu di-agnostizierende Wissen erfassen und müs-sen deshalb vor dem Hintergrund der klas-sischen Testgütekriterien bewertet werden.Andererseits handelt es sich bei formativenTests nicht um statusdiagnostische Messver-fahren, von denen weitreichende Konse-quenzen (z. B. Schullaufbahnempfehlun-gen) abhängig sind. Vielmehr sind formati-ve Tests in den laufenden Unterricht einge-bettet, sollen mit wenig Aufwand durch-führbar sein und einer Schülerin oder einemSchüler den eigenen Lernfortschritt aufzei-gen.

Vor allem bezüglich der Durchführungs-objektivität können die in diesem Projektentwickelten Tests nicht mit den gleichenMaßstäben bewertet werden wie statusdiag-nostische Verfahren. Beispielsweise wurdenfür die Testdurchführung keine fixen Zeit-vorgaben gemacht. Dies würde nicht demPrinzip des individualisierten Lernens bzw.des mastery learning entsprechen. Bei denDurchführungen wurde allerdings daraufgeachtet, dass die Schülerinnen und Schülerdie Tests eigenständig bearbeiten. In denmeisten Klassen wurden die Tests entwederim Computerraum oder im Klassenzimmermit Tablets unter Aufsicht der Lehrkraftdurchgeführt. Nur bei wenigen Durchfüh-rungsterminen wurde eine verstärkte Ko-operation beobachtet und konnte aufgrundder räumlichen Situation (eng stehende PC-Arbeitsplätze) auch nicht komplett unter-bunden werden.

Bei Lernverlaufsdiagnosen handelt essich nicht um statische Messungen, deren

Zuverlässigkeit mit einer echten Retestrelia-bilität gemessen werden könnte. Die zu-grunde liegende Schülerfähigkeit zumMesszeitpunkt t1 soll sich aufgrund des ge-wünschten Lerneffekts von dem Wert einesspäteren Messzeitpunkts t2 unterscheiden.Allerdings ist damit zu rechnen, dass dieTestwerte zu beiden Messzeitpunkten in ei-ner gewissen Höhe miteinander korrelieren,weil bei nahe aufeinanderfolgenden Mess-zeitpunkten lediglich mit einem gewissenLernzuwachs zu rechnen ist. Eine Lernfort-schrittsdiagnostik nach dem Prinzip des ge-neral outcome measurement hat deshalbgrundsätzlich den Vorteil, dass aufgrundhäufiger Paralleltestdurchführungen die Re-liabilität recht gut bestimmt werden kann.Strathmann und Klauer (2010) berechnenbeispielsweise eine Pseudo-Retestreliabili-tät, indem sie die in kurzen Zeitabständendurchgeführten Paralleltests korrelieren unddie Korrelationen anschließend mitteln. ImGegensatz zu diesem Beispiel bearbeitetbei dem hier vorliegenden Konzept nur einkleiner Teil der Schülerinnen und Schülerdie Tests ein zweites oder drittes Mal. Zu-dem befinden sich zwischen diesen Test-wiederholungen eventuell intensive Übun-gen, die zu einem deutlichen Lernzuwachsführen. Aus diesem Grund wird hier ledig-lich die interne Konsistenz als Maß für dieZuverlässigkeit der Tests angegeben.

Tabelle 2 zeigt, dass die einzelnen Testsbefriedigende bis sehr gute interne Konsis-tenzen aufweisen. Bei den Modulen Kom-masetzung und Zeitformen wurde dasMoodle-Testaufgabenformat Lückentext an-gewendet. Hiermit lassen sich in einem in-haltlich zusammenhängenden kleinen Textbeispielsweise mehrere Kommasetzungsre-geln oder miteinander verbundene Zeitfor-men überprüfen. Der Nachteil von Moodleist, dass lediglich Punkte pro Testaufgabeund nicht Punkte pro Lücke ausgegebenwerden. Damit lässt sich der Test nicht aufdem Itemniveau auswerten, was zu einemgeringeren Alpha-Wert beiträgt.

Das maximal erreichte Niveau pro Mo-dul gibt Hinweise auf die Schwierigkeit der

106 Uwe Maier

Tabelle 2: Interne Konsistenzen (Cronbach’s Alpha) auf Basis des jeweils ersten Testversuchs pro Mo-dul und Niveau

Wortarten Komma-setzung

Zeitformen Satzglieder Groß- undKlein-

schreibung

Niveau 1 α = 0.87842 Testversu-

che40 Items

α = 0.871132 Testver-

suche10 Items

α = 0.76490 Testversu-

che16 Items

α = 0.94343 Testversu-

che27 Items

α = 0.92366 Testversu-

che42 Items

Niveau 2 α = 0.92631 Testversu-

che50 Items

α = 0.81202 Testversu-

che11 Items

α = 0.81322 Testversu-

che20 Items

α = 0.77200 Testversu-

che29 Items

α = 0.88234 Testversu-

che45 Items

Niveau 3 α = 0.93231 Testversu-

che60 Items

α = 0.80130 Testversu-

che10 Items

α = 0.68171 Testversu-

che8 Items

α = 0.88192 Testversu-

che29 Items

α = 0.8676 Testversu-

che44 Items

Tabelle 3: Anteile der maximal erreichten Niveaustufen in den einzelnen Modulen im Verhältnis zuden Modulbearbeitungen

Modul Bearbeitungen Maximal erreichtes Niveau in Prozent

0 1 2 3

Groß- und Kleinschreibung 344 19.8 49.7 17.2 13.4

Kommasetzung 601 69.2 7.8 6.0 17.0

Satzglieder 286 28.3 19.9 37.4 14.3

Wortarten 747 13.0 51.0 16.5 19.5

Zeitformen 393 22.1 36.1 23.7 18.1

Gesamt 2371 31.6 33.7 17.6 17.1

Tabelle 4: Bewertung der curricularen Validität durch die Lehrkräfte (Ratingskala von 1 = „trifft nichtzu“ bis 5 „trifft zu“)

Item n Mittelwert Standard-abw.

Die Tests und Übungen decken sich inhaltlich mitdem, was auch mir im Kompetenzbereich Sprachbe-trachtung (Grammatik) wichtig ist.

32 4.3 0.47

Die Tests und Übungen decken sich inhaltlich mit demKompetenzbereich „Sprachbetrachtung“ bei VERA 8.

25 3.7 0.75

Die drei Niveaustufen passten gut zur Leistungsvertei-lung in meiner Klasse.

32 3.8 1,02

Die Satz- und Wortbeispiele der Tests und Übungenentsprachen dem Leistungsniveau meiner Klasse.

32 4.0 0.72

107Verlaufsdiagnostik und Förderung im Lernbereich Sprachbetrachtung mit Moodle

deren diagnostischen Informationsquellenerfragt. Zu möglichen diagnostischen Infor-mationsquellen (in Klassenarbeiten ge-schriebene Schülertexte, im Unterricht ge-schriebene Schülertexte, benotete Gramma-tiktests usw.) wurden Fragen zur Einschät-zung (Skala von 0 = „trifft nicht zu“ bis 3 =„trifft zu“) vorgelegt, beispielsweise „… hel-fen mir sehr gut, die Leistungen einzelnerSchülerinnen und Schüler im BereichSprachbetrachtung einzuschätzen“.

Aufbereitung der Ergebnis- und Interaktionsdaten aus demMoodle-Kurs

Nach der Datenaufbereitung stand eineSPSS-Datei auf Ebene einzelner Individuen(n=820 Fälle) und eine SPSS-Datei auf Ebe-ne einzelner Modulbearbeitungen (n=2371Modulbearbeitungen) für die Datenauswer-tung zur Verfügung. Eine Modulbearbeitunglag vor, wenn in einem Modul (z. B. Kom-masetzung) mindestens eine Testbearbei-tung mit mindestens 20% korrekter Antwor-ten vorlag. Von den 820 Schülerinnen undSchülern wurden damit im Schnitt etwasweniger als drei Module bearbeitet. Um dieReihenfolge und die zeitliche Passung derÜbungen und Glossare in Bezug auf einzel-ne Testversuche genau erfassen zu können,wurde ein Kategoriensystem entworfen, dassich an Systeme zur Kategorisierung vonLernplattforminteraktionen aus learninganalytics-Studien anlehnt (z. B. Agudo-Pere-grina et al., 2014; You, 2016), jedoch spe-ziell auf die hier vorliegende Verlaufsdiag-nostik zugeschnitten ist. Eine erste Versiondes Kategoriensystems wurde an Daten ausfünf Klassen erprobt und anschließend wei-terentwickelt (Maier, Ramsteck & Hoff-mann, 2017). Bereits in der ersten Versionwurde zwischen diagnostischen Aktivitäten(Testversuchen), Übungen und Glossarenunterschieden. In der zweiten Version wur-de zusätzlich die zeitliche Anordnung derÜbungen bzw. Glossare vor oder nach ei-nem Testversuch auf dem entsprechendenNiveau berücksichtigt. Dahinter verbirgt

Tests (Tabelle 3). Bei der Kommasetzung er-reichten ca. zwei Drittel nicht einmal dasGrundniveau 1. Allerdings gibt es einennicht unerheblichen Anteil von 17% mit ei-ner maximalen Niveaustufe von 3 im Kom-masetzungsmodul. Der höchste Lernerfolgwurde im Modul Satzglieder erzielt. Hiererreichten über 50% der Schülerinnen undSchüler die Niveaustufen 2 oder 3. DieseUnterschiede sind bereits ein deutlicherHinweis auf die Prioritäten im Deutschun-terricht.

Die curriculare Validität einer Verlaufsdi-agnostik nach dem Prinzip des mastery mea-surement muss sehr hoch sein. Die einzel-nen Tests müssen das von den Lehrkräftenimplementierte Curriculum gut abbilden.Die am Projekt beteiligten Lehrkräfte sahendies überwiegend als gegeben an. In der Ab-schlussbefragung bewerteten die LehrkräfteAussagen zur curricularen Validität auf einerSkala von 1 „trifft nicht zu“ bis 5 „trifft zu“(Tabelle 4). Vor allem die inhaltliche Pas-sung der Tests und Übungen mit den Inhal-ten des eigenen Grammatikunterrichts wirddurchgängig als sehr hoch eingeschätzt.

Befragung der Lehrkräfte

Bei Projektbeginn und nach Abschluss desProjektes an den einzelnen Schulen wurdendie Lehrkräfte gebeten, einen Evaluationsbo-gen auszufüllen. Nachfolgend werden ledig-lich zwei Fragenbereiche aus der Abschlus-sevaluation, zu denen Ergebnisse in diesemAufsatz berichtet werden, beschrieben.

Auf einer fünfstufigen Skala (1 = „trifftnicht zu“ bis 5 = „trifft zu“) sollten die Lehr-kräfte den eigenen Umgang mit der Ver-laufsdiagnostik, vor allem im Hinblick aufdie Förderung von Schülerinnen und Schü-lern einschätzen. Beispielitem: „Bereitswährend der Testdurchführung habe ichleistungsschwache Schülerinnen und Schü-ler auf die Übungsmodule hingewiesen(oder auf weitere Hilfsmittel wie Hefteinträ-ge, Glossare).“

Ebenso wurde der diagnostische Nutzender Verlaufsdiagnostik im Vergleich zu an-

108 Uwe Maier

sich die Überlegung, dass sich vor allemzeitnah nach einem Test durchgeführteÜbungen auf den Lernzuwachs auswirken.

Für die Beantwortung der Forschungsfra-ge 3 wurden deshalb folgende abhängigeund unabhängige Variablen berechnet:

Abhängige Variable (AV): Lernzuwachs–in einem Modul. Dieser wird definiertals Differenz zwischen dem Vorwissenund der maximal erreichten Niveaustufein einem Modul. Das Vorwissen ist dieNiveaustufe, die auf Anhieb ohne Schei-tern erreicht wurde. Deskriptive Datenzur AV sind Gegenstand der For-schungsfrage 2 und werden in Ergebnis-abschnitt 4.2 berichtet.Unabhängige Variablen (UV):–UV1: Gesamtpunktzahl der Übungenvor dem ersten Testversuch auf Niveau-stufe 1UV2: Gesamtpunktzahl der Übungeninnerhalb der Bearbeitung einer Niveau-stufe UV3: Gesamtpunktzahl der Übungennach dem letzten Testversuch auf einerNiveaustufeUV4: Glossarnutzung vor der Bearbei-tung einer Niveaustufe UV5: Glossarnutzung innerhalb der Be-arbeitung einer Niveaustufe

Zum Verständnis der berichteten Regressi-onskoeffizienten im Ergebnisteil sind fol-gende Hinweise wichtig: Pro Übung waren100 Punkte möglich. Durch die Wiederho-lung von Übungen konnten einzelne Schü-lerinnen und Schüler mehr als 100 Übungs-punkte sammeln. Mehrmaliges Aufrufendes Glossars in einer Unterrichtsstundewurde als eine Nutzung gezählt.

Je nach Modul waren die Übungspunkteunterschiedlich verteilt. Im Modul Komma-setzung hatten die Schülerinnen und Schü-ler vor dem Erstversuch im Schnitt 18.8Übungspunkte, während der Bearbeitungder Niveaustufe 1 im Schnitt 49.0 Übungs-punkte und nach Abschluss der Niveaustufe1 im Schnitt 45.5 Übungspunkte. D.h.schwerpunktmäßig wurden die Übungen

innerhalb der Niveaustufe bearbeitet. Dieslässt sich vor allem durch die Schwierigkeitdes Tests auf Niveaustufe 1 erklären. Nachdem erstmaligen Scheitern wurden Übun-gen bearbeitet, um den Test anschließendbesser bearbeiten zu können. Beim ModulWortarten zeigte sich ein anderes Bild. Hierwurden die meisten Übungspunkte nach er-folgreichem Abschluss der Niveaustufe 1gesammelt. Die Mehrzahl der Schülerinnenund Schüler absolvierte den Wortartentestauf Niveau 1 auf Anhieb erfolgreich. Trotz-dem wurden Niveau 1-Übungen auch zu ei-nem späteren Zeitpunkt aufgerufen unddurchgeführt.

Ergebnisse

Zeitlicher Umfang und Art derNutzung der Verlaufsdiagnostik

Bereits während der Projektdurchführungzeichnete sich eine sehr unterschiedlicheNutzungsintensität ab. In der Abschlussbe-fragung gaben die beteiligten Lehrkräfte an,für die Arbeit mit dem Moodle-Kurs imDurchschnitt 8.6 Schulstunden zur Verfü-gung gestellt zu haben (SD = 4.5). Es gibtsomit Klassen, bei denen die Verlaufsdiag-nostik nur in wenigen Unterrichtsstundenzum Einsatz kam und Klassen, die über ei-nen längeren Zeitraum mit den Tests, Übun-gen und Glossaren arbeiteten. Auch diezeitliche Verteilung der Nutzung ist sehrunterschiedlich. In einigen Klassen wurdewöchentlich in einer festgelegten Zeit mitMoodle gelernt, in anderen Klassen wurdeder Einsatz oft durch mehrwöchige Pausenoder Ferien unterbrochen.

Mit den Bewertungen und den Log-Da-ten aus Moodle konnte die Nutzung diffe-renziert erfasst werden. In 7 der 34 Klassenwurden pro Schülerin bzw. Schüler imSchnitt 4 bis 5 Module bearbeitet. DieseKlassen nutzten alle fünf zur Verfügung ste-henden Module der Verlaufsdiagnostik. In 7Klassen wurden lediglich 1 bis 2 Modulepro Schülerin bzw. Schüler bearbeitet. Die

109Verlaufsdiagnostik und Förderung im Lernbereich Sprachbetrachtung mit Moodle

durchschnittliche Modulbearbeitung proKlasse lag bei 2.9. Am häufigsten wurde dasWortartenmodul bearbeitet (31.5%). Da-nach folgten die Module Kommasetzung(25.3%), Zeitformen (16.6%), Groß- undKleinschreibung (14.5%) sowie Satzglieder(12.1%). Ein wesentlicher Grund hierfür istdie Anordnung der Module in Moodle so-wie die Vorgabe, möglichst entsprechenddieser Reihenfolge zu arbeiten.

Lernzuwächse in den einzelnenModulen

Tabelle 5 zeigt die Lernzuwächse in deneinzelnen Modulen und Niveaustufen. Zu-nächst wurde ermittelt, bei wie viel Prozentder Modulbearbeitungen auf einer Niveau-stufe der erste Testversuch unter 80% lagund bei weiteren Testversuchen der cuttingscore überschritten werden konnte (linkeHälfte der Tabelle). Der Anteil der Schüle-rinnen und Schüler, die sich nach einem ge-scheiterten Erstversuch soweit verbessernkonnten, um das Niveau erfolgreich abzu-schließen, lag über alle Module hinweg beica. 10 bis 13 Prozent. Die höchsten Lernzu-wächse konnten im Modul Kommasetzung

auf Niveau 1 und 2 verzeichnet werden.Dies lässt sich mit dem geringen Vorwissenin diesem Bereich erklären. Über 20% derLernenden, die das Niveau 1 nicht auf An-hieb erzielten, konnten sich bei weiterenVersuchen verbessern. Die geringsten Lern-zuwächse gab es beim Wortartenmodul aufNiveau 1. Dieses Niveau erzielten sehr vie-le Schülerinnen und Schüler bereits beimersten Testversuch.

Die durchschnittlichen Punktzuwächsebei den Schülerinnen und Schülern mitLernfortschritten liegen bei ca. 20 bis 25Punkten (bei max. 100 Punkte pro Subtest)mit relativ hohen Standardabweichungen.Einigen Lernenden genügten bereits wenigePunkte, um das Niveau mit 80% (80 Punkte)erfolgreich abzuschließen. Bei anderen Ler-nenden konnten deutliche Zuwächse von40 Punkten und mehr verzeichnet werden.

Erklärung der Lernzuwächse durchGlossar- und Übungsaktivitäten

Haben Schülerinnen und Schüler, dieÜbungen vor oder direkt nach einem Test-versuch bearbeitet bzw. sich mit Glossar-einträgen beschäftigt hatten, einen höheren

Tabelle 5: Erreichte Niveaustufe und Lernzuwächse nach Modulen

Anteil erfolgreicher Niveau-stufen nach erfolglosem Erst-versuch (Anzahl Modulbear-

beitungen)

Durchschnittliche Punktzu-wächse bei Lernfortschritt

(Standardabweichung)

Niv. 1 Niv. 2 Niv. 3 Niv. 1 Niv. 2 Niv. 3

Groß- und Kleinschreibung 6.4%(344)

15.5%(187)

4.2%(72)

19.4(17.4)

20.5(11.4)

22.0(7.0)

Kommasetzung 21.3%(601)

15.7%(153)

8.2%(110)

24.8(14.9)

24.4(12.8)

24.4(13.5)

Satzglieder 9.4%(286)

11.2%(169)

21.5%(107)

32.4(15.5)

14.7(5.6)

36.0(13.7)

Wortarten 3.3%(747)

15.0%(494)

10.0%(201)

23.0(12.6)

19.5(12.9)

19.6(13.9)

Zeitformen 9.9%(393)

7.6%(250)

10.8%(130)

24.8(12.5)

23.7(10.8)

23.0(13.4)

Gesamt 10.2%(2371)

13.2%(1253)

11.1%(620)

25.0(14.9)

20.3(12.0)

26.5(14.8)

110 Uwe Maier

Tabelle 6: Zusammenhänge zwischen Lernerfolg und der zeitlichen Verteilung der Bearbeitung vonÜbungen und Glossaren (nicht standardisierte Regressionskoeffizienten)

Anmerkungen: In der Tabelle sind nicht standardisierte Regressionskoeffizienten dargestellt, n.s. = nicht sig-nifikant, * = p < .05, ** = p < .01, *** = p < .001.

Groß- undKlein-

schreibung

Komma-setzung

Satz-glieder

Wortarten Zeit-formen

(Konstante) 65.96 *** 54.34 *** 45.63 *** 67.23 *** 68.39 ***

Deutschnote n.s. - 2.62 *** n.s. - 1.42 ** - 2.48 **

Geschlecht n.s. n.s. n.s. 1.24 * n.s.

Jahrgangsstufe n.s. 7.11 ** 7.13 *** 2.17 *** 2.15 *

Vorwissen N1 25.23 *** 18.55 *** 34.80 *** 22.11 *** 25.91 ***

Übungen N1 vor dem erstenTestversuch

n.s. n.s. n.s. 0.03 * n.s.

Übungen innerhalb der Bearbeitung von N1

0.02 * 0.03 *** n.s. 0.06 *** 0.04 ***

Übungen nach dem letztenTestversuch N1

n.s. n.s. - 0.04 * n.s. n.s.

Glossarnutzung vor der Bearbeitung von N1

3.49 * n.s. n.s. n.s. n.s.

Glossarnutzung innerhalbder Bearbeitung von N1

9.49 ** 3.22 ** 27.64 *** 3.00 *** n.s.

Anzahl Fälle 340 597 285 743 391

Varianzaufklärung (korrigiertes R-Quadrat)

48.9% 27.8% 62.2% 55.4% 52.4%

Lernzuwachs zu verzeichnen? Um dieseFrage beantworten zu können, wurden dieÜbungs- und Glossaraktivitäten im Hinblickauf ihre zeitliche Abfolge kategorisiert. AusPlatzgründen werden lediglich Analysenzum Niveau 1 berichtet.

In Tabelle 6 ist für die einzelnen Moduledargestellt, wie sich die Bearbeitung derÜbungen und die Glossarnutzung auf denLernerfolg auf Niveau 1 auswirken. Vorwis-sen auf Niveau 1 (Punktzahl bei Versuchunter 80%), Jahrgangsstufe, Deutschnoteund Geschlecht wurden kontrolliert. Eswurde geprüft, ob Niveau 1-Übungen vor(UV1), während (UV2) und nach der Bear-beitung der Niveaustufe 1 (UV3) bzw. pas-sende Glossare vor (UV4) oder während derBearbeitung der Niveaustufe 1 (UV5) mitdem Lernzuwachs auf Niveaustufe 1 zusam-menhängen.

Das Vorwissen ist wie gehabt der stärks-te Prädiktor für den Lernerfolg. Die Lernzu-wächse werden in dieser Analyse zudem indrei Modulen von der Deutschnote vorher-gesagt. Eine Notenstufe erklärt ca. 2 bis 3Punkte Lernzuwachs auf Niveau 1. Das Ge-schlecht spielt nur bei einem Modul einekaum bedeutsame Rolle. Die Jahrgangsstufeerklärt bei 4 von 5 Modulen einen Teil desLernzuwachses, was ebenfalls für die curri-culare Validität der Tests spricht.

Bei den Übungen sieht man sehr deut-lich den Effekt der formativen Diagnostik.Wenn Übungen innerhalb des Niveau 1 be-arbeitet wurden, d.h. zwischen dem erstenund letzten Testversuch, dann hat dies ei-nen positiven Effekt auf den Lernzuwachs.Die nicht standardisierten Regressionskoef-fizienten geben zudem einen Hinweis aufdie Übungsintensität. Im Wortartenmodul

111Verlaufsdiagnostik und Förderung im Lernbereich Sprachbetrachtung mit Moodle

beispielsweise sind 100 Übungspunkte für6 Punkte Lernzuwachs verantwortlich. Einekomplett bearbeitete Übung ergibt 100Punkte. Somit konnten in diesem ModulSchülerinnen und Schüler mit der Bearbei-tung von drei bis vier Übungen bereits ei-nen deutlichen Lernzuwachs erzielen. Inden anderen Modulen waren allerdingsmehr Übungen für einen bedeutsamenLernzuwachs notwendig. Übungen vor demersten Testversuch und nach Abschluss derNiveaubearbeitung wirkten sich nicht posi-tiv aus. Nur beim Wortartenmodul gibt eseinen Hinweis, dass Übungen vor dem ers-ten Testversuch auch positiv mit dem Lern-zuwachs assoziiert sind.

Die Glossarnutzung innerhalb der Bear-beitung der Tests auf Niveau 1 wirkt sichsehr deutlich auf die Lernzuwächse aus.Auffallend sind allerdings die Unterschiededes Effekts zwischen den Modulen. Vermut-lich genügte den Schülerinnen und Schü-lern, die beim ersten Testversuch auf Ni-veau 1 nicht erfolgreich waren, der Blick indas Glossar, um die Satzglieder Subjekt,Prädikat, Akkusativobjekt und Dativobjektzu wiederholen.

Rezeption und Bewertung derVerlaufsdiagnostik durch Lehrkräfte

In der Abschlussbefragung wurden die Lehr-kräfte gebeten, den Nutzen der Verlaufsdi-agnostik mit anderen diagnostischen Infor-mationsquellen zu vergleichen (Tabelle 7).Die höchsten Bewertungen erhalten in Klas-senarbeiten geschriebene Schülertexte so-wie benotete Sprach- und Grammatikaufga-ben. Für die beteiligten Lehrkräfte sind so-mit benotete Aufgabenstellungen, die unterkontrollierten Bedingungen von den Ler-nenden bearbeitet werden müssen, vonhöchstem diagnostischem Nutzen, um Defi-zite im Bereich Sprachbetrachtung bei ein-zelnen Schülerinnen und Schülern feststel-len zu können. Der im Projekt entwickelteMoodle-Kurs wird allerdings im Vergleichzu mündlichen Unterrichtsbeobachtungenund Vergleichsarbeiten in dieser Hinsicht

vergleichsweise gut bewertet. Aus Sicht derLehrkräfte wird die Verlaufsdiagnostik je-doch nicht für die differenzierte Analysesprachlicher Fehler oder die Dokumentati-on der Lernentwicklung genutzt. Sie ist da-gegen genauso wie Grammatikaufgaben einImpulsgeber für konkrete Wiederholungenim Unterricht. Ebenso wird sie als nützlichfür die Planung von Fördermaßnahmen be-trachtet.

Zusammenfassung und

Diskussion

Ein erstes Ziel der Studie war die Entwick-lung einer formativen Lernverlaufsdiagnos-tik für die Lerndomäne Sprachbetrachtungin Anlehnung an Prinzipien des masterymeasurement. Durch eine genaue curricula-re Analyse konnten für fünf TeilbereicheTests auf jeweils drei Niveaustufen entwi-ckelt werden. Die teststatistischen Analysenund die Rückmeldungen der Lehrkräftezeigten, dass dieses Ziel erreicht werdenkonnte. Mit den Tests kann die Lernprogres-sion im Bereich Sprachbetrachtung in derSekundarstufe I abgebildet werden. DieLehrkräfte bestätigten durchweg, dass dieInhalte der Module und die Testaufgabendem Deutschunterricht der Sekundarstufe Iangemessen sind. Kritische Anmerkungenbezogen sich in der Regel auf einzelne Auf-gabendetails bzw. einzelne grammatikali-sche Phänomene.

Ein deutlicher, bereits von Fuchs undDeno (1991) angesprochener Nachteil vonmastery measurement ist die teststatistischeOptimierung der Tests. Trotz sorgfältigercurricularer Analysen war der Niveau 1-Test im Kommasetzungsmodul beispiels-weise viel zu schwierig und eignete sichdamit nicht für die Vorwissensdiagnostik.Bei einer Überarbeitung der Tests für denMoodle-Kurs wird deshalb ein weiteres Ni-veau unterhalb des Niveau 1 eingezogen,um die Lernprogression in diesem Bereichbesser abbilden zu können. Ein weiteresProblem waren Länge und Wiederholung

112 Uwe Maier

der Tests. Sämtliche Tests werden bei derÜberarbeitung auf eine Itemzahl von 10-15gekürzt, sodass eine maximale Bearbei-tungsdauer von 5 min nicht überschrittenwird. Ein mittelfristiger Entwicklungsschrittist die Rasch-Skalierung. Hierfür muss aller-dings die Itembasis deutlich erweitert wer-den. Ebenso müssten in allen Modulen undNiveaustufen genug Testdurchführungenvorliegen, was nur bei einer wesentlich

breiteren Nutzung des Moodle-Kurses ge-lingen wird.

Die Daten belegen höchst unterschiedli-che Nutzungsdauern und Nutzungsweisender Verlaufsdiagnostik in den beteiligtenKlassen. Wesentliche Gründe für eine inten-sive Nutzung waren die Unterstützung derSchulleitung, eine geplante und mit ande-ren Lehrkräften koordinierte Einbindung desMoodle-Kurses in den Deutschunterricht so-

Tabelle 7: Bewertung der Verlaufsdiagnostik im Vergleich zu anderen diagnostischen Informations-quellen

Anmerkungen: Rating von 0 = „trifft nicht zu“ bis 3 = „trifft zu“; S. u. S. = Schülerinnen und Schüler; Stich-probenumfang n = 34.

In K

lass

enar

beite

n ge

-sc

hrie

bene

Sch

üler

-te

xte

Im U

nter

richt

ge-

schr

iebe

ne S

chül

er-

text

e

Beno

tete

Gra

mm

atik

-te

sts

bzw

. Spr

ach-

auf-

gabe

n

Im U

nter

richt

bea

rbei

-te

te S

prac

h- b

zw.

Gra

mm

atik

aufg

aben

Mün

dlic

he U

nter

-ric

hts-

beob

acht

ung-

en

DV

A 7

bzw

. VER

A 8

in D

euts

ch

Die

im P

roje

kt d

urch

-ge

führ

ten

Moo

dle-

Test

s un

d Ü

bung

en

… helfen mir sehr gut,die Leistungen einzelnerS. u. S. im BereichSprachbetrachtung einzu-schätzen.

2,4 2,0 2,5 1,8 1,8 1,7 2,1

... werte ich im Hinblickauf sprachliche Fehler ge-nau aus.

2,3 1,6 2,6 1,8 1,2 1,9 1,4

… nutze ich, um dieLernentwicklung der S. u.S. im Bereich Sprachbe-trachtung zu dokumentie-ren.

1,8 1,2 2,2 1,4 1,0 1,3 1,4

… nutze ich, um Förder-maßnahmen im BereichSprachbetrachtung füreinzelne S. u. S. zu pla-nen.

2,0 1,6 2,2 1,5 1,1 1,5 2,0

… nutze ich, um im Un-terricht noch einmalsprachliche Phänomenezu wiederholen.

2,2 2,0 2,5 2,3 1,9 1,8 2,2

… geben mir Hinweise,ob ich sprachliche Phä-nomene im Unterrichtgut genug erklärt habe.

2,4 2,2 2,4 2,4 1,8 1,1 2,0

113Verlaufsdiagnostik und Förderung im Lernbereich Sprachbetrachtung mit Moodle

wie das Vorhandensein der entsprechendentechnischen Ressourcen (W-LAN, Compu-terräume, Tablets).

Der Lernerfolg in den einzelnen Modu-len war höchst unterschiedlich und spiegeltdie Bedeutung der Lerninhalte im Deutsch-unterricht wider. Viele Lehrkräfte konntenbestätigen, dass die Kommasetzung sowohlin der Primarstufe als auch in der Sekundar-stufe zu wenig beachtet wird. Ein weiteresErgebnis war, dass nur ein kleiner Teil derLernenden Lernfortschritte innerhalb derVerlaufsdiagnostik erzielte. Dies hängt ein-mal mit der sehr strengen Operationalisie-rung von Lernfortschritt zusammen. Ande-rerseits zeigt dieser Befund, dass die Ver-laufsdiagnostik bisher nur in wenigen Klas-sen im Sinne einer formativen Förderdiag-nostik eingesetzt wurde. In vielen Klassenlief der Moodle-Kurs als Differenzierungs-angebot neben dem Deutschunterricht undwurde nicht von den Lehrkräften kontrol-liert. Nur in wenigen Klassen reagierten dieLehrkräfte zeitnah mit Wiederholungs- undÜbungseinheiten auf die Ergebnisse der for-mativen Tests. In diesen Fällen waren auchsubstanzielle Lernfortschritte zu verzeich-nen. In den vorbereitenden Lehrerfortbil-dungen sollte deshalb die Implementationder Verlaufsdiagnostik wesentlich genauerabgesprochen werden. Die Lehrkräfte soll-ten sich auf einen zeitlichen Umfang derNutzung von ca. einem halben Schuljahrverständigen, eine wöchentliche Sequen-zierung anstreben und durch eine abschlie-ßende Klassenarbeit den Schülerinnen undSchülern die Verbindlichkeit der Arbeit mitdem Moodle-Kurs verdeutlichen.

Mit der Kategorisierung der Moodle-In-teraktionen konnten Zusammenhänge zwi-schen Vorwissen, Lernzuwächsen sowieÜbungs- und Glossaraktivitäten nachgewie-sen werden. Sowohl passende Übungen alsauch die Bearbeitung passender Glossarehängen mit Lernzuwächsen zusammen.Dies spricht für die Effektivität einer Ver-laufsdiagnostik in Kombination mit geziel-ten Übungs- und Wiederholungseinheiten.Vor dem Hintergrund der sehr unterschied-

lichen Nutzungsintensität in den Klassenkönnten diese Zusammenhänge bei einerbesseren Einbindung in den Unterrichteventuell noch höher sein.

Der diagnostische Informationswert derVerlaufsdiagnostik wurde von den Lehrkräf-ten relativ gut bewertet. Lehrkräfte vertrau-en allerdings ihren selbst entwickelten oderselbst ausgewählten diagnostischen Verfah-ren am meisten. Bei der Rezeption derFeedbackinformationen ist damit noch „Luftnach oben“. Vor allem in vorbereitendenund begleitenden Lehrerfortbildungenmüsste in Zukunft verstärkt auf die unter-schiedlichen Rückmeldeformate und Analy-semöglichkeiten hingewiesen werden.

Abschließend muss auf forschungsme-thodische Limitationen der Studie hingewie-sen werden. Es handelt sich um ein nicht-ex-perimentelles Design. Damit sind keine Aus-sagen über die Effektivität dieser Lernver-laufsdiagnostik im Vergleich zu anderen Di-agnose- und Förderoptionen möglich. Dieswäre Ziel weiterer Forschungsarbeiten mitstandardisierten und stärker kontrolliertenImplementationsbedingungen. Eine weitereSchwäche der Studie ist, dass der Lernzu-wachs mit den in Moodle eingebauten for-mativen Tests operationalisiert wird. Durchden formativen Charakter dieser Tests ist de-ren Retestreliabilität eingeschränkt bzw. nurschwer kontrollierbar. In weiteren Studienwäre es deshalb wünschenswert, wenn manmit einem standardisierten Vor- und Nach-test im Paper-Pencil-Format den Lernzu-wachs unabhängig von den Moodle-Tests er-mitteln könnte. Nicht zuletzt wäre in weite-ren Analysen ein genauer Blick in Muster in-dividueller Lernverläufe wünschenswert. Esist anzunehmen, dass es qualitativ unter-schiedliche Strategien der Bearbeitung desMoodle-Kurses gibt. Hierfür müsste manMuster der individuellen Bearbeitung bzw.Nutzung von Übungen, Tests und Glossarenklassifizieren. Zusammen mit den Datenzum Lernzuwachs könnten auf diese Weisemehr oder weniger effektive Strategien derBearbeitung einer formativen Lernverlaufsdi-agnostik identifiziert werden.

114 Uwe Maier

Literatur

Agudo-Peregrina, A.F., Iglesias-Pradas, S.,Conde-González, M.A. & Hernández-García, A. (2014). Can we predict successfrom log data in VLEs? Classification of in-teractions for learning analytics and theirrelation with performance in VLE-suppor-ted F2F and online learning, Computersin Human Behavior, 31, 542-550.

Bredel, U. (2007). Sprachbetrachtung undGrammatikunterricht. Paderborn: Schö-ningh - UTB.

Eichler, W. & Nold, G. (2007). Sprachbe-wusstheit. In B. Beck & E. Klieme (Hrsg.),Sprachliche Kompetenzen - Konzepteund Messung. DESI-Studie (S. 63-82).Weinheim: Beltz.

Fuchs, L.S. (2004). The past, present, and futu-re of curriculum-based measurement re-search. School Psychology Review, 33,188–192.

Fuchs, L.S. & Deno, S.L. (1991). Paradigmaticdistinctions between instructionally rele-vant measurement models. ExceptionalChildren, 57, 488–500.

Fuchs, L.S., Fuchs, D., Hamlett, C.L., Phillips,N.B. & Bentz, J. (1994). Classwide curri-culum-based measurement: Helping ge-neral educators meet the challenge of stu-dent diversity. Exceptional Children, 60.518–537.

Guskey, T.R. (2007). Formative classroom as-sessment and Benjamin S. Bloom: theory,research, and practice. In J.H. McMillan(Ed.), Formative classroom assessment:theory into practice (pp. 63-78). TeachersCollege Columbia University New Yorkand London: Teachers College Press.

Guskey, T.R. (2010). Lessons of mastery lear-ning. Educational Leadership, 68, 52-57.

Hasselhorn, M., Schneider, W. & Trautwein,U. (Hrsg.) (2014). Lernverlaufsdiagnostik.Tests und Trends N.F. Band 12. Göttin-gen: Hogrefe.

Klauer, K.J. & Strathmann, A.M. (2013). Lern-verlaufsdiagnostik Mathematik: Test aufÄnderungssensibilität bei rechenschwa-

chen Grundschülern. Psychologie in Er-ziehung und Unterricht, 60, 241-252.

Klieme, E., Eichler, W., Helmke, A., Lehmann,R., Nold, G., Rolff, H.G., Schröder, K.,Thomé, G. & Willenberg, H. (2006). Un-terricht und Kompetenzerwerb inDeutsch und Englisch. Zentrale Befundeder Studie Deutsch-Englisch-Schülerleis-tungen-International (DESI). Deutsches In-stitut für Internationale Pädagogische For-schung Frankfurt am Main.

Kulik, C.C., Kulik, J.A. & Bangert-Drowns, R.L.(1990). Effectiveness of mastery learningprograms: A meta-analysis. Review ofEducational Research, 60, 265-299.

Kultusministerkonferenz (2004). Bildungsstan-dards im Fach Deutsch für den MittlerenSchulabschluss. Beschluss der Kultusmi-nisterkonferenz vom 4.12.2003. Mün-chen: Kluwer.

Maier, U., Ramsteck, C. & Hoffmann, K.(2017). Formative Leistungsdiagnostikund Learning Analytics: Entwicklung,Nutzung und Optimierung eines online-basierten Kurses für die Diagnostik undFörderung von Grundwissen im Kompe-tenzbereich Sprachbetrachtung. Zeit-schrift für Erziehungswissenschaft, online-first (DOI 10.1007/s11618-017-0776-9).

Nunnery, J.A., Ross, S.M. & McDonald, A.(2006). A randomized experimental eva-luation of the impact of accelerated rea-der/reading renaissance implementationon reading achievement in grades 3 to 6.Journal of Education for Students PlacedAt Risk, 11, 1-18.

Ossner, J. (2006). Sprachdidaktik Deutsch.Reihe: Standardwissen Lehramt. Pader-born: Schöningh - UTB.

Souvignier, E., Förster, N. & Schulte, E.(2014). Wirksamkeit formativen Assess-ments – Evaluation des Ansatzes derLernverlaufsdiagnostik. In M. Hassel-horn, W. Schneider & U. Trautwein(Hrsg.), Lernverlaufsdiagnostik (Tests undTrends N.F. Band 12) (S. 221 - 237). Göt-tingen: Hogrefe.

Strathmann, A.M. & Klauer, K.J. (2010). Lern-verlaufsdiagnostik: Ein Ansatz zur länger-

115Verlaufsdiagnostik und Förderung im Lernbereich Sprachbetrachtung mit Moodle

fristigen Lernfortschrittsmessung. Zeit-schrift für Entwicklungspsychologie undPädagogische Psychologie, 42, 111-122.

Topping, K.J., & Fisher, A.M. (2003). Compu-terised formative assessment of readingcomprehension: Field trials in the UK.Journal of Research in Reading, 26, 267,279.

Topping, K.J., Samuels, J. & Paul, T. (2007).Computerized assessment of independentreading. Effects of implementation qualityon achievement gain. School Effective-ness and School Improvement, 18, 191-208.

Walter, J. (2010). Lernfortschrittsdiagnostik amBeispiel der Lesekompetenz (LDL): Mess-technische Grundlagen sowie Befundeüber zu erwartende Zuwachsraten wäh-rend der Grundschulzeit. Heilpädagogi-sche Forschung, 36, 162-176.

You, J.W. (2016). Identifying significant indi-cators using LMS data to predict courseachievement in online learning. Internetand Higher Education, 29, 23-30.

Zimmerman, B.J. & Dibenedetto, M.K. (2008).Mastery Learning and Assessment: Impli-cations for Students and Teachers in anEra of High-Stakes Testing. Psychology inthe Schools, 45, 206-216.

Uwe MaierPädagogische Hochschule SchwäbischGmündOberbettringer Str. 20073525 Schwäbisch Gmünduwe.maier@ph-gmuend.de

Erstmalig eingereicht: 23.02.2017Überarbeitung eingereicht: 16.05.2017Angenommen: 08.06.2017