Wiedenmayer, DafniUniversität Athen

Die Bewertung der produktiven Sprachaktivitäten

AILA World Congress 2008, Essen, 28.8.2008

bei den geschlossenen als auch bei den halboffenen Aufgaben ist der Ablauf der Testbewertung schnell, einfach und objektiv

Bei den offenen Aufgaben erschwert sich dieser Prozess

Die Bewertung eines Sprachtests kann sehr unterschiedlich ausfallen, und dies hängt von verschiedenen Faktoren ab

Solche Faktoren sind:

die Rückwirkung des Tests

das Profil der Bewerter

das Bewertungssystem (bzw.

Skalen, Raster und Kriterien)

Washback Effekt

Die Rückwirkung von Tests auf die Mikro- und die Makroebene ist von großer Bedeutung, denn nur wenn ein Test eine positive Rückwirkung hat, kann er auch nützlich

sein.

Die sprachliche Norm, die die Forscher in ihrem Kopf haben, und im Rahmen derer die Tests stattfinden, beeinflusst die Ergebnisse (Fragoudaki 1985, Wiedenmayer 2006)

Die Ergebnisse des Tests beeinflussen im Voraus die Performanz der Kandidaten, d.h. auch die Augenscheinvalidität des Tests.

1. Frage Bestimmung der sprachlichen Norm

Das Profil der Bewerter

Die Bewerter haben die schwere Aufgabe, die Entscheidung über die Qualität des Geschriebenen, bzw. des Gesprochenen

zu treffen

Bei geschlossenen Aufgaben, wie z.B. bei einer Multiple - Choice Aufgabe, ist es besonders leicht zu bewerten, oft auch ohne menschliche Einmischung. Problematisch erweist sich trotzdem die Bewertung der Produktion mündlichen und schriftlichen Ausdrucks. Altmeyer und Domisch (1998:6) Macaire (1998:10)

Wenn verschiedene Bewerter unterschiedliche

Noten für die gleiche Arbeit geben, geht es um

fehlende interpersonale Konstanz.

Falls die Bewertungen eines Bewerters, die zu

verschiedenen Zeitpunkten durchgeführt werden,

nicht übereinstimmen, handelt es sich um

mangelnde intrapersonale Konstanz

(Glaboniatb, 1998)

Tschirner (2001) erwähnt einige Gründe zur Erklärung dieser mangelnden Inter- und Intrakonsistenz:

Die Bewerter sind von ihren eigenen kulturellen Erfahrungen, von

ihrem Fachgebiet, sowie von ihren früheren Erfahrungen in

Bewertungen von Texten beeinflusst worden

Auch eine Ablehnung oder Zustimmung mit dem Inhalt des Textes

kann durch einen emotionalen und auch unbewussten Einfluss des

Bewerters das Ergebnis ändern

Die Konzentration besonders unerfahrener Bewerter auf

Grammatik, Rechtschreibung und Interpunktion ändert das Ergebnis

Diese Defizite können durch eine gute Schulung der

Bewerter beseitigt werden. Neben der Schulung ist

auch die mehrfache Bewertung einzusetzen, damit

die Subjektivität begrenzt und die Zuverlässigkeit des

Tests erhöht wird.

2. Frage gute Schulung

mehrfache Bewertung

Vorschläge zu 1. und 2.

• Bestimmung der sprachlichen Norm

(Testentwickler)

• Mehrfache Bewertung (Testentwickler)

• Gute Schulung der Bewerter

(Testdurchführung - Adressatengruppe)

Es werden, anhand einer empirischen Forschung,

Unterschiede zwischen 36 Bewertern bei der

Bewertung eines Aufsatzes gezeigt.

Die empirische Forschung

Das Thema der Prüfung

Sie leben mit einer oder mehreren Personen in einer Wohnung. Plötzlich merken Sie, dass Sie etwas brauchen und gehen dies kaufen. Hinterlassen Sie Ihrem Partner/ Ihrer Partnerin bzw. Ihren Mitbewohnern eine kurze Notiz von höchstens 50 Wörtern.

Diese Notiz sollte Informationen zu folgenden Punkten beinhalten: • Was wollen Sie kaufen?• Warum brauchen Sie dies unbedingt?• Wann kommen Sie zurück?• Bitten Sie Ihre Mitbewohner, etwas für Sie zu erledigen, da Sie keine Zeit

mehr dazu hatten!

Unterschreiben Sie als Alexis oder Alexia!Planen Sie für diese Aufgabe ungefähr 15 Minuten ein!

Die sprachliche Norm

• Kommunikationssituation• Alltägliche Kommunikationssprache• Textsorte und -länge• Punkte als Plan • Bekannte Aufgabenstellung (griechisches

Staatszertifikat KPg)

Die Kandidaten

SA Prüfung im Rahmen der Staatszertifikat-Prüfung (KPg) im November 2004

6 Probanden auf dem B2 Niveau

3 Schüler (S) an privaten Sprachinstitute3 Germanistikstudenten (St) der Universität Athen

Das Profil der Bewerter36 (35+1)

Germanistikstudium (Diplom)

Master (Richtung: Leistungsmessung- Leistungsbeurteilung)

Schulung (für diese Prüfung)

Das Bewertungssystem

Gemischtes (holistisch – analytisch) Bewertungssystem

Das Bewertungssystem, anhand dessen, das Raster und die Bewertungskriterien (gilt auch für das griechische Staatszertifikat KPg www.ypepth.gr) entwickelt wurden, könnte „gemischtes Bewertungssystem“ genannt werden, da es Elemente sowohl vom holistischen als auch vom analytischen System beinhaltet (s. auch Τsopanoglou 2000). Genauso funktioniert auch das

Bewertungsverfahren bei TestDaF (www.testdaf.de).

Τσοπάνογλου (2000:116), übersetzt von Giakumelu (2005):Wichtigeres und allgemeines

Kriterium: z.B. Kommunikative Fähigkeit

Erstes Nebenkriterium:

z.B. Morphosyntaktische Korrektheit

Zweites Nebenkriterium:

z.B. Textsortenangemessenheit

Besonders befriedigend

I 2019

II 1817

III 1615

Befriedigend

IV 1413

V 1211

VI 109

Ungenügend

VII 87

VIII 65

IX 43

X 21

Anhand dieser Skala werden drei Kriterien vorbestimmt,

aber die Punkte für jedes einzelne Kriterium werden

nicht addiert.

Zunächst geht es um eine erste, globale Bewertung auf

Grund eines vorbestimmten Hauptkriteriums,

dann kommt eine zweite auf Grund des zweiten

Kriteriums und danach

eine dritte anhand des dritten Kriteriums.

Die erste Bewertung bestimmt den Rahmen, in dem

die zwei weiteren Kriterien bewertet werden können.

Wenn z. B. ein Text auf Grund des ersten Kriteriums als „Besonders Befriedigend“

bewertet wird, kann dieser Text mit einer Punktzahl nur zwischen 15 und 20 bewertet

werden. Auch wenn die zwei anderen Kriterien als „ungenügend“ betrachtet werden,

können den Endpunkt nicht unter 15 gestalten.

Im Gegensatz dazu kann ein Text, der bezüglich des zweiten und des dritten Kriteriums

als „befriedigend“ betrachtet, der aber im Hinblick auf das erste Kriterium als

„ungenügend“ bewertet wurde, nicht mehr als 8 Punkte (maximale Punktzahl: 20)

erreichen.

Daraus lässt sich schlussfolgern, dass das erste Kriterium die oberen und die unteren

Grenzen bestimmt, innerhalb deren sich die zwei anderen Kriterien bewegen

können. Auch das zweite Kriterium bestimmt erneut die Grenzen, innerhalb deren

sich das dritte Kriterium bewegen kann.

1.Stadium: Holistische Bewertung zur Messung des ersten Hauptkriteriums

2.Stadium: Analytische Bewertung wegen der Berücksichtigung der zwei weiteren Kriterien

3.Stadium: Holistische Bewertung jedes einzelnen Kriteriums anhand eines positiven oder negativen Eindrucks. Dieses alternative System gilt als ein „gemischtes“ Bewertungssystem, das sich darum bemüht, die positiven Eigenschaften beider Systeme zu kombinieren (www.testdaf.de, www.ypepth.gr, Tsopanoglou 2000, Giakumelu 2005, Wiedenmayer 2006)

BEWÄLTIGUNG DER KOMMUNIKATIVEN AUFGABE

TEXTAUFBAU UND LEXIKALISCHE KOMPETENZ

GRAMMATISCHE/ ORTHOGRAPHISCHE KORREKTHEIT

ITEM

1

ITEM

2

ITEM

3

Umfassend bewältigt

Befriedigend Befriedigend 6 15 9Nicht befriedigend 5,5 14 8

Nicht befriedigend Befriedigend 5 13 7,5

Nicht befriedigend 4,5 12 7

Mit Mängeln, aber befriedigend bewältigt

Befriedigend Befriedigend 4 10 6Nicht befriedigend 3,5 9 5

Nicht befriedigend Befriedigend 3 8 4,5

Nicht befriedigend 2,5 7 4

Nicht befriedigend bewältigt

Befriedigend Befriedigend 2 5 3Nicht befriedigend 1,5 4 2

Nicht befriedigend Befriedigend 1 3 1,5

Nicht befriedigend 0,5 2 1Entspricht nicht der Aufgabenstellung, keine Antwort

 

ΚPg – Phase II – B2

Bewertungskriterien - B2 NiveauΑ. Bewältigung der AufgabeAusführliche, zusammenhängende und differenzierte Beschreibung oder Bericht und dabei auch Verbindung aller Themenpunkte miteinander; Ausführen einzelner Aspekte und geeignete Schlussfolgerung. Ausführliche Darstellung der Standpunkte und Stutz von geeigneten Beispielen oder Begründungen durch Unterpunkte. Sprachliche Mängel beeinträchtigen das Textverständnis nicht.B. Textaufbau und lexikalische KompetenzGut strukturierter Text und angemessene Verwendung von verschiedenen Mitteln zur Textverknüpfung. Auswahl von umfangreichen Formulierungen ohne Einschränkungen. Beherrschung eines großen Wortschatzes und problemloses Gebrauchen von Umschreibungen. Offensichtliches Suchen nach Worten oder der Rückgriff auf Vermeidungsstrategien sind selten. Gelegentliche kleinere Schnitzer, aber keine größeren Fehler im Wortgebrauch.C. Grammatische und orthographische Korrektheit Beständiges Beibehalten eines hohen Maßes an grammatischer Korrektheit; Fehler sind selten und fallen kaum auf.Die Gestaltung, die Gliederung in Absätze und die Zeichensetzung sind konsistent und hilfreich. Die Rechtschreibung ist, abgesehen von gelegentlichem Verschreiben, richtig.

Nach: Gemeinsamer Europäischer Referenzrahmen für Sprachen (2001)

Die Ergebnisse der empirischen ForschungTexte – Gruppe A – (S)

Lieber Andreas!Ich möchte Heute Abend einen Besuch machen. Da die Strümpfe schmutzig sind muss ich ein paar Neue kaufen. Ich bin jetzt in einem Geschäft das in der Stadtmitte liegt. Ich werde um 9 Uhr nach Hause zurück gehen. Ich Bitte dich die Heizung offnen.Ghüss bis bald,Alexis

Mein Satz!Ich möchte Schokoladenkuchen backen und ich gehe Zucker kaufen!Schokoladenkuchen ohne Zucker gibt es nicht!Ich komme um 2 zurück! Spüll bitte die Tella!Alexia

Liebe Maria,ich gehe Milch, Zucker, Essig, Mehl und eine Hose kaufen. Meine alte Hose ist kaputt und ich brauche eine neue!Kannst du bitte die Katze fressen?Ich komme am Nachmittag zurück!Alexis

Die Ergebnisse der empirischen Forschung

Texte – Gruppe B – (St)

Schatz,bin kurz bis zum Supermarkt gefahren, da im Kühlschrank keine süße Sahne mehr gab und ich heute Lust auf Carbonara habe. Falls du noch was willst, ruf mich auf den Handy an. Bin höchstens in 20 min. zurück.Wärst du so lieb schon mal die Nudeln zu kochen, bis ich wieder da bin.Danke, Alexia

Hallo Eleni!Wie geht΄s? Mir nicht so gut. Mein Kopf tut weh und ich brauche unbedingt Medikament. Ich gehe zur Apotheke. Ich komme in circa 30 Minuten zurück. Könntest du bitte Maria meine Bücher geben? Sie wird vorbeikommen und sie braucht sie für eine Hausarbeit. Meine Bücher sind im Buchregal.Bis bald also,Alexia

Fahre kurz in die Stadt, zum Supermarkt. Ich muss dringend Bier u. tiefgefrorene Pizza kaufen. Am Abend kommen die Jungs vorbei u. den Film angucken. Komme in einer Stunde zurück.Würdest du inzwischen die Waschmaschine anstellen, da ich keine Zeit habe? Das wäre super von dir

Die Benotung der sechs Texte von 11 Bewertern

Nur im 6. Text (perfekten Text) einig!Bei den anderen die Beschreibung der Kriterien anders verstanden!

• Die Beschreibung erneut formulieren• Gemeinsamer Europäischer Referenzrahmen für

Sprachen Kannbeschreibung soll jedesmal nach dem Prüfungsziel geeignet beschrieben werden

• Normsprache für die innere Kommunikation (Testentwickler – Bewerter)

Die Benotung der sechs Texte von 11 Bewertern

BEWÄLTIGUNG DER KOMMUNIKATIVEN AUFGABE

TEXTAUFBAU UND LEXIKALISCHE KOMPETENZ

GRAMMATIS

CHE/

ORTHOGRAP

HISCHE

KORREKTHE

IT

ITEM

1

Umfassend bewältigt

Befriedigend Befriedigend 6Nicht befriedigend 5,5

Nicht befriedigend

Befriedigend 5Nicht befriedigend 4,5

Mit Mängeln, aber befriedigend bewältigt

Befriedigend Befriedigend 4Nicht befriedigend 3,5

Nicht befriedigend

Befriedigend 3Nicht befriedigend 2,5

Nicht befriedigend bewältigt

Befriedigend Befriedigend 2Nicht befriedigend 1,5

Nicht befriedigend

Befriedigend 1Nicht befriedigend 0,5

Entspricht nicht der Aufgabenstellung, keine Antwort  

• Der Test hat Augenscheinvalidität• Der Test ist valid• Der Test ist nützlich

Positive Rückwirkung

Das Profil der Bewerter36 (35+1)

Germanistikstudium (Diplom)

Master (Richtung: Leistungsmessung- Leistungsbeurteilung)

Schulung (für diese Prüfung)

Die Normsprache und das Bewertungssystem

• Die Normsprache als innere Kommunikationssprache zwischen Testentwickler und Bewerter soll bestimmt werden

Kode finden

Diese „innere kodierte Kommunikationssprache“ soll auch für die Beschreibung der Bewertungskriterien gelten

Die Normsprache und das Bewertungssystem

so…

Danke

Dafni Wiedenmayer, Essen AILA 2008