1

SQA – Evaluierung mittels quantitativer und qualitativer Methoden der empirischen Sozialforschung am Standort Mittelschule Obernberg 2019/20

Da die 2018/19 abgegangenen Schülerinnen und Schüler der 4. Klassen bereits wiederholt Teil des SQA Prozesses gewesen sind,1 erschien es im Zuge des Themenfeldes „Entwicklung einer förderlichen Rückmeldekultur“ angebracht, die empirisch-quantitativen Ergebnisse der vergangenen beiden Jahre triangulativ zu erweitern und sich den Statusfeldern „Persönlichkeit“, „Wissen“ und „Kreativität“ mit einem profunden quantitativen Setting zu nähern.

Dass die Validierung der dann erbrachten Ergebnisse eine besondere Herausforderung für den Schulleiter respektive das SQA Team darstellt, steht auf einem anderen Blatt. Auch die Herangehensweise an drei so heterogene Themencluster („Persönlichkeit“, „Wissen“ und „Kreativität“) ist herausfordernd und im Rahmen der empirischen Sozialforschung nicht unproblematisch („Weiche“ Clusterfelder wie Persönlichkeit und Kreativität, versus „starke“ Clusterbereiche wie „Wissen.“) Da diese drei Topics keine kommunizierenden Gefäße darstellen, sofern man nicht „weiche“ Indikatoren für „weiche“ Zielbilder als den normativen Goldstandard der pädagogischen Diagnostik hält, sei für dieses Jahr der Schwerpunkt auf die im EP Plan besonders ausgewiesene „Entwicklung förderlicher Rückmeldekultur“ gelegt, in der hermeneutischen Erwartung, dass diese auf die Statusbildern „Persönlichkeit“ und „Kreativität“ rückkoppelt. Ob diese a priori Annahme stichhaltig ist, wird ein weiteres evidenzbasiertes Instrumentarium gegen Ende des SJ 19/20 weisen. Für das aktuelle Instrumentarium (quantitative Befragung) waren unstandardisierte Verfahren anderen Methoden vorzuziehen. Im Sinne der Rückmeldekultur hat uns vor allem interessiert, wie sehr die Schüler unserer ehemaligen 4. Klassen, die Nahtstelle, den Umstieg auf die PTS meistern, was Ihre Erwartungen an die zukünftigen Lehrkräfte sind, aber wie hoch auch die Zufriedenheit mit der vergangenen NMS war. Diese Daten - und das macht die Erhebung erst triangulativ – unter Berücksichtigung vergangener Schulleistungen (IKM), unter weiterer Berücksichtigung der Herkunftsschule (52,38% der PTS Schülerinnen und Schüler stammen aus der NMS Obernberg, die anderen sind von der NMS Geinberg bzw. der Sporthauptschule Schärding zu uns gekommen).

1 (vgl. Beilage S. 1-2 des EP Planes 18/19)

2

Diagramm 1: Ich war als Schüler2 in der NMS Obernberg

NMS Obernberg; 52%

andere Schule; 48%

Woher kommen unsere Schüler?

NMS Obernberg andere Schule

2. Benote bitte, wie in der Schule, deine Zufriedenheit mit der abgelaufenen NMS mit einer Note.

GESAMT NMS OB Andere0

2

4

6

8

10

12

3

2

1

8

3

5

10

6

4

Schulzufriedenheit: allgemein

EINS ZWEI DREI VIER FÜNF

2 Bis auf die Einleitung wird auf das Genderdeutsch verzichtet. Grund ist die Lesbarkeit der Grafiken / Diagramme und kein anderer. Anm. Eichsteininger Hannes

3

3. Zufriedenheit mit dem „Hauptfächern“ nach dem Schulnotenprinzip, allgemein.

Mathematik - allgemein Deutsch - allgemein Englisch - allgemein0

1

2

3

4

5

6

7

8

9

3

6

7

8

5 5

8

6

7

1

4

11

0

1

Zufriedenheit mit den Hauptfächern (alle Schüler)

EINS ZWEI Exponential (ZWEI)DREI Vier FÜNF

4. Zufriedenheit mit dem „Hauptfächern“ nach dem Schulnotenprinzip, Hauptfächer OB

Mathematik - allgemein Deutsch - allgemein Englisch - allgemein0

1

2

3

4

5

6

7

8

9

3

6

7

8

5 5

8

6

7

1

4

11

0

1

Zufriedenheit mit den Hauptfächern (alle)

EINS ZWEI DREI Vier FÜNF

4

5. Zufriedenheit mit dem „Hauptfächern“ nach dem Schulnotenprinzip, NMS Obernberg

EINS ZWEI DREI VIER FÜNF0

1

2

3

4

5

6

4

5

2

0 00

5 5

1

0

2

1

4 4

0

Zufriedenheit mit den Hauptfächern Schüler, NMS OB, Schulnotensystem

Englisch OB Mathematik - OB Deutsch -OB

6. Zufriedenheit mit dem „Hauptfächern“ nach dem Schulnotenprinzip, andere Schulen

EINS ZWEI DREI VIER FÜNF0

0.5

1

1.5

2

2.5

3

3.5

4

4.5

4

0

4

1 1

3 3 3

0

1

4 4

2

0 0

Zufriedenheit mit den Hauptfächern Schüler, andere Schulen, Schulnotensystem

Englisch andere Mathematik - andere Deutsch - andere

5

7. Zufriedenheit mit dem „Hauptfächern“ (Schulnotenprinzip), Vergleich am Beispiel Englisch

EINS ZWEI DREI VIER FÜNF0

1

2

3

4

5

6

4

5

2

0 0

4

0

3

1 1

Zufriedenheit im Fach Englisch - VergleichSchüler, andere Schulen v.s. Schüler OB Schulnotensystem

Englisch OB Englisch - andere

6

8. Eigenschaften, die mir bei einem Lehrer wichtig sind (Vorgaberaster, Mehrfachnennungen)

freundliche Lehrer

strenge, aber gerechte Lehrer

gut erklärende Lehrer

Lehrer mit Hausübungen

Lehrer, die zuhören

pünktliche Lehrer

Lehrer, die alle gleich behandeln.

lockere Lehrer

Lehrer, bei denen wir wenig lernen

Lehrer, die unsere Jugendsprache sprechen

0 5 10 15 20 25

17

1

20

0

13

2

19

9

6

12

Wichtige Eigenschaften Lehrer

Wichtig sind mir…

9. Das sollte mein Lehrer über mich wissen… (freie Antworten)

Ich bin zwar lustig, kann mir aber nur schwer etwas merken…Ich mag es nicht, wenn einzelne Schüler ungerecht behandelt werden…Wie es mir in der Schule geht, wie meine Stärken und Schwächen sind…Dass ich mich sehr anstrenge in den Stunden…Dass ich vor Tests oder Schularbeiten sehr nervös bin…Ich werde sehr schnell böse…Dass ich sehr zufrieden mit meiner NMS Zeit war…Viele Schüler sind sehr sensibel, bitte um Verständnis…Ich bin sehr vergesslich…Dass ich viel vergesse…Ich bin laut und oft schlecht gelaunt…

7

SQA – Evaluierung mittels quantitativer und qualitativer Methoden der empirischen Sozialforschung am Standort Mittelschule Obernberg 2019/20

ENGLISCH

1. Die Ausgangsbasis

1.1: Der Einsatz des IKM-Szenarios als vor allem über ein Jahr hinausgreifende Maßnahme wurde im Vorjahr angekündigt und durchgeführt. Hemmend für die forscherische Arbeit war im letzten Jahr eine aussagekräftige Abschlussevaluation, wie sie im Rahmen der BIFIE Testung erfolgt wäre. Da diese nun auch in den Folgejahren unterbleibt, ist auch eine Langzeitevaluation der Lernerträge schwierig. Dazu mehr unter 2.3.

1.2: Im Vorjahr lag unser Augenmerk auf der Leistungsentwicklung der nunmehrigen 4b Klasse. Diese heterogene Gruppe mit vorwiegend leistungsarmen Schülern hat in der IKM Testung den österreichweiten Referenzwert mit 47/52 deutlich unterschritten. Damals in der homogenisierten Testreihe enthalten, waren auch alle Schüler, die im gemeinsamen europäischen Referenzrahmen die A1 Rahmenvorgaben nicht nur nicht überschritten haben, sondern auch die dort für die vier Grundfertigkeiten genannten Minimalziele nicht erreichten. Aus diesem Sample haben fünf (sic!) Schüler des betreffenden Jahrgangs dieser einen Klasse (jetzt: 4b) das Fach Englisch nicht erfolgreich abgeschlossen.

2. Forschungsleitender Ansatz im Herbst 2019

2.1: Die ab diesem Schuljahr wieder möglich gewordene temporäre Segregation der Leistungsniveaus sollte uns zu folgenden Forschungsfragen führen: Hat sich die Koppelung der divergenten Schülerniveaus in dieser Klasse in der Vergangenheit leistungsanreizendend oder leistungshemmend ausgewirkt? Wenn Indikatoren für Leistungsanreize zu finden sind, hat es diese tendenziell bei den leistungsstarken Schülern oder bei den leistungsarmen Schülern gegeben? Und wie wird sich die temporäre Trennung – die ja in Wahrheit ein Feintunning, eine gebotene Spezialisierung, eine Schärfung der Lerninhalte bedingt – auf beide Gruppen auswirken?3

2.2: Die Ausgangslage: Die Klasse 4b ist nun temporär getrennt, die IKM Erhebungen wurden bereits auf zwei getrennten Levels erhoben. Die nun leistungsärmere Gruppe (welche vier der o.a. Schüler enthält, die im Juli 19 nicht erfolgreich abschlossen) erreichte den Vergleichswert 33 von 40, was wenig überraschte. Allerdings kam auch die andere – nun leistungsstärkere - Gruppe über den Wert 44/40 nicht hinaus, was nur geringfügig über dem österreichischen Referenzwert liegt. In der Vergleichsgruppe der Parallelklasse lag der GESAMTKLASSENWERT (keine temporäre Trennung bei der Messung!) bei 52/40 – ein sehr hoher Wert, den viele Gymnasien nicht erreichen. Von diesem Hintergrund erscheint die temporäre Trennung der Leistungsniveaus nach Klassen unbefriedigend; eine Leistungsorientierung nach Jahrgängen hingegen sehr geboten. Der gemeinsame Unterricht in homogenen Klassen während der letzten drei Jahre (Parallelklasse hatte das gleiche Lehrerteam – daher scheiden Qualitätsunschärfen hier aus!) hat diesen gewaltigen Abstand nicht verhindert. Da man umgekehrt auch argumentieren kann, gerade die gemeinsame Teilhabe im Fach Englisch hätte

3 Einschränkend muss gesagt werden: Die relative Größe des Samples kann keine über diese Gruppe hinausgehenden Erkenntnisse zulassen. Umgekehrt sind uns die handelnden Subjekte in ihren Leistungsmöglichkeiten tendenziell gut bekannt. Auch eine flankierende qualitative Erhebung wäre in dieser Gruppe daher zielführend.

8

in der Parallelklasse diesen durchgehend hohen Leistungswert ermöglicht, haben wir uns zu folgendem Forschungssetting entschlossen:

2.3: Aufbauend auf dieser Ausgangslage, wollen wir erheben, wie sich die intensive Arbeit in den nun sehr kleinen Gruppen auswirkt, wenn diese temporär getrennt sind. Die a priori Annahme, dass diese Trennung zumindest einer der beiden Schülergruppen beflügeln wird, leitet uns bei unserem Ansatz. Da ein Forschungssetting leider fehlt, wird dieses von uns erarbeitet. Die SQA Analyse 20/21 wird die forschungsbasierten Ergebnisse (Grundlage GERS4) derselben beinhalten.

Abb.1: IKM TESTUNG Herbst 2019

4 i.e.: Gemeinsamer Europäischer Referenzrahmen Sprachen

9

Weiterführende allgemeine Maßnahmen zum Thema II („Entwicklung von förderlicher Rückmeldekultur“)

Mittels eines einfach zu handhabenden empirischen Settings wurde die hohe, mittlere und niedrige Schülerzufriedenheit in der abgegangen 4b Klasse erhoben. Zu Möglichkeiten und Kritik des einfachen empirischen Settings sowie zu den Ergebnissen vgl. auch Seite 5 und Beilagenblatt 6-7, des hinter uns liegenden Entwicklungsplanes. Das Erhebungsinstrument hat in der 4b Klasse ein Absinken der Zufriedenheit insbesondere vor lernintensiven Schulzeiten registriert. Dass das Indikatorfeedback hier zwar einfach aber doch reliabel war, zeigten nachgeschobene qualitative Interviews mit den Schülern der betreffenden Klasse. Wie angekündigt, wurde das Instrumentarium ab Herbst auf eine andere Klasse (3a Klasse) übertragen. Tendenziell sehen wir auch hier bisher ein Absinken der (sehr hohen) Anfangszufriedenheit bei den nun langsam einsetzetzenden intensiveren Lernphasen (in der Abb. die Erhebung 3/3 dieses Schuljahres). Wie im vergangenen Jahr gilt, dass Maßnahmen der pädagogischen Diagnostik erfolgen, sobald der Medianwert unter 70% sinken sollte.

Abb.2: Die erste und dritte Testreihe zur Schulzufriedenheit in der 3. Klasse, Mitte September – Mitte Oktober