Heinrich-Heine-Universität Düsseldorf

Philosophische Fakultät

Lehrveranstaltungsevaluation im Wintersemester 2010/11

- Methode, Ergebnisse, Perspektiven -

Düsseldorf, Januar 2011

Dekanat der Philosophischen Fakultät der Heinrich-Heine-Universität Düsseldorf Arbeitsstelle Qualitätssicherung und Evaluation (AQE) Autoren des Berichtes: Dr. Joachim Koblitz, Studiendekan Mail Koblitz@phil-fak.uni-duesseldorf.de Fon 0211 - 81 12133

Frank Meier, M.A. Mail frank.meier@phil-fak.uni-duesseldorf.de Fon 0211 - 81 13338

Der Bericht ist unter http://www.phil-fak.uni-duesseldorf.de/studierende/evaluation/evaluationsberichte/ veröffentlicht.

Inhalt Zu Erläuterung 1  Instrumentarium ........................................................................................................ 1 2  Organisation und Ablauf der Evaluation ................................................................... 4 2.1  Datenbasis ................................................................................................................ 4 2.2  Zeitplan ..................................................................................................................... 5 2.3  Rücklauf .................................................................................................................... 6 3  Ergebnisse ................................................................................................................ 9 3.1  Testtheoretische Qualität des Instrumentariums ...................................................... 9 3.2  Fakultätsweite Einschätzung der Veranstaltungsqualität ......................................... 9 3.3  Einschätzung der Veranstaltungsqualität nach Veranstaltungstypen und Fächern 10 3.4  Differenzierte Einschätzung der Veranstaltungsqualität ......................................... 16 3.5  Belastung der Studierenden ..................................................................................... 16 4  Rückmeldung an die Dozentinnen und Dozenten und die Fächer ............................. 19 4.1.1  Rückmeldung zur skalengebundenen Einschätzung der Veranstaltungsqualität ........ 19 4.1.2  Rückmeldung zur frei formulierten Einschätzung der Veranstaltungsqualität ............. 20 5  Zusammenfassung ................................................................................................. 21 Anhang A: Die Fragen .............................................................................................................. 22 Anhang B: Testtheoretische Qualität und Kennwerte des Instrumentariums ........................... 24 Anhang C: Idealtypische Ergebnisse ....................................................................................... 25 

Zur Erläuterung Die Philosophische Fakultät führt zur nachhaltigen Sicherung und Verbesserung der Qualität der Lehre in jedem Semester eine Lehrveranstaltungsevaluation durch.

Die dahinter stehende Grundidee ist, dass Lehrende und Studierende die Möglichkeit haben sollen, sich noch im laufenden Semester über die Evaluationsergebnisse auszutauschen. Dies bedingt wegen der Auswertungs- und Berichterstellungszeit einen Evaluationszeitrah-men, der etwa in der Mitte der Vorlesungszeit liegt. Nachteilig dabei ist, dass nicht alle Sit-zungen der Lehrveranstaltungen als Urteilsbasis zur Verfügung stehen, vorteilhaft ist, dass die Urteilsbildung der Studierenden tatsächlich zeitnah stattfinden kann und dass Studieren-de und Lehrende über den Faktor „Qualität der Lehre“ ins Gespräch kommen und im Kontext dieses Feedbackprozesses so gemeinsam an seiner Verbesserung arbeiten können.

Den evaluierenden Studierenden sollte dabei klar sein, dass diese Form der Evaluation kein "Notenvergeben" ist, bei dem Lehrende für ihre Lehrleistung abgestraft oder auch belohnt werden sollen. Diese Evaluation ist vielmehr der Versuch, einen Prozess in Gang zu setzen, in dem sich alle Beteiligten auf Augenhöhe begegnen, um gemeinsam und im beiderseitigen Interesse an der Verbesserung universitärer Lehre zu arbeiten. Evaluationsbericht und indi-viduelle Evaluationsergebnisse können dazu nur den Anlass und die Informationsbasis lie-fern, an der Qualitätsverbesserung arbeiten müssen Sie alle gemeinsam.

In dieser Evaluation werden mehr Daten erhoben, als hier dargestellt und auch den Lehren-den individuell ausgehändigt werden können. Den Instituten und Studiengangsleitungen wird ausdrücklich angeboten, spezielle fach- oder studiengangsspezifische Fragestellungen auf Basis der vorliegenden Daten zu bearbeiten. Darüber hinaus besteht die Möglichkeit, zusätz-lich auf die Daten der Studiengangsevaluation zuzugreifen, so dass eine breitere Datenbasis für eventuell angestrebte Veränderungsprozesse vorliegt.

Aus Gründen des Datenschutzes und der notwenigen Breite der Datenbasis werden keine Veranstaltungen in Auswertungen einbezogen, die auf den Aussagen von weniger als fünf Evaluierenden beruhen. Es erfolgen in diesen Fällen auch keine besonderen Benachrichti-gungen darüber; sollten also individuelle Rückmeldungen zu Veranstaltungen ausbleiben, ist dies der Grund dafür.

Joachim Koblitz Studiendekan

1

1 Instrumentarium Es wurde in den letzten Semestern ein Konzept zur Online-Evaluation erarbeitet und erprobt, nach dem für alle Veranstaltungsformen ein identischer Kernsatz von Items eingesetzt wur-de; zusätzlich wurden einige differenzierende Fragen zu den Besonderheiten spezifischer Veranstaltungsformen gestellt.

Die so differenziert zu berücksichtigenden Veranstaltungsformen sind - Vorlesung - Seminar - Tutorium - Sprachkurs.

Zusätzlich wurden die individuellen Rückmeldungen an die Lehrenden nicht an den Durch-schnittswerten der Fakultät und des jeweiligen Faches als "Normgröße" orientiert, sondern konsequenterweise an den Durchschnittswerten der Veranstaltungsformen - mindestens fakultätsweit, und dort, wo die Datenbasis groß genug ist, auch an der einzelnen Veranstal-tungsform im eigenen Fach.

Die Entwicklung des Instrumentariums und die eventuell benutzten Quellen und Vorlagen sowie weitere Literaturhinweise sind in früheren Evaluationsberichten unter http://www.phil-fak.uni-duesseldorf.de/studierende/evaluation/evaluationsberichte/ zu finden.

Die 38 Items des Fragebogens bilden die insgesamt sieben Urteilsdimensionen

Methodik und Aufbau Interessantheit und Relevanz Dozentenverhalten Gesprächsführung Schwierigkeit und Umfang Qualität der Referatvorträge Auswahl der Referatthemen,

von denen natürlich - je nach Veranstaltungsform - den Studierenden immer nur der für die jeweilige Veranstaltung zutreffende Teil präsentiert wurde.

Von den 7 Urteilsdimensionen wurden 4 für die Evaluation von Vorlesungen herangezogen ("Methodik und Aufbau", "Interessantheit und Relevanz", "Dozentenverhalten" sowie "Schwierigkeit und Umfang"). Bei den anderen Veranstaltungsformen wurde über den Faktor "Gesprächsführung" zusätzlich die Interaktion zwischen Dozentin bzw. Dozent und Studie-renden bewertet. Darüber hinaus wurden über Filterfragen weitere lehrveranstaltungsspezifi-sche Aspekte wie "Lehrbucheinsatz" in Sprachkursen bzw. "Qualität der Referatsvorträge" und Auswahl der Referatsthemen" in den davon betroffenen Seminaren und Tutorien abge-fragt. Falls die Veranstaltung von mehreren Dozenten durchgeführt wurde (z.B im Te-amteaching oder als Ringveranstaltung) bekamen die Studierenden die Gelegenheit, in einer offenen Frage ihnen auffallende Unterschiede im Verhalten der Dozierenden zu beschreiben.

Die zu den jeweiligen Veranstaltungsformen gestellten Fragen sind Tabelle 1 zu entnehmen.

2

Tabelle 1: Faktoren und Items nach Veranstaltungsformen

Vorle

sung

Se

min

ar/Ü

bung

Tu

toriu

m

Spra

chku

rs

Methodik und Aufbau Der/Die Dozent/in1 vermittelt den Stoff anschaulich und verständlich. Der/Die Dozent/in baut die Veranstaltung gut auf und führt sie gut durch. Die Veranstaltung verläuft nach einer klaren Gliederung. Die Veranstaltung gibt einen guten Überblick über das Themengebiet. Das im Sprachkurs verwendete Lehrbuch ist für universitäre Zwecke gut geeignet. Der/Die Dozent/in setzt das Lehrbuch in angemessener Weise ein. Der/Die Dozent/in setzt über das Lehrbuch hinausgehend gute Unterrichtsmaterialien (Folien, Arbeitsblätter, Texte, audiovi-suelle Medien, etc.) zur Unterstützung des Lernens ein.

Der/Die Dozent/in setzt gute Unterrichtsmaterialien (z. B Literatur, Folien, Skript, Arbeitsblätter, audiovisuelle Medien etc.) zur Unterstützung des Lernens ein.

Der/Die Tutor/in weiß über die Scheinanforderungen Bescheid. Der/Die Tutor/in scheint gut mit der Dozentin/dem Dozenten zusammenzuarbeiten. Interessantheit und Relevanz Der/Die Dozent/in gestaltet die Veranstaltung interessant. Die Veranstaltung ist vermutlich für die spätere Berufspraxis sehr nützlich. Der/Die Dozent/in verdeutlicht zu wenig die Verwendbarkeit und den Nutzen des behandelten Stoffes. Der/Die Dozent/in fördert mein Interesse am Themenbereich. Der/Die Dozent/in fördert mein Interesse am Spracherwerb. Die in der Veranstaltung behandelten Themen finde ich wichtig. Dozentenverhalten Der/Die Dozent/in verhält sich Studierenden gegenüber freundlich und respektvoll. Der Dozentin/Dem Dozenten scheint der Lernerfolg der Studierenden gleichgültig zu sein. Der/Die Dozent/in geht auf Fragen der Studierenden ausreichend ein. In der Veranstaltung herrscht eine gute Arbeitsatmosphäre. Mit den Rückmeldungen durch den Dozenten/die Dozentin (Feedback, Fehlerkorrektur etc.) bin ich sehr zufrieden. Gesprächsführung Der/Die Dozent/in fördert die aktive Mitarbeit der Teilnehmer und Teilnehmerinnen. Das Verhalten des/r Dozenten/in fördert die Diskussionsbereitschaft bei den TN. Es besteht ausreichend Gelegenheit für Fragen und Diskussionen. Die Veranstaltung ist eine gute Mischung aus Wissensvermittlung und Diskussion. Der Sprachkurs ist eine gute Mischung aus theoretischem Spracherwerb (Grammatik, Vokabeln etc.) und Anwendung des Gelernten.

Der/Die Dozent/in gibt zu wenig erklärende und weiterführende Informationen zu den behandelten Themen. Schwierigkeit und Umfang Der Schwierigkeitsgrad der Veranstaltung ist: Das Tempo der Veranstaltung ist: Der Stoffumfang ist: Die zusätzliche zeitliche Belastung durch das Tutorium ist zu hoch: Qualität der Referatsvorträge Die Referenten und Referentinnen sind auf Fragen und Diskussionen meist gut vorbereitet. Das wirklich Relevante wird bei den Referaten zu wenig hervorgehoben. Die Referenten und Referentinnen stellen den Stoff meist verständlich dar. Auswahl der Referatsthemen Die thematische Abfolge der Referate wirkt recht willkürlich. Die Referatsthemen sind in inhaltlicher und didaktischer Hinsicht gut ausgewählt. Der/Die Dozent/in stellt die Zusammenhänge zwischen den einzelnen Referatsthemen gut her. Die einzelnen Referate stehen mehr oder weniger unvermittelt nebeneinander.

1 Im Tutoriumsfragebogen wurden die Worte "Dozent bzw. Dozentin" durch "Tutor bzw. Tutorin" ersetzt.

3

Die Items werden jeweils auf einer fünfstufigen Skala mit den Endpunkten "stimmt nicht" (1) und "stimmt" (5) bzw. "viel zu niedrig" vs. "viel zu hoch" (bei "Schwierigkeitsgrad" und "Tem-po") und "viel zu gering" vs. "viel zu hoch" (bei "Stoffumfang") beantwortet.

Sechs Items wurden zur Vermeidung von automatisierten Antworttendenzen negativ formu-liert, es müssen also vor der Auswertung einige Items "umgepolt"1 werden, damit bei späte-ren Summen- oder Durchschnittsbildungen nur gleichsinnige Aussagen zusammengefasst werden.

Nach der Umpolung werden aus den Antworten auf die Items jedes Faktors die Mittelwerte berechnet, damit die Faktoren bei auch unterschiedlicher Itemzahl untereinander vergleich-bar werden.

Zusätzlich zu diesen Fragen wurde als "zusammenfassende Schlussbewertung" die Aussa-ge "Die Veranstaltung ist für die Studierenden empfehlenswert" auf der gleichen fünfpoligen Skala eingeschätzt, außerdem wurden einige Zusatzinformationen erhoben, die zu weiteren Analysen hilfreich sein können:

Wie viel Zeit wenden Sie im Durchschnitt pro Woche (außerhalb der Veranstaltung) für die Vor- und Nachbereitung des Stoffes auf?

An wie vielen Sitzungen haben Sie nicht teilgenommen? Gründe für den Besuch der Veranstaltung Besuch im Rahmen des fachübergreifenden Wahlpflichtbereichs bzw. des Studium Universale? Studiengang, in dessen Rahmen die Veranstaltung besucht wurde Semesterzahl diesem Fach Geschlecht Muttersprache Deutsch?

Abschließend war die Gelegenheit gegeben, nicht an eine bestimmte Frage gebundene Kommentare und Einschätzungen abzugeben.

Die nach dem Öffnen der Mail noch erforderliche Zeit für das Einloggen in die Evaluations-seite und das Bearbeiten des Fragebogens liegt bei etwa fünf Minuten.

Der vollständige Fragensatz mit allen Antwortmöglichkeiten ist in Anhang A wiedergegeben.

1 Die Rohwerte werden also nach folgendem Muster ausgetauscht: 1 → 5 2 → 4 3 → 3 4 → 2 5 → 1

4

2 Organisation und Ablauf der Evaluation

2.1 Datenbasis Gemäß der Planung sollte allen Dozentinnen und Dozenten eine Rückmeldung über alle ihre Veranstaltungen im WS 10/11 gegeben werden. Davon ausgenommen wurden lediglich die Veranstaltungen des Kubus-Programms, das im Rahmen einer Kubus-eigenen Evaluation ausgewertet wird. Die Datenbasis für die vorliegende Evaluation bilden alle Zulassungsfälle, d.h. alle Anmeldungen von Studierenden, die sich online für eine der in HIS-LSF verzeichne-ten Veranstaltungen angemeldet hatten und die von den Dozentinnen und Dozenten als "zu-gelassen" vermerkt worden waren.

Erfahrungsgemäß werden Online-Anmeldungen von den Studierenden aber nicht rückgängig gemacht, wenn sie nach Veranstaltungsbeginn entscheiden, an einer Veranstaltung doch nicht teilzunehmen oder einfach nicht mehr zu dieser erscheinen. Ebenso muss davon aus-gegangen werden, dass die Dozentinnen und Dozenten gerade bei Veranstaltungen mit gro-ßen Teilnehmerzahlen die Datenpflege in HIS-LSF nicht kontinuierlich durchführen (können), dass also Studierende an Veranstaltungen teilnehmen, die nicht als "zugelassen" markiert sind, und andererseits solche "zugelassen" sind, die längst nicht mehr teilnehmen. Dieses Problem wird bei allen Veranstaltungen mit vielen Teilnehmenden kaum vollständig lösbar sein. Um seine Auswirkungen zumindest zu begrenzen, wurden die Geschäftsführungen frühzeitig gebeten, alle Lehrenden auf die bevorstehende Evaluation hinzuweisen und um die Aktualisierung der HIS-LSF-Datenbank zu bitten.

Auf Grund der großen Teilnehmerzahlen gerade in Vorlesungen ist diese Maßnahme aller-dings kaum zumutbar und sicherlich schwer zu realisieren; es muss davon ausgegangen werden, dass eine nicht zu ermittelnde Anzahl Studierender angeschrieben wurde, obwohl diese nicht (mehr) an der entsprechenden Vorlesung teilgenommen haben. Dies bedeutet allerdings nicht, dass sie auch tatsächlich missbräuchlich von der Möglichkeit zur Evaluation Gebrauch gemacht haben. Andererseits dürften viele an Veranstaltungen teilnehmende Stu-dierende nicht an der Evaluation teilgenommen haben, weil sie in HIS-LSF nicht "zugelas-sen" waren.

Da nicht für alle Veranstaltungen eine Online-Anmeldung erwünscht und ermöglicht war (z.B. ist häufig bei Kolloquien, Doktoranden- oder Forschungsseminaren ausschließlich eine per-sönliche Anmeldung erforderlich) können Veranstaltungen ohne Online-Anmeldung in die-sem Rahmen nicht evaluiert werden.

Es wurden also zunächst alle die 1088 Lehrveranstaltungen in die Stichprobe aufgenommen, die im Wintersemester 2010/11 an der Philosophischen Fakultät der Heinrich-Heine-Universität Düsseldorf gehalten wurden und für die eine Online-Belegung möglich war. 1

Ausgenommen davon wurden Veranstaltungen

1 Bei Ringvorlesungen und Veranstaltungen, die im team-teaching durchgeführt werden, ist davon auszugehen,

dass die Teams ein gemeinsames inhaltliches und didaktisches Konzept vertreten, das von den Studierenden auch als Einheit wahrgenommen und eingeschätzt wird. Deshalb wurde für diese Veranstaltungen nur ein ein-ziger Fragebogen vorgelegt, aber zwischen Personen differenzierende Urteile in Form einer offenen Frage wurden erbeten. Im Fragebogen war dazu folgender Hinweis gegeben: "Die Fragen sind durchgängig im Sin-gular formuliert. Sollte Ihre Veranstaltungen von mehreren Dozenten/innen durchgeführt werden (z.B. im Te-amteaching oder als Ringveranstaltung), bewerten Sie bitte die Gemeinschaftsleistung des Dozententeams. Sie bekommen unten die Gelegenheit, zu den individuellen Leistungen der einzelnen Dozenten/innen Stellung zu nehmen."

5

- bei denen erkennbar war, dass sie als Blockveranstaltung erst nach dem Evaluierungs-zeitraum stattfinden würden (9 Veranstaltungen)

- bei denen weniger als fünf Studierende in HIS-LSF als "zugelassen" eingetragen waren, so dass von maximal vier Personen evaluierende Daten zu erwarten waren. Zum einen wäre eine solche Datenbasis zu schmal, um begründete Aussagen machen zu können, zum anderen würde die Anonymität der Befragten zumindest fraglich werden (45 Veran-staltungen)

- bei denen die Angaben im HIS-LSF unvollständig waren. Teilweise waren überhaupt kei-ne Studierenden zugelassen, teilweise fehlten Informationen über die Dozenten (283 Ver-anstaltungen).

Beim Export der Studierendendaten von HIS-LSF nach EvaSys und in allen anderen Zu-sammenhängen dieser Evaluation wurden die von der Evaluationsordnung der Heinrich-Heine-Universität Düsseldorf vorgegebenen sowie die weiteren einschlägigen Vorschriften des Datenschutzes selbstverständlich befolgt. Sämtliche Informationen über die Teilneh-mer/innen der Befragung wurden direkt nach dem Datenimport nach EvaSys anonymisiert. so dass zu keinem Zeitpunkt ein Rückschluss auf die Personen der antwortenden Studieren-den möglich war.

Die nach dieser Maßnahme aus HIS-LSF gewonnene reduzierte Liste weist 751 Veranstal-tungen mit insgesamt 33.815 zugelassenen Teilnahmefällen nach, die per Email zur Evalua-tion der jeweiligen Veranstaltung aufgefordert wurden.

2.2 Zeitplan 22.11.10 Information der Dozierenden über die Geschäftsführungen der Institute und

Seminare der Philosophischen Fakultät über die geplante Evaluation. Bitte, die Namensbestände in HIS-LSF zu überprüfen und bei den Studierenden für die Teilnahme zu werben.

29.11.10 Gewinnen der zugrunde liegenden Daten aus HIS-LSF

03.12.10 Freischalten der Evaluationsseite, Email an die Studierenden mit der Bitte, sich an der Evaluation zu beteiligen

10.12.10 Erinnerungsmail an diejenigen, die noch nicht reagiert haben

12.12.10 Schließen der Evaluationsseite

17.01.11 Vorlage des Evaluationsberichts; Versand des Berichts und der jeweiligen individuellen Ergebnisse an die Dozentinnen und Dozenten

Ab 18.01.11 Möglichkeit für die Dozentinnen und Dozenten, den Studierenden die Ergeb-nisse zu vermitteln, sie zu diskutieren und ggf. Erläuterungen von den Studie-renden einzuholen

Abbildung 1 verdeutlicht, dass ca. 50 % aller Evaluationen innerhalb der ersten drei Tage nach Freischalten der Evaluationsseite vorgenommen wurden.

6

Abbildung 1: Bearbeitungszeitpunkt der Fragebögen zwischen dem 03. und 12.12.10 in Pro-

zent vom Rücklauf

2.3 Rücklauf Von den nominell 33.815 Teilnahmefällen in den 751 Veranstaltungen wurden 138 nicht er-reicht, in der Regel weil das Speichervolumen des überfüllten Empfängerpostfachs nicht aus-reichte.

Die verbleibenden 33.677 Teilnahmefälle bilden somit die Grundgesamtheit, die nominell für die Beantwortung der Fragen zur Verfügung stand. Die Bearbeitung der Fragen erfolgte oh-ne nennenswerte Probleme, 7 Studierende nutzten die angebotene Möglichkeit, eine Email an das Evaluationsteam zu schreiben; sie hatten in der Regel technische Fragen oder Ver-besserungsvorschläge.

Aus dieser Grundgesamtheit von 33.677 Teilnahmefällen haben sich 5.850 an der Evaluation beteiligt, so dass die durchschnittliche Rücklaufquote aller Veranstaltungen der Fakultät 17.37 % beträgt. Dieser Wert ist – dass muss deutlich gesagt werden – unbefriedigend und unzureichend! Im SS 11 wird deutlich verstärkt ihre Mitarbeit die Ansprechpartnerinnen und –partner des Evaluationsteams in dieser Angelegenheit, nämlich der Dozierenden, erfragt werden. Es ist auch zu befürchten, dass die Information über die jeweils bevorstehende Eva-luation gar nicht rechtzeitig bis zu den Lehrenden vordringt, so dass ein Einwirken ihrerseits

7

auf die Studierenden nicht stattfinden kann. Hier wird verstärkt Information und Werbung stattfinden müssen.

Insgesamt 328 der 751 Veranstaltungen, also mehr als ein Drittel, konnten nicht ausgewertet werden, weil für sie jeweils weniger als fünf Rückmeldungen eingegangen waren; dadurch entfielen 787 Fragebögen.

Nach diesen Reduzierungen standen 423 der 764 Veranstaltungen für die Evaluation zur Verfügung, zu denen insgesamt 5.063 Rückmeldungen abgegeben wurden. Diese 5.063 Rückmeldungen bilden die Datenbasis für alle folgenden Auswertungen.

Die Verteilung der 423 Veranstaltungen nach der Anzahl der in HIS-LSF zugelassenen Stu-dierenden ist Abbildung 2 zu entnehmen.

Abbildung 2: Anzahl berücksichtigter Veranstaltungen (senkrecht) nach dazu jeweils zuge-lassenen Studierenden (waagrecht)

Die Bandbreite der Rücklaufquoten gibt Abbildung 3 wieder, Tabelle 2 spezifiziert diese Da-ten institutsweise.

8

Abbildung 3: Prozentuale Rückläufe der 423 Veranstaltungen

Tabelle 2: Rücklaufquoten institutsweise

Zahl der

Veranstaltungen Zahl der Dozentin-nen und Dozenten

Durchschnittliche Rücklaufquote der

auswertbaren Veranstaltungen

Institut für Anglistik und Amerikanistik 77 40 22 %

Institut für Germanistik 70 44 20 %

Institut für Geschichtswissenschaften 48 26 21 %

Institut für Jüdische Studien 7 4 34 %

Institut für Klassische Philologie 2 2 19 %

Institut für Kunstgeschichte 16 12 21 %

Institut für Medien- und Kulturwissenschaft 18 13 23 %

Institut für Modernes Japan 24 14 22 %

Institut für Philosophie 26 13 17 %

Institut für Romanistik 36 22 23 %

Institut für Sozialwissenschaftlichen 75 39 26 %

Institut für Sprache und Information 24 16 26 %

Gesamt 423 245

9

3 Ergebnisse

3.1 Testtheoretische Qualität des Instrumentariums Die Struktur des Instrumentariums, seine testheoretischen Kennwerte und die der einzelnen Items wurden geprüft; die Überprüfungen erbrachten fast ausnahmslos vorzügliche Kenn-werte, die die uneingeschränkte Interpretierbarkeit der mit dem Fragebogen erhobenen Er-gebnisse belegen.

Vorgehen und Ergebnisse sind in Anhang B dokumentiert.

3.2 Fakultätsweite Einschätzung der Veranstaltungsqualität Nach der in Kapitel 1 beschriebenen Mittelwertbildung werden die Antworten auf die einzel-nen Items der sieben Faktoren durch die Mittelwerte der Faktoren repräsentiert, die, genau wie jedes einzelne Item, Werte zwischen 1 und 5 annehmen können, wobei "1" den negati-ven und "5" den positiven Pol bezeichnet. Es gilt also: je höher der Zahlenwert, desto besser die Einschätzung. Eine Ausnahme bilden die Items zu "Schwierigkeit und Umfang" ("Schwie-rigkeitsgrad der Veranstaltung", "Tempo der Veranstaltung", "Stoffumfang" und ggf. "Zusätz-liche zeitliche Belastung durch das Tutorium"), deren Extrema als "viel zu hoch" bzw. "viel zu niedrig" gekennzeichnet sind. Hier läge der optimale Wert genau zwischen diesen beiden Extrema, also bei "3"; eine Abweichung nach unten würde eine Veranstaltung als "zu leicht", "zu langsam" bzw. "zu inhaltsarm", eine Abweichung nach oben als "zu schwer", "zu schnell" bzw. als "mit Stoff überfrachtet" kennzeichnen.

Die Betrachtung der Ergebnisse auf Basis der einzelnen Urteile über alle Dozierenden hin-weg würde nun aber noch nichts über die einzelnen Dozierenden aussagen.

Angenommen, es gäbe einige wenige ganz vorzügliche Veranstaltungen mit einer sehr gro-ßen Hörerzahl, dann würden diese wenigen guten Veranstaltungen die Werte der - ange-nommen! - vielen schlechten mit jeweils wenigen Hörern nach oben verfälschen.

Mit anderen Worten: eine faire Beurteilungsbasis gibt nur eine Analyse auf Basis der Mittel-werte der einzelnen Veranstaltungen: Analyseeinheit darf also nicht der einzelne Studieren-de sein, sondern Analyseeinheit muss der Mittelwert sein, der sich aus allen Einschätzungen aller Teilnehmer einer Veranstaltung ergibt. Dann liegen nicht mehr 5.850 Urteile vor, son-dern 423 Durchschnittsurteile aus 423 Veranstaltungen. Diese Werte können Tabelle 3 ent-nommen werden.

Dabei werden folgende erste Ergebnisse deutlich:

Alle Werte liegen deutlich im positiven Bereich der Skalen, nur ein einziger Mittelwert fällt unter 3, der beste Wert ist mit 4,36 "Interessantheit und Relevanz“ in den Sprachkursen. Hier – wie auch in der Detailbeurteilung der Sprachkurse – wird deutlich, dass die kontinu-ierliche Arbeit der betroffenen Institute an der Qualität der Sprachkurse, die durchaus so etwas die die „didaktischen Sorgenkinder“ der Fakultät waren, sich bewährt und im positi-ven Sinne Wirkung zeigt.

Während Vorlesung, Seminar/Übung und Tutorium in "Schwierigkeit und Umfang" mit Werten zwischen 2,78 und 3,43 die gewünschte Balance zwischen "zu anforderungsreich" und "zu anforderungsarm" nahezu perfekt erreichen, werden die Sprachkurse mit 3,43 als etwas zu anforderungsreich wahrgenommen.

10

"Methodik und Aufbau", "Interessantheit und Relevanz" und "Dozentenverhalten" der in-teraktionsreichen Veranstaltungsarten "Seminar/Übung", "Tutorium" und "Sprachkurs" werden positiver eingeschätzt als "Vorlesungen".

"Dozentenverhalten" ist in allen Veranstaltungsarten die am besten beurteilte Dimension.

Die Einschätzungen in den Faktoren, die von den Lehrenden unmittelbar beeinflusst wer-den können ("Methodik und Aufbau" und "Dozentenverhalten) sind besser als die Urteile in dem Faktor, der eher von Studienordnungen und ähnlichen Vorgaben abhängt ("Inte-ressantheit und Relevanz"). Mit anderen Worten: die Dozierenden werden besser einge-schätzt, als die Studienordnungen und -pläne, nach denen sie lehren.

Zusammenfassend kann festgestellt werden, dass wiederum ein insgesamt positives Bild vorliegt, das sich im Vergleich zum SS 10 nur in Details verändert hat.

Tabelle 3: Faktorenweise Darstellung der Ergebnisse (Mittelwerte aus N = 423 Veranstaltungen)

Vorlesung Seminar/Übung Tutorium Sprachkurs Gesamt

N x̄ s N x̄ s N x̄ s N x̄ s N x̄ s

Methodik und Aufbau

53 3,77 0,68 350 4,06 0,59 10 4,11 0,48 10 4,32 0,59 423 4,03 0,61

Interessantheit und Relevanz

53 3,38 0,57 350 3,68 0,58 10 3,59 0,62 10 4,36 0,42 423 3,65 0,59

Dozentenverhalten 53 4,07 0,54 350 4,26 0,51 10 4,35 0,46 10 4,55 0,31 423 4,25 0,51

Gesprächsführung . 350 3,99 0,57 10 4,03 0,40 10 4,42 0,40 370 4,00 0,57

Qualität der Referatsvorträge

. 214 3,85 0,55 3 3,22 0,19 . 217 3,85 0,55

Auswahl der Referatsthemen

. 214 3,95 0,65 3 3,50 0,50 . 217 3,94 0,65

Schwierigkeit und Umfang

53 3,11 0,21 350 3,09 0,31 10 2,78 0,30 36 3,43 0,28 423 3,08 0,31

3.3 Einschätzung der Veranstaltungsqualität nach Veranstaltungs-typen und Fächern

Eine zwischen Instituten vergleichende Betrachtung kann einerseits durch visuelle Inspektion der Daten, andererseits durch eine zufallskritische Absicherung der Differenzen zwischen den Instituten vorgenommen werden.

Die Abbildungen 4 bis 11 geben die jeweiligen Mittelwerte der vier Veranstaltungstypen für die Institute im Vergleich wieder, soweit sie für jeweiligen Veranstaltungstypen vorliegen.

11

Da Vorlesungen, Tutorien und Sprachkurse entweder nicht in allen Instituten zum Repertoire gehörten oder weniger als vier Veranstaltungen in diesen Veranstaltungstypen angeboten wurden, sind hier jeweils unterschiedlich viele Institute beteiligt.

Es wurde darauf verzichtet, mit Hilfe von Signifikanzprüfungen Unterschiede zwischen Insti-tuten statistisch abzusichern und darzustellen, da im Kontext der aktuell laufenden Reakkre-ditierungsverfahren das Hauptaugenmerk auf der studiengangs- und fachweisen Deskription liegt.

Pauschal lässt sich feststellen, dass auf der Ebene der Institute gelegentlich Unterschiede deutlich erkennbar sind, die im Sinne eines wirksamen Qualitätsmanagements zu Gesprä-chen mit den Instituten führen werden..

Die generelle Zufriedenheit der Studierenden kann also als "gut" bezeichnet werden, weiter-gehende und spezifizierte Aussagen sind nur auf der Ebene der einzelnen Dozierenden bzw. der Veranstaltungen möglich.

Abbildung 4: Seminare

12

Abbildung 5: Seminare

13

Abbildung 6: Sprachkurse

Abbildung 7: Sprachkurse

14

Abbildung 8: Tutorien

Abbildung 9: Tutorien

15

Abbildung 10: Vorlesungen

Abbildung 11: Vorlesungen

16

3.4 Differenzierte Einschätzung der Veranstaltungsqualität Da trotz aller positiven Ergebnisse alle oben dargestellten Werte eine mehr oder weniger große Bandbreite aufweisen, muss Evaluation im Hinblick auf ein anzustrebendes Quali-tätsmanagement auch versuchen, Gründe für diese Streuungen zu finden, um entweder schlechtere Werte verbessern zu helfen oder im Sinne von "best practice" von als gut evalu-ierten Dozentinnen und Dozenten zu lernen.

Dazu wurden verschiedene potenzielle Einflussgrößen daraufhin untersucht, ob sie signifi-kante Effekte in den untersuchten Faktoren nachweisbar machen.

Die Prüfung statistisch signifikanter Unterschiede zwischen verschiedenen Teilgruppen macht deutlich, dass nicht nur die Personen der Dozentinnen und Dozenten und die (damit konfundierten) einzelnen Veranstaltungen potenzielle Wirkfaktoren für Zufriedenheit oder Unzufriedenheit sind, sondern dass erhebliche Wechselwirkungen zwischen diesen Faktoren sowie Personenmerkmalen der Studierenden und strukturellen Bedingungen bestehen.

Diese Wechselwirkungen sind so differenziert, dass ihnen die pauschale Darstellung in die-sem Bericht nicht gerecht werden kann. Hier muss wieder auf das eingangs schon gemachte Angebot der Analyse spezieller fach- oder studiengangsspezifischer Fragestellungen auf Basis der vorliegenden Daten verwiesen werden. Gerade im Kontext von Akkreditierungs- und Reakkreditierungsanträgen sind hier vielfältige Informationsmöglichkeiten gegeben.

Die individuelle Rückmeldung an jede Dozentin und jeden Dozenten sollte nicht nur als In-formation über wahrgenommenes Verhalten aufgenommen werden, sondern sie sollte im Kontext der oben dargestellten Ergebnisse auch den Blick dafür öffnen, welche zusätzlichen Rahmenbedingungen zu diesen Rückmeldungen geführt haben können.

3.5 Belastung der Studierenden

Die im Kontext der Diskussion um die die Überlastung der Studierenden mit Lehr- und Prüfungs-inhalten in den ersten Monaten des Jahres 2010 geführte Diskussion war Anlass, die Studieren-den zu fragen, wie viel Zeit sie außerhalb der Veranstaltung im Durchschnitt pro Woche für die Vor- und Nachbereitung des Stoffes der jeweiligen Veranstaltung aufwenden.

Tabelle 4 gibt die Ergebnisse summativ und undifferenziert nach Veranstaltungsformen wieder, Tabelle 5 getrennt nach Studiengängen und Tabelle 6 gegliedert nach Veranstaltungsarten und Instituten.

Die hier berichteten Mittelwerte sind weit davon entfernt, im Einzelfall eine Überlastung zu doku-mentieren; in der Summe der zu besuchenden Veranstaltungen kann – je nach Studiengang und Fächerkombination – eine Überlastung trotzdem nicht ausgeschlossen werden. Handlungsbe-darf bestünde dann aber nicht auf der Ebene der Lehrenden und ihrer Veranstaltungen, sondern auf der strukturellen Ebene der Studiengänge, der Fächer und ihrer Koordination. Auffällig ist außerdem die Streuung zwischen gleichen Veranstaltungstypen innerhalb eines Instituts.

17

Tabelle 4: Durchschnittliche Zeit pro Woche für die Vor- und Nachbereitung des Stoffes der jeweiligen Veranstaltung (in Minuten)

Mittelwert N

Seminar 84 4045

Sprachkurs 152 156

Tutorium 39 107

Vorlesung 62 1427

Tabelle 5: Durchschnittliche Zeit pro Woche für die Vor- und Nachbereitung des Stoffes der Veranstaltungen im jeweiligen Fach (in Minuten), absteigend geordnet

Studiengang Mittelwert N B.A. Linguistik (Ergänzungsfach) 134 37

B.A. Jüdische Studien (Ergänzungsfach) 122 16

M.A. The Americas / Las Américas / Les Amériques (Master) 117 20

B.A. Soziologie (Ergänzungsfach) 110 54

M.A. Kunstgeschichte (Master) 110 26

M.A. Modernes Japan (Master) 108 24

B.A. Informationswissenschaft und Sprachtechnologie (Integrierter Studiengang) 107 80

M.A. Medienkulturanalyse (Master) 105 37

M.A. Literaturübersetzen (Master) 104 23

B.A. Kunstgeschichte (Ergänzungsfach) 103 29

B.A. Informationswissenschaft (Ergänzungsfach) 101 20

Diplom Literaturübersetzen 100 68

B.A. Modernes Japan (Kernfach) 99 219

Promotion (alle Fächer) 98 11

B.A. Modernes Japan (Ergänzungsfach) 95 46

Magister Geschichte 95 18

B.A. Linguistik (Integrierter Studiengang) 95 179

B.A. Politikwissenschaft (Ergänzungsfach) 94 65

B.A. Jüdische Studien (Kernfach) 94 25

B.A. Philosophie (Ergänzungsfach) 93 82

M.A. Englisch (Master) 92 59

B.A. Philosophie (Kernfach) 90 242

M.A. Politische Kommunikation (Master) 90 51

B.A. Romanistik (Ergänzungsfach) 89 64

B.A. Sozialwissenschaften (Integrierter Studiengang) 88 560

Magister Germanistik 85 22

B.A. Jiddische Kultur, Sprache und Literatur (Ergänzungsfach) 83 9

B.A. Medien und Kulturwissenschaft (Integrierter Studiengang) 83 173

B.A. Englisch (Ergänzungsfach) 83 155

B.A. Romanistik (Kernfach) 82 232

18

M.A. Geschichte (Master) 82 62

M.A. Romanistik (Master) 81 13

B.A. Kunstgeschichte (Kernfach) 80 130

M.A. Jüdische Studien (Master) 80 12

M.A. Germanistik (Master) 80 162

M.A. Sozialwissenschaften (Master) 78 34

B.A. Englisch (Kernfach) 76 490

B.A. Kommunikations- und Medienwissenschaft (Ergänzungsfach) 75 84

M.A. Linguistik (Master) 72 22

B.A. Antike Kultur (Ergänzungsfach) 71 34

B.A. Geschichte (Ergänzungsfach) 71 132

B.A. Geschichte (Kernfach) 68 244

M.A. Informationswissenschaft und Sprachtechnologie (Master) 67 9

B.A. Germanistik (Kernfach) 63 775

B.A. Germanistik (Ergänzungsfach) 62 238

M.A. Philosophie (Master) 60 12

Tabelle 6: Durchschnittliche Zeit pro Woche für die Vor- und Nachbereitung des Stoffes der Veranstaltungen des jeweiligen Typs im jeweiligen Institut (in Minuten)

Mittelwert N Seminar Institut für Anglistik und Amerikanistik 84 771

Institut für Germanistik 68 862

Institut für Geschichtswissenschaften 79 325

Institut für Jüdische Studien 82 40

Institut für Klassische Philologie 78 18

Institut für Kunstgeschichte 86 120

Institut für Medien- und Kulturwissenschaft 93 180

Institut für Modernes Japan 85 141

Institut für Philosophie 88 288

Institut für Romanistik 100 334

Institut für Sozialwissenschaften 85 660

Institut für Sprache und Information 109 303

Sprachkurs Institut für Geschichtswissenschaften 53 9

Institut für Jüdische Studien 167 14

Institut für Klassische Philologie 180 11

Institut für Modernes Japan 170 95

Institut für Romanistik 101 27

Tutorium Institut für Anglistik und Amerikanistik 48 60

Institut für Modernes Japan 17 42

19

Vorlesung Institut für Anglistik und Amerikanistik 40 27

Institut für Germanistik 60 522

Institut für Geschichtswissenschaften 47 223

Institut für Jüdische Studien 37 17

Institut für Kunstgeschichte 60 76

Institut für Medien- und Kulturwissenschaft 70 25

Institut für Modernes Japan 27 23

Institut für Philosophie 66 135

Institut für Romanistik 39 70

Institut für Sozialwissenschaften 85 307

4 Rückmeldung an die Dozentinnen und Dozenten und

die Fächer 4.1 Rückmeldung zur skalengebundenen Einschätzung der Veranstaltungsqua-

lität

Vor dem oben beschriebenen Hintergrund und angesichts der datenschutzrechtlichen Rah-menbedingungen werden die erfassten Daten in zwei Formen zurückgemeldet:

das Dekanat, die Geschäftsführungen der Fächer, alle Lehrenden und Studierenden sowie das Rektorat werden über die Ergebnisse in Form des vorliegenden Berichts informiert. Die-ser Bericht enthält keine Individualergebnisse und gibt Daten nur in aggregierter Form als Mittelwerte und Streuungen über die Studierenden bzw. Veranstaltungen wieder.

Für die individuelle Rückmeldung an die Dozentinnen und Dozenten werden die durch-schnittlichen Mittelwerte des betreffenden Veranstaltungstyps des jeweiligen Faches und der Fakultät grafisch dargestellt und in dieser Grafik zusätzlich die Werte der jeweiligen Veran-staltung.

Diese individuellen Grafiken werden den Dozentinnen und Dozenten auf einem gesonderten Blatt je Veranstaltung mit der Hauspost in einem verschlossenen Umschlag "Persönlich" / "Vertraulich" zugestellt.

Einige Beispiele für diese Rückmeldung – die durchaus als „best practice“-Beispiele zu ver-stehen sind - sind in Anhang C zu finden.

20

4.2 Rückmeldung zur frei formulierten Einschätzung der Veranstaltungsqualität

Die Möglichkeit, ohne vorgegebene Fragen Stellung zur Veranstaltung und dem/der Dozie-renden zu beziehen, wurde auffällig oft dann genutzt, wenn die skalengebundenen Urteile ausgeprägt positiv oder ausgeprägt negativ ausfielen. Sie wird also eher bei deutlich zu-stimmender oder ablehnender Grundhaltung benutzt. Sie sind alle pointiert, "deutlich" und zum Teil drastisch formuliert. In ganz seltenen Fällen sind die Äußerungen grenzwertig. Trotzdem werden ausnahmslos alle Formulierungen in den Individualrückmeldungen wörtlich wiedergegeben, ohne Rechtschreibfehler zu korrigieren oder sehr drastisch-kritische Äuße-rungen oder "Lobeshymnen" stilistisch anzupassen oder gar zu zensieren.

Der Wert dieser "freien" Formulierungen ist in einer sehr plastischen Darstellung der sonst in den Grafiken und Tabellen leicht verschwindenden individuellen Einschätzung zu sehen.

Aus Gründen des Datenschutzes werden diese Daten hier selbstverständlich nicht wieder-gegeben.

21

5 Zusammenfassung Grundsätzlich und im Durchschnitt gilt: die Ergebnisse sind fakultätsweit gut; sie liegen mit

wenigen Ausnahmen im oberen Drittel der Skala und belegen eine den Studierenden zu-gewandte und engagierte Grundhaltung der Dozierenden sowie angemessene Methodik und guten Aufbau der Veranstaltungen. In der Regel (!) würden Maßnahmen zur Quali-tätsverbesserung also der „Feinjustierung“ dienen.

Die Beobachtung, dass die Lehrenden persönlich sehr oft besser beurteilt werden, als die Strukturen und Studiengänge unter bzw. in denen sie arbeiten, weist darauf hin, dass die aktuell stattfindenden Studiengangsreformen erforderlich waren; es wird nach ihrer Reali-sierung zu prüfen sein, welches Bild sich dann zeichnet.

Die Ergebnisse zeichnen weiterhin ein sehr homogenes Bild der Fakultät. Es gibt zwar Unterschiede zwischen Instituten, häufig lassen sich diese aber eindeutig auf einzelne Personen zurückführen; auch andere Variablen, die zu unterschiedlichen Einschätzungen führen könnten, sind nur sehr selten zu identifizieren. Offensichtlich ist der einzelne Do-zent die Hauptquelle für Varianz zwischen den Veranstaltungsbeurteilungen.

Das ausgezeichnete Abschneiden der Sprachkurse, z.B. im Bereich „Modernes Japan“, macht deutlich, dass gezielte und kontinuierliche Arbeit an der Qualität der Lehre mittel-fristig Früchte trägt.

Aus den Kommentaren geht hervor, dass in schlecht bewerteten Seminaren häufig die einzige Arbeitsform das Halten von Referaten zu sein scheint, die dann zudem oft unzu-länglich begleitet und besprochen werden. Jenseits der sicherlich auch von Persönlich-keitsmerkmalen abhängigen Lehrkompetenzen ist methodische Variationsbreite etwas, was im Rahmen hochschuldidaktischer Maßnahmen gelernt werden kann und sollte!

Die Rücklaufquote ist von 25 % auf knapp 18 % gefallen; hier werden die Lehrenden stär-ker in die Pflicht genommen werden, die ihren Studierenden den Sinn und die Notwendig-keit von Evaluation durch einen offenen und zukunftsorientierten Umgang mit den Ergeb-nissen vorleben müssen.

22

Anhang A: Die Fragen Wird die Lehrveranstaltung von mehreren Dozenten bzw. Dozentinnen durchgeführt (z.B. im Te-

amteaching oder als Ringveranstaltung)? ein/e Dozent/in mehrere Dozenten

Wurden in dieser Veranstaltung zum Zeitpunkt der Befragung bereits Referate von Studierenden

gehalten? Ja Nein

Besuchen Sie die Veranstaltung im Rahmen des Fachübergreifenden Wahlpflichtbereichs bzw. des Studium Universale?

Beurteilung der Lehrveranstaltung

Diese Fragen sind Tabelle 1 zu entnehmen Falls sich im Verhalten der einzelnen Dozentinnen bzw. Dozenten nennenswerte Unterschiede

gezeigt haben, haben Sie hier die Möglichkeit diese kurz zu beschreiben: Wieviel Zeit wenden Sie im Durchschnitt pro Woche (außerhalb der Veranstaltung) für die Vor- und

Nachbereitung des Stoffes auf? ….. Minuten

An wievielen Sitzungen haben Sie nicht teilgenommen?

0, 1, 2, 3, 4, 5. 6, 7, 8 oder mehr Ich besuche die Veranstaltung aus folgenden Gründen: (Mehrfachnennungen möglich)

aus Interesse am Thema wegen der/des Dozentin/en zur Vorbereitung auf eine Prüfung weil ich einen Beteiligungsnachweis brauche weil es eine Pflichtveranstaltung ist aus anderen Gründen

Ein Fragebogen mit vorgegebenen Aussagen zu Antwortmöglichkeiten kann natürlich nicht bei

jeder Veranstaltung allen Besonderheiten gerecht werden. Nutzen Sie bitte deshalb - falls Sie es möchten - diesen Kasten zu Anmerkungen über weitere positive und/oder negative Aspekte der Lehrveranstaltung: ....

Angaben zur Person Bitte geben Sie Ihr Geschlecht an.

weiblich männlich

Ist Deutsch Ihre Muttersprache?

Ja Nein

Im Rahmen welchen Studiengangs besuchen Sie diese Veranstaltung?

23

B.A. Antike Kultur (Ergänzungsfach) B.A. Englisch (Kernfach) B.A. Englisch (Ergänzungsfach) B.A. Germanistik (Kernfach) B.A. Germanistik (Ergänzungsfach) B.A. Geschichte (Kernfach) B.A. Geschichte (Ergänzungsfach) B.A. Informationswissenschaft und Sprachtechnologie (Integrierter Studiengang) B.A. Informationswissenschaft (Ergänzungsfach) B.A. Jiddische Kultur, Sprache und Literatur (Ergänzungsfach) B.A. Jüdische Studien (Kernfach) B.A. Jüdische Studien (Ergänzungsfach) B.A. Kommunikations- und Medienwissenschaft (Ergänzungsfach) B.A. Kunstgeschichte (Kernfach) B.A. Kunstgeschichte (Ergänzungsfach) B.A. Linguistik (Integrierter Studiengang) B.A. Linguistik (Ergänzungsfach) B.A. Medien und Kulturwissenschaft (Integrierter Studiengang) B.A. Modernes Japan (Kernfach) B.A. Modernes Japan (Ergänzungsfach) B.A. Musikwissenschaft (Ergänzungsfach) B.A. Philosophie (Kernfach) B.A. Philosophie (Ergänzungsfach) B.A. Politikwissenschaft (Ergänzungsfach) B.A. Romanistik (Kernfach) B.A. Romanistik (Ergänzungsfach) B.A. Sozialwissenschaften (Integrierter Studiengang) B.A. Soziologie (Ergänzungsfach) M.A. The Americas / Las Américas / Les Amériques (Master) M.A. Analyse des Pratiques Culturelles (Master) M.A. Englisch (Master) M.A. European Studies (Master) M.A. Germanistik (Master) M.A. Geschichte (Master) M.A. Informationswissenschaft und Sprachtechnologie (Master) M.A. Jiddistik (Master) M.A. Jüdische Studien (Master) M.A. Kunstgeschichte (Master) M.A. Linguistik (Master) M.A. Literaturübersetzen (Master) M.A. Medienkulturanalyse (Master) M.A. Modernes Japan (Master) M.A. Philosophie (Master) M.A. Politische Kommunikation (Master) M.A. Romanistik (Master) M.A. Sozialwissenschaften (Master) Magister Allgemeine Sprachwissenschaft Magister Anglistik Magister Germanistik Magister Geschichte Magister Griechisch Magister Jüdische Studien Magister Kunstgeschichte Magister Latein Magister Modernes Japan Magister Philosophie Magister Romanistik Magister Soziologie Diplom Literaturübersetzen Promotion (alle Fächer) Gasthörer/in Sonstige

In welchem Semester studieren Sie in diesem Fach?: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11 oder mehr

24

Anhang B: Testtheoretische Qualität und Kennwerte des Instrumentariums

Bevor die inhaltlichen Komponenten der Skala betrachtet werden können, musste geprüft werden, ob sie den messtechnischen Anforderungen genügt, die an eine solche Skala zu stellen sind.

Dazu gehört in erster Linie die Frage nach der Eindimensionalität, bei der beurteilt wird, ob alle Items (unabhängig von den Vorstellungen des Testkonstrukteurs!!) eine einzige inhaltli-che Dimension messen - nämlich die im Skalentitel benannte - oder ob aus den Antworten der Befragten zu schließen ist, dass die Items verschiedene Komponenten erfassen.

Zur Klärung dieser Frage wurde der Reliabilitätskoeffizient ermittelt, der in einem einzigen Wert (in der Regel als "Cronbachs α" berechnet) den Zusammenhang aller Items angibt. Er liegt zwischen 0 und 1 und sollte so hoch wie möglich sein; als zufriedenstellend werden in der Regel Werte ab etwa .7 betrachtet. Eine Skala mit einem solchen Reliabilitätskoeffizient wird also mit sehr großer Sicherheit nur eine einzige inhaltliche Dimension erfassen.

Aus der Beurteilung der Reliabilität ergeben sich Hinweise auf eventuelle Verbesserungs-möglichkeiten der Skala.

Die Ergebnisse der Itemanalyse der vorliegenden Daten sind unten zusammengefasst.

Vorlesung Seminar/ Übung

Tutorium Sprachkurs

Methodik und Aufbau α = .90 α = .90 α = .92 α = .93

Interessantheit und Relevanz α = .85 α = .85 α = .73 α = .69

Dozentenverhalten α = .85 α = .87 α = .82

Gesprächsführung α = .86 α = .82 α = .66

Schwierigkeit und Umfang α = .77 α = .80 α = .81 α = .87

Qualität der Referatsvorträge α = .81 α = .86

Auswahl der Referatsthemen α = .88

25

Anhang C: Idealtypische Ergebnisse 1

1 Veröffentlichung mit Zustimmung der Betroffenen.

26

27