Methoden der Psychologie Entwicklung eines Online-Evaluationssystems 16. November 2005.

Methoden derPsychologie

Entwicklung einesOnline-Evaluationssystems

16. November 2005

Methoden derPsychologieÜberblick

• Block 1: Inhaltliches zur Lehrevaluation

• Was sind Kriterien guter Lehre

• Welche Urteilsverzerrungen und Biasvariablen gibt es bei der Lehrevaluation

• Erstellung einer Kurzbefragung zu Kriterien guter Lehre und Biasvariablen

Methoden derPsychologie

Heute: Biasvariablen

• Was sind Biasvariablen?

• Erstellen der Kurzbefragung

Überblick

Methoden derPsychologieDefinition

Variablen, die nicht mit dem Lehr- und Lernprozess

in Zusammenhang stehen, die jedoch systematisch

mit dem Antwortverhalten der Studierenden

kovariieren

Biasvariablen sind…..

Methoden derPsychologieBiasvariablen

Besuchsgrund

Interessantheit des ThemasSchwierigkeitsniveau

Arbeitsaufwand

Benotungsstrenge

Geschlecht und Alter

Popularität

Teilnehmerzahl / Klassengröße

Rhetorische Fähigkeiten

Leistungsniveau

Interesse

Persönlichkeitsmerkmale

Raumverhältnisse

Termin der Veranstaltung

Geschlecht und Alter

Persönlichkeitsmerkmale

DozentStudierende

UmgebungPotentielle Biasvariablen


• Münster 2003: Entwicklung eines Fragebogens für Vorlesungen und Seminare

• 9 Vorlesungen• 164 Studierende


• Besuchsgrund

• Persönliche Berufsrelevanz: „Die Inhalte scheinen mir für meinen späteren Beruf

irrelevant.“

• Vorinteresse: „Die Inhalte der Veranstaltung haben mich schon vor der Veranstaltung interessiert.“

• Prüfungsrelevanz: „Die Themen der Veranstaltung sind prüfungsrelevant.“

• Wenig Arbeitsaufwand: „Ich musste wenig Arbeit in diese Vorlesung investieren.“

• Sympathie: „Mir war das Auftreten der/des Lehrenden sympathisch.“

• Guter Ruf: „Der/Die Lehrende hat einen guten Ruf.“


Sympathie

Guter Ruf

Vorinteresse

Geringer Arbeitsaufwand

Persönliche Berufsrelevanz

Prüfungsrelevanz

Schulnote

Lernerfolg

Korrelationen zwischen .17 und .68


Sympathie

Guter Ruf

Vorinteresse



Prüfungsrelevanz

Schulnote

Lernerfolg


.68

.56


Sympathie

Guter Ruf

Vorinteresse



Prüfungsrelevanz

Schulnote

Lernerfolg


.66

.47


Sympathie

Guter Ruf

Vorinteresse



Prüfungsrelevanz

Schulnote

Lernerfolg


.40

.43


Sympathie

Guter Ruf

Vorinteresse



Prüfungsrelevanz

Schulnote

Lernerfolg


.43

.44


Struktur

Wahrgenomme-nes EngagementAngemessenheit des Niveaus

MediengestaltungRhetorik

Eingehen auf Studierende

Interessantheit und PraxisbezugErgänzende Materialien

.75

.73

.63

.61

.54

.73

.83

.24

Schulnote

Sympathie

Guter Ruf

Vorinteresse



Prüfungsrelevanz


Struktur





.75

.73

.63

.61

.54

.73

.83

.24

.62

.51

.56

.42

.28

.50

.69

.05

.63

.55

.59

.39

.24

.61

.69

.11

Sympathie

Guter Ruf


Struktur





.75

.73

.63

.61

.54

.73

.83

.24

72

.70

.54

.57

.55

.69

.80

.26

.71

.68

.56

.59

.49

.69

.78

.23

.62

.51

.56

.42

.28

.50

.69

.05

.63

.55

.59

.39

.24

.61

.69

.11

Sympathie

Guter Ruf

Vor-interesse

Persönl. Berufsrelev

.


Struktur





.75

.73

.63

.61

.54

.73

.83

.24

72

.70

.54

.57

.55

.69

.80

.26

.71

.68

.56

.59

.49

.69

.78

.23

.49

.36

.47

.30

.18

.42

.51

.02

.36

.62

.51

.56

.42

.28

.50

.69

.05

.63

.55

.59

.39

.24

.61

.69

.11

Sympathie

Guter Ruf

Vor-interesse

Persönl. Berufsrelev

.


Spiel & Gössler (2000)• Fachbereiche der Universität Wien

– Juristen– Theologen– Medizin– Geisteswissenschaften– Formal- und Naturwissenschaften– Sozial- und Wirtschaftswissenschaften– Grund- und Integrativwissenschaften

• 20 zufällig ausgewählte Studierende pro Lehrveranstaltung

• Insgesamt 756 Studierende und 66 Lehrveranstaltungen aus 15 Fachbereichen


REGRESSIONSANALYSE

• Kriterium: Gesamtbeurteilung der Lehrveranstaltung – „Ich gehe gern in die LV.“– „Ich möchte mich weiterhin mit diesem Thema

auseinandersetzen.“ – „Ich engagiere mich in dieser LV mehr als sonst.“ – „Ich würde die LV weiterempfehlen.“

• Prädiktoren: Biasvariablen


Anzahl Studieren

de

Multiples R

Adjustiertes R2

F-Wert p-Wert

Gesamtstich-probe

755 .600 .351 41.81 <.001

Vorlesung - Grundstudium

234 .724 .502 24.62 <.001

Vorlesung - Hauptstudium

155 .693 .444 13.38 <.001

Seminar – Grundstudium

206 .585 .309 10.22 <.001

Seminar - Hauptstudium

132 .423 .111 2.65 .006


Geschlecht des/r StudierendenGeschlecht des/r Dozenten

Alter des/r Dozenten

Anwesenheit

Termin

Besuchsgrund

Interesse

Arbeitsaufwand

Raumverhältnisse

Größe der Studienrichtung

.52*** .63*** .65***

GesamtVorlesung - Grundstudium

Vorlesung - Hauptstudium

.13***

.09**

-.09*

.08*

.15**

.13*

-.11*

.12*

R2 = .351 R2 = .502 R2 = .444




Anwesenheit

Termin

Besuchsgrund

Interesse

Arbeitsaufwand

Raumverhältnisse


.52*** .52*** .10

GesamtSeminar - Grundstudium

Seminar- Hauptstudium

.13***

.09**

-.09*

.08*

.19***

-.24**

R2 = .351 R2 = .309 R2 = .111

-.41***




Anwesenheit

Termin

Besuchsgrund

Interesse

Arbeitsaufwand

Raumverhältnisse


.52*** .46*** .60***

Gesamt JuristenNaturwissen-schaften

.13***

.09**

-.09*

.08*

-.14*

R2 = .351 R2 = .26 R2 = .54

.21***

Semesterzahl:

-.24**-.22**


INTERPRETATION

• Interesse:– Vorinteresse (Bias)– Im Laufe der Lehrveranstaltung gewecktes Interesse

(kein Bias)

• Sympathie:– Sympathie bestand bereits vor der Veranstaltung (Bias)– Im Laufe der Lehrveranstaltung geweckte Sympathie

als Folge guter Lehre (kein Bias)


• Hoher Arbeitsaufwand1. Zeichen guter Lehre Studenten lernen viel 2. Zeichen schlechter Lehre Kompensation für

schlechten Unterricht

• Benotungsstrenge1. Hohe Lehreffektivität führt zu guten Evaluationen und

Noten (kein Bias)2. Hohe Motivation der Studierenden führt zu guten Noten

und Evaluationen (Bias)3. Studenten schließen bei schlechten/guten Noten auf

schlechten/guten Unterricht zurück (Bias)4. Studenten belohnen gute Noten mit guten Evaluationen

(Bias)

Methoden der Psychologie Entwicklung eines Online-Evaluationssystems 16. November 2005.

Documents

Transcript of Methoden der Psychologie Entwicklung eines Online-Evaluationssystems 16. November 2005.