Methoden der Psychologie Entwicklung eines Online-Evaluationssystems 16. November 2005.

Post on 05-Apr-2015

108 views 1 download

Transcript of Methoden der Psychologie Entwicklung eines Online-Evaluationssystems 16. November 2005.

Methoden derPsychologie

Entwicklung einesOnline-Evaluationssystems

16. November 2005

Methoden derPsychologieÜberblick

• Block 1: Inhaltliches zur Lehrevaluation

• Was sind Kriterien guter Lehre

• Welche Urteilsverzerrungen und Biasvariablen gibt es bei der Lehrevaluation

• Erstellung einer Kurzbefragung zu Kriterien guter Lehre und Biasvariablen

Methoden derPsychologie

Heute: Biasvariablen

• Was sind Biasvariablen?

• Erstellen der Kurzbefragung

Überblick

Methoden derPsychologieDefinition

Variablen, die nicht mit dem Lehr- und Lernprozess

in Zusammenhang stehen, die jedoch systematisch

mit dem Antwortverhalten der Studierenden

kovariieren

Biasvariablen sind…..

Methoden derPsychologieBiasvariablen

Besuchsgrund

Interessantheit des ThemasSchwierigkeitsniveau

Arbeitsaufwand

Benotungsstrenge

Geschlecht und Alter

Popularität

Teilnehmerzahl / Klassengröße

Rhetorische Fähigkeiten

Leistungsniveau

Interesse

Persönlichkeitsmerkmale

Raumverhältnisse

Termin der Veranstaltung

Geschlecht und Alter

Persönlichkeitsmerkmale

DozentStudierende

UmgebungPotentielle Biasvariablen

Methoden derPsychologieBiasvariablen

Besuchsgrund

Interessantheit des ThemasSchwierigkeitsniveau

Arbeitsaufwand

Benotungsstrenge

Geschlecht und Alter

Popularität

Teilnehmerzahl / Klassengröße

Rhetorische Fähigkeiten

Leistungsniveau

Interesse

Persönlichkeitsmerkmale

Raumverhältnisse

Termin der Veranstaltung

Geschlecht und Alter

Persönlichkeitsmerkmale

DozentStudierende

UmgebungPotentielle Biasvariablen

Methoden derPsychologieBiasvariablen

Besuchsgrund

Interessantheit des ThemasSchwierigkeitsniveau

Arbeitsaufwand

Benotungsstrenge

Geschlecht und Alter

Popularität

Teilnehmerzahl / Klassengröße

Rhetorische Fähigkeiten

Leistungsniveau

Interesse

Persönlichkeitsmerkmale

Raumverhältnisse

Termin der Veranstaltung

Geschlecht und Alter

Persönlichkeitsmerkmale

DozentStudierende

UmgebungPotentielle Biasvariablen

Methoden derPsychologieBiasvariablen

Besuchsgrund

Interessantheit des ThemasSchwierigkeitsniveau

Arbeitsaufwand

Benotungsstrenge

Geschlecht und Alter

Popularität

Teilnehmerzahl / Klassengröße

Rhetorische Fähigkeiten

Leistungsniveau

Interesse

Persönlichkeitsmerkmale

Raumverhältnisse

Termin der Veranstaltung

Geschlecht und Alter

Persönlichkeitsmerkmale

DozentStudierende

UmgebungPotentielle Biasvariablen

Methoden derPsychologieBiasvariablen

Besuchsgrund

Interessantheit des ThemasSchwierigkeitsniveau

Arbeitsaufwand

Benotungsstrenge

Geschlecht und Alter

Popularität

Teilnehmerzahl / Klassengröße

Rhetorische Fähigkeiten

Leistungsniveau

Interesse

Persönlichkeitsmerkmale

Raumverhältnisse

Termin der Veranstaltung

Geschlecht und Alter

Persönlichkeitsmerkmale

DozentStudierende

UmgebungPotentielle Biasvariablen

Methoden derPsychologieBiasvariablen

• Münster 2003: Entwicklung eines Fragebogens für Vorlesungen und Seminare

• 9 Vorlesungen• 164 Studierende

Methoden derPsychologieBiasvariablen

• Besuchsgrund

• Persönliche Berufsrelevanz: „Die Inhalte scheinen mir für meinen späteren Beruf

irrelevant.“

• Vorinteresse: „Die Inhalte der Veranstaltung haben mich schon vor der Veranstaltung interessiert.“

• Prüfungsrelevanz: „Die Themen der Veranstaltung sind prüfungsrelevant.“

• Wenig Arbeitsaufwand: „Ich musste wenig Arbeit in diese Vorlesung investieren.“

• Sympathie: „Mir war das Auftreten der/des Lehrenden sympathisch.“

• Guter Ruf: „Der/Die Lehrende hat einen guten Ruf.“

Methoden derPsychologieBiasvariablen

Sympathie

Guter Ruf

Vorinteresse

Geringer Arbeitsaufwand

Persönliche Berufsrelevanz

Prüfungsrelevanz

Schulnote

Lernerfolg

Korrelationen zwischen .17 und .68

Methoden derPsychologieBiasvariablen

Sympathie

Guter Ruf

Vorinteresse

Geringer Arbeitsaufwand

Persönliche Berufsrelevanz

Prüfungsrelevanz

Schulnote

Lernerfolg

Korrelationen zwischen .17 und .68

.68

.56

Methoden derPsychologieBiasvariablen

Sympathie

Guter Ruf

Vorinteresse

Geringer Arbeitsaufwand

Persönliche Berufsrelevanz

Prüfungsrelevanz

Schulnote

Lernerfolg

Korrelationen zwischen .17 und .68

.66

.47

Methoden derPsychologieBiasvariablen

Sympathie

Guter Ruf

Vorinteresse

Geringer Arbeitsaufwand

Persönliche Berufsrelevanz

Prüfungsrelevanz

Schulnote

Lernerfolg

Korrelationen zwischen .17 und .68

.40

.43

Methoden derPsychologieBiasvariablen

Sympathie

Guter Ruf

Vorinteresse

Geringer Arbeitsaufwand

Persönliche Berufsrelevanz

Prüfungsrelevanz

Schulnote

Lernerfolg

Korrelationen zwischen .17 und .68

.43

.44

Methoden derPsychologieBiasvariablen

Struktur

Wahrgenomme-nes EngagementAngemessenheit des Niveaus

MediengestaltungRhetorik

Eingehen auf Studierende

Interessantheit und PraxisbezugErgänzende Materialien

.75

.73

.63

.61

.54

.73

.83

.24

Schulnote

Sympathie

Guter Ruf

Vorinteresse

Geringer Arbeitsaufwand

Persönliche Berufsrelevanz

Prüfungsrelevanz

Methoden derPsychologieBiasvariablen

Struktur

Wahrgenomme-nes EngagementAngemessenheit des Niveaus

MediengestaltungRhetorik

Eingehen auf Studierende

Interessantheit und PraxisbezugErgänzende Materialien

.75

.73

.63

.61

.54

.73

.83

.24

.62

.51

.56

.42

.28

.50

.69

.05

.63

.55

.59

.39

.24

.61

.69

.11

Sympathie

Guter Ruf

Methoden derPsychologieBiasvariablen

Struktur

Wahrgenomme-nes EngagementAngemessenheit des Niveaus

MediengestaltungRhetorik

Eingehen auf Studierende

Interessantheit und PraxisbezugErgänzende Materialien

.75

.73

.63

.61

.54

.73

.83

.24

72

.70

.54

.57

.55

.69

.80

.26

.71

.68

.56

.59

.49

.69

.78

.23

.62

.51

.56

.42

.28

.50

.69

.05

.63

.55

.59

.39

.24

.61

.69

.11

Sympathie

Guter Ruf

Vor-interesse

Persönl. Berufsrelev

.

Methoden derPsychologieBiasvariablen

Struktur

Wahrgenomme-nes EngagementAngemessenheit des Niveaus

MediengestaltungRhetorik

Eingehen auf Studierende

Interessantheit und PraxisbezugErgänzende Materialien

.75

.73

.63

.61

.54

.73

.83

.24

72

.70

.54

.57

.55

.69

.80

.26

.71

.68

.56

.59

.49

.69

.78

.23

.49

.36

.47

.30

.18

.42

.51

.02

.36

.62

.51

.56

.42

.28

.50

.69

.05

.63

.55

.59

.39

.24

.61

.69

.11

Sympathie

Guter Ruf

Vor-interesse

Persönl. Berufsrelev

.

Methoden derPsychologieBiasvariablen

Spiel & Gössler (2000)• Fachbereiche der Universität Wien

– Juristen– Theologen– Medizin– Geisteswissenschaften– Formal- und Naturwissenschaften– Sozial- und Wirtschaftswissenschaften– Grund- und Integrativwissenschaften

• 20 zufällig ausgewählte Studierende pro Lehrveranstaltung

• Insgesamt 756 Studierende und 66 Lehrveranstaltungen aus 15 Fachbereichen

Methoden derPsychologieBiasvariablen

REGRESSIONSANALYSE

• Kriterium: Gesamtbeurteilung der Lehrveranstaltung – „Ich gehe gern in die LV.“– „Ich möchte mich weiterhin mit diesem Thema

auseinandersetzen.“ – „Ich engagiere mich in dieser LV mehr als sonst.“ – „Ich würde die LV weiterempfehlen.“

• Prädiktoren: Biasvariablen

Methoden derPsychologieBiasvariablen

Anzahl Studieren

de

Multiples R

Adjustiertes R2

F-Wert p-Wert

Gesamtstich-probe

755 .600 .351 41.81 <.001

Vorlesung - Grundstudium

234 .724 .502 24.62 <.001

Vorlesung - Hauptstudium

155 .693 .444 13.38 <.001

Seminar – Grundstudium

206 .585 .309 10.22 <.001

Seminar - Hauptstudium

132 .423 .111 2.65 .006

Methoden derPsychologieBiasvariablen

Anzahl Studieren

de

Multiples R

Adjustiertes R2

F-Wert p-Wert

Gesamtstich-probe

755 .600 .351 41.81 <.001

Vorlesung - Grundstudium

234 .724 .502 24.62 <.001

Vorlesung - Hauptstudium

155 .693 .444 13.38 <.001

Seminar – Grundstudium

206 .585 .309 10.22 <.001

Seminar - Hauptstudium

132 .423 .111 2.65 .006

Methoden derPsychologieBiasvariablen

Geschlecht des/r StudierendenGeschlecht des/r Dozenten

Alter des/r Dozenten

Anwesenheit

Termin

Besuchsgrund

Interesse

Arbeitsaufwand

Raumverhältnisse

Größe der Studienrichtung

.52*** .63*** .65***

GesamtVorlesung - Grundstudium

Vorlesung - Hauptstudium

.13***

.09**

-.09*

.08*

.15**

.13*

-.11*

.12*

R2 = .351 R2 = .502 R2 = .444

Methoden derPsychologieBiasvariablen

Geschlecht des/r StudierendenGeschlecht des/r Dozenten

Alter des/r Dozenten

Anwesenheit

Termin

Besuchsgrund

Interesse

Arbeitsaufwand

Raumverhältnisse

Größe der Studienrichtung

.52*** .52*** .10

GesamtSeminar - Grundstudium

Seminar- Hauptstudium

.13***

.09**

-.09*

.08*

.19***

-.24**

R2 = .351 R2 = .309 R2 = .111

-.41***

Methoden derPsychologieBiasvariablen

Geschlecht des/r StudierendenGeschlecht des/r Dozenten

Alter des/r Dozenten

Anwesenheit

Termin

Besuchsgrund

Interesse

Arbeitsaufwand

Raumverhältnisse

Größe der Studienrichtung

.52*** .46*** .60***

Gesamt JuristenNaturwissen-schaften

.13***

.09**

-.09*

.08*

-.14*

R2 = .351 R2 = .26 R2 = .54

.21***

Semesterzahl:

-.24**-.22**

Methoden derPsychologieBiasvariablen

INTERPRETATION

• Interesse:– Vorinteresse (Bias)– Im Laufe der Lehrveranstaltung gewecktes Interesse

(kein Bias)

• Sympathie:– Sympathie bestand bereits vor der Veranstaltung (Bias)– Im Laufe der Lehrveranstaltung geweckte Sympathie

als Folge guter Lehre (kein Bias)

Methoden derPsychologieBiasvariablen

• Hoher Arbeitsaufwand1. Zeichen guter Lehre Studenten lernen viel 2. Zeichen schlechter Lehre Kompensation für

schlechten Unterricht

• Benotungsstrenge1. Hohe Lehreffektivität führt zu guten Evaluationen und

Noten (kein Bias)2. Hohe Motivation der Studierenden führt zu guten Noten

und Evaluationen (Bias)3. Studenten schließen bei schlechten/guten Noten auf

schlechten/guten Unterricht zurück (Bias)4. Studenten belohnen gute Noten mit guten Evaluationen

(Bias)