01-amb2011-hk-visuelle aufmerksamkeit und...
Transcript of 01-amb2011-hk-visuelle aufmerksamkeit und...
1
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Visuelle Aufmerksamkeit
und Blickbewegungen
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikAufbau des menschlichen Auges
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Pupille
Iris
Cornea
Linse
Fovea
Retina
Sehnerv
Sklera
Quelle: http://www.tu-cottbus.de/BTU/Fak2/TheoArch/Lehrstuhl/deu/lehre/SS02/Sources.htm [06.07.05, verändert]
2
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Stäbchen
Zapfen
Horizontalzelle
Amakrinzelle
Ganglienzelle
Bipolarzelle
Sehnerv
Quelle: http://www.owlnet.rice.edu/~psyc351/Images/RetinaLayers.jpg [06.07.05, verändert]
Aufbau der Retina
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Quelle: Carbone/Kösling: Eye-tracking. Visuelle Wahrnehmung. IK 2001.
Verteilung der Photorezeptoren
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
3
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Quelle: http://rcswww.urz.tu-dresden.de/~cogsci/welcome_g.html?/~cogsci/augenbewegungen.html [06.07.05]
Retinales Abbild
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Auge Sehnerv
chiasma opticum
culliculussuperior
corpusgeniculatum
lateralevisuellerCortex
Verlauf der Sehbahn
Quelle: Carbone/Kösling: Eye-tracking. Visuelle Wahrnehmung. IK 2001.
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
4
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikVisueller Cortex
Schichten in V1VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikEinzelzellableitung
Zellarten in V1
Einfache Zellen
Komplexe Zellen
Endinhibierte Zellen
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
5
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
vertikales Einführen der Elektrode
horizontales Einführen der Elektrode
Einzelzellableitungsarten in V1
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikOrganisation von V1
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
6
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikOrganisation von V1
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Hypersäule
Cortex-schicht
Organisation von V1
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
7
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Visueller Cortex und visuelle SträngeA
naly
se u
nd M
odle
llier
ung
von
Blic
kbew
egun
gen
AG Neuroinformatik
Quelle: Faller, 1999: 643
Augenbewegungen
• häufigste & schnellste Bewegung im menschlichen Körper (Bridgeman, 1992; Boff, 1988)
• Fokussierung neuer Informationen
• Sakkadische Unterdrückung (Matlin, 1974)
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
8
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikWarum Augenbewegungen?
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Warum Augenbewegungen?
9
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Warum Augenbewegungen?A
naly
se u
nd M
odle
llier
ung
von
Blic
kbew
egun
gen
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Warum Augenbewegungen?
10
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Warum Augenbewegungen?A
naly
se u
nd M
odle
llier
ung
von
Blic
kbew
egun
gen
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Warum Augenbewegungen?
11
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Warum Augenbewegungen?A
naly
se u
nd M
odle
llier
ung
von
Blic
kbew
egun
gen
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Warum Augenbewegungen?
12
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikArten von Augenbewegungen
• Sakkaden (30 - 50 ms)
• Fixationen (200 - 400 ms)
• Kontinuierliche Augenfolgebewegungen
• Vergenzbewegungen
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
13
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Finde die rote 9!
x
x x
x
xx
x
x
x
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Warum Augenbewegungen, warum Eye Tracking?A
naly
se u
nd M
odle
llier
ung
von
Blic
kbew
egun
gen
AG Neuroinformatik
• Kernaussage: “the eye commonly fixates on the symbols currentlybeing processed by the brain”
• Identifikation und Parametrisierung perzeptueller & kognitiver Prozesse
• Einblicke in das “Wie?” und “Warum?” beim Problemlösen(z.B. Suchstrategien)
• Informationsaufnahme ist physiologisch begrenzt Aufmerksamkeitsmechanismus
• Physiologie des Auges koppelt Augenbewegungen an Aufmerksamkeit
• Projektion der “region of interest” auf die fovea centralis
Die eye-mind Hypothese (Just & Carpenter, 1987)
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Warum Augenbewegungen, warum Eye Tracking?
14
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikDie eye-mind Hypothese
Finde die rote 9! Finde die 5!
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Alternative Methoden
• Verbalisierung von Problemlöse-Strategien
• Räumlich-zeitliche Schlussfolge-Techniken (Williams et al., 1999)
• Analyse produkt-basierter psychophysischer Daten
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Vorteile der Messung von Augenbewegungen
• Indirekt, nicht-invasiv
• Beobachtung natürlichen (unbewussten) Informationsverarbeitens
• Prozess-basiertes Maß
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Methodische Kritik & Grenzen
• Entkoppelung von Aufmerksamkeit & Blick
• Parafoveale Verarbeitung
• Verarbeitung vorheriger Informationen
• Höhere kognitive Verarbeitungsprozesse
15
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikAugenbewegungsmessung
• Invasiv erfasst werden:
– Elektrookulographie
– Kontaktlinsenmethode
• Nicht invasiv erfasst werden:
– Corneareflextracking
– Limbus-/Pupil-Tracking
– Purkinje Tracking
– Videobasiertes Eye Tracking
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Quelle: Duchowski/Vertegaal: Eye-Based Interaction in Graphical Systems: Theory & Practice. Siggraph 2000.
Quelle: Zipp: Optimierung der Oberflächenableitung bioelektrischer Signale. Düsseldorf: VDI-Verl., 1988.
Elektrookulographie
• Spannungsunterschied zwischen Netzhaut (negativ) und Hornhaut (positiv)
• Spannungsunterschied wird verstärkt und aufgezeichnet
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
16
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Quelle: Joos et al.: Blickbewegungsmessung und praktische Anwendungen. TEAP 2005.
Kontaktlinsenmethode
• genau, aber aufwendig
• Spiegel oder „searchcoil“
• Magnetische Spule(n) in der Linse induzieren Spannungen, die sich proportional mit der Lage der Spulen im magne-tischen Wechselfeld verändern
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikBeispiel-Trajektorien
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENTQuelle: http://diwww.epfl.ch/lami/team/smeraldi/saccadic/yarbus.html
Quelle: http://www.franzdodel.ch/haiku/haiku_bild/r_yarbus.htm
17
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Limbus-Tracking
Pupillen-Tracking
Purkinje-Bilder
Corneareflex-Tracking
Quelle: Carbone/Kösling: Eye-Tracking. Blickbewegungsmessung im Überblick. IK 2001.
Quelle: Duchovki/Vertegaal: Eye-Based Interaction in Graphical Systems: Theory & Practice. Siggraph 2000.
Tracking optischer Charakteristika
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Quelle: http://www.techfak.uni-bielefeld.de/ags/ni/projects/eyetrack/index.html [06.07.05]
Videobasiertes Eye Tracking
• SMI-EyeLink Eye Tracker
• Pupiltracking (EyeLink II zusätzlich Corneareflex)
• Binokulares Tracking
• Berechnung der Blickposition
– Kalibrierung
– Kompensation von Kopfbewegungen
• Zeitliche Auflösung 250 Hz
• Räumliche Genauigkeit 0,5 – 1o
• Online-Verfügbarkeit der Daten und nachfolgende Analyse
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
SMI EyeLink I
18
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikVideobasiertes Eye Tracking
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
SR Research EyeLink II
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikVideobasiertes Eye Tracking
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
LC Technologies EyeGaze
19
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikVideobasiertes Eye Tracking
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
SMI iViewX HED
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
20
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikKognition und Perzeption
• Leseforschung
• Betrachtung statischer und bewegter Szenen / Bilder
• Aufmerksamkeitssteuerung
Medizinische Forschung (Diagnose & Therapie)
Anwendungen
• Entwicklung von Benutzer-Schnittstellen
• Ergonomie
• Evaluation / Verbraucherverhalten
• Werbung
• Klinische Studien
– Neurologische, psychiatrische Erkrankungen
– Entwicklungsstörungen
• Neurophysiologie und Augenheilkunde
– Okulomotorische Steuerung: Sakkadensteuerung, optokinetischer Nystagmus
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Leseforschung Medizin
Benutzerschnittstellen Verbraucherverhalten
Beispiele
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
21
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
• Experimentelle Leseforschung erster Ansatzpunkt der Blickregistrierung
Ende des 19. Jhd. (z.B. Erdmann und Dodge, 1898)
• Lesen eines Textes nicht kontinuierlich, sondern sprunghaft
• Unabhängige Variable z.B. Schwierigkeit des präsentierten Textes
• Abhängige Variablen z.B. Anzahl der Fixationen pro Zeile, Dauer der
Fixationen, Anzahl der Regressionen auf frühere Textpassagen
• Untersuchungen zum Umfang der beim Lesen aufnehmbaren Zeichen:
Ca. zehn Zeichen links und rechts vom Fixationspunkt können verarbeiten
werden, d.h. pro Fixation ca. drei Worte (Rayner, 1975)
123 4 5 67
8 9
Leseforschung
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
• Hilfe bei der Diagnose bestimmter Erkrankungen des Nervensystems,
z.B. Schizophrenie oder Parkinson-Syndrom
• Blickpositions-abhängige Stimuluspräsentation zu Therapiezwecken,
z.B. bei Hemi-Neglect Patienten
• Kontrolle von Heilerfolgen einer Therapie
• Interaktive, blickgesteuerte Benutzeroberflächen als Kommunikations-
schnittstelle für Patienten mit motorischen Defiziten
Medizin
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
22
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
• Messung von Blickbewegungen bei Autofahrern, Piloten usw.
• U.a. Aufschluß über Faktoren, die die Aufmerksamkeit beeinflussen und
ggf. zu erhöhtem Unfallrisiko führen
• Kritische Faktoren: Ergonomie und Verständlichkeit von Bedienelementen,
Instrumenten und Anzeigen
• Ziel ist eine optimale Anordnung und Gestaltung der Fahrerumgebung
Benutzerschnittstellen und Ergonomie
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
• Erste Einsätze der Blickregistrierung in der Werbung ca. 1920
• Untersuchung der Wirkung von Werbeprospekten und –spots vor dem
Start einer Werbekampagne (Consumer appeal)
• Überprüfung der Positionierung von Produkt, Produktnamen und
-informationen
Verbraucherverhalten
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
23
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
• Packaging research, label viewing
Verbraucherverhalten
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
• Print advertising
Verbraucherverhalten
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
24
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikBeispiel-Blicktrajektorien
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
View subject A View subject B
Face-to-face
Gemeinschaftliche visuelle Suche
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikBeispiel-Blicktrajektorien
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
View subject B View subject A
Behind screen
Gemeinschaftliche visuelle Suche – eingeschränkte Kommunikation
25
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikBeispiel-Blicktrajektorien
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Greifen, Objektmanipulation und Hindernisvermeidung
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikBeispiel-Blicktrajektorien
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Straßenverkehr
26
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Entscheidungsprozesse beim Fußball (Höner, 2003; Kösling & Höner, 2003)
27
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Entscheidungsprozesse beim FußballA
naly
se u
nd M
odle
llier
ung
von
Blic
kbew
egun
gen
AG Neuroinformatik
„Denken lähmt, ...
Problem: Abschirmungs-Unterbrechungs Dilemma (Goschke, 1997)
1. Zunächst weitgefasste Informationsaufnahme
2. Anschließend Fokussierung zur Ausführung einer Handlung
Fragestellung: Was kennzeichnet den Entscheidungsprozess, wie verläuft die Informationsaufnahmebereitschaft?
... und Handeln macht gewissenlos.”
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Einführung
28
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
?
• Kognitiv-handlungstheoretische Rekonstruktion im Rahmen der Rubikon-Theorie der Handlungsphasen (Gollwitzer, 1996)
Theorie
Methodik
Theorie- und methodenbedingte Dekomponierung des Entscheidungs-verhaltens
• Erhebung der Informationsaufnahmebereitschaft (IAB) per Eye Tracking Methode (Williams, Davids & Williams, 1999)
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Wissenschaftliche ProblematisierungA
naly
se u
nd M
odle
llier
ung
von
Blic
kbew
egun
gen
AG Neuroinformatik
ABWÄGEN
ENTSCHEIDEN
RU
B
I
K
O
N
PLANEN
ABSCHIRMEN
AUSFÜHREN
BEWERTEN
prä-dezisionale Phase
post-dezisionale Phase
aktionale Phase
post-aktionale Phase
Rubikon-Theorie der Handlungsphasen (Heckhausen, 1989; Gollwitzer, 1996)
• Heuristisches Modell
• Vier verschiedene Handlungsphasen
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
29
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Diesseits bzw. jenseits der Bildung einer Zielintention („Rubikon”)
weit gefasste
IAB eng gefasst
IAB
(Gollwitzer & Bayer, 1999)
Abwägende vs. planende kognitive Orientierung
Volitionale Theorien gehen von einem „abrupten Anstieg von Abschirmungsprozessen unmittelbar nach der Entstehung einer Handlungsabsicht aus. Dieser diskontinuierliche Sprung in den Abschirmfunktionen könnte ein Mittel zur Bestimmung des Zeitpunkts der Absichtsgenese sein.” (Kuhl, 1987, S.109)
Der kognitive Rubikon
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Konzept der kognitiven OrientierungenA
naly
se u
nd M
odle
llier
ung
von
Blic
kbew
egun
gen
AG Neuroinformatik
1. Unterscheiden sich die abwägende und planende kognitive Orientierung hinsichtlich der Weite der Informationsaufnahmebereitschaft (IAB) im Entscheidungsprozess?
2. Welchen Verlauf nimmt die Weite der IAB im Entscheidungsprozess?
3. Zu welchem Zeitpunkt ist der „kognitive“ Rubikon zu vermuten?
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Problemstellungen
30
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Probanden- n = 65 DFB Jugend-Nationalspieler
- Alter: M = 15.9 Jahre (SD = 1.0)
- Spielerfahrung: M = 9.7 Jahre (SD = 1.5)
Stimuli- 24 Entscheidungssituationen mit 3:3- bzw. 3:2-Angriffen
Aufgabenstellung1. ”Wer?”-Entscheidung: Anspiel des rechten oder linken Angreifers?
2. “Wie?”-Entscheidung: Paß in den Fuß oder in den Lauf?
Art der Entscheidungsmitteilung1. Rechtes bzw. linkes Fußpad (in der Szene unter Zeitdruck)
2. Verbal (z.B. „Blau, in den Lauf“, nach der Szene)
Apparatur- SMI Eyelink I Eye Tracker
- Visuelle Entwicklungsumgebung fuer Eye Tracking Experimente “VDesigner
(z.B. Kösling, Clermont & Ritter, 2001)
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Experiment-DetailsA
naly
se u
nd M
odle
llier
ung
von
Blic
kbew
egun
gen
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Experimenteller Aufbau
31
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Stimulus-PräsentationA
naly
se u
nd M
odle
llier
ung
von
Blic
kbew
egun
gen
AG Neuroinformatik
53.2
55.6
44.3
48.7
40
42
44
46
48
50
52
54
56
58
60
U 15 U 17
Age
Index
of Q
ual
ity
.
Experts Novices
Überprüfung der ökologischen Validität
“Capturing superior performance“
• Können „Experten“ (Jugend-Nationalspieler) ihre höhere Leistungs-
fähigkeit im Vergleich zu „Novizen“ (Spieler unterer Ligen im gleichen
Alter) unter künstlichen Laborbedingungen reproduzieren?
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
32
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG NeuroinformatikBeispiel-Blicktrajektorie
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
• Unabhängige Variable: - Handlungsphase (prä- vs. postdezisional)
• Abhängige Variablen: - mittlere Sakkadenlänge (α = 0.955)
- Anteil an Sakkaden > 80 Pixel (α = 0.953)(„Abwägesakkaden”)
0
80
160
240
320
400
480
560
6401 251 501 751 1001 1251 1501
Zeit in 4ms
hor.
gaz
e po
sitio
ns (
x-pi
xels
) .
left forward right forward right defender left defender gaze
0 1 2 3 4 5 6
time in s
Merkmalsstichprobe (Variablen)
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
33
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
Variable Mpre Mpost Significance Effect
Ratio of deliberative saccades
48% 17% χ²(1) = 2553.1, p < .001 Φ = 0.29
Saccade length 126 Pixel 50 Pixel t(31275) = 49.4, p < .001 r = 0.27
1. Prä- vs. Post-dezisionales Blickverhalten
(über alle 24 Szenen gemittelt)
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
0%
10%
20%
30%
40%
50%
60%
Qu
ota
of
del
iber
ativ
e sa
ccad
es
.
pre 51% 51% 45% 47% 43% 48% 52% 48% 41% 55% 57% 46% 48% 49% 44% 50% 47% 46% 51% 42% 44% 52% 49% 53%
post 15% 21% 19% 15% 17% 11% 12% 13% 17% 19% 11% 23% 27% 21% 21% 21% 6% 6% 24% 12% 26% 12% 21% 15%
ww1 ww2 ww3 ww4 ww5 ww6 ww7 ww8 ak1 ak2 ak3 ak4 ak5 ak6 ak7 ak8 pk1 pk2 pk3 pk4 pk5 pk6 pk7 pk8
Die hochsignifikanten Ergebnisse sind unabhängig von der inhaltlichen Gestaltung der Szenen (z.B. Kreuzsituationen!)
Ra
tio o
f d
elib
era
tive
sa
cca
de
s
(szenenspezifisch)
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
1. Prä- vs. Post-dezisionales Blickverhalten
34
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
-5.0
-4.6
-4.2
-3.8
-3.4
-3.0
-2.6
-2.2
-1.8
-1.4
-1.0
-0.6
-0.2 0.
20.
61.
01.
4
relative time to "Rubicon" in s
Ra
tio o
f de
libe
rativ
e s
acc
ad
es
2. Verlauf der Informationsaufnahmebereitschaft
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
0,25
0,3
0,35
0,4
0,45
010
020
030
040
050
060
070
080
090
010
0011
0012
0013
0014
0015
0016
0017
0018
0019
0020
00
Grenzwert zur Setzung des Rubikons in ms vor dem Tastendruck
Eff
ect
Ph
i
Bei maximaler Effektgröße max = 0,41 ist der „kognitive” Rubikon ca. 600 ms vor dem Tastendruck zu vermuten
time before response button press in ms
eff
ect
3. Analyse des Zeitpunkts des „kognitiven“ Rubikons
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
35
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
• Der Entscheidungsprozess ist durch eine abwägende und planende kognitive
Orientierung gekennzeichnet. Mit der Absichtsbildung kommt es (ca. 600 ms
vor dem „motorischen“ Tastendruck) zu einem rapiden Abfall der Weite der
Informationsaufnahmebereitschaft.
• „Abschirmungs-Unterbrechungs-Dilemma“ in jeder Phase einer Handlung
(Entscheidung, Planung, Ausführung) existent (vgl. Goschke, 1997, S. 389)
Konzept der kognitiven Orientierungen liefert eine theoretische Grundlage für
eine „phasenspezifische“ Optimierung zwischen Abschirmung und Unter-
brechung, wenn es nicht zu „bildhaft“ im Sinne einer disjunkten Trennung
abwägender und planender Aktivitäten interpretiert wird (vgl. Gerjets, 1995).
Zusammenfassung und Diskussion
but certainly not in a stubborn sense. Instead, the underlying decision-
making process can be explained on cognitive psychology grounds.
Players who attempt to score rather than pass the ball are narrow-minded …
VISUELLEWAHRNEHMUNG
METHODIK DESEYE TRACKING
FORSCHUNGS-GEBIETE
EXPERIMENT
36
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
INTRODUCTION
METHOD
RESULTS
CONCLUSIONS
Further Findings
2x2-ANOVA F (1; 104) p
expertise (nov. vs exp.) 17.71 < .001
age (U15 vs. U17) 1.75 .19
interaction 2.23 .14
60.0%
69.4%
79.0% 78.5%
75.5%
55%
60%
65%
70%
75%
80%
U 15 U 17 Senioren
corr
ectn
ess
Novizen Experten Oberliga
4969
5067
5139
5105
4979
4900
4950
5000
5050
5100
5150
5200
U 15 U 17 Senioren
time
in m
s
Novizen Experten Oberliga
2x2-ANOVA F (1; 104) p
expertise (nov. vs exp.) 2.77 .10
age (U15 vs U17) 0.27 .60
interaction 1.11 .29
44.3
48.7
53.2
55.6
57.7
424446485052545658
U 15 U 17 Senioren
qual
ity
Novizen Experten Oberliga
2x2-ANOVA F (1; 104) p
expertise (nov. vs exp.) 8.64 < .01
age (U15 vs U17) 1.58 .21
interaction 0.13 .72
U15 U17 seniors U15 U17 seniorsU15 U17 seniors
novices experts seniors
Capturing superior performance in decision-making: Expertise
approach (Ericsson & Smith, 1991)
• Superior decision quality (correctness and speed) in experts:
- U15/17 experts better than U15/17 novices
- U17 experts better than U15 experts
- Senior league players better than U15/17 experts
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
INTRODUCTION
METHOD
RESULTS
CONCLUSIONS
Further Findings
Capturing superior performance in decision-making: Expertise
approach (Ericsson & Smith, 1991)
• Superior decision quality (correctness and speed) in experts:
- U15/17 experts better than U15/17 novices
- U17 experts better than U15 experts
- Senior league players better than U15/17 experts
• Midfielders, playmakers and center players better than forward and wing
players
• Width of (visual) information processing area monotonously increases with
defensive character of player position
The chosen experimental setting is a valid approach to capture superior
(cognitive) performance in offensive game situations
37
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
INTRODUCTION
METHOD
RESULTS
CONCLUSIONS
Further Findings
Concept of premeditation (Gollwitzer & Malzacher, 1996)
• Premeditation leads to significantly improved decision quality
• Experts attend more/longer to cues relevant for premeditation formation
General
• Concept of mindsets and Rubicon theory apply to all types of players,
ages and levels of experience
• Tendencies towards “analytic” and “synthetic” gaze patterns were found
in novices and experts, respectively
Ana
lyse
und
Mod
lelli
erun
g vo
n B
lickb
eweg
unge
n
AG Neuroinformatik
INTRODUCTION
METHOD
RESULTS
CONCLUSIONS
First Person Shooter Games
• Again, the “Shielding-Interruption Dilemma” exists in each action phase.
• Deliberative and implemental mindsets also characterise decisionmaking in first person shooter (FPS) games.
• The cognitive Rubicon is reached 850 ms before the motor response.
• This lag could be used to improve anticipatory abilities of FPS games.
(with A. Kenny, D. Delaney, S. McLoone & T. Ward)