Warum Augen-/Blickbewegungen?ihkoesli/vab2010/07-vab2010-hk... · METHODIK EYE TRACKING...

1

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikWarum Augen-/Blickbewegungen?

Unterschiedliche Aufgaben

• Examine at will

• Estimate wealth

• Estimate ages

• Guess previous activity

• Remember clothing

• Remember position

• Time since last visit

AUGENAUGEN--BEWEGUNGENBEWEGUNGEN

METHODIKMETHODIKEYE TRACKINGEYE TRACKING

FORSCHUNGS-GEBIETE

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikWarum Augen-/Blickbewegungen?

• Augenbewegungen sind sehr individuell und können selbst bei der selben Person unter verschiedenen Bedingungen sehr unterschiedlich ausfallen.

• Die Dauer der Fixationen und das Muster und die Längen der Sakkaden sind nicht nur abhängig von allgemeinen Eigenschaften wie Geschlecht und Alter, sondern richten sich auch stark nach Gewohnheiten, Fähigkeiten, Interesse und Absichten des Betrachters.

• Auch biologische Faktoren wie etwa Drogen- oder Koffeinkonsum können die Augenbewegungen sehr stark beeinflussen.

• Die für die Forschung wichtigsten Eigenschaften sind jedoch die starkeVeränderung der Augenbewegungen aufgrund der dargebotenen visuellen Reize, z.B. der Schwierigkeit eines Textes oder der Komplexität eines Bildes, und der Aufgabenstellung.

• Erst diese Abhängigkeiten legen die sog. eye-mind Hypothese nahe, nämlich daß das Sehen und die kognitive Verarbeitung des Gesehenen sich gegenseitig beeinflussen und experimentell begründbare Rückschlüsse aufeinander zulassen.

• Den Vorgang des Sehens selbst bezeichnet man deshalb heute auch als intentionales Sehen, also einer aktiven, bewußt gesteuerten Handlung durch den Sehenden.



FORSCHUNGS-GEBIETE

2

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

• Kernaussage: “the eye commonly fixates on the symbols currentlybeing processed by the brain” (Originalzitat: “there is no appreciablelag between what is being fixated and what is being processed”(p. 331))

• Identifikation und Parametrisierung perzeptueller & kognitiver Prozesse

• Einblicke in das “Wie?” und “Warum?” beim Problemlösen(z.B. Suchstrategien)

• Informationsaufnahme ist physiologisch begrenzt →Aufmerksamkeitsmechanismus

• Physiologie des Auges koppelt Augenbewegungen an Aufmerksamkeit

• Projektion der “region of interest” auf die fovea centralis

Die eye-mind Hypothese (Just & Carpenter, 1980)

Warum Augen-/Blickbewegungen?



FORSCHUNGS-GEBIETE

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

Kognition / kognitiv

• Wir bezeichnen hier mit diesem Begriff die im Gehirn ablaufendenInformationsverarbeitungsprozesse, die für intelligentes Handeln notwendig sind, z.B. Erkennungs- oder Abstraktionsleistungen oder das Interpretationsvermögen – also, im Falle visueller Wahrnehmung, die Fähigkeit, aus einem visuellen Reiz ein bedeutungstragendes Objekt zu machen.

Einschub: Definition



FORSCHUNGS-GEBIETE

3

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

• Konsequenz: So kann man z.B. Such- oder Entscheidungsprozesse als kognitive Prozesse bezeichnen. Ein visueller Suchprozeß etwa ist demnach eine bestimmte Aneinanderreihung visueller Perzepte, visueller Eindrücke, die sich ergeben durch eine intelligente Verschaltung senso-motorischer Eingaben wie Augenbewegungen und retinal aufgenommener und dann kortikal weiterverarbeiteter Information.

Augenbewegungen sollten uns erlauben, Aufmerksamkeits-mechanismen zu identifizieren, damit Einblick in kognitive Aspekte der Informationsverarbeitung zu gewinnen und so high-levelVerarbeitungs- oder Problemlösestrategien abzulesen

vertikale Organisation von sensomotorischer, perzeptiver und kognitiver Verarbeitungsebene

Die eye-mind Hypothese



FORSCHUNGS-GEBIETE

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikDie eye-mind Hypothese

Finde die rote 9!

Finde die 5!



FORSCHUNGS-GEBIETE

4

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikErfassung von Augenbewegungen

• Eye Tracking bezeichnet die Technik bzw. Methode der Augenbewegungsmessung

• In Untersuchungen werden verschiedene Apparaturen zur Augenbewegungsmessung, sog. Eye Tracker, eingesetzt

• Eye Tracker arbeiten mit unterschiedlichen Verfahren zur Erfassung und Aufzeichnung der Augenbewegungen



FORSCHUNGS-GEBIETE

Buswell, 1935 Koesling et al., 2007

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikErfassung von Augenbewegungen

• Wie ausführlich diskutiert, lassen sich aus den aufgezeichneten Augenbewegungsdaten raum-zeitliche Blicktrajektorien und somit Aufmerksamkeitsverteilungen gewinnen

• Augenbewegungsdaten stellen ein prozeß-basiertes Maß dar



FORSCHUNGS-GEBIETE

Buswell, 1935 Koesling et al., 2007

5

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikAlternative Methoden

• Verbalisierung von Problemlöse-Strategien (retrospektiv)

• Räumlich-zeitliche Schlußfolge-Techniken (Williams et al., 1999)

• Analyse produkt-basierter psychophysischer Daten, z.B. Antwortverhalten oder Reaktionszeiten



FORSCHUNGS-GEBIETE

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

Vorteile der Messung von Augenbewegungen

• Indirekt, nicht-invasiv

• Beobachtung natürlichen (unbewußten) Informationsverarbeitens

• Prozeß-basiertes Maß

Kritik / Grenzen der Eye Tracking Methode

• Entkoppelung von Aufmerksamkeit & Blick („Looking without seeing“)

• Periphere Verarbeitung („Seeing without looking“)

• Vorwissen / Verarbeitung vorheriger Informationen

• Höhere kognitive Verarbeitungsprozesse



FORSCHUNGS-GEBIETE

6

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikTechnische Aspekte der Augenbewegungsmessung

• Invasiv erfasst werden:

– Elektrookulographie (EOG)

– Kontaktlinsenmethode

• Nicht invasiv erfasst werden:

– Corneareflex Tracking

– Purkinje Tracking

– Limbus / Pupil Tracking

– 1990er Jahre: Videobasiertes Eye Tracking

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

Quelle: Zipp: Optimierung der Oberflächenableitung bioelektrischer Signale. Düsseldorf: VDI-Verl., 1988.

Elektrookulographie (EOG)

• Spannungsmessung zwischen zwei Elektroden, die links und rechts (oder oberhalb und unterhalb) des Auges auf der Haut angebracht sind

• Auge stellt elektrischen Dipol dar, d.h. es existiert eine Spannungs-differenz zwischen Netzhaut (negativ) und Hornhaut (positiv)

• Ruhepotential wird als konstant angenommen

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

7

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik



• Durch Augenbewegungen nähert sich die Vorderseite des Auges der einen Elektrode an, während die Rückseite sich der anderen Elektrode annähert.

• Änderung der elektrischen Feldes

• Dadurch kommt es zu einer Spannungsdifferenz zwischen den Elektroden, die verstärkt und aufgezeichnet wird.

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik



• Die Spannungsdifferenz ist ungefähr proportional zum Blickwinkel.

• Probleme:

• Schwankungen des (Ruhe-) Potentials

• Abweichung durch Lidschläge

• Elektrisches Rauschen

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

8

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

QuelleQuelle: : Duchowski/VertegaalDuchowski/Vertegaal: Eye: Eye--Based Interaction in Based Interaction in Graphical Systems: Theory & Practice. Graphical Systems: Theory & Practice. SiggraphSiggraph 2000.2000.


AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikElektrookulographie (EOG)

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Quelle: Völpel, 2004, S. 22

9

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikKontaktlinsenmethode

• Einsetzen einer genau angepaßten Kontaktlinse auf der Hornhaut des Nutzers

• Anforderungen:

• Kein Verrutschen auch bei schnellen Augenbewegungen

• Auge darf nicht geschädigt werden

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Quelle: Joos et al.: Blickbewegungsmessung und praktische Anwendungen. TEAP 2005.

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikKontaktlinsenmethode

Spiegel

• Befestigung eines Spiegels auf der Kontaktlinse

• Einfallendes Licht wird so in einem bestimmten Winkel reflektiert, diese Reflektion kann durch z.B. eine Kamera aufgezeichnet werden.

Search coil

• Magnetische Spule in der Kontaktlinse

• Durch ein Wechselfeld, erzeugt durch Spulen am Kopf oder in einem Rahmen um den Kopf des Probanden und für jede Raumrichtung anders, wird den Kontakt-linsen-Spulen Spannung indiziert.

• Diese verändert sich proportional zur Lage der kleinen Spulen im Feld und kann gemessen werden

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

10

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

Quelle: Joos et al.: Blickbewegungsmessung und praktische Anwendungen. TEAP 2005.

Kontaktlinsenmethode

• genau, aber aufwendig

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikBeispiel-Trajektorien

Quelle: http://diwww.epfl.ch/lami/team/smeraldi/saccadic/yarbus.html

Quelle: http://www.franzdodel.ch/haiku/haiku_bild/r_yarbus.htm

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

11

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

Limbus Tracking

Pupillen Tracking

Purkinje-Bilder

Corneareflex Tracking

Quelle: Carbone/Kösling: Eye-Tracking. Blickbewegungsmessung im Überblick. IK 2001.

Quelle: Duchovki/Vertegaal: Eye-Based Interaction in Graphical Systems: Theory & Practice. Siggraph 2000.

Tracking optischer Charakteristika

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikTracking optischer Charakteristika

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Videobasierte Verfahren

• Die heutzutage am weitesten verbreitete Methode um Augen-bewegung zu erfassen ist die videobasierte.

• Dabei nimmt eine Videokamera, das Bild eines oder beider Augen auf.

• Dieses Sigal wird dann rechnergestützt ausgewertet und interessante Merkmale des Auges (z.B. Limbus, Pupille, Blutgefässe, Reflexionen) werden extrahiert, ebenso wie die Position und der Blickfokus berechnet werden.

12

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikPurkinje Tracking

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

1. 2. 3. 4.

Purkinje - Bilder

• Die Berechnung des Blickfokus ist mittels Reflexionen, die auf der Vorder- und Rückseite der Cornea und Linse entstehen, wenn das menschliche Auge durch eine punktförmige Lichtquelle angestrahlt wird.

• Diese Reflexionen, auch Purkinje-Bilder genannt, geben Aufschluß über Lage der Cornea bzw. Linse und damit über den Blickfokus.

• Es existiert eine große Zahl von Eye-Tracking-Verfahren, welche mehrere Reflexionspunkte in die Berechnung mit einbeziehen, ausreichend ist aber z.B. das erste Purkinje-Bild, d.h. die erste Reflexion.

Cornea-Reflex Verfahren

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Technik

• Rechnergestützte Erkennung der Pupille und des Reflexionspunktes.

• Kontrastbasierte Algorithmen (hoher Kontrast zwischen Pupille, Reflexionspunkt und Umgebung, genaueres später):

• „bright pupil“-Methode: Pupille erscheint bei Ausleuchtung mit infrarotem Licht sehr hell

• „dark pupil“-Methode: Pupille erscheint fast schwarz

13

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Technik

• Der Abstand zwischen Mittelpunkt der Pupille und Reflexionspunkt wird anschließend in einen Vektor umgerechnet.

• Dieser Vektor wird nach einer Kalibrierung (anhand mehrerer Punkte an einem festen Bezugsfeld, z.B. einem Monitor) als Referenz benützt, um einen Bezug herzustellen zwischen Lage bzw. Länge des Vektors und Blickpunkt auf dem Blickfeld.

• Diese Umrechnung ist bei den höchstauflösenden Systemen und guter Kalibrierung bis in den Millimeterbereich exakt.

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Purkinje Eye Tracker

14

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikPupil Tracking

• Ausleuchtung des Auges mittels Infrarotlichtquelle

• Erfassung der Auslenkung der Pupille mittels Kamera

• Erkennung und Extraktion der Pupille mittels Bildverarbeitungsalgorithmen

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


„Bright Pupil-Verfahren“

• Infrarot-Quelle nahe der Kameralinse und auf einer Achse mit dieser

• Trennung des vom Auge reflektierte Infrarotlichtes vom Tageslicht mittels Infrarotfilter

Auge erscheint einem weißen Farbton im Kamerbild

• Einfache Erkennung und Extraktion durch Bildverarbeitungsalgorithmen

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

15

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


„Dark Pupil-Verfahren“

• Analog zum „Bright Pupil-Verfahren“.

• Unterschied: Lichtquelle seitlich zur Kameraachse angeordnet

Kamera erfaßt nun nicht mehr direkte Infrarotreflexion der Iris, sondern den Schatten, der neben dem auftreffenden Infrarotstrahl auf der Iris entsteht.

Dadurch erscheint die Pupille für die Kamera in einem schwarzen Farbton.

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Vis

uelle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikVergleich verschiedener Eye Tracking Verfahren

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Räumliche Genauigkeit

• Elektro-Okulogramm (EOG): ± 2 Grad

• Search Coil (Spule): ± 0.05 Grad

• Purkinje-Tracking: ± 0.2 Grad

• Pupil-Tracking: ± 0.5 Grad

Zeitliche Auflösung

• Elektro-Okulogramm (EOG): bis 1 kHz

• Search Coil (Spule): bis 4 kHz

• Purkinje-Tracking: max. 1-2 kHz

• Pupil-Tracking: max. 1-2 kHz

Warum Augen-/Blickbewegungen?ihkoesli/vab2010/07-vab2010-hk... · METHODIK EYE TRACKING...

Documents

Transcript of Warum Augen-/Blickbewegungen?ihkoesli/vab2010/07-vab2010-hk... · METHODIK EYE TRACKING...