Institutsteil Rostock Abteilung AR2 Human Centered Interaction Technologies Abteilungsleiter: Jörg...

Institutsteil Rostock

Abteilung AR2 Human Centered Interaction Technologies

Abteilungsleiter: Jörg Voskamp

Betreuer: Michael Blech & Randolf Schultz

Original Design Oliver H.

Demokoffer - Datenklassifikation und Visualisierung:Zwei komplementäre Berichte

24.03.2005Folie 2 / 40

Stefan Morgenstern & Christian Graf

Vortrag

Demokoffer - Datenklassifikation und

Visualisierung

Zwei komplementäre Berichte


24.03.2005Folie 3 / 40


Gliederung

Zu uns

Ausgangssituation, Ziel & Aufgaben

Teil 1: Datenverarbeitung

Teil 2: Visualisierung

Fazit & Ausblick


24.03.2005Folie 4 / 40


Zu Uns

Stefan Morgenstern– Student der Uni Rostock

– 7. Fachsemester

Christian Graf– Student der Uni

Magdeburg

– 9. Fachsemester

Zu unsAusgangssituation, Ziel & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick

Michael Blech Oktober 2004 -April 2005

Randolf Schultz November 2004 - März 2005

„Joint“-Praktikum


24.03.2005Folie 5 / 40


Übersicht


Zu uns




Fazit & Ausblick


24.03.2005Folie 6 / 40


Kontext

DemokofferBenutzer

Rekorder KIFilter

Regeln

Visualisierung

Sensoren

Applikation

EventsSCLTemp.Herz



24.03.2005Folie 7 / 40


Applikation: EmoTetris



24.03.2005Folie 8 / 40


Aufnahme physiologischer Daten–Herzfrequenz

»Brustgurt

–Hautleitfähigkeit»Elektroden an Mittel- und Zeigefinger

–Hauttemperatur:»Temperatursensor am Ringfinger

Rekorder



24.03.2005Folie 9 / 40


Ziel: Robuste Emotionserkennung

Zu diskriminierende Emotionen» Freude» Ärger» Langeweile

– computerrelevant» Kontrollverlust

» Aufregung» Angst» Überraschung» Anspannung



24.03.2005Folie 10 / 40


Aufgaben

KI & VisualisierungBenutzer

Recorder

KIFilter

Regeln

Visualisierung

Sensoren

EmoTetris

EventsSCLTemp.Herz



24.03.2005Folie 11 / 40


Übersicht

Zu uns


Teil 1: Datenverarbeitung (Stefan)


Fazit & Ausblick


24.03.2005Folie 12 / 40


Die Verarbeitung

Unterteilung in zwei Phasen:

– Lernphase

» Aufnahme der Trainingsdaten

» Erstellen der Modelle

» Berechnen des Profils

– Onlinephase

» Anwendung der gelernten Modelle und Profile auf die Daten die während einer Präsentation aufgezeichnet wurden

Zu unsAusgangssituation & AufgabenTeil 1: DatenverarbeitungTeil 2: VisualisierungFazit & Ausblick


24.03.2005Folie 13 / 40


Die Lernphase

Zunächst Aufnahme der Daten mit Hilfe von EmoTetris und dem EmoBoard.

Berechnung einfacher features aus den drei physiologischen Daten mit der Hilfe von Weka. (z.B. Durchschnitt, Standardabweichung, Abstände aufeinanderfolgender Werte, ...)

Wegen den großen Tagesabhängigkeiten wurde auch eine Tagesmatrix zu den Daten ergänzt.

Anwendung der Fisher-Projektion auf diese Feature um den Lernraum zu verbessern.



24.03.2005Folie 14 / 40


Die Lernphase

Die Fisher Projektion

Verfahren zur Reduktion der Attributmenge, dabei werden die Klassen maximal separiert.



24.03.2005Folie 15 / 40


Die Lernphase

Klassifikatoren:

» naive Bayes (Maximum a Posteriori)

» J48 (Entscheidungsbaum)

Ergebnisse:

» zwischen 43.3 % und 70.9 %

» abhängig von den Emotionen und vom Proband

» 53.7 für Ärger und 70.9 für Anspannung

» 43.3 und 64.8 für Erregung

(zur Abschätzung: einfaches Raten liefert 20 %)



24.03.2005Folie 16 / 40


Die Onlinephase

OmniRoute

Ein Framework, dass zur Einrichtung von Experimentierumgebungen füremotionsbezogene Untersuchungen dient

Es ist aus verschiedene Komonenten (Datenquellen und -senken sowie Filter) aufgebaut.

Es basiert auf dem Prinzip des Verschickens von Events und wird mit Hilfe einer XML-Datei konfiguriert.

Src1 Src2

Filter

Sink



24.03.2005Folie 17 / 40


Die Onlinephase

Die Daten werden jetzt vom ComPort ausgelesen.

Dann durchlaufen die Daten die Vorverarbeitung, in der die Feature berechnet werden. Dabei muss beispielweise zum Standardisieren das Profil genutzt werden.

Dann wird die Klassifikation durchgeführt, die Daten werden alle zusammengeführt und über einen Port an die Visualisierung weiter gegeben.

Schnittstelle zur Sensorik

Vorverarbeitung KlassifikationSchnittstelle

zur Visualisierung



24.03.2005Folie 18 / 40


Übersicht

Die Personen



Teil 2: Visualisierung (Christian)

Fazit & Ausblick


24.03.2005Folie 19 / 40


Vorüberlegungen

• mögliche Visualisierungsarten

• Vor- und Nachteile



24.03.2005Folie 20 / 40


Grundlegendes Modell

Russel (1980)

Basisemotionen in einem dimensionalem Modell

Valenz und Erregung

Problem: unvollständig für unsere Zwecke

Aufgabe: Finden der restlichen Positionen

Mittel: Literaturrecherche



24.03.2005Folie 21 / 40


Ergebnis

Grundlage:– Russel (1980)– Scherer (2001)



24.03.2005Folie 22 / 40


Visualisierung 1

Polygonzugmethode nach Euler

Clusterbildung

niedrige Aussagekraft



24.03.2005Folie 23 / 40


Jede Dimension auf eigener Achse

Valenz & Erregung extra

Zum Verdeutlichen: Punkte & Fläche, Farben

Problem: Fläche gewichtet Gesamteindruck

Problem: „einsame“ Punkte werden ‚vernachlässigt‘

Visualisierung 2



24.03.2005Folie 24 / 40


Visualisierung 3

Unterschiedliche Visualisierungsarten

Skaleneinteilungen & History der Valenz-Erregungs-Punkte



24.03.2005Folie 25 / 40


Erweiterung

intuitiv erfaßbare Visualisation

Optionen:– Chernoff-Gesichtern– Photorealistische Gesichter– Comicgesichter

Entscheidung für Comic-gesichter

Problem: keine vorgefertigten vorhanden



24.03.2005Folie 26 / 40


In-House Test



24.03.2005Folie 27 / 40


In-House Test



24.03.2005Folie 28 / 40


In-House Test



24.03.2005Folie 29 / 40


0 1 2 3 4 5 6 7

0

5

10

15

20

0 1 2 3 4 5 6 7

0

5

10

15

20

0 1 2 3 4 5 6 7

E11

0

10

20

30

Häu

figke

it

Testergebnis

• vielfache Teilnahme: Danke!

sonst gute Erkennbarkeit der Emotionen

verwechselbare Gesichtsausdrücke: euphorisch und fröhlich



24.03.2005Folie 30 / 40


Testergebnis - Konfusionsmatrix

neutral gelangweilt euphorisch ängstlich fröhlich ueberrascht angespannt wütend

neutral 208,3 117,1 20,7 49,1 42,8 24,0 116,8 41,1 Mittelwert

54,9 80,5 43,7 61,8 57,2 42,5 77,2 63,6 Standardabweichung

gelangweilt 49,7 229,5 3,5 35,1 22,2 11,4 24,2 10,6 Mittelwert


euphorisch 37,5 14,7 170,0 18,8 187,7 120,2 70,0 43,9 Mittelwert


ängstlich 27,1 29,3 25,2 233,0 14,3 105,7 166,2 21,3 Mittelwert


überrascht 44,2 33,4 131,3 53,9 192,2 125,7 84,9 15,7 Mittelwert


fröhlich 36,7 31,6 65,4 151,9 39,3 197,3 135,1 47,4 Mittelwert


angespannt 96,0 71,3 26,5 27,2 23,6 23,2 196,4 126,1 Mittelwert


wütend 17,6 27,4 46,7 37,3 6,2 69,5 174,1 224,5 Mittelwert




24.03.2005Folie 31 / 40


Visualisierung Endergebnis

Reine Textausgabe hinzugefügt

Indikator für Datenfluß hinzugefügt

statische Comicgesichter



24.03.2005Folie 32 / 40


Übersicht

Die Personen




Fazit & Ausblick


24.03.2005Folie 33 / 40


Fazit Datenverarbeitung

Erreichte Ziele

– Relativ gute KI zur Interpretation physiologischer Daten

» gute Vorhersagequalität» geringe Anzahl von Sensoren» Ausbaupotential» Flexible Einbindung in Frameworks



24.03.2005Folie 34 / 40


Fazit Visualisierung

Erreichte Ziele

– robuste Datenverarbeitung

– vielfältige Darstellungsoptionen– intuitive & interpretationsgebundene Visualisierung



24.03.2005Folie 35 / 40


Fazit

Demokoffer fertig!Benutzer

Recorder

KIFilter

Regeln

Visualisierung

Sensoren

Applikation

EventsSCLTemp.Herz



24.03.2005Folie 36 / 40


Ausblick

Letzte Schritte– Was wird gerade getan?

» Sensorik wird gegen ein Sensorhandschuh ausgetauscht

– Was soll noch getan werden?» Aufnahme neuer Daten» Zusammenführung aller Bestandteile des Projektes



24.03.2005Folie 37 / 40


Persönlicher Ausblick

Stefan: Fortführung des Studiums vielleicht als Hiwi weiter am Projekt arbeiten

Christian: Weiterarbeit an adaptiven User Interfaces Diplomand am IGD bei Karinavorläufiges Thema: „Ein Netzwerk für adaptive Applikationen:exemplarisch durchgeführt an einem Spiel“



24.03.2005Folie 38 / 40


Live Demo



24.03.2005Folie 39 / 40


Vielen Dank für die Aufmerksamkeit!


24.03.2005Folie 40 / 40


Literaturangaben

Chernoff H. (1973). The use of faces to represent points in k-dimensional space graphically. In: Journal of American Statistic Association, Vol. 68 (1973) 331-368

Duda, R.O, P.E. Hart und D.G. Stork, Pattern Classifikation and Scene Analysis. Wiley Interscience, 2001.

Ekman, P. (1994). Strong evidence for universals in facial expressions: A reply to Russel’s mistaken critique. Psychological Bulletin, 115 (2).

Herbort, O. (2004). Emotionsinduktion und automatische Emotionsklassifikation anhand physiologischer Daten bei Benutzern eines Computerspiels. Fraunhofer Institut Graphische Datenverarbeitung Rostock. Praktikumsbericht + Vortrag Oktober 2004.

Mader, St., Christian Peter, Roland Göcke, R. Schultz, J.Voskamp und B. Urban: A Freely Configurable, Multi-modal Sensor System for Affective Computing

Picard, R.W., Elias Vyzas, and Jennifer Healey (2001). Toward Machine Emotional Intelligence: Analysis of Affective Physiological State. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 23, NO. 10, OCTOBER 2001

Russell, J.A. (1980). A Circumplex Model of Affect, Journal of Personality and Social Psychology, Vol.39, No.6, 1161-1178, American Psychological Association, Inc.

Scherer, K.R. (2001). Emotion. In: Hewstone, M., & Strobe, W. (Eds.). Introduction to Social Psychology: A European Perspective (3rd ed.). London: Blackwell.

Schumann, H. & W. Müller (2000). Visualisierung: Grundlagen und allgemeine Methoden. Springer Verlag, Heidelberg 2000.

Vysas, E. und R.W. Picard : Affective Pattern Classification

Weka 3 - Data Mining Software in Java : http://www.cs.waikato.ac.nz/~ml/weka/

Institutsteil Rostock Abteilung AR2 Human Centered Interaction Technologies Abteilungsleiter: Jörg...

Documents

Transcript of Institutsteil Rostock Abteilung AR2 Human Centered Interaction Technologies Abteilungsleiter: Jörg...