ACT-CV: Kognitive Benutzermodelle interagieren direkt mit ... fileKognitive Modellierung Die...

ACT-CV: Kognitive Benutzermodelleinteragieren direkt mit der Außenwelt

Marc Halbrügge1 Barbara Deml1 Brigitte A. Färber1

Stanislavs Bardins2

1Institut für ArbeitswissenschaftUniversität der Bundeswehr München

2Neurologische Klinik und PoliklinikLudwig-Maximilians-Universität München

19.10.2007

Kognitive ModellierungDie Schnittstellenproblematik

AnwendungsbeispielLiteratur

Ziel des Vortrags

Ziel des VortragsVorstellung des Werkzeugs ACT-CVErläuterung der Vor- und Nachteile von ACT-CVAnwendungsmöglichkeiten bei der prospektivenSystemgestaltung

Halbrügge, Deml, Färber & Bardins ACT-CV



Gliederung

1 Kognitive Modellierung

2 Die SchnittstellenproblematikWerkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R

3 Anwendungsbeispiel: Visuelle Suche auf AutobahnschildernDurchführungErgebnisseModellierung




Kognitive Modellierung

beobachtbaresVerhalten

psychologischeTheorie




Kognitive Modellierung

Model10100111100

01011011011

11100011010

Cognitive

empirischeValidierung

Implementierung




Werkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R

Gliederung








Schnittstellen für kognitive Architekturen

Schnittstellen mit der AussenweltEin kognitives Modell soll in der Lage sein, exakt inderselben Umgebung zu laufen, mit der auch Menscheninteragieren (Anderson & Lebiere, 1998)





Ansätze zur Lösung

AGImap (Urbas et al., 2006)Toolkit für die Erzeugung von graphischenBenutzeroberflächen, die für ACT-R zugänglich sind.plattformunabhängigkeine Möglichkeit der Bearbeitung bestehender Interfaces

SegMan (Ritter et al., 2006)

Bildschirm-Grabber für Windows und ACT-R 5Definition von Bildschirminhalten: „Pixel Groups“ (S-Expr.)gebunden an Allegro Common Lisp





Pixel Groups

Beispiel (St. Amant et al., 2005)(define-pattern small-box()(:and (:count 42)(:area 1)(:size 42)(:height 6)(:width 7)(:red 212)(:green 208)(:blue 200)(:proportion 5/6)7 28 (31 5) 112 (124 4)193 (199 4)(241 5)(255 20)))





ACT-CV: Bildverarbeitung für ACT-R

ACT-CVplattformunabhängiger Bildschirmgrabber (Java)Bildverarbeitung mit OpenCV (Intel, 2006, C++)Interface zu ACT-R 6.0 (Lisp/C++)ACT-CV: Computer-Vision






Software-Architektur von ACT-CV






Vorteile von ACT-CVkaum Beschränkungen bei der Softwareumgebungaktuelle ACT-R-Version (Anderson et al., 2004)plattformunabhängig, verteiltes Rechnen möglicheinfache Definition von Bildschirminhalten (z.B. Bilddatei)komplexe Sensoren nutzbar mittels OpenCVKamera-Modus




DurchführungErgebnisseModellierung

Gliederung








Anwendung: Visuelle Suche

ThemaVisuelle Suche auf Autobahnschildern während einerFahrsimulation

Ziel der Untersuchung

Prospektive Gestaltung durch kognitive Modellierungunterstützen?Nützlichkeit von ACT-CV an einer praktischenFragestellung überprüfenReplikation von Färber & Färber (im Druck)





Materialhandelsüblicher PCkraftrückmeldendes LenkradMS XNA Racing Game (Microsoft, 2007)EyeTracker (Schneider et al., 2006)





Zielreize436 hypothetische Ortsnamen(Lesezeit kontrolliert)pro Versuchsperson 108 zufälligzusammengestellte Schilderdrei bis sieben Ziele pro SchildAntwortmöglichkeiten:

rechts abgeradeausnicht enthalten





Design

Unabhängige Variablen

Anzahl der Stadtnamen auf dem SchildPosition des Zielreizes

Abhängige VariablenBearbeitungszeitBlickpfade





rechts gerade nicht drauf

Typ des Ziels

3 4 5 6 7

Länge des Schilds

1,50

2,00

2,50

3,00

Zeit

(s)





Position auf dem Schild

Einfluss der Positionder Haupteffekt Position warhochsignifikant (p < .01)paarweise Vergleiche:Unterschiede nur zwischen denBlöckenvgl. Färber & Färber (im Druck)





Theoretische Grundlage für die Modellierung

Visuelle Suche in Menüs (Byrne, 2001):Mischung aus zwei Strategien

1 systematisches Durchgehen der Zeilen2 zufälliges Springen





Flussdiagramm des kognitiven Modells





Empirie nd 1. o 2. o 3. o 1. r 2. r 3. r 4. r

Position

1,50

2,00

2,50

3,00

Zeit

(s)

3 5 7

nd 1. o 2. o 3. o 1. r 2. r 3. r 4. r

Position

nd 1. o 2. o 3. o 1. r 2. r 3. r 4. r

Position

Model10100111100

01011011011

11100011010

Cognitive

Modellnd 1. o 2. o 3. o 1. r 2. r 3. r 4. r

Position

1,0

2,0

3,0

Zeit

(s)

3 5 7

nd 1. o 2. o 3. o 1. r 2. r 3. r 4. r

Position

nd 1. o 2. o 3. o 1. r 2. r 3. r 4. r

Position





FazitACT-CV: transparent gegenüber der SimulationEntwicklungsaufwand für das erste Modell: zwei Tage⇒ schnelle Erzeugung brauchbarer Modelle ist möglichDie Generalisierung von vorhandenen Ergebnissen zurSuche in Menüs auf Autobahnschilder gelang nur bedingt

AusblickKombination mit Modellen des Autofahrens(Salvucci, 2007)




LiteraturAnderson, J. R., Bothell, D., Byrne, M. D., Douglass, S., Lebiere, C., & Qin, Y. (2004). An Integrated Theory of the

Mind. Psychological Review, 111(4), 1036-1060.

Anderson, J. R. & Lebiere, C. (1998). The Atomic Components of Thought . Mahwah, New Jersey: LawrenceErlbaum Associates.

Byrne, M. D. (2001). ACT-R/PM and Menu Selection: Applying a Cognitive Architecture to HCI. International Journalof Human-Computer Studies, 55, 41-84.

Färber, B. A. & Färber, B. (im Druck). Aufnahme von Wegweisungsinformation im Straßenverkehr – AWewiS.Berichte der Bundesanstalt für Straßenwesen – Fahrzeugtechnik. Bremerhaven: Wirtschaftsverlag.

Intel (2006). OpenCV 1.0 – Open Source Computer Vision Library . [Online]. Verfügbar unter:http://www.intel.com/technology/computing/opencv. [31.08.2007].

Microsoft (2007). XNA Racing Game. [Online]. Verfügbar unter: http://creators.xna.com/Education/StarterKits.aspx.[01.08.2007].

Ritter, F. E., Van Rooy, D., St. Amant, R., & Simpson, K. (2006). Providing user models direct access to interfaces:An exploratory study of a simple interface with implications for HRI and HCI. IEEE Transactions onSystems, Man and Cybernetics – Part A: Systems and Humans, 36(3), 592-601.

Salvucci, D. D. (2007). Integrated models of driver behavior. In: Gray, W. D. (Hrsg.), Integrated Models of CognitiveSystems. New York: Oxford University Press.

Schneider, E., Bartl, K., Dera, T., Boening, G., & Brandt, T. (2006). Gaze-aligned head-mounted camera with pan, tiltand roll motion control for medical documentation and teaching applications. In: Proceedings of the IEEEConference on Systems, Man and Cybernetics (SMC2006). Taipei, Taiwan.

St. Amant, R., Riedl, M. O., Ritter, F. E., & Reifers, A. (2005). Image Processing in Cognitive Models with SegMan.In: Proceedings of HCI International ’05.

Urbas, L., Heinath, M., Trösterer, S., Pape, N., Dzaack, J., Kiefer, J., & Leuchter, S. (2006). AGImap: A tool-chain tosupport the modeling of the interaction level of dynamic systems. In: Proceedings of the 7th InternationalConference on Cognitive Modeling. Trieste, Italy.


http://www.intel.com/technology/computing/opencv

http://creators.xna.com/Education/StarterKits.aspx

ACT-CV: Kognitive Benutzermodelle interagieren direkt mit ... fileKognitive Modellierung Die...

Documents

Transcript of ACT-CV: Kognitive Benutzermodelle interagieren direkt mit ... fileKognitive Modellierung Die...