Epistemische Aktionen

Vortrag von Guido Poschta

5.12.2002

Seminar Verteilte Kognitionbei Prof. Wandmacher

Fachbereich PsychologieTU Darmstadt

2

Gliederung

Einführung

Tetris

Klassisches Verarbeitungsmodell

Vergleich mit erhobenen Daten

Epistemische Aktionen

Ergebnisse

Einordnung und Diskussion

3

Quellen

[1] On Distinguishing Epistemic fromPragmatic ActionDavid Kirsh, Paul Maglio © 1994, Dept. of Cognitive Science, University of California, San Diego

[2] Distributed Cognition: Toward a New Foundation for Human-Computer Interaction ResearchJames Hollan, Edwin Hutchins, David Kirsh (UCSD)© 2000 ACM CHI Vol. 7, No. 2

4

Bisherige Sichtweisen

• Pragmatische Aktionen:Vor Ausführung planen– Initialzustand {Aktionen} Zielzustand– Bei Planung ständige Verbesserung bzgl. Metrik:

Distanz / Zeit / Energie / Risiko

• Roboterforschung:Aktionen zur Wahrnehmung– Kontrolle des Sichtfelds– Kontrolle der Aufmerksamkeit

5

Epistemische Aktionen

• epistemi: Verb, Griechisch: Erkennen• Nach Kirsh & Maglio physische Aktionen• Ziele:

– Gedächtnisspeicher entlasten– Zeit sparen durch weniger Berechnungsschritte– Fehlerwahrscheinlichkeit senken

6

Anwendungen im Alltag

• Schlüssel im Schuh• Faden um Finger• Arbeitsplatz vorbereiten

– Arbeitsmittel sortieren– Z.B. Schrauben, Muttern

• Unbekanntes Gelände erkunden

7

Epistemische Aktionen: Planung

• Aktionen zur Informationsgewinnung• Veränderter Zustandsraum für die Planung

– Physische Zustände Informationelle Zustände

• Epistemische Aktionen– Bringen u.U. physischen Zustand nicht voran– Verbessern informationellen Zustand

Tetris

9

Tetris

• Einfache Metrik: Pragmatische Verbesserung eindeutig erkennbar

• Anforderungen:– Motorische Fähigkeiten

(Tastendruck Veränderung)– Wahrnehmungsfähigkeiten

(Steine & Kontur erkennen)– Räumliches Vorstellungvermögen

(Pack-Problem)

10

Annahme

• Bisherige Berichte eingeübter Verhaltens-weisen sind irreführende Vereinfachungen:– Verbesserung durch Zusammenfassung von

Zwischenschritten– Verbesserung durch „vorberechnete

Verhaltensweisen“

• In beiden Fällen Strategie unverändert

11

Beobachtungen

• Strategie verändert sich mit der Erfahrung des Spielers

• Informationen früh verfügbar machen• Optimierung auf schnelle Steinerkennung• Externe Tests für mehr Sicherheit

12

Versuchsanordnung

• Aufnahme gedrückter Tasten bei Tetris• Versuche zur mentalen Rotation• Expertensystem „RoboTetris“

Klassisches Verarbeitungsmodell

14

RoboTetris

• Expertensystem• Spielt Tetris• Aufgebaut nach klassischem Modell der

Verarbeitung: 4 Schritte

15

Schritt 1: Selektives Bitmapim Ikonischen Puffer

• Erkennung von Kanten, Ecken etc.– Des Steins– Der Kontur

• Noch keine Symbolerkennung

16

Schritt 2: Symbolische Repräsentation

• Beziehung zwischen erkannten Merkmalen

• interne Sammlung wiederkehrender Eigenschaften der Kontur

• Es muß erkennbar sein:– Art des Steins– Orientierung

17

Schritt 3: Besten Platz finden

• Vergleich des Steins mit Teilen der Kontur

18

Schritt 4: Weg finden

• Minimalen motorischen Plan definieren

Vergleich mit erhobenen Daten

20

– Stein nach n Rotationen wieder wie zu Anfang

– Durchschnittlich (n-1)/2 Rotationen notwendig

– zum Beispiel „ “:durchschnittlich 1,5 beobachtet 1,7

• Rotationen beginnen zu früh– „Denkphase“ noch nicht

beendet

• Mehr Rotationen als „notwendig“

t

ROT 1

ROT 2

ROT 3

ROT 4

=

=

Daten passen nicht zu Modell

21

Erklärungsversuch

• Kaskadierender Prozess• Pragmatische Aktionen nach jeweils „bester

Abschätzung“ als Zwischenergebnis• KI: „Interleaving Planners“• Ziel: Gefahr des Zeitmangels minimieren

22

• Falscher Start zu teuer (75 bis 750 ms) „Interleaving“ schlechte

Strategie für Tetris

• Rotation vor jeglicher Abschätzung– Stein noch nicht voll

sichtbar– Keine Abschätzung

möglich

Spielfeldrand

Daten passen trotzdem nicht

23

Schlußfolgerung

• Klassische Theorie kann Daten nicht erklären• Es muß eine neue Theorie her:

Epistemische Aktionen!

Epistemische Aktionen als Erklärung

25

Vergleich mentaler Rotation mit physischer Rotation

• Versuch: Sind diese Steine gleich oder Spiegelbilder?

• Mentale Rotation:800-1200 ms bei 90°

• Physische Rotation:100 ms bei 90° = =|

26

Spielfeldrand

Frühe Rotation zur Erkennung

• Stein anfangs nur teilweise sichtbar

• Rotation zeigt versteckte Teile des Steins

27

Frühe Rotation zur Erkennung (Forts.)

• bei eindeutiger Position des Steins weniger Rotationen (unbewusst)

• Mehr Rotationen bei unbekannter Art von Stein

• Pragmatische Rotation zu diesem Zeitpunkt nicht möglich

• Aktion muß also epistemisch sein

28

Aufwand mentaler Rotation und Bilderzeugung sparen

• In Schritt 3: Vergleich des Steins mit der Kontur

• Mentale Repräsentation– des Steins – von Teilen der Kontur

29

Suche mit von Orientierung unabhängiger Repräsentation

• Spieler hat Repräsentation des Steins in allen Drehungen

• sucht dafür einmal die Kontur ab

30

Rotation zur Erstellung einer solchen Repräsentation

• Aktivierung einer Menge von Repräsentationen des Steins

• In dieser Menge sind Bilder seiner Orientierungen vorbereitet

• Je mehr Bilder des Steins physisch gezeigt werden, desto schneller kann Spieler die Aktivierung erreichen

31

Suche ohne eine solche Repräsentation

• Spieler hat nur Repräsentation einer Drehrichtung des Steins

• Sucht für jede Drehrichtung die Kontur ab

32

Speicheraufwand bei dieser Suche

• Aktueller Konturteil• Liste schon getesteter Konturteile• Position des aktuellen Teils innerhalb der

Kontur • Bild des gedrehten Steins

– muß regelmäßig aufgefrischt werden

– oder physisch sichtbar sein

Einfacher, gedrehte Steine physisch zu sehen

33

Rotation zur Erkennung von Steinen

• 3 Stufen der Erkennung:1. Einfache Eigenschaften finden

• Linien, Ecken, Farben

2. Orientierungs-spezifische Eigenschaften extrahieren

3. Strukturierte Mengen solcher Eigenschaften identifizieren und speichern

• Experten dabei effizienter

34

Rotation zur Erkennung von Steinen (Bsp.)

IkonischerSpeicher

0 1

0

1

(1,0)

(1,1) ...

Entscheidungsbaumohne Rotation

(1,0)

(1,0)

...ROT

Entscheidungsbaummit Rotation

Vorsicht: Entspricht nichtder Abbildung 12 bei Kirsh & Maglio

35

Rotation zur Erkennung von Steinen (Forts.)

• Optimalität des Entscheidungsbaums:– Informativste Frage zuerst stellen– Minimale Anzahl von Merkmalen abfragen

• Rotation kann Anzahl verschiedener abgefragter Merkmale verringern

• Rotation kann weniger Fragen nötig machen

36

Hypothese: Enge Bindung der Aufmerksamkeit an Aktionen

• Aufmerksamkeitsmechanismen könnten eng an Aktionen wie Rotation gebunden sein

• Bindung der Aufmerksamkeit an Aktionen bei Sakkaden bereits bekannt

37

Rotation, um besten Platz zu finden

• Alternative zur Suche im Arbeitsgedächtnis:Suche als Wahrnehmungsprozess

• Stein während Wahrnehmung mit Konturteilen vergleichen

• Entweder, oder:– Stein mental rotieren (nicht bekannt, ob das

Ikonischen Puffer beeinflusst)– Stein in rotierter Form wahrnehmen

38

Verschiebung alsepistemische Aktion

• Spaltenposition eines Steins prüfen

• Oft angewendet, wenn Stein von weit oben herunterfällt

3 Schritte

Ergebnisse

40

• Jetzt in jeder Verarbeitungsphase Zusatzinformationen aus Aussenwelt

• Tetris: keine Nebenbedingungen bei Veränderung

Neues Verarbeitungsmodell

• Zuvor streng hierarchisch

41

Auswirkungen auf KI-Planer

• Kosten-Nutzen-Modell: Aktionen zu bestimmtem Zeitpunkt mehr oder weniger nützlich

• Aber: Passt im Detail nicht, weil Nutzen hier abhängig von internem Zustand des Agierenden

42

Auswirkungen auf Verhaltensstudien

• Neue Frage: Wie kann der Beobachtete das Problem durch Aktionen vereinfachen?

• Bisherige Studien verwehren dem Beobachteten Veränderung der Umgebung

• Gut angepasster Agierender: Balance zwischen interner und externer Berechnung

Einordnung und Diskussion

44

Relevante Punkte aus Artikel „Distributed Cognition“

• Funktionen des Raums: Berechnung vereinfachen

• Arbeitsmittel werden zeitweise Teil des kognitiven Systems

• Grenzen der Analyse erweitern• Ethnographie der verteilten Kognition:

Automatisierte Aufnahme von Interaktionen• Grundprinzip: Abladen von kognitivem

Aufwand in die Umgebung

45

Fragen

• Farben der Steine nicht berücksichtigt– z.B. bei früher Rotation zur Erkennung

• Rotation kann auf Fehler zurückzuführen sein– 1,7 Rotationen statt 1,5 trotzdem interessant?

• Epistemische Aktionen immer auf die Umwelt gerichtet?

• Gegenbeispiele:– Bildhafte Vorstellung– Stichwort für Sachverhalt

Vielen Dank für das Interesse

Folien etc. auf

http://www.poschta.de/guido/uni