Ein entscheidungstheoretischer Ansatz zu Planung, Wahrnehmung und Steuerung Hauptseminar...

Ein entscheidungstheoretischer Ansatz zu Planung,

Wahrnehmung und Steuerung

Hauptseminar Echtzeitsysteme WS 2002/2003

Tilmann Rabl4. Dezember 2002

Worum es geht...

Hauptseminar Echtzeitsysteme WS 2002/2003 Tilmann Rabl

Was ist Entscheidungstheorie? Beschäftigt sich mit Entscheidungssituationen Normativ – deskriptiv Anwendungsbeispiel: Intelligente Steuerung

„Bietet einem Entscheider Hilfestellung, mit der er die Situation, in der er sich befindet, analysieren und zu einer

möglichst optimalen Entscheidung kommen kann“

Worum es geht...


Intelligente Steuerung Einfache Handlungskette:

1. Messen2. Auswerten3. Reagieren

Normale KI oft zu sehr eingeschränkt Lösung: reaktive bzw. adaptive Systeme

Bayessche Netze

Worum es geht...


Basye, Dean, Kirman und Lejter 1992: Auf Bayesschen Netzen basierendes System Steuerung eines Roboters Verfolgung eines beweglichen Ziels (MTL)

Überblick


Bayessche Netze

MTL Modell

Komplexitätsreduktion und Abstraktionen

Ergebnisse

Resümee

Grundlagen Bayesscher Netze


Bayessches Netz: Graph Knoten aus V: Wahrscheinlichkeitsknoten Kante aus E von A nach B: aus A folgt B Zustands-Wahrscheinlichkeits-Tabelle (CPT) Schattiert: Erkenntnisknoten Mengen der möglichen Zustände: Ω

(V,E)G

A BP(A=F) P(A=T)

a not a

A P(B=F) P(B=T)

F

T

b1

b2

not b1

not b2

Wolkig

Gras nass

RegenSprinkler



P(W=F) P(W=T)

0,5 0,5

W P(S=F) P(S=T)

F

T

0,5

0,9

0,5

0,1

W P(R=F) P(R=T)

F

T

0,8

0,2

0,2

0,8

S R P(N=F) P(N=T)

F

T

F

T

F

F

T

T

1,0

0,1

0,1

0.01

0,0

0,9

0,9

0,99

Beispiel 1

Erkenntnisknoten N:„Das Gras ist nass“

Abhängig von: Regen Rasensprenger

Wolkig

Gras nass

RegenSprinkler



P(W=F) P(W=T)

0,5 0,5

W P(S=F) P(S=T)

F

T

0,5

0,9

0,5

0,1

W P(R=F) P(R=T)

F

T

0,8

0,2

0,2

0,8

S R P(N=F) P(N=T)

F

T

F

T

F

F

T

T

1,0

0,1

0,1

0.01

0,0

0,9

0,9

0,99

Beispiel 1

CPT von N:Wahrscheinlichkeit von

„das Gras ist nass, wenn der Rasensprenger an ist und es nicht regnet“ ist 0,9

),|( FRTSTNP

Wolkig

Gras nass

RegenSprinkler



P(W=F) P(W=T)

0,5 0,5

W P(S=F) P(S=T)

F

T

0,5

0,9

0,5

0,1

W P(R=F) P(R=T)

F

T

0,8

0,2

0,2

0,8

S R P(N=F) P(N=T)

F

T

F

T

F

F

T

T

1,0

0,1

0,1

0.01

0,0

0,9

0,9

0,99

Beispiel 1

Menge der möglichen Werte von N:

N=T: „das Gras ist nass“N=F: „das Gras ist trocken“

},{ FTN



Beispiel 2

LR LT

OT

Ausschnitt aus MTL: LR: Standort des Roboters LT: Standort des Ziels OT: Beobachtungen des Roboters über das Ziel

LR LT

P(X=1)

P(X=2)

P(X=3)

P(X=4)

P(X=5)

0

0

0

0.6

0.4

0.1

0.6

0.1

0.2

0

1 3

5



Beispiel 2

LR LT

OT

Ausschnitt aus MTL: ΩLR

= ΩLT= ΩOT

= {1,2,3,4,5} Interessante Zustände:

LR=4 und LT=2 (Wahrscheinlichkeit 0.36) LR=5 und LT=4 (Wahrscheinlichkeit 0.08) 1 3

5

LR LT

P(X=1)

P(X=2)

P(X=3)

P(X=4)

P(X=5)

0

0

0

0.6

0.4

0.1

0.6

0.1

0.2

0



Beispiel 2

LR LT

OT


= ΩLT= ΩOT


LR=4 und LT=2 (Wahrscheinlichkeit 0.36) LR=5 und LT=4 (Wahrscheinlichkeit 0.08)

P(OT=2 |LR =4, LT =2 ) = 0.5

P(OT=4 |LR =5, LT =4 ) = 0.2

1 3

5



Beispiel 2

LR LT

OT


= ΩLT= ΩOT


LR=4 und LT=2 (Wahrscheinlichkeit 0.36) LR=5 und LT=4 (Wahrscheinlichkeit 0.08)

P(OT=2 |LR =4, LT =2 ) = 0.5

P(OT=4 |LR =5, LT =4 ) = 0.2

1 32

Zeitliche Bayessche Netze


Zeitliches Bayessches Netz: Diskrete Zeitpunkte Markovsche Eigenschaft

LR

LT

OT

T1 T2 T3

Das MTL Modell


Entwicklung eines Modells: Abwägung zwischen Genauigkeit und Effizienz Zuviel Information: System zu langsam Zuwenig Information: System wird zu ungenau

Problemstellung: Errechnung des Standorts des Roboters Verfolgung eines beweglichen Ziels

Das MTL Modell


Wichtige Größen: Position des Roboters, des Ziels Sensordaten, die der Roboter bekommt Handlungsspielraum des Roboters

LR LTOTORAR

Das MTL Modell


Knoten: LR : Lokalisation des Roboters auf interner Karte LT : Lokalisation des Ziels auf interner Karte OR : Beobachtungen über Position des Roboters OT : Beobachtungen über Position des Ziels AR : Nächste Aktion des Roboters

LR LTOTORAR

Das MTL Modell


Knoten: ΩLR

, ΩLT : Mögliche Lokalisationen (z.B. Kartenstücke)

ΩOR : mögliche Sonarsensordaten ΩOT : mögliche visuelle Sensordaten ΩAR : Handlungsspielraum des Roboters (z.B. „gehe geradeaus“)

LR LTOTORAR

Das MTL Modell


T1 T2 T3 T4

Jetzt

LR

LT

OT

OR

AR

Zeitliche Erweiterung

Das MTL Modell


T1 T2 T3 T4

Jetzt

LR

LT

O

AR

Vereinfacht

ΩO = ΩOR x ΩOT

Das MTL Modell


Auswertung

T1 T2

Jetzt

LR

LT

O

AR

Auswertung des Netzes:

Das MTL Modell


Auswertung

T1 T2

Jetzt

LR

LT

O

AR

?a

? ?

?b

Auswertung des Netzes:Zu Beginn werden die Knoten mit Randwerten

gefüllt

Das MTL Modell


Auswertung

T1 T2

Jetzt

LR

LT

O

AR

?a

? ?

?b

Auswertung des Netzes:1. AR(1) ist mit der ausgewählten Aktion

instantiiert.

Das MTL Modell


Auswertung

T1 T2

Jetzt

LR

LT

O

AR

?a

? ?

?b


instantiiert.2. Die Aktion wird ausgeführt und

Sensordaten werden gesammelt.

Das MTL Modell


Auswertung

T1 T2

Jetzt

LR

LT

O

AR

?a

o ?

?b



Sensordaten werden gesammelt.3. Die gesammelten Daten werden genutzt

um O(1) zu instantiieren.

Das MTL Modell


Auswertung

T1 T2

Jetzt

LR

LT

O

AR

?a‘

o ?

?b‘




um O(1) zu instantiieren.4. Die Wahrscheinlichkeiten werden

aktualisiert.

Das MTL Modell


Auswertung

T1 T2

Jetzt

LR

LT

O

AR

ca‘

o ?

eb‘





aktualisiert.5. Die Nachfolger von LR(1) und LT(1)

werden errechnet.

Das MTL Modell


Auswertung

T2 T3

Jetzt

LR

LT

O

AR

?c

? ?

?e





aktualisiert.5. Die Nachfolger von LR(1) und LT(1)

werden errechnet.6. Die Knoten werden in die Vergangenheit

geschoben und der Prozess beginnt von vorne.

Das MTL Modell


Bewertungsfunktion

Funktion zur Bewertung einer Situation: Im Idealfall:

1. Handlungskette für Roboter vorgeben.2. Reaktionen des Ziels überlegen.3. Daraus Situation konstruieren und bewerten.

Verhalten des Ziels kann nicht gemessen werden. Beobachtungen des Roboters werden verwendet. Situation wird anhand der Beobachtung und der

Wahrscheinlichkeit sie zu machen bewertet.

Das MTL Modell


Bewertungsfunktion

Funktion zur Bewertung einer Situation:

),(),)(|)((min)|( vuDistsotOvtLPsoEVTL

TL vT

ut

s ist eine Handlungskette u und v sind mögliche Positionen des Ziels t ist ein Zeitpunkt bedeutet, der Knoten X hat zur Zeit t den Wert x

Oo

xtX )(


TL vT

ut

Das MTL Modell


Bewertungsfunktion


Abstand zwischen Position u und v


Oo

xtX )(


TL vT

ut

Das MTL Modell


Bewertungsfunktion


Wahrscheinlichkeit, dass dasZiel auf Position v ist


Oo

xtX )(

Das MTL Modell


Bewertungsfunktion


),(),)(|)((min)|( vuDistsotOvtLPsoEV

TLTL v

Tu

t

Wahrscheinlicher Fehler für eine Position u


Oo

xtX )(

Das MTL Modell


Bewertungsfunktion


),(),)(|)((min)|( vuDistsotOvtLPsoEV

TLTL v

Tu

t

Ermittelt den minimalen Fehler


Oo

xtX )(

Das MTL Modell


Bewertungsfunktion



TL vT

ut

Beschreibt den Wert gegebener Handlungsketten und Beobachtungen des Roboters.

Das MTL Modell


Bewertungsfunktion II

Funktion zur Bewertung einer Handlungskette:

)|()|)(()( soEVsotOPsEV to

t

O

Misst den Wert einer Handlungskette, wenn sie für die nächsten n Zeitschritte ausgeführt wird, wobei n die Länge der Sequenz ist.

Das MTL Modell


Bewertungsfunktion III

Gewichtete Bewertung einer Handlungskette:

)()()( sEVtsEV tTt

Die Funktion γ spezifiziert das Gewicht zukünftiger Werte. Dabei wird der Einfluss späterer Konsequenzen herabgesetzt.

Das MTL Modell


Problem

Wegen der hohen Komplexität sind die Funktionen nur für triviale Fälle anwendbar.

Komplexitätsreduktion

Komplexitätsreduktion und Abstraktionen


Möglichkeiten für Komplexitätsreduktion: Diskretheit der Bewertungsfunktion erlaubt branch and bound Algorithmen und dynamische Programmierung. Dynamische Verkleinerung des Bereichs der räumlichen Variablen. Bibliotheken von Handlungssequenzen, dynamische Reduktion von Möglichkeiten für Aktionen. Anpassung der räumlichen Repräsentation an sensorische Fähigkeiten des Roboters. Berücksichtigung von indirekten Beobachtungen. Sinnvolle Abstraktionen.

Abstraktionen


Abstraktion: Aufteilung eines Zustandsraums in eine diskrete Wertemenge. Abwägung:

Zu geringe Genauigkeit => Keine Basis für vernünftige Entscheidung

Zu große Wertemenge => zu hohe Berechnungskosten

Abstraktionsmöglichkeiten: Lokalisationsabstraktion Sensorabstraktion Aktionsabstraktion

Abstraktionen


Lokalisation: Repräsentation von nicht direkt messbaren, räumlichen Aspekten. Position des Roboters lässt sich aus Sensordaten und Abschätzungen über die alte Position herleiten. Lokalisationsknoten hängen von vorhergehenden Lokalisationsknoten, Sensorknoten und Aktionsknoten ab. Wichtigste Informationen kommen von Sensoren.

Lokalisationsabstraktion

Abstraktionen



Aufteilung der Gangfläche:

Abstraktionen




Zu genaue Aufteilung: Hohe Berechnungskosten Genaue Positionierung durch die Sensoren nicht möglich

Abstraktionen




Zu grobe Aufteilung: Verschwendung von Sensorinformationen. Daten über Position ungenügend.

Abstraktionen




Vernünftige Aufteilung: Aufteilung in Gänge und Kreuzungen. Für Roboterlokalisation wird jede Region in vier

Quadranten aufgeteilt.

Abstraktionen


Sensoren: Sensorknoten sind Schnittstelle zwischen der äußeren Welt und dem Modell. Die rohen Sensordaten liegen normalerweise in einem zu großen Wertebereich. Die Sensordaten müssen auf den Beobachtungsraum abgebildet werden.

Sensorabstraktion

Sensoren im Modell: 8 Sonarsensoren, die Werte zwischen 30 und 5999 Millimetern liefern. Eine einfache Kamera zur für die Zielortung.

Abstraktionen


Sensorabstraktion

5999 5999

5999 5999

227 233

523 531

Abbildungsart der Messung auf den abstrakten Sensorraum:

Deterministisch: Für einen Bereich von rohen Sensordaten wird ein abstrakter Wert gesetzt. Probabilistisch: Für gegebene Sensordaten wird eine

Wahrscheinlichkeitsverteilung über den abstrakten Werten angegeben.

Gemessene Werte beiEinfahrt in eine T-Verzweigung

Abstraktionen


Sensorabstraktion

5999 5999

5999 5999

227 233

523 531

Abbildungsmethode der Messung auf den abstrakten Sensorraum:

Experimentell: Sensordaten werden in vielen Situationen gemessen und danach abstrakt beschrieben. Heuristisch: Wissen über Sensoren und Welt wird genutzt um die Abbildung direkt zu spezifizieren.

Gemessene Werte beiEinfahrt in eine T-Verzweigung

Abstraktionen


Aktionen: Anzahl der vom Roboter ausführbaren Aktionen ist |ΩA|. Kosten der Entscheidung über die nächste Handlungskette ist proportional zu |ΩA|h (h ist die Tiefe des Ereignishorizonts). Reduktion der Größe von ΩA bringt viel Kostenersparnis. Anzahl von Aktionen kann durch Einführung von komplexen Handlungen erreicht werden.

Aktionsabstraktion

Abstraktionen


Beispiel: Simple Handlungen:

„ein cm nach vorne“ „ein Grad nach links“

Komplexere Handlungen: „Gang entlang gehen“ „nächste Kreuzung links“

Nachteil: Gehen nicht auf Einflüsse aus der Umwelt ein und werden so bei Veränderungen evtl. sinnlos.

Aktionsabstraktion

Im MTL Problem: Handlungen sind der räumliche Repräsentation angepasst. Aktionen: Gang entlang, in oder aus Kreuzung fahren. Unpassende Handlungen werden nicht in die Bewertung aufgenommen.

Ergebnisse


Testlauf

Testlauf: Modell wurde in kleinen, mobilen Roboter gebaut.

Ergebnisse


Testlauf

Testlauf: Modell wurde in kleinen, mobilen Roboter gebaut. Modellwelt besteht aus zwei T-Verzweigungen und Verbindungsgängen

Ergebnisse


Testlauf

Testlauf: Grauschattierungen spiegeln die Annahmen des Roboters über den Aufenthaltsort des Ziels wieder

Das Ziel ist mit

Wahrscheinlichkeit in dieser Region

hoher niedriger

Ergebnisse


Testlauf

Der Roboter fängt ohne Informationen über die Position des Ziels an.Deshalb macht er zunächst nichts.

Stehen bleiben

Zeitschritt: 1

Ergebnisse


Testlauf

Nach einem Zeitschritt sieht er das Ziel in einem Korridor.Da er sich durch Aktionen keinen Erkenntnisgewinn errechnet bleibt

er weiter stehen.

Stehen bleiben

Zeitschritt: 2

Ergebnisse


Testlauf

Das Ziel geht nach links, ist aber immer noch sichtbar.

Stehen bleiben

Zeitschritt: 3

Ergebnisse


Testlauf

Das Ziel geht weiter, der Roboter kann es aber noch mit genügender Sicherheit orten.

Stehen bleiben

Zeitschritt: 4

Ergebnisse


Testlauf

Der Sichtkontakt bricht ab, deshalb sieht sich der Roboter genötigt,dem Ziel zu folgen.

Geradeausgehen

Zeitschritt: 5

Ergebnisse


Testlauf

Er dreht sich in die Richtung, in der er das Ziel vermutet.

Nach links drehen

Zeitschritt: 6

Ergebnisse


Testlauf

Er sieht das Ziel wieder. Um genauere Daten zu erhalten entscheideter sich dafür, das Ziel zu verfolgen.

Geradeaus gehen

Zeitschritt: 7

Ergebnisse


Testlauf

Er entscheidet sich dafür, möglichst nahe am Ziel zu bleiben, um es nicht zu verlieren.

Geradeaus gehen

Zeitschritt: 8

Ergebnisse


Testlauf

Er verfolgt das Ziel weiter.

Geradeaus gehen

Zeitschritt: 9

Ergebnisse


Testlauf

Er weis nicht in welche Richtung das Ziel gegangen ist und denkt zunächst, es ist an ihm vorbei zurück in den Gang geschlüpft.

Umdrehen

Zeitschritt: 10

Ergebnisse


Testlauf

Nachdem er das Ziel im Gang nicht findet, überprüft er die beiden Abzweigungen.

Nach links drehen

Zeitschritt: 11

Ergebnisse


Testlauf

Mit sicher geortetem Ziel bleibt er wieder stehen.

Stehen bleiben

Zeitschritt: 12

Ergebnisse


Unerwartetes Verhalten

Unerwartetes Verhalten in entscheidungstheoretischen Modellen:

Entwickler stellen nur Erwartungen, Aktionen und Dienstprogramme zur Verfügung. Verhalten resultiert aus Suche nach bester Lösung. Es treten unvorhergesehene Verhaltensweisen auf.

Ergebnisse



Beispiel für unerwartetes Verhalten im MTL Problem:

Situation 1:Das Ziel steht an einer Verzweigung.Erwartetes Verhalten:Der Roboter versucht nahe am Ziel zu bleiben, um festzustellen, welche Abzweigung das Ziel nimmt.

Ergebnisse




Situation 1:Das Ziel steht an einer Verzweigung.Erwartetes Verhalten:Der Roboter versucht nahe am Ziel zu bleiben, um festzustellen, welche Abzweigung das Ziel nimmt.Resultat:Der Roboter verhält sich wie erwartet.

Ergebnisse




Situation 2:Das Ziel steht an einer abbiegenden Sackgasse.Erwartetes Verhalten:Der Roboter versucht nahe am Ziel zu bleiben, um zu sehen, ob es um die Ecke geht.

Ergebnisse




Situation 2:Das Ziel steht an einer abbiegenden Sackgasse.Erwartetes Verhalten:Der Roboter versucht nahe am Ziel zu bleiben, um zu sehen, ob es um die Ecke geht.Resultat:Der Roboter hält einen großzügigen Abstand zum Ziel. ?

Ergebnisse




Verhalten:Der Roboter bleibt nahe am Ziel.Mögliches Verhalten des Ziels:

Ergebnisse




Verhalten:Der Roboter bleibt nahe am Ziel.Mögliches Verhalten des Ziels:1. Es geht in die Sackgasse.

Ergebnisse




Verhalten:Der Roboter bleibt nahe am Ziel.Mögliches Verhalten des Ziels:1. Es geht in die Sackgasse.2. Es geht vorbei am Roboter in den Gang.

Nicht gut!

Ergebnisse




Verhalten:Der Roboter hält Abstand vom Ziel.Mögliches Verhalten des Ziels:

Ergebnisse




Verhalten:Der Roboter hält Abstand vom Ziel.Mögliches Verhalten des Ziels:1. Es geht in die Sackgasse.

Ergebnisse




Verhalten:Der Roboter hält Abstand vom Ziel.Mögliches Verhalten des Ziels:1. Es geht in die Sackgasse.2. Es geht in den Gang

Resümee


Vorteile von Entscheidungstheorie und Bayesschen Netzen:

Unsicherheit: Entscheidungstheorie und Bayessche Netze sind ein natürlicher Ansatz für KI Systeme. Eindeutigkeit: Die Annahmen, die in diesem Ansatz gemacht werden, um Wissen wiederzuspiegeln, sind explizit und klar. Entwicklung: Entscheidungstheorie und Wahrscheinlichkeitstheorie sind gut entwickelt. Einfachheit: Bayessche Netze sind einfach zu erstellen, benutzen und analysieren.

Resümee


Und jetzt? Ihre Vorteile haben zur Verbreitung von Entscheidungstheorie und Bayesschen Netzen beigetragen. Es existiert ein breites Anwendungsfeld.

Kleines Beispiel:

Der Microsoft Office Assistent stützt sich auf Bayessche Netze

Weitere Infos: http://www.fmi.uni-passau.de/~rabl

Vielen Dank für Ihre

Aufmerksamkeit


http://www.fmi.uni-passau.de/~rabl

Ein entscheidungstheoretischer Ansatz zu Planung, Wahrnehmung und Steuerung Hauptseminar...

Documents

Transcript of Ein entscheidungstheoretischer Ansatz zu Planung, Wahrnehmung und Steuerung Hauptseminar...