Seminar Robotfußball, SoSe 2003 Selbstorganisation und Lernen Carsten Keßler.

•

Seminar Robotfußball, SoSe 2003

Selbstorganisation und Lernen

Carsten Keßler

Carsten Keßler: Selbstorganisation und Lernen 2 von 50Seminar Robotfußball, SoSe 2003

Überblick

• Einleitung

• Künstliche neuronale Netze

• Das Modell

• Roboter mit Eigeninitiative

• Visuelle Sensoren

• Zusammenfassung


Überblick

• Einleitung


• Das Modell



• Zusammenfassung


Einleitung

• Anpassungs- / Lernfähigkeit ist ein Hauptaugenmerk bei autonomen Agenten

• Der Lernprozess besteht häufig aus einer indirekten Programmierung des Agenten („Reinforcement Learning“)


Einleitung

• Engere Definition von Selbständigkeit:

• Echte Selbständigkeit muss Eigeninitiative beinhalten


Einleitung – die „Vision“

• Startzustand: • Roboter, gesteuert durch ein neuronales Netz

• das neuronale Netz ist in einem „Tabula rasa“ Zustand

• der Roboter reagiert nicht auf seine Sensor-Messwerte

• Aktivitäten sind rein zufällig• die Umgebung enthält statische und dynamische Objekte


Einleitung – die „Vision“

• Die Aufgabe:• komplett internes Ziel für den Roboter definieren, damit:

• er anfängt, sich zu bewegen

• während der Bewegung ein Bild von seiner Umgebung entwickelt

• dies sollte unabhängig von den Sensoren und der Fortbewegungsart des Roboters sein


Überblick

• Einleitung


• Das Modell




Künstliche neuronale Netze

• Die Nervenzelle als biologisches Vorbild

Quelle: Prof. Lippe, Skript „Softcomputing“



• Schematische Darstellung eines künstlichen Neurons

Quelle: Dan Patterson – Künstliche neuronale Netze


Künstliche Neuronale Netze

• Formal: Tupel, bestehend aus

• Eingabevektor

• Gewichtsvektor

• Aktivierungsfunktion

• Ausgabefunktion



• Typen des Lernens• Entwicklung neuer Verbindungen

• Löschen existierender Verbindungen

• Modifikation der Gewichte

• Modifikation des Schwellenwertes

• Modifikation der Aktivierungs- / Ausgabefunktion

• Entwickeln neuer Zellen

• Löschen bestehender Zellen



• Lernstrategien• überwacht (supervised learning)

• bestärkend (reinforcement learning)

• unüberwacht (unsupervised learning)



• Anwendungen• Diagnostik• Vorhersage• Mustererkennung• Optimierung• Risikoabschätzung• Steuerung• ..........


Überblick

• Einleitung


• Das Modell



• Zusammenfassung


Das Modell

• Der Ansatz:

• der Agent überwacht selbst seinen eigenen Lernprozess


Das Modell

• Problem:

• die Sensorwerte müssen mit einem Modell vorausberechenbar sein, um im nächsten Schritt die gemessenen mit den vorausberechneten Werten zu vergleichen


Das Modell

• Ausgabe des Controllers:

• xt є Rn: Vektor der Sensorwerte zum Zeitpunkt t

• c: Parameter Vektor


Das Modell

• Das adaptive Modell soll xt+1 berechnen:


Das Modell

• der Fehler dabei beträgt:


Das Modell

• Lernregeln:• für das Modell:

• für den Controller:


Das Modell

• Der Khepera Roboter• 8 IR-Sensoren

• 2 Motoren

• max. 1m/s

• erweiterbar

Quelle: http://www.k-team.com


Das Modell

• Beispiel

• der Roboter bewegt sich mit konstanter Geschwindigkeit

• der Output des Controllers gibt nur die Drehgeschwindigkeit an

• Modellierung durch ein einzelnes Neuron:


Quelle: Der / Liebscher: True autonomy from self-organized adaptivity


Überblick

• Einleitung


• Das Modell



• Zusammenfassung


Roboter mit Eigeninitiative

• Das Problem:

• Bislang war die Geschwindigkeit gegeben

• Das Modell strebt möglichst konstant bleibende Sensorwerte an

Das ist gegeben, wenn der Roboter nichts tut



• Die Lösung:

• Der Roboter bekommt einen Anreiz zur Aktivität

• Dazu wird im Vorhersagemodell „die Zeit umgedreht“



• Die Zeitschleife:



• Dabei entsteht der Fehler

mit

Der Fehler ist klein, wenn das aktuelle Verhalten des Roboters gut durch das Modell repräsentiert wird



• Berücksichtigung der Dynamik, die nicht durch das Modell

beschrieben ist (Störung, Messfehler, „Rauschen“):



• Daraus folgt:

• Der Fehler durch das Rauschen pflanzt sich in der Zeit „rückwärts“ fort

• Der Modellfehler wird minimiert, wenn die Roboter-Sensormesswerte instabil sind

Anreiz zur Aktivität



• Verhalten des Roboters:

• Der Roboter zeigt sofort Aktivität, wenn er im Tabula rasa Zustand gestartet wird

• Beim Aufprall auf Hindernisse wird der Messfehler sprunghaft so groß, dass der Roboter sofort umdreht


Überblick

• Einleitung


• Das Modell



• Zusammenfassung


Visuelle Sensoren

Quelle: Der / Liebscher: True autonomy from self-organized adaptivity.


Visuelle Sensoren

• Eingabevektor:

x=(vl, vr, s1,…sK)

• vl, vr: Geschwindigkeiten der Räder

• si: Pixelwerte der Kamera im R3


Visuelle Sensoren

• Preprocessing:

• Binäre Klassifizierung der Pixel, ob sie der Farbe des Balles entsprechen oder nicht

• Herunterskalieren des Bildes auf 32 * 32 Pixel in Graustufen

• Erzeugen eines Bewegungsvektors im R2 für den Ball aus 2 aufeinander folgenden Bildern


Visuelle Sensoren

• Der Controller besteht aus 2 Neuronen

• Neuron 1 regelt die Geschwindigkeit

• gefüttert mit der Geschwindigkeit des Balles in Fahrtrichtung sowie den Sensormesswerten von den Rädern

Funktioniert wie eben gesehen


Visuelle Sensoren

• Der Controller besteht aus 2 Neuronen

• Neuron 2 regelt die Lenkung

• wird gefüttert mit den Pixelwerten aus dem vorher aufbereiteten Bild

• Annahme: die Komponente g2 des Bewegungsvektors g soll sich nicht ändern


Visuelle Sensoren

• Fehlerberechnung


Visuelle Sensoren

• Ausgabefunktionen


Visuelle Sensoren

• Lernregeln


Visuelle Sensoren

• Ergebnisse:

• Anpassung der Geschwindigkeit funktioniert beim Pioneer ähnlich gut wie beim Khepera

• Anpassung der Richtung aufgrund der Kameradaten bereitet noch Probleme, die allerdings technischer Natur sind


Überblick

• Einleitung


• Das Modell



• Zusammenfassung


Zusammenfassung

• Wir haben gesehen, wie:• Roboter mit Hilfe von neuronalen Netzen lernen können

• Sie mit Hilfe von neuronalen Netzen dazu gebracht werden können, Aktivität zu entwickeln

• Wie die Verarbeitung von visuellen Informationen in dieses Modell integriert werden kann


Zusammenfassung

• Bezug zum Roboterfußball:

• Zur Zeit noch keine praktische Anwendung der hier vorgestellten Ergebnisse

• In der Anwendung dominiert noch die klassische KI

• Ergebnisse sind noch sehr frisch, daher wahrscheinlich in Zukunft auch relevant für die Praxis


Vielen Dank für die Aufmerksamkeit!

Seminar Robotfußball, SoSe 2003 Selbstorganisation und Lernen Carsten Keßler.

Documents

Transcript of Seminar Robotfußball, SoSe 2003 Selbstorganisation und Lernen Carsten Keßler.