Das MACS-Projekt: Affordance-inspirierte Roboterkontrolle · 2009-05-26 · 24.1.2007, Karlsruhe,...

Das MACS-Projekt:Affordance-inspirierte Roboterkontrolle

Erich RomeAbteilung Autonome Roboter

Karlsruhe, 24.01.2007

Das MACS-Projekt… VDI-GMA-Fachtagung 24.1.2007, Karlsruhe, IITB

2FP6-004381-MACS

Vortragsübersicht

1. Einleitung

2. MACS-Ansatz zur affordance-inspirierten

Robotersteuerung

3. Zusammenfassung


3FP6-004381-MACS

Das MACS-Projekt

1. Einleitung

• Motivation• EU-Forschungsförderung zu kognitiven Systemen• MACS-Daten• Ausgangspunkt• J.J. Gibsons Affordances

2. MACS-Ansatz zur affordance-inspirierten

Robotersteuerung3. Zusammenfassung


4FP6-004381-MACS

1. Einleitung

Einige Beobachtungen:

Mobile Roboter haben Eingang in Massenproduktiongefunden: Roomba etc.

Mobile Roboter sind immer noch nur eingeschränktalltagstauglich.

Insbesondere sind noch robuste und adaptive mobileInteraktions- und Manipulationsfähigkeiten zuentwickeln.


5FP6-004381-MACS

1. Einleitung

Forschung über Kognitive Systeme:

Artefakte: Wunsch, anspruchsvollere technischeSystemen zu bauen

Biologie: Wunsch, kognitive Fähigkeiten zu verstehen

Ingenieurwissenschaften: Sich von den Life Sciencesinspirieren lassen, technische Systeme zu verbessern

Life Sciences: Benutzung von Computern undRobotersystemen zur experimentellen Validation vonModellen und Theorien

Aber: Es gibt noch keine allgemein anerkannte Methodefür die Konstruktion künstlicher kognitiver Systeme.


6FP6-004381-MACS

1. EU-Forschungsförderung zu Kognitiven Systemen

Einheit E5 „Cognition“, Luxemburg

Teil von IST (FP6, 2002–6) und ICT (FP7, 2007–13)

Calls:

Cognitive Vision Systems (FP5, 1996–2001)

Cognitive Systems (FP6, 2nd IST Call 2003)

Cognitive Systems (FP6, 4th IST Call 2004)

Cognitive Systems (FP7, 1st IST Call 2004)

Cognitive Systems (FP7, 3rd IST Call 2004)

Art der Forschung und Instrumente:Grundlagenforschungsprojekte, IPs, STRePs, CAs,

NoEs


7FP6-004381-MACS

1. Einleitung

Einige Ziele der 2. Ausschreibung im 6. RP der EUzu „Cognitive Systems“:

To construct embodied systems that can perceive,understand, and interact with their environmentwhile performing goal-directed tasks.

Methodologies for the construction of robust andadaptive cognitive systems integrating perception,reasoning, representation and learning.

Non-incremental research, rethink the way artificialcognitive systems are constructed.


8FP6-004381-MACS

1. MACS-Daten

Projektart: STReP

Grant no.: FP6-004381

2. FP6 IST Call: Cognitive Systems

PM: 342, davon 312 gefördert

Projektlaufzeit: Ende 2004 – Ende 2007

Multi-sensory Autonomous Cognitive Systems

interacting with Dynamic Environments for

Perceiving and Using Affordances

EC-Abteilung:

Directorate E,

Unit 5 – Cognition

Luxemburg

Langtitel


9FP6-004381-MACS

1. MACS-Konsortium

Fraunhofer Institute IAIS (Coord.), Sankt Augustin, DRobot control architectures, robot & sensors & autonomous systems design,biologically inspired robot vision

JOANNEUM RESEARCH Forschungsgesellschaft mbH, Graz, AComputer vision, ANN-based sensorimotor learning, mobile mapping

Linköpings Universitet, AI & Integrated Computer Systems Division, S Autonomous systems, knowledge representation, AI planning

Middle East Technical University, Ankara, TREvolutionary & swarm robotics, physics-based modelling & simulation, distributed computing environments

Österreichische Studiengesellschaft für Kybernetik, Vienna, ACognitive modelling & neuroscience, symbol grounding, AI learning


10FP6-004381-MACS

1. Einleitung

Einige Beobachtungen:

Mobile Roboter benutzen oft Wahrnehmungsmethoden,die nicht speziell für diesen Zweck entworfen wurden.

Auf höheren Wahrnehmungsebenen gibt es z.B. eineVorliebe für die Benutzung allgemeiner Methoden dermaschinellen Bilderkennung.

Solche allgemeinen Methoden

sind nicht in den aktorischen Fähigkeiten oderErfahrungen des Roboters verankert und sie

können die Handlungsmöglichkeiten des Roboterszu sehr einschränken.


11FP6-004381-MACS

1. Einleitung

Einige Fragen:

Wie können wir ein „kognitives“ mobiles Robotersystementwerfen, dessen aktorische Fähigkeiten ihm z.B.ermöglichen,

sich an geänderte Situationen anzupassen,

alternative Lösungen für eine Aufgabe zu finden,

mit bekannten und unbekannten Objekten in einersinnvollen und zielgerichteten Weise umzugehen,

Wahrnehmungsmethoden benutzt, die auf seineAufgaben und Handlungsmöglichkeiten zugeschnittensind, d.h. in seinen Handlungen verankert sind?


12FP6-004381-MACS

1. Ausgangspunkt: Gibsons Affordances

Grundlagen von Gibsons Ökologischer Psychologie

Lebewesen und Umgebung sind zueinander komplementär(sie bilden eine Systembeziehung)

➜ „embeddedness”, „situatedness”

Betonung von Studien in der realen Welt

Direkte Wahrnehmung (keine mentalen Repräsentationen)

Abgriff der Informationen aus dem optischen Feld

Früher Forschungsschwerpunkt: durch Bewegung erzeugteInformation (z.B. optischer Fluss)

James Jerome Gibson, 1904–1979:

PsychologeArbeitsgebiet: Visuelle WahrnehmungStudium: Yale UniversityArbeitete später an Cornell University


13FP6-004381-MACS


Grundlagen von Gibsons Affordance-Theorie

Die „abgegriffene“ Information umfasstsichtbare Funktionen (oder Nutzen) eines „Objekts“

Diese Funktionen können unter Benutzungabstrakter Merkmale (bezüglich physischer Eigenschaftendes Lebewesens) beschrieben werden:

„sittable“ (für einen Menschen) ➜kniehohe, waagerechte, stabile Abstützung, bestimmteMindestgröße


14FP6-004381-MACS


Grundlagen von Gibsons Affordance-Theorie

Gibsons Definition von 1979:

„An affordance is a resource or support that the environment offers an animal for action.

The animal must possess the capabilities to perceive and act upon it.“

„The Ecological Approach to Visual Perception“ (1979)


15FP6-004381-MACS


Affordances gegen Objektklassifikation:

Gibson:

„… to perceive an affordance is not to classify anobject.“ (Gibson 1979, p. 134).

„… If you know what can be done with a graspableobject, what it can be used for, you can call itwhatever you please. …You do not have to classifyand label things in order to perceive what theyafford.“ (Gibson 1979, p. 134)


16FP6-004381-MACS


Ein erstes Fazit:

Die Fähigkeit, Affordances wahrzunehmen, d.h.Funktionen von Entities in der Welt wahrzunehmen,befähigt zu mehr Handlungsmöglichkeiten:

Ein Lebewesen (oder Agent) kann sogar wissen, was esmit Entities tun kann, die es nie zuvor wahrgenommenhat.

Aber: Wie unterscheiden wir individuelle Objekte?Wie erkennen wir Exemplare einer Objektart?


17FP6-004381-MACS


Zwei Systeme / Wahrnehmungs-Handlungs-Zyklus

Affordance-System hat sich früh entwickelt,arbeitet bottom-up

Erkennungssystem für Objektinstanzen hat sichspäter entwickelt, arbeitet top-down

Wahrnehmungs-Handlungs-Zyklus als einintegrierender konzeptueller Rahmen

➜ Handlungsorientierte Wahrnehmung (action-oriented perception)Neisser, U. (1967). Cognitive Psychology.

Englewood Cliffs, NJ: Prentice-Hall.


18FP6-004381-MACS

Das MACS-Projekt

1. Einleitung

2. MACS-Ansatz zur affordance-inspiriertenRobotersteuerung• Definitionen• Äquivalenzen und Handlungsmöglichkeiten• Repräsentation, Perzeption und Lernen von Affordances

• Roboterplattform KURT3D und ihre Grundfähigkeiten• Affordance-inspirierte Kontrollarchitektur

3. Zusammenfassung


19FP6-004381-MACS

2. Der MACS-Ansatz

Projektziele:

Repräsentation und Formalisierung von Affordances

Wahrnehmen, Lernen, zielgerichtetes Benutzen vonAffordances

Realisierung eines kompletten, affordance-inspiriertenKontrollsystems

Experimentelle Validierung

Proof of concept mit realem mobilen Roboter in einemkomplexen Stapel-Szenario mit Alltagsobjekten undTrainingsobjekten


20FP6-004381-MACS

2. Der MACS-Ansatz

Standpunkt in MACS:

Traditionelle Wahrnehmung mit Betonung deraussehensorientierten Objekterkennung schränkt dieHandlungsmöglichkeiten eines Roboters ein

Funktionsorientierte Wahrnehmung, die in den Handlungen desRoboters verankert ist (Simulation eines Affordance-Systems),ermöglicht den Bau von Robotern mit größerer Flexibilität undmehr Handlungsmöglichkeiten, insbesondere bei Manipulation

MACS bevorzugt Neissers integrierende Sicht, aber konzentriertsich klar auf Fortschritte bei der Simulation eines affordance-artigen Systems und seiner Verbindung zur deliberativenSteuerung


21FP6-004381-MACS

2. Der MACS-Ansatz

Standpunkt in MACS:

Um Affordances für die deliberative Steuerung(schlussfolgern und planen) zu benutzen, müssen sie ineinem Robotersystem repräsentiert sein.

Eine explizite Repräsentation erfordert eineFormalisierung des Affordance-Begriffs.

Affordances als Relationen zwischen den Fähigkeiten einesLebewesens und Merkmalen in seiner Umgebung(Stoffregen, 2000ff; Chemero, 2003ff)

Eigene formale Charakterisierung zur Vertiefung desVerständnisses:P. Doherty et al.: D4.2.1: Draft Theory of Affordances


22FP6-004381-MACS

2. Der MACS-Ansatz

Basis-Definition:

Affordance (eines Agenten) :Die Affordance (eines Agenten) ist eine Relationzwischen einem Agenten und seiner Umgebung, welcheeine Fähigkeit bietet. Die Agent/Umgebungs-Relationbietet eine Fähigkeit, wenn der Agent

1. wahrnehmen kann, dass er sich in einer solchenRelation mit seiner Umgebung befindet und

2. das Handlungsvermögen hat, diese Fähigkeitumzusetzen.


23FP6-004381-MACS

2. Der MACS-Ansatz

Entity, Wahrnehmungsaspekt der Affordance:

Ein Agent A muss fähig sein, eine Affordancewahrzunehmen.

Der Wahrnehmungsaspekt, auch Entity genannt, bestehtaus einer Menge von Merkmalen der Umgebung und ggf.Informationen über deren räumliche u. zeitlicheEntwicklung über ein bestimmtes Zeitintervall.

Nb: „Entity“ ist i. allg. nicht das Gleiche wie „Objekt“.

Die Beschaffenheit und Güte der Entity-Information hängtvon A’s Wahrnehmungsfähigkeiten ab.


24FP6-004381-MACS

2. Der MACS-Ansatz

Umgebung Agent

AgentAffordance

(Umgebung, Agent)


25FP6-004381-MACS

2. Der MACS-Ansatz

BehaviorEntity

Outcome

Entity: Wahrnehmungsaspekt der Affordance. Relevante Cuesder Umgebung, die Unterstützung für dieWahrnehmung der Affordance bieten.

Behavior: Handlungsaspekt der Affordance im Sinne der Robotik.

Outcome: Geforderte Auswirkung, i. allg. implizit angenommen.

(Outcome, Entity, Behavior)

Umgebung Agent

AgentAffordance


26FP6-004381-MACS

2. Der MACS-Ansatz

Heben

Entity-Äquivalenz: Ein Behavior, das auf verschiedene Entities angewendetwird, erzeugt den gleichen Outcome.Analog: Behavior-Äquivalenz, Affordance-Äquivalenz

{entity}: Charakteristiken einer hebbaren Entity.

Hebbarkeit

Schwarze Dose

Entity gehoben

Blaue Dose

(Outcome, {entity}, Behavior)


27FP6-004381-MACS

2. Der MACS-Ansatz

Definition:

(Agenten-)Affordance Repräsentation:Eine Affordance-Repräsentation ist eine Datenstruktur (Outcome-

Deskriptor, Cue-Deskriptor, Behavior-Deskriptor), wobei

• Outcome-Deskriptor eine Entity-Trajektorie ist, die sowohl

Attributpaare und zugehörige Wertebereiche als auch deren

räumliche und zeitliche Entwicklung enthält,

• Cue-Deskriptor eine Entity-Trajektorie ist, die sowohlAttributpaare und zugehörige Wertebereiche als auch deren

räumliche und zeitliche Entwicklung enthält,

• Behavior-Deskriptor eine Referenz auf ein Roboter-Behavior ist

– reaktiv oder auf höherer Ebene – , optional ergänzt um eine

Menge von Behavior-Parametern.


28FP6-004381-MACS

2. Der MACS-Ansatz

Entity, Wahrnehmungsaspekt der Affordance:

Der Cue-Deskriptor wird gesammelte Information enthalten,

die charakteristisch für die vorhandene Agenten-Affordance

ist, basierend auf A’s Erfahrung. (➜ Lernen)

Einmal gelernt, kann der Cue-Deskriptor benutzt werden, um

eine Affordance wahrzunehmen. (➜ (matched?) filter)

Der Agent kann den Cue-Deskriptor später verfeinern, wenn er

neue Erfahrungen sammelt. (Keine Umetikettierung nötig!)

Mit hinreichender Lernerfahrung enthält der Cue-Deskriptor

im Idealfall unterschiedliche Merkmale, die darauf angepasst

sind, eine Affordance zuverlässig wahrzunehmen.


29FP6-004381-MACS

2. Der MACS-Ansatz

Roboter-Agent KURT3D:2 Kameras

3D-LaserscannerEntfernungs-Sensoren

6 Räder, 2 Antriebsmotoren

3-DOF Kran mit magnetischemGreifer

C167 MC, CAN-bus,eingebauter Notebook-PCmehr ...


30FP6-004381-MACS

2. Der MACS-Ansatz

Grundfähigkeiten zum Wahrnehmen und Handeln:

Visuelle Aufmerksamkeit (bottom-up und top-down)

„Feature detectors“ (Einzel-Sensor, Multi-Sensorik)

Aufbereitung von Scanner-Daten (Freiraum, Hindernisse)

Roaming (benutzt Fahren, Bremsen, Drehen)

Eine Pose anfahren

Verschieben, heben, fallen lassen, befördern, stapeln, ...

Fernsteuerung (für überwachtes Lernen)

Behavior system

Perception module Feature detectors


31FP6-004381-MACS

2. Der MACS-Ansatz

Anfängliche Menge von Agenten-Affordances:

Durchquerbarkeit

Verschiebbarkeit

Hebbarkeit

Ziel:Lernen von Agenten-Affordances, um ein komplexesStapel-Szenario zu meistern, einschließlich trainierterund nicht trainierter Testobjekte, konstruierter„Spielzeug“-Testobjekte und alltäglicher Testobjekte


32FP6-004381-MACS

2. Der MACS-Ansatz

Erwerb von Wissen („bottom up“):

Anfängliche Lernphase:

Erkunde die Umgebung

Manipuliere Entities in der Umgebung (hebe, verschiebe)

Nimm eigene Handlungen wahr (Zeitreihen)

Nimm das Outcome wahr

Lerne die Beziehung zwischen Cue, Behavior und Outcome

Langfristige Perspektive: Permanentes online-Lernen


33FP6-004381-MACS

2. Der MACS-Ansatz


34FP6-004381-MACS

2. Der MACS-AnsatzBenutzung von visueller Aufmerksamkeit zurErkundung („Neugier“)

Grundfähigkeit

VOCUS (bottom-up und top-down)

Bottom-up in Kamerabildern L und R

Berechnen der ungefähren Position mit Triangulation

Anfahren des hervorstechenden Entitys


35FP6-004381-MACS

2. Der MACS-Ansatz

Bottom-up-Wahrnehmung: Anwendung von„feature detectors“

Extrahieren einer Hierarchie von „feature“-Abstraktionen

„Feature detectors“:

Hervorstechendes in Kamera-, Tiefen- und Remissionsbildern

Farb-Blobs

SIFT-Kategorien

Größenverhältnisse der Farb-Blobs

…

Informationsfusion aus 2D- und 3D-Information


36FP6-004381-MACS

Strategieplan hin zur zweckmäßigen Benutzung vonAffordances durch einen künstlichen Agenten

Ausführung (reaktiver) Behaviors (B)

Wahrnehmung eigener Handlungen (➜ Lernen)

Erwerb von Wissen über Cues (C) (➜ Lernen)

Erwerb von Wissen über Outcomes (O) (➜ Lernen)

Aufbau des O-C-B Affordance-Repräsentations-Repositorys

Bereit für zielgerichtetets Verhalten

2. Der MACS-Ansatz – Wissenserwerb

Behavior system


Learning module

Bottom-up-Wissenserwerb

Aff. Repres. Repository


37FP6-004381-MACS

Benutzung des Affordance-Repräsentations-Repositorys

Rückgabe von Behaviorsdie zu einem gegebenen Outcome führen, wenn sie auf einergegebenen Entity ausgeführt werden: {o,c} ➜ {b1, ...}

Rückgabe von Outcomesdie sich ergeben durch Ausführung einer gegebenen Handlungauf einer gegebenen Entity:

{b,c} ➜ {o1, ...}

Rückgabe von Cuesdie ein gegebenes Outcome ergeben durch Ausführung einergegebenen Handlung:

{b,o} ➜ {c1, ...}

2. Der MACS-Ansatz – Afford.-Repräsentations-Repository

Behavior system


Learning module


Repräsentationsanfragen

Deliberation module


38FP6-004381-MACS

Benutzung des Affordance-Repräsentations-Repositorys

Rückgabe von (cues, behavior)-Tupelndie zu einem gegebenen Outcome führen: {o} ➜ {(b1,c1), ...}(➜ Affordance-Äquivalenz)

Rückgabe von (behavior, outcome)-Tupelndie in Relation stehen zu einer gegebenen Entität: {c} ➜ {(b1,o1), ...}(➜ Entity- oder Cue-Äquivalenz)

Rückgabe von (cues, outcome)-Tupeln die in Relation stehen zu einer gegebenen Handlung: {b} ➜ {(c1,o1), ...}(➜ Behavior-Äquivalenz)

2. Der MACS-Ansatz – Afford. Representation Repository

Behavior system


Learning module


Repräsentationsanfragen

Deliberation module


39FP6-004381-MACS

2. Der MACS-Ansatz– Architektur

Spezielle Komponenten

ESGM als Kristallisations-punkt für die Integration


40FP6-004381-MACS

2. Der MACS-Ansatz

Wissensnutzung („top down“):

„Mission“-Phase: Erledige eine gegebene Aufgabe

Mache einen Plan unter Benutzung gelernter Relationen /

Repräsentationen

Benutze für jede Teilaufgabe Cue-Information, um

zielgerichtet nach relevanten Cues zu „suchen“ (bringe den

Roboter in Position)

Benutze äquivalente Deskriptoren, wenn Cue nicht gefunden

wird

Fahre zu Entity

Führe Behavior aus

Prüfe Outcome


41FP6-004381-MACS

Affordance-basierte Planung, Top-down-Wahrnehmung:

Ein Plan ist eine Folge von (outcome, cues, behavior)-Triples

Lege gewünschtes Outcome fest

Hole {Cues}, {Behavior} aus ARR

Wähle einen aus der Menge der Affordance-Deskriptoren

Suche nach Entity-Unterstützung / Cues(➜ EEM, Top-down-Wahrnehmung)

Wähle ein Roboter-Behavior und führe es aus

Prüfe tatsächliches Outcome

Was tun, wenn Entity-Unterstützung / Cues nicht entdecktwerden?

2. Der MACS-Ansatz – Planung

Behavior system

Perception Feature det.

Learning

A. R. Repository Deliberation Planning EE Monitoring Exec. Control


42FP6-004381-MACS

2. Der MACS-Ansatz

Behavior system

Perception Feature det.

Learning

A. R. Repository Deliberation Planning EE Monitoring Exec. Control

Top-down-Wahrnehmung:

Planer übergibt Cue-Deskriptor an EEM

EEM benutzt Cue-Deskriptor um Wahrnehmung zu konfigurieren

Wahrnehmung sucht nach Affordance-Cues

Wahrnehmungs-Modul in Top-down-Modus:

Bestimme Wahrnehmungszustand aus visuellen und propriozeptiven

Merkmalen

Lerne voraussichtliche Wahrnehmungszustände im Kontext der

Affordances

Extrahiere relevante Merkmale aus den voraussichtlichen Zuständen


43FP6-004381-MACS

Affordance-basiertes Planen und Schließen:

Wegen der Konzepte wie Entity-Äquivalenz und Behavior-Äquivalenz ist die skizzierte zielgerichtete Benutzung vonAgenten-Affordances geeignet, größere Flexibiltät bei derErledigung von Aufgaben zu ermöglichen.

Eine explizite Repräsentation von Agenten-Affordances erlaubtdas Schließen über Nutzen oder Funktionen mit Hilfe der BegriffeEntities, Behaviors und Outcomes.

Mittel- und langfristige Forschungsperspektiven:Schaffung bekannter Affordances: Veränderung der Umgebung,WerkzeugbenutzungSchaffung neuer Affordances: Bau von Werkzeugen, Technologie

2. Der MACS-Ansatz


44FP6-004381-MACS

Das MACS-Projekt

1. Einleitung

2. MACS-Ansatz zur affordance-inspiriertenRobotersteuerung

3. Zusammenfassung


45FP6-004381-MACS

MACS: Ansatz zur Robotersteuerung, der inspiriert wurdedurch das Konzept der Affordances von J.J. Gibson

Der Ansatz ist insbesondere eine Mischung von

handlungs- and funktions-orientierter Wahrnehmung,

Erwerb und explizite Repräsentation von Wissen über Nutzen,

zielgerichtete Benutzung solcher Repräsentationeneinschließlich aktivem maschinellen Sehen.

Diese besondere Mischung umfasst NICHT die direkteWahrnehmung, welche der umstrittenste Teil von GibsonsÖkologischer Psychologie ist

Wir ziehen es vor, diese Mischung als “Affordance-inspirierte”Robotersteuerung zu bezeichnen

3. Zusammenfassung


46FP6-004381-MACS

Wir haben neuere Bestrebungen berücksichtigt,Definitionen und Theorien der Affordances voranzutreibenund klarzustellen (Chemero, Stoffregen)

Basierend auf diesen neueren Arbeiten haben wir einenSatz eigener Definitionen entwickelt einschließlich dereiner Agenten-Affordance

Auf Grundlage dieser Definitionen wurden eineFormalisierung und passende repräsentationale Schemataentwickelt

Eine zur Implementierung des vorgeschlagenen Steuerungs-ansatzes passende Steuerungsarchitektur wurde entwickelt

3. Zusammenfassung


47FP6-004381-MACS

Die Robustheit und Allgemeinheit des Ansatzes wird amEnde in einem komplexen Stapel-Szenario demonstriertwerden

Im MACS-Ansatz ist funktionsorientierte Wahrnehmung inden Handlungen des Roboters verankert (welche durchseine Fähigkeiten festgelegt sind), und sie wird in einerzweckmäßigen und zielgerichteten Weise genutzt

Dieses andersartige „ontologische Schneiden“ schafft eineneue Art der Robotersteuerung

3. Zusammenfassung


48FP6-004381-MACS

Das MACS-Projekt www.macs-eu.org

Danke für IhreAufmerksamkeit

Das MACS-Projekt: Affordance-inspirierte Roboterkontrolle · 2009-05-26 · 24.1.2007, Karlsruhe,...

Documents

Transcript of Das MACS-Projekt: Affordance-inspirierte Roboterkontrolle · 2009-05-26 · 24.1.2007, Karlsruhe,...