Entwicklungsstand humanoider Roboter und potentielle ... · Innovationskongress IGES Institut 14...

17.11.2006http://www.ira.uka.de

Entwicklungsstand humanoider Roboter

und potentielle Einsatzperspektiven in

menschenzentrierter Umgebung

Rüdiger Dillmann

Karlsruhe Institute of Technology (KIT)

Fakultät für Informatik

wwwiaim.ira.uka.de

Innovationskongress IGES Institut 23.10.2008, Berlin2

Roboter in privater Umgebung

Hilfe im Alltag

Mobilität

Kompensation physischer Einschränkungen

Unterhaltung


Potentielle Einsatzbereiche

von Assistenzroboter

Quelle: Toyota Motor Corporation – Robot Technologies, 2007


Assistenzroboter - Beispiele


Sonderforschungsbereich 588:

Humanoide Roboter -

Lernende und kooperierende multimodale Roboter

Methoden und Konzepte für humanoide Roboter in Alltagsumgebungen 2001 - 2012

Förderung: Deutsche Forschungsgemeinschaft (DFG)

Interdisziplinäres Forschungsprojekt

Projektpartner

- Universität Karlsruhe

- Forschungszentrum Informatik Karlsruhe (FZI)

- Forschungszentrum Karlsruhe (FZK)

- Fraunhofer IITB, Karlsruhe

http://www.sfb588.uni-karlsruhe.de/


Humanoide Roboter

Asimo, Honda, Japan

Wabian, Waseda University, Japan

HRP-2, Kawada Industries, Japan

(Ikeuchi Lab)


Humanoide Roboter in Karlsruhe

ARMAR-IIIa, 2006ARMAR-II, 2002ARMAR, 2000

ARMAR-IIIb, 2008


Einsatzszenario: Alltagsumgebung


Humanoider Roboter ARMAR-III

7-DOF Leichtbauarme

Positions- und Drehmoment-sensoren

Kraft-Momenten-Sensoren

Sensitive Haut

7 DOF- Roboterkopf

Zwei Farbkameras pro Auge

6 Mikrofone

3 DOF-Torso

2 Embedded Rechner

10 DSP/FPGA Rechnereinheiten

Holonome Antriebsplattform

Drei Laserscanner

3 Embedded Rechner

2 Akkus


ARMAR-III: Kopf

Two cameras per eye

• wide-angle lens for

peripheral vision

• narrow-angle lens

for foveated vision

six microphones and six

channel microphone

pre-amplifier with

integrated phantom

power supply

7 DOF

• 4 DOF neck

• 3 DOF eyes

6D inertial sensor


ARMAR III: 5-Finger Hände

• Pneumatic actuated humanoid

five-finger hand.

• Lightweight: 250g.

• Compliant parallel kinematics with 8

DoFs (2 coupled joints).

• Position control

Haptic sensor suite

• 8 Position sensors, one per DoF

• 6 Pressure sensors for torque sensing

• 3 tactile skin segments at finger tips

Redundant contact sensing and localization

Suited for impedance control

10-fold Miniature Valve Bench

Integrated Position Sensors

Miniature Pneumatic Actuators

Pressure Sensors


Offline Greifplanung

Für jedes Objekt werden Griffe berechnet und zusammen mit den Objektmodeln abgespeichert.

Ein Griff wird definiert durch:

Griff Typ

Greif Startpunkt

Annährungsrichtung

Handorientierung

Simulation Umgebung: GraspIt!

Hook Cylindrical Spherical Pinch Tripod


Bewegungsplannung und Kollisionsvermeidung

Vereinfachte 3D Modele des Roboters und seiner Umgebung

Kombination und Evaluierung verschiedener Techniken

• Multi-resolution planning

• RRT-Connect

• Quinlan‘s free-bubbles

• Enlarged robot models

• Lazy path validation


Objekterkennung und -lageschätzung

• Erkennung einfarbiger Objekte

Farbsegmentierung

Ansichtsbasierte Erkennung

Modellbasierte Generierung von Ansichten

6D-Lageschätzung durch Kombination von Stereo-Sehen und abgespeicherter Orientierungsinformation

• Erkennung texturierter Objekte

Erkennung auf der Basis lokalerMerkmale (SIFT)

2D-Lokalisierung auf der Basis vonMerkmalskorrespondenzen

6D-Lageschätzung unter Ausnutzungvon Stereo-Sehen

Korrespondenzen zwischen eingelernter und

aktueller Sicht


Greifen mit Hilfe von Visual Servoing


Erste integrierte Demonstration


Erfassung und Analyse menschlicher Bewegungen


Erfassung menschlicher Bewegungen

Nebenläufige BewegungenSequentielle Bewegungen


Audio-visuelle Personenverfolgung Video

Sensorik: On-board: Stereokamera

+ 2..8 Mikrophone

Extern: 2..n monokulare Kameras + 4-Kanal Mikrofonarrays

Merkmale: Individuelle Farbmodelle,

Detektoren für Kopf und Oberkörper, Differenzbilder

Methode: Gemeinsamer

Partikelfilter für A/V Beobachtungen, Lokale Merkmalsberechnung zum Erreichen von Echtzeit


ID

Gesichtserkennung

Pro Person ca. 3 min. Datenmaterial

Kopfdrehung annotiert durch magnetischen Motion Tracker

Unterschiedliche Beleuchtungen + Räume (Gang, Küche, Büros, Poolraum,…)

Technologie: Local Appearance Based Models, DCT, Normalisierungs- und Fusionsverfahren

Ort: SFB Küche

Innovationskongress IGES Institut 23.10.2008, Berlin2117.11.2006http://wwwiaim.ira.uka.de

Interaktives Lernen - Sprache & Dialog

Interaktives Lernen neuer Wörter und Begriffe

Lernen von neuen Wörtern und Einordnung neuer Begriffe in die Ontologie

Anpassung der Dialogstrategie an die Benutzerbedürfnisse

Interaktive Lernmethoden

- Untersuchung von Engagement-Strategien und

Aufmerksamkeit zur Initiierung von Dialogen

- Lernen von Gesichtern und Namen während der Interaktion

Halbautomatische Generierung von hybriden Sprachmodellen

Innovationskongress IGES Institut 23.10.2008, Berlin2217.11.2006http://wwwiaim.ira.uka.de

Interaktives Lernen - Handlungswissen

Modellierung von Handlungen

Zweihändige, feinmotorische Handhabungen

Synchronisation zwischen den Händen

Probabilistische Handlungsmodelle zur Erkennung der Teilziele unter Berücksichtigung von Objektrollen

Wiedererkennung von (Teil-) Handlungen

Entwicklung von Ähnlichkeitsmaßen für komplexe Handlungen

Relevanzmodelle einzelner Merkmale von Handlungen


Humanoide Roboter mit kognitiven Eigenschaften

Roboter soll durch Exploration seiner Umgebung

die Zusammenhänge zwischen seinen

Aktionen und der wahrgenommenen Welt

erlernen

Exploratives Lernen bis hin zu Teaching oder

Coaching durch den Menschen

Roboter soll kausale Zusammenhänge

"entdecken“.

Das Erkennen und das wiederholte Ausführen

von „Ereignisketten“ zeigt an, dass der Roboter

Sinnzusammenhänge begriffen hat, was einen

ersten Schritt in Richtung Kognition darstellt.


Was können humanoide Roboter heute?

• Schlüsselfähigkeiten für zukünftige Technologien

Mensch-Maschine Interaktion

Natürliche Dialoge

Lernen von Handlungswissen und Aufgaben

Adaption an wechselnden Situationen

Feinfühlige Manipulation (visuelle und haptische Sinne)

Beherrschung mechatronischer Systeme mit hoher Bewegungsfreiheit

Modulare und skalierbare Rechnersysteme


Was können wir künftig erwarten?

• Schlüsselfähigkeiten und Technologien

Multimodale Dialoge

Situationserfassung und Situationsbewertung

Verstehen menschlicher Handlungen

Autonomes Entscheiden und Problemlösen

Anpassung und Personalisierung

Robuste Anwendungen im Alltag und in öffentlichen Bereichen

Gedächtnisstrukturen

Selbstüberwachung

...


Vielen Dank für Ihre Aufmerksamkeit

Rüdiger Dillmann

http://wwwiaim.ira.uka.de

Weitere Informationen zum SFB588 unter:

http://www.sfb588.uni-karlsruhe.de

Entwicklungsstand humanoider Roboter und potentielle ... · Innovationskongress IGES Institut 14...

Documents

Transcript of Entwicklungsstand humanoider Roboter und potentielle ... · Innovationskongress IGES Institut 14...