Neue Konzepte für Benutzerschnittstellen zum Steuern von mobilen RoboternSteuern von mobilen Robotern

Seminar: Mensch-Roboter Interaktion SS 2007Veranstalter : Prof. SchillingVeranstalter : Prof. SchillingBearbeiter : Stephan Toth

GliederungEinleitung

AllgemeinBegriffsklärungen

Hauptteil

Haptic Teleoperation of mobile Robotp pComparing the usefulness of Video and Map Information in Navigation Tasks.Time Follower‘s Vision

Zusammenfassung/Ausblick

Einleitung: AllgemeinNavigation eines Roboters

P fPerformance:KollisionenZeit

Intuitivität der Steuerung

Erlernbarkeit der Steuerung

Situational awareness (Situationsverständnis)

Präzisionä s o

Verschiedene Konzepte für Benutzerschnittstellen

BegriffsklärungVirtual Reality

die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten interaktiven virtuellen Umgebung.

Augmented Reality (Erweiterte Realität)

Mi d R litMixed Reality

Die virtuelle Realität und die Realität sind miteinander kombiniert (teilweise überlagert)(teilweise überlagert). Interaktivität in Echtzeit Reale und virtuelle Objekte stehen 3-Dimensional zueinander in BezugBezug.

Haptic Teleoperation of a p pmobile Robot : A user Study

Einleitung:

Teleoperation zur Navigation in unbekannten Gebieten.Sensorbasierte Hindernisvermeidung vor allem bei dynamischen Umgebungen oder bei hoher Geschwindigkeit. (Safe-Teleoperation)Konflikt zwischen Benutzersteuerung und Hindernisvermeidung des RobotersLösungsansatz : Force FeedbackLösungsansatz : Force-FeedbackPerformance-Verbesserung :

Genaueres Umsteuern von HindernissenGenaueres Umsteuern von HindernissenWeniger KollisionenLeichtere Erlernbarkeit der Steuerung..

Force Feedbackhaptische Rückmeldungen

Einsatzbereiche:

TelerobotikVirtual RealityVirtual RealityRobotikTraininggEntertainmentLuftfahrt …..

Kommerzielle Force FeedbackKommerzielle Force Feedback Geräte

Phantom

CyberGrasp

Autofahren-Metapher

Kraft-Berechnung

Prozess:

Kraft-BerechnungFrage: Wie werden die Kräfte am Force-Feedback-Gerät erzeugt?erzeugt?

Zwei Arten von KräftenVon der Umgebung erzeugte Kraft Kollisions-vorbeugende Kraft

Gesamtkraft

Von der Umgebung erzeugte g g gKraft

Sehr ähnlich zur „traditionellen“ Potentialfeld-Methode

UnterschiedeKeine anziehende KraftN Hi d i i l t B i h d it i b h tNur Hindernisse im relevanten Bereich werden mit einberechnet.Entscheidend : Nicht der Durchschnitt oder Summe zählt, sondern das Maximum

Kraft tritt auf ab einem Mindestabstand und ist indirekt proportional zum tatsächlichen Abstand des Hindernisses.

P oblem ti h Robote p nktfö mig modellie tProblematisch : Roboter punktförmig modelliertLösung : Hindernisse vergrößern

Genaue Berechnung

Von der Umgebung erzeugte g g gKraft

Kollisions-vorbeugende KraftBerechnet sich aus möglichen Drehwinkeln und den Abständen zu den Hindernissen vor und hinter dem Roboter.

Zwei Arten von Drehwinkeln : mit/gegen den Uhrzeigersinn.

Kollisions-vorbeugende Kraft

Kollisions-vorbeugende Kraft

Z-Komponente der Kraft indirekt proportional zu , analog.frontd reard

Kollisions-vorbeugende Kraft

Z-Komponente der Kraft ist indirekt proportional zu , .frontd reard

X-Komponente der Kraft:B h t i h l ti U t hi dBerechnet sich aus relativem Unterschied zwischen rechts möglichen und links möglichen DrehwinkelDrehwinkel.

Kollisions-vorbeugende Kraft

Beispiel für plötzlichen Kraftanstieg

Umsetzung eines haptischen g pTeleoperation Systems

Activemedia Pioneer 2 DX Roboter2-DX Roboter

SLICK LMS-200 Laser Scanner (vorne)

8 Ultraschall Sensoren (hinten)

Sony EVID-30Sony EVID-30 Kamera

Ph tPhantom

Systemarchitektur

Experiment 1: Virtuelle pUmgebung

Test : 20 Testpersonen, 3 DurchläufeTestumgebung

3 Testmodi:NF : Kein Force-Feedback EF-only : Nur von der UmgebungEF only : Nur von der Umgebung

erzeugt KraftEF&CF : Von der Umgebung erzeugte

Kraft + Kollisions-vorbeugende Kraft

Ergebnisse

Ergebnisse

ErgebnisseKollisionsanzahl

Siehe Diagramm 1 20

25

30

g

GeschwindigkeitSiehe Diagramm 2 0

5

10

15

R 1 R 2 R 3

NFEFEF&CF

g

Minimaler Abstand zum Hindernis nimmt zu

Run 1 Run 2 Run 3

0 2

0,25

0,3

0,35

0,4

NF

Kollisionsgeschwindigkeit nimmt ab

0

0,05

0,1

0,15

0,2

Run1 Run 2 Run 3

EFEF&CF

Lernkurve Siehe Skizze

Experiment 2: Reale pUmgebung

Testumgebung

3 Testmodi:NF : Kein Force-Feedback EF only : Nur von der UmgebungEF-only : Nur von der Umgebung

erzeugt KraftEF&CF : Von der Umgebung erzeugte

Kraft + Kollisions-vorbeugende Kraft

Ergebnisse

45678

NF390

440

490

NFEF

01234

Kollsionen

EFEF&CF

240

290

340

Time

EFEF&CF

ErgebnissePerformance : Bewerten Sie die Steuerung !Frage 1 : Wie sehr fühlt man die Umgebung?Frage 1 : Wie sehr fühlt man die Umgebung?Frage 2: Fühlt sich die Umgebung an wie Bilder an denen Sie waren oder eher wie Orte die Sie schon besucht haben?Frage 3 : Was war stärker das Gefühl im Labor zu sein oder in der Testumgebung?

ZusammenfassungLaut Versuchen : Steuerung fühlt sich subjektiv gesehen besser angesehen besser an.

Die Testpersonen fühlen sich enger an der echten Umgebung

f k b b dDie Informationen können besser verarbeitet werden.Performance wird verbessert.Sicherheit wird erhöhtSicherheit wird erhöht.Steuerung wird erleichtert.Am besten Force-Feedback mit den von derAm besten Force Feedback mit den von der Umgebung erzeugten Kraft und der Kollisions-vorbeugenden Kraft.

Comparing the Usefulness of Video andComparing the Usefulness of Video and Map Information

Einleitung:N l i i d Vid d/ dNormalerweise wird Video und/oder Abstandsinformation zur Navigation genutzt

Beide haben Vor- und NachteileZ.B. Video: Hohes Informationsmaß, enger Blickwinkel, g

In diesem Paper wird untersucht, wie nützlich die Video- oder Abstandsinformationen bei einem 2D oder 3D augmented-virtuality Interface sind.

Experiment : Virtuelle pUmgebung

Aufbau : Labyrinth ohne Sackgassen

AufbauDie Benutzerschnittstellen, 24 Testpersonen

2D-Interface 3D-InterfaceAnordnung: Nebeneinander Annordnung: Integriert

Ergebnisse

Ergebnisse

300

400

2D video2D id

20

25

2D video2D id

0

100

200

Zeit

2D map+video2D map3D video3D map video3D map 0

5

10

15

Ko llis io nen

2D map+video2D map3D video3D map video3D map

Map-only vs Video-only signifikant besser.

2D/3D : Map-only zu Map+Video Unterschiede sehr gering.

Si ifik t L t ti b i d B t M VidSignifikanter Lernratenanstieg bei den Benutzern von Map+Video.

3D signifikant besser als 2D

Experiment: Reale Umgebung

Aufbau

AufbauDie Benutzerschnittstellen

2D-Interface 3D-Interface

Ergebnisse

Ergebnisse

350 50

050

100150200250300

Video2D map+video2D map3D map video3D map

0

10

20

30

40Video2D map+video2D map3D map video3D map

Tendenz : Ähnlich wie bei virtueller Umgebung

Auf realer Karte haben die Video-Informationen ein stärkeren Effekt

Z eit Ko llis io nen

Auf realer Karte haben die Video Informationen ein stärkeren Effekt.

3D-Map mit integrierten Video absoluter Testsieger

ZusammenfassungVideoinformationen bringen nicht immer auf Anhieb einen positiven Effekt.einen positiven Effekt.

Signifikanter Lernratensanstieg mit Video I f tiInformation.

Optimal ist die Videoinformationen direkt in die KarteOptimal ist die Videoinformationen direkt in die Karte einzubinden.

Vermeidet konkurrierende Informationssysteme

Am besten im Test: 3D-Interface + Video

Time Follower‘s VisionKameraführung bei Teleoperationp

Egozentrische Ansicht :P bl ti h P ktiProblematisch wegen Perspektive Schwer einzuschätzen wo man ist und wie die Entfernungen sind.

Exozentrische Ansicht :Fahrzeug wird unnötig g gvergrößert.

LösungsansatzLösungsansatzVirtuelle exozentrische Ansicht

Egozentrische Ansicht :

Exozentrische Ansicht

Virtuelle exozentrische Ansicht

Architektur

BilderselektionMethode 1 : Konstante Zeitverzögerung

Methode 2 : Berechnung der Position die einen bestimmten Abstand hinter demeinen bestimmten Abstand hinter dem Fahrzeug ist.

Methode 3 : Selektiert das Bild, bei dem Position und Richtung des Fahrzeugs am h l h l l f kähnlichsten waren mittels Evaluationsfunktion

und passt den Blickwinkel an.

Experiment

Ergebnisse

Ergebnisse

ZusammenfassungAlle drei Methoden zur Bildergenerierung sind echte Alternativen zur echten exozentrischen Ansicht.Alternativen zur echten exozentrischen Ansicht.

Annähernd so gute Ergebnisse in den Tests, wie bei h ik li h i t lli t Kphysikalisch installierter Kamera.

Sehr intuitive SteuerungSehr intuitive Steuerung.

Vorteil: Fahrzeug bleibt klein und somit wendig.Keine exozentrische Kamera nötig.

FazitAlle Ansätze haben nachweislich Verbesserungen in der Steuerung gebracht.

Verbesserung der Durchschnittsgeschwindigkeit war kaum zu erkennen. Allerdings während sich die Kollisionsraten drastisch verringerten war nur ein geringer Geschwindigkeitsverlust zu erkennen.nur ein geringer Geschwindigkeitsverlust zu erkennen.

Verbesserung der Präzision in allen Ansätzen.

Kombination/Synthese der verschiedenen Ansätze.z.B. Force-Feedback und 3D-Kartierung mit integriertem Video.

In Zukunft noch viel möglich.

Tendenz : Engere Verschmelzung von VR und Realität.