Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D...

49
Neue Konzepte für Benutzerschnittstellen zum Steuern von mobilen Robotern Steuern von mobilen Robotern Seminar: Mensch-Roboter Interaktion SS 2007 Veranstalter : Prof. Schilling Veranstalter : Prof. Schilling Bearbeiter : Stephan Toth

Transcript of Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D...

Page 1: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Neue Konzepte für Benutzerschnittstellen zum Steuern von mobilen RoboternSteuern von mobilen Robotern

Seminar: Mensch-Roboter Interaktion SS 2007Veranstalter : Prof. SchillingVeranstalter : Prof. SchillingBearbeiter : Stephan Toth

Page 2: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

GliederungEinleitung

AllgemeinBegriffsklärungen

Hauptteil

Haptic Teleoperation of mobile Robotp pComparing the usefulness of Video and Map Information in Navigation Tasks.Time Follower‘s Vision

Zusammenfassung/Ausblick

Page 3: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Einleitung: AllgemeinNavigation eines Roboters

P fPerformance:KollisionenZeit

Intuitivität der Steuerung

Erlernbarkeit der Steuerung

Situational awareness (Situationsverständnis)

Präzisionä s o

Verschiedene Konzepte für Benutzerschnittstellen

Page 4: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

BegriffsklärungVirtual Reality

die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten interaktiven virtuellen Umgebung.

Augmented Reality (Erweiterte Realität)

Mi d R litMixed Reality

Die virtuelle Realität und die Realität sind miteinander kombiniert (teilweise überlagert)(teilweise überlagert). Interaktivität in Echtzeit Reale und virtuelle Objekte stehen 3-Dimensional zueinander in BezugBezug.

Page 5: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Haptic Teleoperation of a p pmobile Robot : A user Study

Einleitung:

Teleoperation zur Navigation in unbekannten Gebieten.Sensorbasierte Hindernisvermeidung vor allem bei dynamischen Umgebungen oder bei hoher Geschwindigkeit. (Safe-Teleoperation)Konflikt zwischen Benutzersteuerung und Hindernisvermeidung des RobotersLösungsansatz : Force FeedbackLösungsansatz : Force-FeedbackPerformance-Verbesserung :

Genaueres Umsteuern von HindernissenGenaueres Umsteuern von HindernissenWeniger KollisionenLeichtere Erlernbarkeit der Steuerung..

Page 6: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Force Feedbackhaptische Rückmeldungen

Einsatzbereiche:

TelerobotikVirtual RealityVirtual RealityRobotikTraininggEntertainmentLuftfahrt …..

Page 7: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Kommerzielle Force FeedbackKommerzielle Force Feedback Geräte

Phantom

CyberGrasp

Page 8: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Autofahren-Metapher

Page 9: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Kraft-Berechnung

Prozess:

Page 10: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Kraft-BerechnungFrage: Wie werden die Kräfte am Force-Feedback-Gerät erzeugt?erzeugt?

Zwei Arten von KräftenVon der Umgebung erzeugte Kraft Kollisions-vorbeugende Kraft

Gesamtkraft

Page 11: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Von der Umgebung erzeugte g g gKraft

Sehr ähnlich zur „traditionellen“ Potentialfeld-Methode

UnterschiedeKeine anziehende KraftN Hi d i i l t B i h d it i b h tNur Hindernisse im relevanten Bereich werden mit einberechnet.Entscheidend : Nicht der Durchschnitt oder Summe zählt, sondern das Maximum

Kraft tritt auf ab einem Mindestabstand und ist indirekt proportional zum tatsächlichen Abstand des Hindernisses.

P oblem ti h Robote p nktfö mig modellie tProblematisch : Roboter punktförmig modelliertLösung : Hindernisse vergrößern

Page 12: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Genaue Berechnung

Page 13: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Von der Umgebung erzeugte g g gKraft

Page 14: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Kollisions-vorbeugende KraftBerechnet sich aus möglichen Drehwinkeln und den Abständen zu den Hindernissen vor und hinter dem Roboter.

Zwei Arten von Drehwinkeln : mit/gegen den Uhrzeigersinn.

Page 15: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Kollisions-vorbeugende Kraft

Page 16: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Kollisions-vorbeugende Kraft

Z-Komponente der Kraft indirekt proportional zu , analog.frontd reard

Page 17: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Kollisions-vorbeugende Kraft

Z-Komponente der Kraft ist indirekt proportional zu , .frontd reard

X-Komponente der Kraft:B h t i h l ti U t hi dBerechnet sich aus relativem Unterschied zwischen rechts möglichen und links möglichen DrehwinkelDrehwinkel.

Page 18: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Kollisions-vorbeugende Kraft

Beispiel für plötzlichen Kraftanstieg

Page 19: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Umsetzung eines haptischen g pTeleoperation Systems

Activemedia Pioneer 2 DX Roboter2-DX Roboter

SLICK LMS-200 Laser Scanner (vorne)

8 Ultraschall Sensoren (hinten)

Sony EVID-30Sony EVID-30 Kamera

Ph tPhantom

Page 20: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Systemarchitektur

Page 21: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Experiment 1: Virtuelle pUmgebung

Test : 20 Testpersonen, 3 DurchläufeTestumgebung

3 Testmodi:NF : Kein Force-Feedback EF-only : Nur von der UmgebungEF only : Nur von der Umgebung

erzeugt KraftEF&CF : Von der Umgebung erzeugte

Kraft + Kollisions-vorbeugende Kraft

Page 22: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Ergebnisse

Page 23: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Ergebnisse

Page 24: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

ErgebnisseKollisionsanzahl

Siehe Diagramm 1 20

25

30

g

GeschwindigkeitSiehe Diagramm 2 0

5

10

15

R 1 R 2 R 3

NFEFEF&CF

g

Minimaler Abstand zum Hindernis nimmt zu

Run 1 Run 2 Run 3

0 2

0,25

0,3

0,35

0,4

NF

Kollisionsgeschwindigkeit nimmt ab

0

0,05

0,1

0,15

0,2

Run1 Run 2 Run 3

EFEF&CF

Lernkurve Siehe Skizze

Page 25: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Experiment 2: Reale pUmgebung

Testumgebung

3 Testmodi:NF : Kein Force-Feedback EF only : Nur von der UmgebungEF-only : Nur von der Umgebung

erzeugt KraftEF&CF : Von der Umgebung erzeugte

Kraft + Kollisions-vorbeugende Kraft

Page 26: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Ergebnisse

45678

NF390

440

490

NFEF

01234

Kollsionen

EFEF&CF

240

290

340

Time

EFEF&CF

Page 27: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

ErgebnissePerformance : Bewerten Sie die Steuerung !Frage 1 : Wie sehr fühlt man die Umgebung?Frage 1 : Wie sehr fühlt man die Umgebung?Frage 2: Fühlt sich die Umgebung an wie Bilder an denen Sie waren oder eher wie Orte die Sie schon besucht haben?Frage 3 : Was war stärker das Gefühl im Labor zu sein oder in der Testumgebung?

Page 28: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

ZusammenfassungLaut Versuchen : Steuerung fühlt sich subjektiv gesehen besser angesehen besser an.

Die Testpersonen fühlen sich enger an der echten Umgebung

f k b b dDie Informationen können besser verarbeitet werden.Performance wird verbessert.Sicherheit wird erhöhtSicherheit wird erhöht.Steuerung wird erleichtert.Am besten Force-Feedback mit den von derAm besten Force Feedback mit den von der Umgebung erzeugten Kraft und der Kollisions-vorbeugenden Kraft.

Page 29: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Comparing the Usefulness of Video andComparing the Usefulness of Video and Map Information

Einleitung:N l i i d Vid d/ dNormalerweise wird Video und/oder Abstandsinformation zur Navigation genutzt

Beide haben Vor- und NachteileZ.B. Video: Hohes Informationsmaß, enger Blickwinkel, g

In diesem Paper wird untersucht, wie nützlich die Video- oder Abstandsinformationen bei einem 2D oder 3D augmented-virtuality Interface sind.

Page 30: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Experiment : Virtuelle pUmgebung

Aufbau : Labyrinth ohne Sackgassen

Page 31: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

AufbauDie Benutzerschnittstellen, 24 Testpersonen

2D-Interface 3D-InterfaceAnordnung: Nebeneinander Annordnung: Integriert

Page 32: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Ergebnisse

Page 33: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Ergebnisse

300

400

2D video2D id

20

25

2D video2D id

0

100

200

Zeit

2D map+video2D map3D video3D map video3D map 0

5

10

15

Ko llis io nen

2D map+video2D map3D video3D map video3D map

Map-only vs Video-only signifikant besser.

2D/3D : Map-only zu Map+Video Unterschiede sehr gering.

Si ifik t L t ti b i d B t M VidSignifikanter Lernratenanstieg bei den Benutzern von Map+Video.

3D signifikant besser als 2D

Page 34: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Experiment: Reale Umgebung

Aufbau

Page 35: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

AufbauDie Benutzerschnittstellen

2D-Interface 3D-Interface

Page 36: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Ergebnisse

Page 37: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Ergebnisse

350 50

050

100150200250300

Video2D map+video2D map3D map video3D map

0

10

20

30

40Video2D map+video2D map3D map video3D map

Tendenz : Ähnlich wie bei virtueller Umgebung

Auf realer Karte haben die Video-Informationen ein stärkeren Effekt

Z eit Ko llis io nen

Auf realer Karte haben die Video Informationen ein stärkeren Effekt.

3D-Map mit integrierten Video absoluter Testsieger

Page 38: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

ZusammenfassungVideoinformationen bringen nicht immer auf Anhieb einen positiven Effekt.einen positiven Effekt.

Signifikanter Lernratensanstieg mit Video I f tiInformation.

Optimal ist die Videoinformationen direkt in die KarteOptimal ist die Videoinformationen direkt in die Karte einzubinden.

Vermeidet konkurrierende Informationssysteme

Am besten im Test: 3D-Interface + Video

Page 39: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Time Follower‘s VisionKameraführung bei Teleoperationp

Egozentrische Ansicht :P bl ti h P ktiProblematisch wegen Perspektive Schwer einzuschätzen wo man ist und wie die Entfernungen sind.

Exozentrische Ansicht :Fahrzeug wird unnötig g gvergrößert.

LösungsansatzLösungsansatzVirtuelle exozentrische Ansicht

Page 40: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Egozentrische Ansicht :

Page 41: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Exozentrische Ansicht

Page 42: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Virtuelle exozentrische Ansicht

Page 43: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Architektur

Page 44: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

BilderselektionMethode 1 : Konstante Zeitverzögerung

Methode 2 : Berechnung der Position die einen bestimmten Abstand hinter demeinen bestimmten Abstand hinter dem Fahrzeug ist.

Methode 3 : Selektiert das Bild, bei dem Position und Richtung des Fahrzeugs am h l h l l f kähnlichsten waren mittels Evaluationsfunktion

und passt den Blickwinkel an.

Page 45: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Experiment

Page 46: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Ergebnisse

Page 47: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

Ergebnisse

Page 48: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

ZusammenfassungAlle drei Methoden zur Bildergenerierung sind echte Alternativen zur echten exozentrischen Ansicht.Alternativen zur echten exozentrischen Ansicht.

Annähernd so gute Ergebnisse in den Tests, wie bei h ik li h i t lli t Kphysikalisch installierter Kamera.

Sehr intuitive SteuerungSehr intuitive Steuerung.

Vorteil: Fahrzeug bleibt klein und somit wendig.Keine exozentrische Kamera nötig.

Page 49: Neue Konzepte für Benutzerschnittstellen zum Steuern von ......EF&CF Lernkurve Siehe ... 400 2D video 2D id 20 25 2D video 2D id 0 100 200 Zeit 2D map+video 2D map 3D video 3D map

FazitAlle Ansätze haben nachweislich Verbesserungen in der Steuerung gebracht.

Verbesserung der Durchschnittsgeschwindigkeit war kaum zu erkennen. Allerdings während sich die Kollisionsraten drastisch verringerten war nur ein geringer Geschwindigkeitsverlust zu erkennen.nur ein geringer Geschwindigkeitsverlust zu erkennen.

Verbesserung der Präzision in allen Ansätzen.

Kombination/Synthese der verschiedenen Ansätze.z.B. Force-Feedback und 3D-Kartierung mit integriertem Video.

In Zukunft noch viel möglich.

Tendenz : Engere Verschmelzung von VR und Realität.