http://www.lsr.ei.tum.de

Laser-pointer based HRI

Paul-Émile ArnalyChristian Knapp

Lehrstuhl für Steuerungs- und RegelungstechnikTechnische Universität München

Abschlusspräsentation

Betreuer: Dr.-Ing. Drazen Brscic

Agenda

Aufgabenstellung und Projektziel

Projektverlauf und Lösungsansätze

Ergebnisse

2

Projektziel

• Implementierung Laserpunkt Verfolgung in Kamerabildern

• Implementierung Mausinterface• Detektion der Projektion, Kamera

Selbstkalibrierung• Test: Laserpointer basierte

“Fernbedienung” eines interaktiven Programms wie z.B. Google Earth

• Eventuell: Übertragung auf Roboterinterface

3

Teilaufgaben

Hardware

• Logitech Webcam Pro 9000– Auflösung: 640x480– 25 fps– Automatische Blendenwahl

• Imaging Source DFK 21F04– Auflösung: 320x240– 30 fps– Manuelle Blendenwahl am

Objektiv

4

• Mit Hintergrundsubstraktion

Laserpunkterkennung

• Ohne Hintergrundsubstraktion

5

Schwellwertbildung: eine Stufe unter sum(Bild)=0Schwellwertbildung: eine Stufe unter sum(Bild)=0

Position des ersten pix > 0 ist Laserpunkt

Position des ersten pix > 0 ist Laserpunkt

Kein Laserpunkt

im Bild

Kein Laserpunkt

im Bild

Wenn Schwellwert unter SchwellwertuntergrenzeWenn Schwellwert unter Schwellwertuntergrenze

Reduzierung Schwellwert um 7

Stufen

Reduzierung Schwellwert um 7

Stufen

Suche ersten pix>0 & Abstand zu erstem LP>20

Suche ersten pix>0 & Abstand zu erstem LP>20

Wenn Suche über gesamtes Bild nicht erfolgreich

Wenn Suche über gesamtes Bild nicht erfolgreich

Zweiter Laserpunkt im

Bild

Zweiter Laserpunkt im

Bild

Kein zweiter Laserpunkt

Kein zweiter Laserpunkt

Mausansteuerung

• Klick erfolgt nicht gleichzeitig mit erscheinen des Laserpunkts• Ansteuerungsschwierigkeiten

– Zeigen nicht möglich• Zeigen /aus/ein -> Klick

• Scroll mit zwei Laserpointern– Maus kommt in die Mitte

• Scroll auf der Seite– Sicherer, akkurater

• Geringe Geschwindigkeit– Gut für Google Earth/Maps– Zu langsam beim Dokumentscrolling

6

t1 sec

Befehlsinterpretation

• 0: Kein Laserpunkt erkannt• 1: Ein Laserpunkt erkannt im Hauptfeld erkannt• N: Ein Laserpunkt im Zoomfeld erkannt• 2: Zwei Laserpunkte erkannt• *: Laserpunkt neben letzte bekannte Position• t: Timer

7

Verzerrungskorrektur

• Fullscreen schwarz/weiß

• Hintergrund-substraktion

8

• Canny Edge Detector

• Hough line Filter• Selektion der 4

Richtigen Linien• Schnittpunkte ergeben

korrespondierende Ecken

Zusammenfassung

Ergebnisse

• Genauigkeit ausreichend für grundlegende Interaktion

• Gute Nutzbarkeit unter „Normalen“ Umgebungsbedingungen

• Energieschwache Laserpointer nutzlos

Aufgaben für zukünftige Arbeit

• Erhöhung der Auflösung der Kamera

• Automatische Einstellung der Schwellwertuntergrenze und sonstigen Kameraparametern

• Automatisierung der Blendeneinstellung

• Benutzerfreundlichkeit

9

Ausblick

• Zeitlicher Signal im Laserstrahl• Farblicher Signal im Laserstrahl

• 3D Erweiterung: Stereoskopisches Verfahren– Farben 3D

– Polarisation 3D

– „Image Switch“ 3D (Active 3D mit LCD Brillen)

10

t

Ausblick - Videoprojektorroboter

11

Dr. Matsumaru's Bio-Robotics & Human-Mechatronics Laboratory (2008)Star Wars - George Lucas (1977)

3M ultra mini Video Projektor

Vorführung

• Programvorführung …

1212

Fragen & Diskussion

13