Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt02

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt03

Motivation

• Erweiterung der Realität mit virtueller Information in Echtzeit• Überzeugende Gestaltung der AR• Intuitive Benutzung des AR Systems• Verwirrung vermeiden

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt04

Voraussetzungen

• Natürliche Einbeziehung virtueller Elemente in die Realität• Geometrisch korrekte Anordnung• Implementierung von Wechselwirkungen

• Visuelle Effekte• Physikalische Effekte

• Menge virtueller Information

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt05

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt06

Grasp 1.2 Augmented Vision System

• User Interaction and Visualisation (UI&V) Group der European Computer-Industry Research Centre GmbH (ECRC) • Einfaches Basissystem zur Erforschung grundlegender Technologien

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt07

Grasp 1.2 SystemHardware-Struktur

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt08

Grasp 1.2 SystemLuminance Keying

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt09

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt10

Darstellung der Realität

• Modellbasierter Ansatz• Tiefenbasierter Ansatz

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt11

Modellbasierter Ansatz

• Darstellung des realen Objekts durch virtuelles Modell• Deckungsgleiche Anordnung in der VR anhand der Koordinaten des realen Objekts• Modell übernimmt Eigenschaften des realen Objekts in der VR

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt12

Modellbasierter Ansatz (Grasp 1.2 System)

• Manuelle Festlegung von Punkten mit bekannten Koordinaten im Kamerabild• Errechnung der Transformation vom lokalen Koordinatensystem des Objekts und dem Koordinatensystem der Kamera• Alternativ: Festlegung der Koordinaten über 6D Pointing Device

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt13

Modellbasierter Ansatz (Grasp 1.2 System)

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt14

Tiefenbasierter Ansatz

• Erstellen einer Depth Map• Enthält für jeden Bildpunkt die Distanz zu Kamera• Computer Vision Algorithmen (shape from X)

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt15

Tiefenbasierter Ansatz (Grasp 1.2 System)

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt16

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt17

Verdeckung

• Abhängig von AR System → Grasp 1.2 System• Abhängig von der Darstellung der Realität

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt18

Virtuelles verdeckt Realität

• Luminance Keying

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt19

Virtuelles verdeckt durch Realität

Modellbasiert:

• Deckungsgleiche Anordnung des Modells• Rendern in Schwarz• Luminance Keying

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt20

Virtuelles verdeckt durch Realität

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt21

Virtuelles verdeckt durch Realität

Tiefenbasiert:

• Berechnung eines Polygons aus Depth Map• Rendern in Schwarz• Luminance Keying

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt22

Virtuelles verdeckt durch Realität

Tiefenbasiert:

• Werte aus Depth Map in Z-Buffer der Grafik-Hardware• Beschränkung auf Darstellung betragsmäßig größerer Z-Werte• Schwarzer Hintergrund• Luminance Keying

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt23

Virtuelles verdeckt durch Realität

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt24

Modellbasiert vs. Tiefenbasiert

Modellbasiert:

+ Leichte Assimilation bei Änderung der Kameraperspektive bzw. der Umgebung– Zunahme der Rechenzeit proportional zur Anzahl und Komplexität der Objekte (Polygone)

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt25

Modellbasiert vs. Tiefenbasiert

Tiefenbasiert:

+ Berechnungszeit unabhängig von Komplexität– Neuberechnung der Depth Map bei Änderung der Kameraperspektive bzw. der Umgebung

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt26

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt27

Erkennen von Kollisionen

Modellbasiert:

• Verwendung der konventionellen Verfahren aus der Computeranimation und der VR

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt28

Erkennen von Kollisionen

Tiefenbasiert:

• Abgleich der Z-Werte des Objekts mit den entsprechenden Werten im Z-Buffer• Kollision bei bei größerem Wert im Buffer• Performanz: Einschränkung auf bounding box

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt29

Erkennen von Kollisionen

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt30

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt31

Gravitation

• Bewegung in y-Richtung• Prüfen auf Kollision• Drehen in stabile Lage

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt32

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt33

Menge virtueller Information

• Verwirrung vermeiden• Bezug zur Realität erhalten• Anhaltspunkte zum Verständnis der Geometrie

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt34

Virtuelles Röntgenbild

• Erweitern Realität durch eine geometrisch adäquate, virtuelle Realität• Interactive Tools for Virtual X-Ray Vision in Mobile Augmented Reality Ryne Bane, Tobias Höllerer

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt35

Virtual X-Ray Vision

• Tunnel Tool• Room Selector Tool• Room in Miniature Tool• Room Slicer Tool

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt36

Tunnel Tool

• Begrenzung des virtuellen Bereichs durch Kegelstumpf

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt37

Tunnel Tool

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt38

Room Selector Tool

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt39

Room in Miniature Tool

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt40

Room Slicer Tool

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt41

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt42

Zusammenfassung