Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

42
Integration virtueller und realer Obj Proseminar: Anwendungen für Augmented Reali

Transcript of Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Page 1: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality

Page 2: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt02

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Page 3: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt03

Motivation

• Erweiterung der Realität mit virtueller Information in Echtzeit• Überzeugende Gestaltung der AR• Intuitive Benutzung des AR Systems• Verwirrung vermeiden

Page 4: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt04

Voraussetzungen

• Natürliche Einbeziehung virtueller Elemente in die Realität• Geometrisch korrekte Anordnung• Implementierung von Wechselwirkungen

• Visuelle Effekte• Physikalische Effekte

• Menge virtueller Information

Page 5: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt05

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Page 6: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt06

Grasp 1.2 Augmented Vision System

• User Interaction and Visualisation (UI&V) Group der European Computer-Industry Research Centre GmbH (ECRC) • Einfaches Basissystem zur Erforschung grundlegender Technologien

Page 7: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt07

Grasp 1.2 SystemHardware-Struktur

Page 8: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt08

Grasp 1.2 SystemLuminance Keying

Page 9: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt09

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Page 10: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt10

Darstellung der Realität

• Modellbasierter Ansatz• Tiefenbasierter Ansatz

Page 11: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt11

Modellbasierter Ansatz

• Darstellung des realen Objekts durch virtuelles Modell• Deckungsgleiche Anordnung in der VR anhand der Koordinaten des realen Objekts• Modell übernimmt Eigenschaften des realen Objekts in der VR

Page 12: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt12

Modellbasierter Ansatz (Grasp 1.2 System)

• Manuelle Festlegung von Punkten mit bekannten Koordinaten im Kamerabild• Errechnung der Transformation vom lokalen Koordinatensystem des Objekts und dem Koordinatensystem der Kamera• Alternativ: Festlegung der Koordinaten über 6D Pointing Device

Page 13: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt13

Modellbasierter Ansatz (Grasp 1.2 System)

Page 14: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt14

Tiefenbasierter Ansatz

• Erstellen einer Depth Map• Enthält für jeden Bildpunkt die Distanz zu Kamera• Computer Vision Algorithmen (shape from X)

Page 15: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt15

Tiefenbasierter Ansatz (Grasp 1.2 System)

Page 16: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt16

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Page 17: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt17

Verdeckung

• Abhängig von AR System → Grasp 1.2 System• Abhängig von der Darstellung der Realität

Page 18: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt18

Virtuelles verdeckt Realität

• Luminance Keying

Page 19: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt19

Virtuelles verdeckt durch Realität

Modellbasiert:

• Deckungsgleiche Anordnung des Modells• Rendern in Schwarz• Luminance Keying

Page 20: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt20

Virtuelles verdeckt durch Realität

Page 21: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt21

Virtuelles verdeckt durch Realität

Tiefenbasiert:

• Berechnung eines Polygons aus Depth Map• Rendern in Schwarz• Luminance Keying

Page 22: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt22

Virtuelles verdeckt durch Realität

Tiefenbasiert:

• Werte aus Depth Map in Z-Buffer der Grafik-Hardware• Beschränkung auf Darstellung betragsmäßig größerer Z-Werte• Schwarzer Hintergrund• Luminance Keying

Page 23: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt23

Virtuelles verdeckt durch Realität

Page 24: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt24

Modellbasiert vs. Tiefenbasiert

Modellbasiert:

+ Leichte Assimilation bei Änderung der Kameraperspektive bzw. der Umgebung– Zunahme der Rechenzeit proportional zur Anzahl und Komplexität der Objekte (Polygone)

Page 25: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt25

Modellbasiert vs. Tiefenbasiert

Tiefenbasiert:

+ Berechnungszeit unabhängig von Komplexität– Neuberechnung der Depth Map bei Änderung der Kameraperspektive bzw. der Umgebung

Page 26: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt26

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Page 27: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt27

Erkennen von Kollisionen

Modellbasiert:

• Verwendung der konventionellen Verfahren aus der Computeranimation und der VR

Page 28: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt28

Erkennen von Kollisionen

Tiefenbasiert:

• Abgleich der Z-Werte des Objekts mit den entsprechenden Werten im Z-Buffer• Kollision bei bei größerem Wert im Buffer• Performanz: Einschränkung auf bounding box

Page 29: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt29

Erkennen von Kollisionen

Page 30: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt30

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Page 31: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt31

Gravitation

• Bewegung in y-Richtung• Prüfen auf Kollision• Drehen in stabile Lage

Page 32: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt32

Überblick

• Einleitung• Grasp 1.2 Augmented Vision System• Darstellung der Realität• Verdeckung• Erkennen von Kollisionen• Gravitation• Menge virtueller Information• Zusammenfassung

Page 33: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt33

Menge virtueller Information

• Verwirrung vermeiden• Bezug zur Realität erhalten• Anhaltspunkte zum Verständnis der Geometrie

Page 34: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt34

Virtuelles Röntgenbild

• Erweitern Realität durch eine geometrisch adäquate, virtuelle Realität• Interactive Tools for Virtual X-Ray Vision in Mobile Augmented Reality Ryne Bane, Tobias Höllerer

Page 35: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt35

Virtual X-Ray Vision

• Tunnel Tool• Room Selector Tool• Room in Miniature Tool• Room Slicer Tool

Page 36: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt36

Tunnel Tool

• Begrenzung des virtuellen Bereichs durch Kegelstumpf

Page 37: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt37

Tunnel Tool

Page 38: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt38

Room Selector Tool

Page 39: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt39

Room in Miniature Tool

Page 40: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt40

Room Slicer Tool

Page 41: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt41

Page 42: Integration virtueller und realer Objekte Proseminar: Anwendungen für Augmented Reality.

Integration virtueller und realer Objekte

Proseminar: Anwendungen für Augmented Reality

Stefan Machleidt42

Zusammenfassung