H. Rosch, B. BrüderlinFG Graphische Datenverarbeitung

Was ist Virtuelle Realität?

Interaktion3D-Visualisierung Simulation

“Virtuelle Realität ist eine Mensch-Maschine-Schnittstelle, die es erlaubt, eine computergenerierte Umwelt in Ansprache mehrerer Sinne als Realität wahrzunehmen.” (A. Hennig)

Immersion

•Visuell•Haptisch•Taktil•Auditiv•Olfaktorisch

Begriffsbestimmung

Virtual Reality (VR)

Virtual Environment (VE)

Augmented Reality (AR)

Real Reality (RR)

Mixed Reality (MR)

Virtual Reality

Technologie ermöglicht umfassendes virtuelles Abbild der Realität:

- Immersion- 3D Stereo Visualisierung (Echtzeit)- Physikbasierte Interaktion in Echtzeit- Animation: Physiksimulation, Kollisionserkennung- Spezielle Geräte (HMD, Cave, Data Glove)- Tracking: Zur Erfassung der eigenen Position, sowie

Bewegung v. Objekten- Weitere Sinneseindrücke:

- Kräfte (Haptik), Oberflächenstruktur (taktil)- Gerüche (olfaktorisch)- Schall (auditiv)

Virtual Environment

Erweiterung der Definition “Virtual Reality” zu VirtualEnvironment, virtuellen Umgebungen

Zusätzlich zu überwiegend visuellen Anforderungen, bezieht man noch auditives und taktiles Fühlen, Haptik (force feedback) im Raum ein.

Augmented Reality

Augmented Reality, im Sinne von erweiterter, vergrößerter, auch angereicherter Realität

Augmented Reality beschäftigt sich mit der Integration von virtuellen Informationen (z.B. virtuellen Objekten) mit realen Umgebungen.

Real RealityIm Gegensatz zur Virtual oder Augmented Reality steht bei

Real Reality (RR) der Computer im Hintergrund. (ubiquitous computing, verschwindende Computer)

Die Benutzer können mit bekannten gegenständlichen Objekten agieren (z.B: zur Steuerung von Programmen) und müssen nicht eine Abstraktion der Realität durchführen.

Mixed RealityÜberbegriff VR/AR. Mischung von virtueller und reeller Welt

Industrielle Anwendungen

Medizin Industrielles Design und Produktion Visualisierung und Anmerkungen Roboterplanung Unterhaltung Militärische Anwendungen

Industrielle Anwendungen

Medizin

Industrielle Anwendungen Industrielles Design und Produktion

Industrielle Anwendungen Visualisierung und Anmerkungen

Industrielle Anwendungen Roboterplanung

Industrielle Anwendungen Militärische Anwendungen

Industrielle Anwendungen Unterhaltung: Morton Heilig, Sensorama (1962)Motorrad Fahrt Simulator: 3D-Film, Geruch, Fahrtwind

Training: ATMOS Fahrsimulator, Uni Paderborn

Sinneseindrücke Kraft durch Beschleunigung (Fliehkräfte, Verzögerung)

Technische Geräte

Eingabegeräte (3D Tracking v. Ort und Lage) –6 Freiheitsgrade, Datenhandschuh

Ausgabegeräte (Stereo Display, Cave, HMD) Audio (Stereo, Wellenfeldsynthese) Haptik: Kraftrückkoppelung Weitere: Geruchssinn, Temperatur, Tastsinn,

Beschleunigung

Technische Geräte 3D Stereo:Headmounted Display (HMD)

Prinzipaufbau: Je ein Display für das linke und das rechte Auge

Technische Geräte Ausgabe

Prinzipaufbau

Technische Geräte Ausgabe

HMD

Oculus Rift

HTC Vive

Technische Geräte BOOM (Mechanisches Headtracking:

Ort und Lage über Winkelmessung (s. Kapitel Tracking)

Steuerung der synth. Kamera

Shutterglasses (aktiv Stereo): Abwechselnd Bild für linkes und rechtes Auge auf

Bilschirm oder Projektion (Beamer) Brille verdunkelt jeweils das andere Auge

Synchronisation mit Grafik durch Infrarot-Sender Hohe Bildfrequenz

notwendig! (ca. 120 Hz = 2 x 60 Hz pro Augefür flackerfreies Bild)

Prinzip der Shutter Glasses

Polarisationsfilter90° gedreht

UFlüssigkristallschicht im Ruhezustand nematische Anordnung der Kristalle:

Polarisationsrichtungdes Lichts wird auch 90° gedreht Licht passiert zweites

Pol.-Filter!Beim Anlegen einer elektrischen Spannung U

werden die Flüssigkristalle ausgerichtet Polarisationsrichtung des Lichts

wird nicht mehr gedreht Licht wir durch zweites Filter geblockt

Infitec:Unterteilung des Spektrums in Teilspektren durch Bandfilter

Left Eye Information

Right Eye Information

Infitec Anordnung v. Projektion und Brille

Infitec: Filter für Projektion und Brille

Farbkorrektur für Infitec• Unterschiedliche Farbbereiche durch unterschiedliche Grundfarben (RGB)

Werte der Filter Gedrehter x/y-Farbraum (CIE-Lab)• Gleiches RGB-Signal erzeugt unterschiedliche Farbeindrücke für L und R:

• Korrektur des RGB-Signals durch Drehung im CIE-Farbraum notwendig!• Eingeschränkte Farben (nur Schnittmenge der beiden Interpolationsdreiecke)

L Ry

x

Technische Geräte

CAVE (Cave Automatic Virtual Environment) Stereoprojektion Shutter Glasses (aktiv) oder

Filter (passiv) Mehrere Projektionsfläche (3-, 4-, 5-, 6-seitig) Projektionsfläche nicht orthogonal zu Blickrichtung Head-tracking (Immersion: meist nur für eine

Person möglich)

CAVE: 4 Seiten inkl. Boden

Dargestelltes Objekt

ragt über die Kanten einer Projektionswand hinaus!

EntzerrteProjektionDrei-Seiten-Projektion (aus der Perspektive des Betrachters)

Drei-Seiten-Projektion aufgeklappt:

Geometrische Vorverzerrung Unverzerrte Geometrie

pro Projektionswand notwendig!

Entzerrte Projektion

Im Vergleich: Darstellung mit und ohne Korrektur der Perspektive

EntzerrteProjektion

Kamera-Ursprung

z

x / y

Projektionsrichtung senkrecht zur Projektionswand

Berechnung der OpenGLKameraparameter

near plane:

far plane:

SichtbarerAusschnitt

View Frustum:

left right(top bottom)

Projektionswand

glFrustum — multiply the current matrix by a perspective matrixC

Specification

void glFrustum(GLdouble left, GLdouble right, GLdouble bottom, GLdouble top, GLdouble nearVal, GLdouble farVal);

Parameters left, rightSpecify the coordinates for the left and right vertical clipping planes.

bottom, topSpecify the coordinates for the bottom and top horizontal clipping planes.

nearVal, farValSpecify the distances to the near and far depth clipping planes.Both distances must be positive.

Position P PLinkes und rechtes Auge: L R

Augenabstand

Projektionsebene Blickrichtung (= z-Koordinate der Kamera) orthogonal zur Projektionswand !

Stereo Sehen

far plane:

SichtbarerAusschnitt

near plane

virtuelles Objekt

LR

Stereosehen in der Cave• Trackingsystem bestimmt Position P des Kopfes relativ zur

Projektionswand• Korrekte Wahl der Parameter - Lage der synthetischen Kamera relativ

zur Projektionsfläche: Near plane (L, R = P +/- ½ Augenabstand), left, right, top, bottom (als absolute Raumgrößen im Objektmaßstab)

• Beachte: Keine Kamera-Drehung, wenn Betrachter sich dreht (nur Position) - Blickrichtung der Kamera ist raumfest, orthogonal zur Projektionswand

Sehen von virtuellen Objekten in korrekter absoluter Größe(Perspektivische Verkürzung 1 / Abstand. 1:1 auf der Projektionsfläche)

• Objekte können vor oder hinter der Wand erscheinen• Bei Kopfbewegung scheint das Objekt im Raum stehen zu bleiben

Immersive InteraktionHeadtracking zur Bestimmung der korrekten perspektivischen EntzerrungFlystick zur Manipulation und Navigation

FASP (TU-Ilmenau)

Flexible 3-Seiten audiovisuelle Stereoprojektion

Konfiguration CAVE

1 Person getrackt+ weitere

TheaterBis ca.10

Personen (meist ohne Tracking)

Powerwall- 30 Personen(ohne Tracking)

Technische Geräte Akustische Ausgabe

Technische GeräteWellenfeldsynthese: Überlagerung unterschiedlicher Phasen der Schallquellen erzeugt

fast beliebige Wellenfront 32 unabhängig steuerbare Schallquellen Punktschallquelle

(Monopol) Gerichtete Schallquelle: Dipolstrahler aus zwei gegenphasigen

Monopolen

Technische GeräteWellenfeldsynthese: IOSONO: Fraunhofer IDMT, TU-Ilmenau

FASP (TU-Ilmenau)

Flexible Platzierung der IOSONO Lautsprecher

Konfiguration CAVE

1 Person getrackt+ weitere

TheaterBis ca.10

Personen (meist ohne Tracking)

Powerwall- 30 Personen(ohne Tracking)

Technische Geräte

Eingabe Datenhandschuh: Positions- und Lagesensor

(Tracker)

Messung der Fingerkrümmung

Technische Geräte Haptische Ausgabegeräte (Servomotoren)

Technische Geräte

Haptische Ein- / Ausgabegeräte Exoskelett (Kraft über Bowdenzüge)

Technische Geräte

Kinästhetische Aus-/Eingabegeräte

Technische GeräteAlternative Ein- und Ausgabeverfahren für

Desktopbereich (immersive Desktop) Spaceball Spacemouse Eye-Tracker

Autostereoskopische Displays

Real-Time Animation

• Physikbasiert (Diffgleichung)• Kollisionserkennung• Regelkreise• Skriptsprache• Autonome Agenten

Computerspiele, Mechatronik, VR Anwendung:J. Hodgins, Siggraph 1991

Beleuchtungssimulation in VR

z.B. Blendeffekte:Tacho-AbdeckscheibeVR Fahrsimulation

Ullmann, Brüderlin Eurographics 2001, 2003 Pacific Graphics 2001

Hybrides Rendering

Echtzeitverhalten

Beispiel Nutzfahrzeug (Actros)Über 100´000 PolygonePreviev: ca. 20 Bilder / SekundeAthlon 1400 MHz, GeForce 3Volle Auflösung 250 ms

• Hardware-basiertes Rendering diffuser Oberflächen

• Adaptives Ray-Tracing für Reflexionen, Schatten, Lichtbrechung

Aufbau eines VR-Rechners

Real TimeInterface

Computer

SpeechSynthesis

ScanConverter Video Mixer

MIDIController

ScanConverter

SoundSynthese

SoundModule

3D SoundProcessor

Audio Mixer

3d GraphicsSoftware

GraphicsHardware

GraphicsHardware

Ablauf einer VR-SimulationEinlesen der Objektdaten

Aufbereitung der Objektdaten

Abfrage der Sensoren

Objektbewegung auf Grund der Sensordaten

Verarbeiten der Benutzeraktionen

Verarbeitung der Objektfunktionen

Bildberechnung, linkes Auge

Bildberechnung, rechtes Auge

Sim

ulat

ions

schl

eife

Initialisierung

Echtzeit