U N I V E R S I T Ä T

KOBLENZ · LANDAU

(6) Augmented Reality

Vorlesung

„Virtuelle Realität und

Augmented Reality“

S. Müller

Dank an Didier Stricker, Elke Hergenröther

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 2 -

Rekonstruktion der Kameraparameter (intern, extern) aus Bildern und perspektivisch

korrekte Einblendung von virtuellen Objekten

Augmented Image

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 3 -

Augmented Video

Rekonstruktion der Kameraparameter (intern, extern) für jedes Bild einer Bildsequenz

und perspektivisch korrekte Einblendung von virtuellen Objekten

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 4 -

Augmented Reality

Das ganze in Echtzeit

„Augmented Reality (AR) steht für „erweiterte Realität“

und bezeichnet bereits eine Weiterentwicklung der

Technologien der Visualisierung und VR. Im Kern geht

es dabei darum, Informationen in das reale Sichtfeld

eines Betrachters (oder einer Kamera) einzublenden

und mit den realen Bildern in Deckung zu bringen und

zu überlagern. Der Benutzer agiert in einer realen

Umgebung oder mit realen Objekten, wobei er von

dem Computer durch die visuelle Überlagerung von

Informationen unterstützt wird.“

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 5 -

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 6 -

Beispiel: Maschinenwartung

- Reparatur eines Fotokopierers -

Feiner,

Columbia U 1993

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 7 -

Beispiel: Inneneinrichtung

ECRC 1995

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 8 -

Beispiel: Automobilindustrie

- Montage und Wartung -

ECRC 1995

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 9 -

AR bei Boeing

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 10 -

AR bei Boeing

Chef: wir sind hier!

Die „Hip-Hype-Hop(e)“-Kurve neuer Technologien

t t

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 11 -

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 12 -

AR erweitert Problemstellung von VR

Virtuelle Realität Augmented Realtiy

Systemplattform Stationäre Systeme mit entsprechender 3D-Graphikleistung und Performance (high-end)

+ mobile Endgeräte (low-end)

Visualisierung Komplexe 3D-Datensätze in Echtzeit

+ multimediale Daten (Dokumente, Zeichnungen, Diagnosedaten, Prozeßinformationen, etc.)

+ Videoströme

Datenanbindung Aufbereitung von 3D-CAD Daten und Zugriff auf PDM

+ Anbindung an allgemeine „legacy Systeme“ und Informationssysteme

Tracking Eingeschränkter Aktionsradius mit Genauigkeit in „Millimetern“

+ Große Aktionsbereiche und Genauigkeiten in „Pixelgrößen“

Interaktion ... in 3D und möglichst intuitiv + ... mit realen Objekten

Qualifikation der Benutzer

Relativ hoch durch vergleichsweise wenig Systeminstallationen

+ nur „Benutzerqualifikation“ durch Massenmarkt

Preis/System 25.000 € – 1 Mio € + 1.000 € – 10.000 €

„AR ist Informatik-vollständig“

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 13 -

AR ist „Informatik“-vollständig

Mobile Systeme

Aufwendige

Systemarchitekturen

Gerätetechnologie

Neue Interaktion, Mensch-

Maschine-Kommunikation

Neues Medium

Aufwendige Algorithmen

(Bilderkennung, Gesten,

Sprache)

Visualisierung

… und alles in Echtzeit

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 14 -

Systemarchitektur: mobiles AR

Ethernet

Server

Video-

kamera

Wireless LAN Sprach-

interaktion

Tracking

U N I V E R S I T Ä T

KOBLENZ · LANDAU

Darstellung

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 16 -

Unterschiede der Darstellung

Video-See-Through

Die Realität wird durch ein

Kamerabild repräsentiert und

dieses überlagert.

(Optisches) See-Through

Durchsichtiges Display, der

Betrachter nimmt die Realität

direkt wahr und die virtuellen

Informationen werden

zusätzlich eingeblendet

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 17 -

(Optisches) See-Through

Pros

Maximale Realität

Natürliches Stereo

Geringe/Keine

Videobandbreite

Simultanität

Cons

Dynamische

Registrierungsfehler

(Latenz bei Bewegung)

Statische

Registrierungsfehler

(Aufwendige Kalibrierung,

Verrutschen der Brille)

Reduzierter Kontrast

(“Sonnenbrille”)

Virtuelle Objekte

verdecken nicht den

Hintergrund

(“Geisterbilder”)

Nur mit Datenbrille

MicroOptical

MicroVision

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 18 -

See-Trough: Kiyokawa (CRL, Japan)

Optisches See-Through

Interessanter Ansatz:

2-stufiges Display (CRL,

Japan)

1) normales „Geisterbild“

2) mit Verdeckungsrechnung

3) Erstes Display stellt Maske

schwarz dar

4) Zweites (überlagertes)

Display stellt virtuelle

Information dar

1 2

3 4

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 19 -

Video-See-Through

Kopfverbunden Handverbunden

Tivisio

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 20 -

Video See-Through

Pros

Dynamische

Registrierungsprobleme

lösbar (Computer trackt

das Bild, das auch

dargestellt wird)

Keine statischen

Registrierungsprobleme

(kein Offset zwischen Bild

und Trackerposition)

Kontrast der Bilder und

Informationsdarstellung

kontrollierbar

Cons

Video Bandbreite

Auflösung

Reduzierte Simultanität

“Blackout” bei System

Fehler

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 21 -

Video See-Trough: Takagi (MRL, Japan)

Video See-Through

Beispiel einer Datenbrille

(MRL, Japan)

zwei integrierte

Kameras

Spezielle Optik, so

daß Kamerabilder

dem realen Sichtfeld

entsprechen

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 22 -

Trends

HMPDs: head mounted projection display

Der Benutzer trägt einen Projektor und die Information wird in

die Realität projiziert.

Projektions-basierte AR (mit semi-transparente Spiegel)

U N I V E R S I T Ä T

KOBLENZ · LANDAU

Anwendungsbeispiele

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 24 -

Medizin

MIT AI-Lab

+ Brigham

Women‘s

Hospital

CMU +

Shadyside

Hospital

UNC

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 25 -

Tourismus

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 26 -

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 27 -

AR-Spiele

Aqua Gauntlet (MRL Japan) AR2 Hockey (MRL Japan)

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 28 -

Shared Augmented Reality

Spiele

Design-Evaluierung

wissenschaftliche Vis.

Video-Konferenz

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 29 -

Mensch-Technik Interaktion in

der Wissensgesellschaft

Augmented Reality für Entwicklung, Produktion und

Service

Mensch-Technik Interaktion in der Wissensgesellschaft

AACHEN

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 30 -

AR-Anwendungsszenarien

Entwicklung Produktion Service

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 31 -

Pedalbox

Montagesimulation

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 32 -

Sicherung 25A

AR-Montageunterstützung

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 33 -

Augmentierte Dokumentation ( Grundrissplan + CAD-Modell)

Augmentierte Dokumentation ( Photo + Grundrissplan+CAD)

Service

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 34 -

Montageunterstützung

Beschlag

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 35 -

Service

Spindelgehäuse reinigen

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 36 -

Service

BMW

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 37 -

Augmented Man

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 38 -

AR::RACE

Tobias Kammann

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 39 -

Herbarium

Torben Fugger, Nils Hornung, Florian Koller

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 40 -

Eduventure

Peter Ferdinand, Tobias Ritschel, Uli Wechselsberger

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 41 -

Enhanced Reality

Dietrich Paulus und Lutz Priese

Bildverarbeitung und Rechnersehen

Stefan Müller

Computergraphik

Jürgen Krause

Softwareergonomie

Jürgen Ebert

Softwaretechnik

Felix Hampe

Mobile Informationssysteme

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 42 -

Enhanced Reality

Indoor Outdoor

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 43 -

AR Bildsynthese

U N I V E R S I T Ä T

KOBLENZ · LANDAU S. Müller - 44 -

AR Teleskop

http://www.xc-01.de/index.html