Augmented Reality Grundlagen - ags.cs.uni-kl.de · PDF fileAugmented Reality-Grundlagen...

Click here to load reader

  • date post

    20-Jun-2019
  • Category

    Documents

  • view

    216
  • download

    0

Embed Size (px)

Transcript of Augmented Reality Grundlagen - ags.cs.uni-kl.de · PDF fileAugmented Reality-Grundlagen...

Augmented Reality-

Grundlagen

Intelligente Mensch-Maschine-Interaktion - IMMISS 2011

Prof. Didier [email protected]

Die Vorlesung am

07.06

findet im Raum Zuse am DFKI statt

2

Augmented Reality

Displays und Tracking

Die Kamera

Kamerakalibrierungsverfahren

bersicht

3

Historie

Ivan Sutherland (1960s): erste Experimente mit HMDsRemote Reality Virtual Reality

4

-5-

Allgemeines Trend: IPT (immersive projection technology)

Workbench

Stereo-projektion

CAVE

CAVE

6

Virtual Reality

EigenschaftenEchtzeit Interaktivitt ImmersionMulti-modale

Interaktion

Immersion:Das Gefhl teil

der virtuellen Welt zu sein

-7-

VR Anwendungen & Echtzeit physikalische Simulation

8

Augmented Reality: Grundlagen

9

+

=AR kombiniert

reale und virtuelle Welt

Immersive Virtuelle Umgebungen (VE):Komplettes Ersetzen der Realitt

Augmented Reality:Benutzer sieht reale UmgebungKontakt bleibt erhaltenUmgebung wird durch virtuelle Informationen ergnzt nicht

ersetzt

Augmented Reality: Grundlagen

10

Augmented Reality: Grundlagen / Historie

Frhe 1990s: David Mizell (Boeing) prgt den Begriff Augmented Reality

11

-12-

AR und VR kann nicht losgelst betrachtet werden

[Milgram & Kishikino 94] Paul Milgram fhrt den Begriff Mixed Reality ein.

Mixed Reality stellt aller Formen von VR und AR dar.

Augmented Virtuality: Reale Objekte oder z.B. Videobilder in einer VR-Welt.

Mixed Reality Continuum

Augmented Reality (AR)

Real Environment

Augmented Virtuality (AV)

Virtual Environment

Technology: video-based tracking

14

Charakterisierung von Azuma (1997):

AR kombiniert reale und virtuelle WeltAR ist interaktiv in EchtzeitAR erfordert Registrierung in 3D

Augmented Reality: Grundlagen

15

[Azuma 97][University of North Carolina]

Anwendungsbeispiele:Sport bertragungen

16

Anwendungsbeispiele:Head-up display

-18-

Automobil: Simulation vs. reale Welt

Anwendungsbeispiele:Medizin

19

SpieleSony: EyeToyAR-Quake (Univ.)

Anwendungsbeispiele:Edutainment

20

KulturgterAugmented Tour GuideRekonstruktionen

Anwendungsbeispiele:Edutainment

21

Augmented Reality

DISPLAYS

23

Handgefhrt

Displays

24

Head Mounted Displays (HMD)

Head Mounted Display

25

Optical Combiner

GrafikMonitor Optical See-Through

Combiner

Virtuelles BildReales Bild

Kamera

Grafik

Monitor

Video See-Through

Optical See-Through : Beispielsgert

WithcourtesyofTrivisio

Verdeckungen zwischen realen und virtuellen Objekten

Verdeckungen in AR

27

Verdeckungen sind nicht bercksichtigt

Verdeckungen sind bercksichtigt.

Ein Modell, oder Maske mussexistieren und bei der Visualisierung einbezogen werden.

OpticalSeeThrough

+ realworldinfullresolution

virtualimagemostlynotbrightenough ghostview

VideoSeeThrough

+Fullcontroloftheinformationwichisdisplayed

Realworldisperceivedoverthecamera(focalplane,stereo,delay,scale)

Und bei See-Through HMD

Problem 2: das virtuelles Bild erscheint noch durchsichtig

Problem 1: Verdeckung realles/virtuelles Objekt

Verdeckung reales / virtuelles Objekt(wie gehabt, siehe oben)

HMD mit Alpha-Channel

CourtesyofKiyoshiKiyokawa,Communicationresearchlab

WithcourtesyofTrivisio

Verdeckung reales / virtuelles Objekt(Software Z-Buffer Siehe unten)

Maske vom Light-Blocking-Filter Ergebnis

HMD with alpha channel

byKiyokawa

byKiyokawa

HMD mit Alpha Channel

KiyokawaKiyokawa Trivisio

33

VIDEO LIGHT BLOCKER

TRACKING

34

Augmented Reality: Wie?

Input Daten:1 Videobild (current frame)1 Modell (CAD, Vrml...)

Aufgaben der AR: Videobild im Hintergrund rendern Modell im Vordergrund richtig rendern

rendernrichtig rendern ???

AR ist richtig rendern

Richtig rendernGeometrisch: gre + lagerichtigPhotometrisch: richtige Beleuchtung

Rendering (Computer Graphik)projection matrix glMatrixMode(GL_PROJECTION);glFrustum(-1.0, 1.0, -1.0, 1.0, 1.5, 20.0);gluPerspective(60.0, 1.0, 1.5);

modelview matrixglMatrixMode(GL_MODELVIEW);glMultMatrix(N); /* apply transformation N */gluLookAt(...); /* positions the camera */

Projektionmatrix

Transformiert 3D Weltkoordinaten in 2D Bild-(Fenster-) koordinaten

Enthlt:ZoomSichtwinkelPerspektivische Distortion der Kamera

Modelview matrix

Transformiert 3D koordinaten des Weltkoordinatensystems in 3D Koordinaten der Kamerakoordinatensystems

R, t

Tracking in Praxis: Basisfunktionalitten

39

Input video Pattern recognition

Calculate 3D camera position &

orientation

Synthesis and render on input

video

Registration of 3D virtual objects

2008, Fraunhofer IGD

40

Projektive Bilder

Eindruck der Tiefe in den Bildern Parallele Linien treffen sich an der Unendlichkeit Unendlichkeit wird zur begrenzten Position im Bild projektiert Horizont unendlich ferne Punkte,

[Triggs and Mohr]

Welche GenauigkeitVariablen6 DOF Position + OrientierungViewing Parameter

Abhngig von AnwendungChirurgie ( < mm)Outdoor Navigation (m)

Abhngig von menschlichen SinnenAbweichungen von 0,5 Bogenminuten

Hher als in VRKoexistenz von real und virtuell

Tracking: Genauigkeit?

41

Offline VerfahrenNotwendige Informationen werden aus den Bildern

zurckgewonnenKeine zustzliche Hardware

Online/Echtzeit VerfahrenMechanische, Magnetische Verfahren (Siehe HCI-

Vorlesung)Tendenz: Kamera-basierte Lsungen

Tracking

42

Kamerabasierte VerfahrenMobil6 DOFBildverarbeitungPassive Targets

Outside-InInside-Out

Tracking

43

Tracking

44

Outside-In Empfnger (z.B. Kameras)

in Umgebung beobachten den Benutzer

Sender am Benutzer

Prparierung der Umgebung

Wenig mobil

Tracking

45

Inside-Out Empfnger (Kamera) am

Benutzer Sender (Merkmale) in

Umgebung

Offline-Tracking / Augmented VideoVideo im Vorfeld aufgenommenInteraktion mit virtueller Szene in EchtzeitKalibrierung, Schtzung von Kamerapose

Tracking

46

Einzelbild:Rckrechnung von PDirect Linear Transformation (DLT)2D Punkte im Bild (mi)3D Punkte (Mi Vermessen oder VR-Model)Gleichung pro Punkt : mi = PMi Bestimmung von PZerlegung von P in K (Brennweite), R und t

ProblemeViele Punkte (mind. 20)Rauschempfindlich Instabile Punktkonfiguration

Tracking

47

Video-Sequenz

Automatisierung notwendigKlassischer Ansatz

2D-Punktverfolgung ber die ganze Bildsequenz anschlieende Bestimmung des 3D-Kamerapfades Probleme:

2D Punktverfolgung bei Verdeckungen Akkumulation der Fehler

Tracking

48

Marker-based Tracking: Passiv 4 x 4 Binrcode

Ein Marker ist ausreichend(4-Eckpunkte) um die Kameraposition/orientierung zu rechnen

Die Marker werden in die Szene platziert und vermessen

Algorithmus:1. Markerextraktion: Bestimmung der

Eckpunkte2. Markeridentifikation3. Berechnung der Kameraposition

und Orientierung

Tracking / Registrierung

49

Die Kamera

50

Bilderaufnahmegert

3D2D Abbildung!

Was ist eine Kamera?

51

Verschiedene Kameras, verschiedene Bilder

Kameraparameter (fokal Lnge) sehr wichtig fr AR

Was ist eine Kamera?

52

Nikon Coolpix 2100 Olympus D630 zoom

Eine Kamera erstellt eine projektive Abbildung von R3 nach R2

Was ist eine Kamera?

53

Abstraktes Kameramodell -Kasten mit kleinem Loch

Die Lochkamera Theorie

54

In der Praxis, virtuelles Bild statt echte Bildebene

2 Gleichungen:

Transformation

55

Image plane

Pinhole ObjectVirtualimage plane

ZYfy

ZXfx ,

sind aber nicht linear!

)/,/(),,( ZYfZXfZYX

Einfach eine Dimension mehr

Homogene Koordinaten

56

nKoordinatehomogene

nKoordinateekartesisch

),,(),( yxyx

nKoordinateekartesisch

3

2

3

1

nKoordinatehomogene

321 ),(),,( CC

CCCCC

1010101

1ZYX

ff

ZYfXf

Recall: das Kameralochmodel

10100

1ZYX

ff

ZYfXf

ZYX

)/,/(),,( ZYfZXfZYX

1//

1

ZYfZXf

ZYX

)/,/(),,( ZYfZXfZYX

Recall: Pinhole camera model

PXx

1010101

1ZYX

ff

ZYfXf

PP

Skew

Neue Matrix:

Optisches Zentrum Offset und Skew

59

Tyx

T cZfYcZfXZYX )/,/(),,(

= principal point (PP)T

yx cc ),(

ZYX

cfcsf

yx

yy

xx

1000

1

n12

21

m

ph

pw

(cx,cy)

P s = skew

Intrinsische Parameter der Kamera:Brennweite (Focal Length)Bildhauptpunkt (PP)Skew factor