· 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS...

1

Prof. Dr. Detlef Krömker

��

� ��

2Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

��

1. Grundsätzliches2. Compositing ��Pixel-Tiefeninformation (z-Wert)3. Compositing ��Pixel-Tiefeninformation (z-Wert)

Prinzip

Erzeugung von „range images“

4. Anpassung der BeleuchtungssituationPrinzipienSchatten

5. Zusammenfassung

2


��

Wir unterscheiden:� Optische Mischung: „see-through devices“� Elektronische Mischung: „Video see-through devices“

mit immersiven HMDs aber auch Palmtops, Handys, etc.

Oder auch:� Ersetzen des Vordergrunds� Ersetzen des Hintergrunds


�� !�"

3


#�� !�"


�� $��#��%��

durch Softwarelösbar

inhärent��

��

Semi-Sichtbardurch Software

lösbar

inhärent ��

��

inhärentunmöglich��

�� !��

��

��!��

��

��!�"

��#$%#��

4


�� &�� '��'�� (��)��*

� 2 ½ D Ansatz mit Composite-Layers� Ein Layer kann Input-Video sein

� Ansatz:��

�� oder��

�� (video ��Reale Objekte“�

� Funktioniert, wenn die die Szenen aus Sicht des Betrachters tiefenmäßig wohl getrennt sind


�+��

Die „vorne“ liegende Szene nennt man auch „sprite“.

Eigentlich eine binäre Entscheidung „all or nothing“ durch eine binäre Maske (matte, key)

Scene 1 = Blue-Screen oder Green-Screen Aufnahme � key im Prinzip einfach zu ermitteln, aber es gibt das Matting-Problem!

Diese kann leicht auf z.B. 8 Bit erweitert werden � semi-transparente Überlagerung; z.B. auch zur Lösung des AliasingProblems.

�� !

"#��#�� $��#��

"#��#�� %� ��#��

5


�� ,�-��%�


�+�� .��

Unterstellt, dass die Pixelfragmente unkorrelliert und gleichverteilt sind.

Bei korrelierten Verteilungen ergeben sich Fehler!

� ggf. A-Buffer benutzen

assoziativ kommutativ nicht

:Beachte

)()(

/)1((

)1(

��

��

%)%%)))%)

%))%)

��

��RYHURYHU

RYHU

��

��

��

�αααα

αααα

6


"�� &��


7



8



9



10



11


�+�� .�� -

Beachte: In obiger Gleichung treten immer die Terme �� auf: Zur Beschleunigung sogenannte premultiplied RGBs speichern:

(�� ) = ( ��

��

��

�%))%)

%))%)

��

)1(

)1(

ααααα

RYHU

RYHU��


�� &�� '��'�� (��)��*

��

Nach Duff: wie zuvor, Farbwerte sind premultiplied(�� ). Wir definieren zwei Funktionen

und

��

��

��%))&

%))&

��

)1(

)1(

ααααα

��RYHU

��

��

�

��

��),min(

%)&

)

%))

&

��

��

�� αα

α��

]

12


�� (/*

Zur besseren Abschätzung der Überlagerungssituation, berechnen oder interpolieren wir die z-Werte an den Pixelecken.

Dann können wir 16 Fälle unterscheiden.

Ziel: Berechnung eines Faktors (Verdeckungsanteil des Vordergrunds F) mit s,t sei Anteil der Eckpunkte, gegeben durch Interpolation der zugehörigen z-Werte:

Anteile : die Fläche F ist im Vordergrund(1-ß): die Fläche B ist im Vordergrund


�� (0*

�&��'(��'� a: = 1; p: = 0

)��'�(Fälle: b,c,e,h,i,l,n,o)

F ist CornerSurface: = ½ * s * t

B ist CornerSurface: = 1.0 - ½ * s * t

%��' (Fälle: d,g,j,m)= (s + t)/2

= 1.0 –((s + t)/2)

*+� �� (f und k) wie %��

13


�� (1*

��

��

��

��

�

),min())1()(1())1((

))1()(1())1((

%)&

)%%%))&

)%%%))&

��

��

αβαβαααβαααβα

��&RPS


2��+��3�� 4

Range images = Tiefenbilder nennt man auch:�� &' ��#�� Messung entweder

passiv, z.B. aus einem Stereobildpaar gewonnen oderaktiv, durch spezielle Sensoren: Haupt-Ausführungen:

��: strukturietes Licht, z.B. Streifenmuster, Punktmuster

�� Auswertung des Echos als Funktion der Laufzeit

�� : ähnlich wie triangulation, Ausgewertet werden die Moiree-Muster

�� . Active focusing/defocusing sensors usetwo or more images of the same scene, which are acquired under varyingfocus settings. Once the best focused image is determined, a modellinking focus values and distance yields the distance.

14


$��-��


&��

15


��


5�� '��

· 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS...

Documents

Transcript of · 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS...