Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien

Post on 06-Jan-2016

31 views 0 download

description

Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien. Alex Reche, Ignacio Martin und George Drettakis. Einführung. Ziel: Erfassen von real existierenden Bäumen anhand von Fotografien. Erstellen eines Modells mit niedriger Polygonzahl. Einführung. - PowerPoint PPT Presentation

Transcript of Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien

Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien

Alex Reche, Ignacio Martin und George Drettakis

Einführung

Ziel:• Erfassen von real existierenden

Bäumen anhand von Fotografien.• Erstellen eines Modells mit

niedriger Polygonzahl.

Einführung

Zentrale Beobachtung:• Pixel ist Projektion einer best.

Anzahl von Blättern und Ästen auf den Hintergrund.

• Transparenz-Effekt: Pixel eine Mischung aus Vordergrundfarbe (Blätter/Äste) und Hintergrundfarbe (Himmel).

Inhalt

1) Aufnahme der Fotografien

Inhalt

1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle

Inhalt

1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle3) Rekonstruktion eines 3D-Gitters

Inhalt

1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle3) Rekonstruktion eines 3D-Gitters4) Texturgenerierung durch Billboards

Inhalt

11 Fotografien11 Transparenzkanäle der Fotografien11 Zellkomplex mit Alphawerten für jede

Zelle11 M xM -Textur pro Foto für jede Zelle

Bildaufnahme

• 20-30 Fotos/Baum• Alle Richtungen• Gleiche Entfernung• Uniformer

Hintergrund• Kalibrierung

anhand von Marken im Bild

Berechnung der Alphakanäle

Algorithmus von Ruzon und Tomasi• Anwender definiert Bereiche

• Vorder-, Hintergrund, transparent, ignorieren

• Algorithmus berechnet Transparenzwerte

Berechnung der Alphakanäle

• Transformation in den Lab-Farbraum

• Clusterbildung in der ab-Ebene (F/B)

• Lineare Interpolation der transparenten Werte:

Rekonstruktion der Gitterzellen

Überblick:• Rekursives 3x3x3-Gitter in der

Bounding-Box

Rekonstruktion der Gitterzellen

Überblick:• Rekursives 3x3x3-Gitter in der

Bounding-Box• Bestimmung der Alphawerte der Zellen

Rekonstruktion des Bildaufnahmevorgages

Rekonstruktion der Gitterzellen

Überblick:• Rekursives 3x3x3-Gitter in der

Bounding-Box• Bestimmung der Alphawerte der Zellen

Rekonstruktion des Bildaufnahmevorgages

• Hier keine Betrachtung der Farbwerte!

Rekonstruktion der Gitterzellen

Modell für die Bildentstehung:• Strahl durch Zelle:

Rekonstruktion der Gitterzellen

Modell für die Bildentstehung:• Strahl durch Zelle:

• Bei mehreren Zellen:

Rekonstruktion der Gitterzellen

Modell für die Bildentstehung:• Strahl durch Zelle:

• Bei mehreren Zellen:

• Verwendung eines absortion only Modells• Nur Absorption, keine Emission, Schatten...• Nur Transparenzen, keine farbigen Zellen

• Ermittlung aller Zellen, die für Pixel relevant waren.

• Initialisierung der Pixelopazitätenkleinste Opazität der sichtbaren Pixel

• Optimierung der Opazitäten, so dass die Gleichungen für alle Pixel erfüllt sind.

Rekonstruktion der Gitterzellen

Rekonstruktion der Gitterzellen

• Formel:

Rekonstruktion der Gitterzellen

• Formel:

• Rekursiv definiert:

Rekonstruktion der Gitterzellen

• Formel:

• Rekursiv definiert:

• Induktion:

Rekonstruktion der Gitterzellen

• Formel:

• Rekursiv definiert:

• Induktion:

• Darstellung mit Transparenzen und Logarithmieren:

Rekonstruktion der Gitterzellen

• Ebenengleichung:

Rekonstruktion der Gitterzellen

• Ebenengleichung:

• Formel ist n-dimensionale Ebene!

• Pro Pixel: Projektion ist „Optimierungvorschlag“ für betroffene Zellen

• Wichtung mit der Bedeutung der Zelle• Entfernung zum Bild, Strecke des Schnittes mit dem

Strahl

• Aktualisierung der Transparenzen mit Mittel der Optimierungsvorschläge

Rekonstruktion der Gitterzellen

Rekonstruktion der Gitterzellen

• transparency cutoff threshold• Ignorieren der Pixel ab bestimmter

Transparenz• Wert wischen 0.9 und 0.96• Starker Einfluss auf Geschwindigkeit

des Verfahrens

Rekonstruktion der Gitterzellen

Resultat:Gitternetz mit

Transparenzwert für jede Zelle

Texturgenerierung

Überblick:• Anhängen von blickpunktabhängigen

Billboards an jede Zelle• Interpolation zwischen den n dichtesten

Kameras

Texturgenerierung

Erste Idee: Projizieren des Billboards in die Fotografie

Problem: Blurring-Effekt

Texturgenerierung

• Optimales VerfahrenMöglich, wenn alle Informationen vorhanden wären

Texturgenerierung

1) Für jedes Bild: Ordnen der Zellen von vorne nach hinten

2) Projektion der Zelle in das Bild Region R3) Resamplen der Textur T des Billboards4) Bewerten der Pixel von T5) Auswahl der Wahrscheinlichsten Pixel6) Löschen der Pixel im Bild7) Rekonstruktion der gelöschten Pixel im

Bild

Texturgenerierung

• Zelltransparenz:

gewichtet:

Texturgenerierung

• Zelltransparenz:

gewichtet:

• Aktuelle Transparenz der Pixel:

Aktualisierung, wenn Pixel verwendet:

Texturgenerierung

• Bedeutung:

• Zusätzlich Alter für jedes PixelInkrement, wenn Pixel für Billboard

verwendet

Texturgenerierung

Texturgenerierung

• Sortieren der Pixel von T nach Alter und Bedeutung

• Auswahl der ersten Pixel

• Billboard erhält Farbwerte der ausgewählten Pixel und Alphawert der Zelle

Texturgenerierung

Ergebnisse

18 Fotografien110.000 Zellen58 MB Texturen (4x4)15+15 Minuten

22 Fotografien51.000 Zellen150 MB Texturen (8x8)15+30 Minuten

Pinie

Eiche

Ausblick und Probleme

• Aufnahme vor neutralem Hintergrund• Anderer Algorithmus?

• Keine Berücksichtigung der Beleuchtung bei der Bildaufnahme• Beleuchtung vor der Texturierung

entfernen?

• Nicht zufriedenstellend, wenn Baum aus der Nähe betrachtet wird

• Hohes Datenaufkommen der Texturen