Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien
description
Transcript of Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien
Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien
Alex Reche, Ignacio Martin und George Drettakis
Einführung
Ziel:• Erfassen von real existierenden
Bäumen anhand von Fotografien.• Erstellen eines Modells mit
niedriger Polygonzahl.
Einführung
Zentrale Beobachtung:• Pixel ist Projektion einer best.
Anzahl von Blättern und Ästen auf den Hintergrund.
• Transparenz-Effekt: Pixel eine Mischung aus Vordergrundfarbe (Blätter/Äste) und Hintergrundfarbe (Himmel).
Inhalt
1) Aufnahme der Fotografien
Inhalt
1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle
Inhalt
1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle3) Rekonstruktion eines 3D-Gitters
Inhalt
1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle3) Rekonstruktion eines 3D-Gitters4) Texturgenerierung durch Billboards
Inhalt
11 Fotografien11 Transparenzkanäle der Fotografien11 Zellkomplex mit Alphawerten für jede
Zelle11 M xM -Textur pro Foto für jede Zelle
Bildaufnahme
• 20-30 Fotos/Baum• Alle Richtungen• Gleiche Entfernung• Uniformer
Hintergrund• Kalibrierung
anhand von Marken im Bild
Berechnung der Alphakanäle
Algorithmus von Ruzon und Tomasi• Anwender definiert Bereiche
• Vorder-, Hintergrund, transparent, ignorieren
• Algorithmus berechnet Transparenzwerte
Berechnung der Alphakanäle
• Transformation in den Lab-Farbraum
• Clusterbildung in der ab-Ebene (F/B)
• Lineare Interpolation der transparenten Werte:
Rekonstruktion der Gitterzellen
Überblick:• Rekursives 3x3x3-Gitter in der
Bounding-Box
Rekonstruktion der Gitterzellen
Überblick:• Rekursives 3x3x3-Gitter in der
Bounding-Box• Bestimmung der Alphawerte der Zellen
Rekonstruktion des Bildaufnahmevorgages
Rekonstruktion der Gitterzellen
Überblick:• Rekursives 3x3x3-Gitter in der
Bounding-Box• Bestimmung der Alphawerte der Zellen
Rekonstruktion des Bildaufnahmevorgages
• Hier keine Betrachtung der Farbwerte!
Rekonstruktion der Gitterzellen
Modell für die Bildentstehung:• Strahl durch Zelle:
Rekonstruktion der Gitterzellen
Modell für die Bildentstehung:• Strahl durch Zelle:
• Bei mehreren Zellen:
Rekonstruktion der Gitterzellen
Modell für die Bildentstehung:• Strahl durch Zelle:
• Bei mehreren Zellen:
• Verwendung eines absortion only Modells• Nur Absorption, keine Emission, Schatten...• Nur Transparenzen, keine farbigen Zellen
• Ermittlung aller Zellen, die für Pixel relevant waren.
• Initialisierung der Pixelopazitätenkleinste Opazität der sichtbaren Pixel
• Optimierung der Opazitäten, so dass die Gleichungen für alle Pixel erfüllt sind.
Rekonstruktion der Gitterzellen
Rekonstruktion der Gitterzellen
• Formel:
Rekonstruktion der Gitterzellen
• Formel:
• Rekursiv definiert:
Rekonstruktion der Gitterzellen
• Formel:
• Rekursiv definiert:
• Induktion:
Rekonstruktion der Gitterzellen
• Formel:
• Rekursiv definiert:
• Induktion:
• Darstellung mit Transparenzen und Logarithmieren:
Rekonstruktion der Gitterzellen
• Ebenengleichung:
Rekonstruktion der Gitterzellen
• Ebenengleichung:
• Formel ist n-dimensionale Ebene!
• Pro Pixel: Projektion ist „Optimierungvorschlag“ für betroffene Zellen
• Wichtung mit der Bedeutung der Zelle• Entfernung zum Bild, Strecke des Schnittes mit dem
Strahl
• Aktualisierung der Transparenzen mit Mittel der Optimierungsvorschläge
Rekonstruktion der Gitterzellen
Rekonstruktion der Gitterzellen
• transparency cutoff threshold• Ignorieren der Pixel ab bestimmter
Transparenz• Wert wischen 0.9 und 0.96• Starker Einfluss auf Geschwindigkeit
des Verfahrens
Rekonstruktion der Gitterzellen
Resultat:Gitternetz mit
Transparenzwert für jede Zelle
Texturgenerierung
Überblick:• Anhängen von blickpunktabhängigen
Billboards an jede Zelle• Interpolation zwischen den n dichtesten
Kameras
Texturgenerierung
Erste Idee: Projizieren des Billboards in die Fotografie
Problem: Blurring-Effekt
Texturgenerierung
• Optimales VerfahrenMöglich, wenn alle Informationen vorhanden wären
Texturgenerierung
1) Für jedes Bild: Ordnen der Zellen von vorne nach hinten
2) Projektion der Zelle in das Bild Region R3) Resamplen der Textur T des Billboards4) Bewerten der Pixel von T5) Auswahl der Wahrscheinlichsten Pixel6) Löschen der Pixel im Bild7) Rekonstruktion der gelöschten Pixel im
Bild
Texturgenerierung
• Zelltransparenz:
gewichtet:
Texturgenerierung
• Zelltransparenz:
gewichtet:
• Aktuelle Transparenz der Pixel:
Aktualisierung, wenn Pixel verwendet:
Texturgenerierung
• Bedeutung:
• Zusätzlich Alter für jedes PixelInkrement, wenn Pixel für Billboard
verwendet
Texturgenerierung
Texturgenerierung
• Sortieren der Pixel von T nach Alter und Bedeutung
• Auswahl der ersten Pixel
• Billboard erhält Farbwerte der ausgewählten Pixel und Alphawert der Zelle
Texturgenerierung
Ergebnisse
18 Fotografien110.000 Zellen58 MB Texturen (4x4)15+15 Minuten
22 Fotografien51.000 Zellen150 MB Texturen (8x8)15+30 Minuten
Pinie
Eiche
Ausblick und Probleme
• Aufnahme vor neutralem Hintergrund• Anderer Algorithmus?
• Keine Berücksichtigung der Beleuchtung bei der Bildaufnahme• Beleuchtung vor der Texturierung
entfernen?
• Nicht zufriedenstellend, wenn Baum aus der Nähe betrachtet wird
• Hohes Datenaufkommen der Texturen