Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

35
Generierung von Omni-Bildern Teil 1 – Entzerrung Teil 2 – Weißabgleich Teil 3 – Aneinanderfügen von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager

Transcript of Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Page 1: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Generierung vonOmni-Bildern

Teil 1 – EntzerrungTeil 2 – Weißabgleich

Teil 3 – Aneinanderfügen

von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager

Page 2: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

1. Ergebnisse Entzerrung 2. Probleme nach Entzerrung

◦ Welche? Wodurch? Was tun? 3. Weißabgleich

◦ Wozu? Womit? Wie? Wann? 4. Aneinanderfügen

◦ 4.1 Ausrichten◦ 4.2 Überblenden

5. Beispielserie 6. Quellen

Agenda

Page 3: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

1. Ergebnisse Entzerrung

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Durch Fischaugen-Linse verzerrte Aufnahme Aufnahme nach Entzerrung

3/35

Page 4: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

2. Probleme nach Entzerrung –Welche?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Fisheye-Algorithmus entzerrt horizontal und vertikal Ergebnis:

perspektivische Information geht verloren

4/35

Page 5: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

2. Probleme nach Entzerrung – Was tun?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Neuer Entzerrungsalgorithmus [1] nur horizontale Verzerrung korrigieren:

Perspektive bleibt erhalten Vertikale Verzerrungen leider auch

5/35

Page 6: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

2. Probleme nach Entzerrung –Welche?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Probleme, entzerrte Bilder aneinanderzufügen

Überlappungen, da Field-of-View der Linse nicht genau 90°, sondern größer (97,4°)

Durch Verzerrungen Probleme mit Kanten an Bildrändern

6/35

Page 7: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

2. Probleme nach Entzerrung –Welche?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Probleme mit Kanten und Krümmungen an Bildrändern

Phänomen in aufgenommenen Bildern

7/35

Page 8: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

2. Probleme nach Entzerrung –Wodurch?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Entzerrungsalgorithmus = Mathematik! Verlangt absolute Genauigkeit Jedoch Fehler durch

◦ Ungenauigkeit Position/Ausrichtung der Linse◦ Ungenauigkeit Position/Ausrichtung CCD Chip◦ Ausrichtung des Roboter (unebener Untergrund)

Angewandte Formeln können daher keine perfekten Ergebnisse liefern

8/35

Page 9: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

2. Probleme nach Entzerrung – Was tun?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Fehlerquellen ermitteln und Roboter „lernen“ lassen, diese automatisch zu korrigieren über polynomiale Gleichungssysteme möglich, aber sehr aufwendig

Ausrichtung der Bilder vor Aneinanderfügen notwendig

Einzelbilder ineinander Überblenden, um Überlappungen zu beheben

9/35

Page 10: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Durch unterschiedliche Beleuchtungssituationen

unterschiedliche Farbtemperatur der Bilder

3. Weißabgleich – Wozu?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild

10/35

Page 11: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Abgleich der Farbtemperaturen notwendig:◦ besserer visueller Eindruck◦ kräftigere Kontraste bessere Detektion von

Kanten o.Ä.◦ einheitlicher Bildeindruck nach Aneinanderfügen

3. Weißabgleich – Wozu?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Gleiche Farbtemperaturen in beiden Teilbildern

11/35

Page 12: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Weißabgleich in Roboterbildern einfach, da weißer Rand als Fläche mit Referenzweiß vorhanden in allen Bildern

3. Weißabgleich – Womit?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Cyan markierte Fläche für Referenzweiß

12/35

Page 13: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Ermitteln der Maximalwerte je Farbkanal im Referenzbereich liefert Rmax, Gmax, Bmax

Werte für volles Weiß gegeben: Wr = Wg = Wb = 255 Berechnen der Korrekturfaktoren pro

Farbkanal: Cr = Wr / Rmax Cg = Wg / Gmax Cb = Wb / Bmax

3. Weißabgleich – Wie?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 13/35

Page 14: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Farbkorrektur im Eingangsbild E mit Korrekturfaktor C zu Ausgabebild A:

Ar = Cr * Er Ag = Cg * Eg Ab = Cb * Eb Alle Pixel des Eingangsbildes durchlaufen

und Korrektur anwenden

3. Weißabgleich – Wie?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 14/35

Page 15: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Vor der Entzerrung sicher, dass dann im Referenzbereich auch wirklich weiße Fläche vorhanden ist

Durch Entzerrung möglich dass Referenzweiß-Fläche aus Referenzbereich „gezerrt“ wird

3. Weißabgleich – Wann?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Referenzfläche links im verzerrten und rechts im entzerrten Bild

15/35

Page 16: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Durch Überbelichtung viele Bildbereiche bereits weiß Korrektur bringt nichts

Licht/Schatten in Teilbildern liefern kein einheitliches Ergebnis im Gesamtbild Überblenden der Teilbilder nötig

3. Weißabgleich – Probleme?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Überbelichtung irreversibel

16/35

Page 17: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Ziele:

◦ Selektion und Zusammensetzung der Pixel, welche zum Ergebnisbild gehören

◦ Überblenden der Pixel mit Minimum an

sichtbaren Übergängen, Unschärfe und Artefakten/Aliasing (Ghosting)

4. Aneinanderfügen

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 17/35

Page 18: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Nur einige Bilder sind zusammenzufügen

◦ Ein Bild ist Referenzbild & alle Anderen auf das Referenzkoordinatensystem abbilden

Wenn größeres Sichtfeld (>90 Grad)

◦ jedes Pixel vom Ergebnisbild in 3D-Punkt konvertieren

◦ auf Grundlage der Projektionsmatrix zurück auf Ausgangsbild mappen

4. Wie soll Ergebnisbild aussehen?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 18/35

Page 19: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

4.1 Ausrichten

Ziel:

◦ Erstellen eines großen Bildes aus mehreren kleineren Einzelaufnahmen

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 19/35

Page 20: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Ermitteln des Überlappungsbereiches zweier Bilder per Hand, z.B. durch:◦ Ausrechnen◦ Abmessen◦ Definieren

Bereich im Programm statisch festlegen

4.1 Ausrichten – Trivialer Ansatz

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 20/35

Page 21: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Pixelbasierte Methoden◦ Bilder relativ zueinander verschieben◦ Größtmögliche Übereinstimmung der Pixel suchen◦ Direkter Vergleich von Pixeln oder Pixelblöcken

◦ Methoden Error Metrics Hierarchical Motion Estimation Fourier-Based Alignment Incremental Refinement

4.1 Ausrichten – Intelligente Algorithmen

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 21/35

Page 22: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Durch Verschieben Platzierung der Bilder ermitteln

Jede Pixelkombination miteinander vergleichen

Bei Farbbildern Vergleich der einzelnen Farbwerte oder der Bildhelligkeit

4.1 Ausrichten – Error Metrics

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 22/35

Page 23: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Beispiele:

◦ Robust Error Metrics

◦ Spatially Varying Weights

◦ Bias and Gain

◦ Korrelation

4.1 Ausrichten – Error Metrics

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 23/35

Page 24: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Erstellen einer „Image Pyramide“ -> hierarchischer Vergleich von groben bis

hin zu feinen Mustern/Blöcken Innerhalb eines Levels: Full Search Block mit geringster Abweichung:

Initialwert für nächstdarunterliegendes Level

4.1 Ausrichten – Hierarchical Motion Estimation

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 24/35

Page 25: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Vorteil:◦ Viel schneller

Nachteil◦ Ineffektiv◦ Signifikante Bilddetails können verloren gehen

4.1 Ausrichten – Hierarchical Motion Estimation

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 25/35

Page 26: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

4.1 Ausrichten – Intelligente Algorithmen

Eigenschaftenbasierte Methoden◦ Beiden Bildern markante Eigenschaften

entnehmen◦ Vergleichen◦ Übereinstimmungen ermitteln◦ -> geometrische Transformation der Bilder

abschätzbar

◦ Methoden Keypoint Detectors Feature Matching Geometric Registration

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 26/35

Page 27: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

4.1 Ausrichten – Intelligente Algorithmen

Keypoint Detectors

Feature Matching

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 27/35

Page 28: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Aufgabe◦ Belichtungsunterschiede und

Ausrichtungsunstimmigkeiten kompensieren ohne zu sehr an Schärfe zu verlieren

◦ Übergang soll nahezu unsichtbar werden

4.2 Überblenden

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 28/35

Page 29: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Laplace-Pyramiden-Überblendung

◦ sich anpassende Breite anhand Frequenz (verschiedene Level)

◦ Band-Pass Pyramide (Laplace) aus jedem Eingangsbild

◦ Interpolation und Zusammensetzen aller „Level“ der Pyramide ergibt Ergebnisbild

4.2 Überblenden - Lösungsansätze

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 29/35

Page 30: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

4.2 Überblenden – Vergleich Lösungsansätze

Mittelwert Region of Difference

Pyramiden-ÜberblendungGewichtung

(Feathering)

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 30/35

Page 31: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Entzerrte Einzelbilder

5. Beispielserie

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 31/35

Page 32: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Weißabgleich Einzelbilder

5. Beispielserie

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 32/35

Page 33: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Ausrichten und Aneinanderfügen

5. Beispielserie

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 33/35

Page 34: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Blenden

5. Beispielserie

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Guter Übergang Problem durch Aliasing

34/35

Page 35: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager.

Weißabgleich:http://de.wikipedia.org/wiki/Wei%C3%9Fabgleich

http://de.wikibooks.org/wiki/Digitale_bildgebende_Verfahren:_Digitale_Bilder#Wei.C3.9Fabgleich

Aneinanderfügenhttp://research.microsoft.com/pubs/70092/tr-2004-

92.pdf

Quellen verfügbar unter:[1] http://www.altera.com/literature/wp/wp-01107-stitch- fisheye-images.pdf

6. Quellen

35/35Generierung von Omni-Bildern – Weißabgleich &

Aneinanderfügen