Generierung vonOmni-Bildern

Teil 1 – EntzerrungTeil 2 – Weißabgleich

Teil 3 – Aneinanderfügen

von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager

1. Ergebnisse Entzerrung 2. Probleme nach Entzerrung

◦ Welche? Wodurch? Was tun? 3. Weißabgleich

◦ Wozu? Womit? Wie? Wann? 4. Aneinanderfügen

◦ 4.1 Ausrichten◦ 4.2 Überblenden

5. Beispielserie 6. Quellen

Agenda

1. Ergebnisse Entzerrung

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Durch Fischaugen-Linse verzerrte Aufnahme Aufnahme nach Entzerrung

3/35

2. Probleme nach Entzerrung –Welche?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Fisheye-Algorithmus entzerrt horizontal und vertikal Ergebnis:

perspektivische Information geht verloren

4/35

2. Probleme nach Entzerrung – Was tun?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Neuer Entzerrungsalgorithmus [1] nur horizontale Verzerrung korrigieren:

Perspektive bleibt erhalten Vertikale Verzerrungen leider auch

5/35

2. Probleme nach Entzerrung –Welche?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Probleme, entzerrte Bilder aneinanderzufügen

Überlappungen, da Field-of-View der Linse nicht genau 90°, sondern größer (97,4°)

Durch Verzerrungen Probleme mit Kanten an Bildrändern

6/35

2. Probleme nach Entzerrung –Welche?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Probleme mit Kanten und Krümmungen an Bildrändern

Phänomen in aufgenommenen Bildern

7/35

2. Probleme nach Entzerrung –Wodurch?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Entzerrungsalgorithmus = Mathematik! Verlangt absolute Genauigkeit Jedoch Fehler durch

◦ Ungenauigkeit Position/Ausrichtung der Linse◦ Ungenauigkeit Position/Ausrichtung CCD Chip◦ Ausrichtung des Roboter (unebener Untergrund)

Angewandte Formeln können daher keine perfekten Ergebnisse liefern

8/35

2. Probleme nach Entzerrung – Was tun?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Fehlerquellen ermitteln und Roboter „lernen“ lassen, diese automatisch zu korrigieren über polynomiale Gleichungssysteme möglich, aber sehr aufwendig

Ausrichtung der Bilder vor Aneinanderfügen notwendig

Einzelbilder ineinander Überblenden, um Überlappungen zu beheben

9/35

Durch unterschiedliche Beleuchtungssituationen

unterschiedliche Farbtemperatur der Bilder

3. Weißabgleich – Wozu?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild

10/35

Abgleich der Farbtemperaturen notwendig:◦ besserer visueller Eindruck◦ kräftigere Kontraste bessere Detektion von

Kanten o.Ä.◦ einheitlicher Bildeindruck nach Aneinanderfügen

3. Weißabgleich – Wozu?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Gleiche Farbtemperaturen in beiden Teilbildern

11/35

Weißabgleich in Roboterbildern einfach, da weißer Rand als Fläche mit Referenzweiß vorhanden in allen Bildern

3. Weißabgleich – Womit?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Cyan markierte Fläche für Referenzweiß

12/35

Ermitteln der Maximalwerte je Farbkanal im Referenzbereich liefert Rmax, Gmax, Bmax

Werte für volles Weiß gegeben: Wr = Wg = Wb = 255 Berechnen der Korrekturfaktoren pro

Farbkanal: Cr = Wr / Rmax Cg = Wg / Gmax Cb = Wb / Bmax

3. Weißabgleich – Wie?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 13/35

Farbkorrektur im Eingangsbild E mit Korrekturfaktor C zu Ausgabebild A:

Ar = Cr * Er Ag = Cg * Eg Ab = Cb * Eb Alle Pixel des Eingangsbildes durchlaufen

und Korrektur anwenden

3. Weißabgleich – Wie?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 14/35

Vor der Entzerrung sicher, dass dann im Referenzbereich auch wirklich weiße Fläche vorhanden ist

Durch Entzerrung möglich dass Referenzweiß-Fläche aus Referenzbereich „gezerrt“ wird

3. Weißabgleich – Wann?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Referenzfläche links im verzerrten und rechts im entzerrten Bild

15/35

Durch Überbelichtung viele Bildbereiche bereits weiß Korrektur bringt nichts

Licht/Schatten in Teilbildern liefern kein einheitliches Ergebnis im Gesamtbild Überblenden der Teilbilder nötig

3. Weißabgleich – Probleme?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Überbelichtung irreversibel

16/35

Ziele:

◦ Selektion und Zusammensetzung der Pixel, welche zum Ergebnisbild gehören

◦ Überblenden der Pixel mit Minimum an

sichtbaren Übergängen, Unschärfe und Artefakten/Aliasing (Ghosting)

4. Aneinanderfügen

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 17/35

Nur einige Bilder sind zusammenzufügen

◦ Ein Bild ist Referenzbild & alle Anderen auf das Referenzkoordinatensystem abbilden

Wenn größeres Sichtfeld (>90 Grad)

◦ jedes Pixel vom Ergebnisbild in 3D-Punkt konvertieren

◦ auf Grundlage der Projektionsmatrix zurück auf Ausgangsbild mappen

4. Wie soll Ergebnisbild aussehen?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 18/35

4.1 Ausrichten

Ziel:

◦ Erstellen eines großen Bildes aus mehreren kleineren Einzelaufnahmen

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 19/35

Ermitteln des Überlappungsbereiches zweier Bilder per Hand, z.B. durch:◦ Ausrechnen◦ Abmessen◦ Definieren

Bereich im Programm statisch festlegen

4.1 Ausrichten – Trivialer Ansatz

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 20/35

Pixelbasierte Methoden◦ Bilder relativ zueinander verschieben◦ Größtmögliche Übereinstimmung der Pixel suchen◦ Direkter Vergleich von Pixeln oder Pixelblöcken

◦ Methoden Error Metrics Hierarchical Motion Estimation Fourier-Based Alignment Incremental Refinement

4.1 Ausrichten – Intelligente Algorithmen

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 21/35

Durch Verschieben Platzierung der Bilder ermitteln

Jede Pixelkombination miteinander vergleichen

Bei Farbbildern Vergleich der einzelnen Farbwerte oder der Bildhelligkeit

4.1 Ausrichten – Error Metrics

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 22/35

Beispiele:

◦ Robust Error Metrics

◦ Spatially Varying Weights

◦ Bias and Gain

◦ Korrelation

4.1 Ausrichten – Error Metrics

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 23/35

Erstellen einer „Image Pyramide“ -> hierarchischer Vergleich von groben bis

hin zu feinen Mustern/Blöcken Innerhalb eines Levels: Full Search Block mit geringster Abweichung:

Initialwert für nächstdarunterliegendes Level

4.1 Ausrichten – Hierarchical Motion Estimation

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 24/35

Vorteil:◦ Viel schneller

Nachteil◦ Ineffektiv◦ Signifikante Bilddetails können verloren gehen

4.1 Ausrichten – Hierarchical Motion Estimation

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 25/35

4.1 Ausrichten – Intelligente Algorithmen

Eigenschaftenbasierte Methoden◦ Beiden Bildern markante Eigenschaften

entnehmen◦ Vergleichen◦ Übereinstimmungen ermitteln◦ -> geometrische Transformation der Bilder

abschätzbar

◦ Methoden Keypoint Detectors Feature Matching Geometric Registration

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 26/35

4.1 Ausrichten – Intelligente Algorithmen

Keypoint Detectors

Feature Matching

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 27/35

Aufgabe◦ Belichtungsunterschiede und

Ausrichtungsunstimmigkeiten kompensieren ohne zu sehr an Schärfe zu verlieren

◦ Übergang soll nahezu unsichtbar werden

4.2 Überblenden

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 28/35

Laplace-Pyramiden-Überblendung

◦ sich anpassende Breite anhand Frequenz (verschiedene Level)

◦ Band-Pass Pyramide (Laplace) aus jedem Eingangsbild

◦ Interpolation und Zusammensetzen aller „Level“ der Pyramide ergibt Ergebnisbild

4.2 Überblenden - Lösungsansätze

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 29/35

4.2 Überblenden – Vergleich Lösungsansätze

Mittelwert Region of Difference

Pyramiden-ÜberblendungGewichtung

(Feathering)

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 30/35

Entzerrte Einzelbilder

5. Beispielserie

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 31/35

Weißabgleich Einzelbilder

5. Beispielserie

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 32/35

Ausrichten und Aneinanderfügen

5. Beispielserie

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 33/35

Blenden

5. Beispielserie

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Guter Übergang Problem durch Aliasing

34/35

Weißabgleich:http://de.wikipedia.org/wiki/Wei%C3%9Fabgleich

http://de.wikibooks.org/wiki/Digitale_bildgebende_Verfahren:_Digitale_Bilder#Wei.C3.9Fabgleich

Aneinanderfügenhttp://research.microsoft.com/pubs/70092/tr-2004-

92.pdf

Quellen verfügbar unter:[1] http://www.altera.com/literature/wp/wp-01107-stitch- fisheye-images.pdf

6. Quellen

35/35Generierung von Omni-Bildern – Weißabgleich &

Aneinanderfügen