ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena Regel- und...

55
ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de „Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras“

Transcript of ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena Regel- und...

Page 1: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

„Regel- und Korrekturmechanismen in DSP-basierten Digitalkameras“

Page 2: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Referent: Dr.-Ing. Günter Uhlrich (Geschäftsführer)

Kontakt: ABSGesellschaft für Automatisierung,Bildverarbeitung und Software mbHErlanger Allee 10307747 JenaTel: 0 36 41 / 22 26 0Fax: 0 36 41 / 22 26 11E-Mail: [email protected]

Page 3: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Die ABS GmbH versteht sich als Entwickler und Hersteller von speziellen an Kundenanforderungen angepassten DSP-/FPGA-basierten Digitalkamera-systemen.

Die Basis dafür bildet langjährige Erfahrung - auf dem Gebiet der Elektronikentwicklung und der digitalen Signalverarbeitung- als Systemintegrator auf dem Gebiet der digitalen Bildverarbeitung

Die ABS GmbH verfügt über eine modular realisierte Familie von industrietauglichen Kamerasystemen.

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Profil der ABS GmbH JenaProfil der ABS GmbH Jena

Page 4: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

InhaltInhalt

1. Einleitung: Einsatzfelder für Digitalkameras mit DSP

2. ABS-Kamerafamilie USB2.0

3. Systemkonzepte von Kameras mit DSP

4. Helligkeitsregelung

5. Farbregelung

6. Bildverbesserung

7. Kamerasteuerung/sonstiges

8. Anwendungsmöglichkeiten für intelligente Kameras im

Sinne der Bildverarbeitung

9. Ausblick

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 5: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Die Entwicklung der technischen Möglichkeiten einer in die Kameras integrierten leistungsfähigen Elektronik (DSP/Speicher/FPGA) stellt die Entwickler und Hersteller von modernen Kamerasystemen für kommerzielle Anwendungen auch vor ständig steigende Erwartungen/Anforderungen an die Verarbeitungsfähigkeiten (Verarbeitungsintelligenz) der Kamerasysteme.

Diese Erwartungshaltung wird verstärkt durch die hohe Funktionsvielfalt von Digitalkameras für die private und auch professionelle Fotografie. Zwar können die oft preiswerten Digitalkameras aufgrund ihrer extremen Optimierung auf Kosten, Baugröße und Energieverbrauch die physikalischen Anforderungen kommerzieller Kamerasysteme nicht erfüllen (Empfindlichkeit, Rauschen, Geschwindigkeit, Homogenität der Pixeleigenschaften, Farbkonstanz, ...), jedoch prägen sie die o. g. Erwartungshaltung.

Es ist nicht möglich, in einem 25-Minuten-Vortrag die Thematik eingehend darzustellen. Deshalb kann nur versucht werden, einen Überblick über den Umfang und die Komplexität zu geben. Einige Ausführungen erfolgen zu den zentralen Themen Helligkeitsregelung, Weißabgleich, Farbregelung.

MotivationMotivation

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 6: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

1. Einleitung (1)1. Einleitung (1)

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Einsatzfelder für Digitalkamerasysteme mit DSP/FPGA:

• Industrielle Bildverarbeitung

• Robotik

• Überwachung/Zugangskontrolle

• Sicherheitsüberwachung

• Verkehrsüberwachung

• Maschinen-/Anlagenüberwachung

• Prozessüberwachung

• Biometrie (Gesicht, Hand, Finger, Iris)

• Mikroskopie

• Astronomie

• Photographie

Page 7: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

1. Einleitung (2)1. Einleitung (2)

Regelmechanismen haben große Bedeutung bei Visualisierung und Aufzeichnungssystemen:

Ziel: Bildinformationen stärker hervorheben

Beispiele für Regelaufgaben:

• Regelung von Helligkeit und Ausleuchtung

• Farbkorrektur

• Rauschminderung

• geometrische Entzerrung

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 8: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

1. Einleitung (3) 1. Einleitung (3) - Bildübertragungssystem (vereinfachtes Prinzip)- Bildübertragungssystem (vereinfachtes Prinzip)

Sensor

AD-Wandler

SensorsteuerungSensorkennlinie/LUT

VerstärkungArea of Interest

BildvorverarbeitungFarbinterpolationgeometrische Entzerrung BelichtungskorrekturFarbbalanceanpassung

Zwischenbild

FarbraumanpassungMonitor (Gamma-Korrektur)

FarbraumanpassungDrucker

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Bild im Sensor-Koordinatensystem

Page 9: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

1. Einleitung (4)1. Einleitung (4)

Grenzen für Regelmechanismen bei Digitalkameras mit DSP:

• Messende Bildverarbeitung:

Vorverarbeitung mit großer Vorsicht!

Gefahr der Bildverfälschung

Die beste Bildvorverarbeitung in der messenden Bildverarbeitung ist

keine Vorverarbeitung!

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 10: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

- Intelligente Digitalkameras auf DSP-/FPGA-Basis

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Kameratyp UK2000 UK2001 UK3075 UK3058

Bildauflösung 640 x 480 640 x 480 2048 x 1536 1360 x 1024

0,3 MPixel 0,3 MPixel 3,1 MPixel 1,4 MPixel

Format VGA VGA QXGA SXGA+

Sensor 1/3 ” CMOS 1/2 ” CMOS 1/2 ” CMOS 2/3 ” CCD*

monochrom / color monochrom / color color monochrom / color

Pixelgröße 7,5 x 7,5 m 9,9 x 9,9 m 3,2 x 3,2 µm 6,45 x 6,45 µm

A/D-Auflösung 12 bit 10 bit 10 bit 12 bit

Bildrate (Sensor) 30 fps 120 fps 12 fps 15 fps

Dynamikbereich 103 dB 60 dB 60dB > 60 dB

Shutter Rolling Shutter Global Shutter Rolling Shutter** Global Shutter

* Sony ExView HAD CCD** Global Shutter Release für den Snapshot-Mode

2. ABS-Kamerafamilie mit USB2.0-Interface (1)2. ABS-Kamerafamilie mit USB2.0-Interface (1)

Page 11: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Kamerafamilie UK20xx Kamerafamilie UK30xx

Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (1)

robuste industrietaugliche Gehäusekonstruktion mit gängigen Anschraubmöglichkeiten

(von allen 4 Seiten sowie von der Frontfläche)

C-Mount-Objektivanschluss

kompakte Kamera 52 mm x 51 mm x 56 mm (90 mm bei UK30xx)

interne Glasabdeckung als zusätzlicher Sensorschutz (Staub, Kratzer)

Justagering für Auflagemaß (z. B. nutzbar für Makroeinstellungen des Objektivs;

ermöglicht Verwendung preiswerter Objektive mit Auflagemaßfehler)

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

52 mm x 51 mm x 56 mm 52 mm x 51 mm x 90 mm

2. ABS-Kamerafamilie mit USB2.0-Interface (2)2. ABS-Kamerafamilie mit USB2.0-Interface (2)

Page 12: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

schraubbare industrielle Steckverbinder, insbesondere

auch USB schraubbar

2x4 SPS-taugliche I/O’s (optoentkoppelt; externe

Versorgungsspannung konfigurierbar; nominell 12 bzw.

24 V; kurzschlussfest)

konzipiert zum Einsatz mit Blitzlichtsystemen

(insbesondere LED-Blitzsystemen)

Triggerausgang für Blitzbeleuchtung “Extsync”

Eingang für Bildtriggerung “Snapshot”; asynchroner Trigger

geringer Leistungsverbrauch (< 2,5 W)

weiter Eingangsspannungsbereich 9 ... 36 V

entwickelt für hohe Zuverlässigkeit (Wärme, Kälte,Vibration,

Kurzschlussfestigkeit der I/O’s, ...)

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

2. ABS-Kamerafamilie mit USB2.0-Interface (3)2. ABS-Kamerafamilie mit USB2.0-Interface (3)

Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (2)

Rückansicht UK20xx/UK30xx

USB2.0 geschraubt

Power SPS-I/O

Page 13: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

USB-Interface Framegrabber ist nicht nötig !

- einfach zu handhaben; Plug & Play

- mehrere Kameras parallel am PC standardmäßig betreibbar, entsprechend

synchronisierbar

leistungsfähiges SDK im Lieferumfang mit Demoprogramm und Codebeispielen zur

einfachen Integration in nutzereigene Software für Betriebssystem MS Windows

(Win98SE, Win2000, WinXP); optional auch für LINUX

Kompatibilität zu gängigen Bildverarbeitungssystemen/Softwarepaketen wie

- VICOSYS

- HALCON

- MontiVision

- Neurocheck (in Vorbereitung)

Softwareschnittstelle kompatibel zu DirectShow, damit nutzbar in vielen Windows

basierten Programmsystemen

Firmwareupdate via USB

2. ABS-Kamerafamilie mit USB2.0-Interface (4)2. ABS-Kamerafamilie mit USB2.0-Interface (4)

Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (3)

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 14: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

2. ABS-Kamerafamilie mit USB2.0-Interface (5)2. ABS-Kamerafamilie mit USB2.0-Interface (5)

Schlüsseleigenschaften der Kamerafamilien UK20xx und UK30xx (4)

interner DSP/FPGA; Möglichkeit, die DSP-/FPGA-Verarbeitungsleistung Kundenwunsch

bezogen einzusetzen

AOI; on-the-fly veränderbar

horizontal, vertical and full binning

Bildzähler mit präziser Zeitmarke (Time Stamp)

LUT direkt in der Kamera, on-the-fly umschaltbar

Bildspeicher inklusive (8 bis 32 MByte SDRAM); sicherer und robuster Bildeinzug

modulares Konzept (OEM-Module verfügbar)

wahlweise off-board / on-board Colorprocessing, d. h. decodiert Bayer-Pattern

(on board Bayer Demosaicing; on board RGB YUV Generation; Color Correction)

Übertragungsbandbreite PC-Entlastung

Bilddatenkompression, Motion-JPEG (MPEG-4 in Vorbereitung)

zusätzliche digitale Offset- und Gain-Anpassung für bestmöglichen Kontrast

erweiterter Temperaturbereich des Sensors –40°C bis +85°C (UK2000)

nichtlineare Sensorkennlinie Übersteuerungsfestigkeit (UK2000)

quadratische Pixel geeignet für Messtechnik

Real Time Shading-Korrektur (s/w oder RGB)

Page 15: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

2. ABS-Kamerafamilie mit USB2.0-Interface (6)2. ABS-Kamerafamilie mit USB2.0-Interface (6)

Typische kundenspezifische Modifikationen

- Konstruktive Anpassung zur optimalen Integration in das Gesamtgerät, typisch mit abgesetzten Bildsensoren- Kamerasysteme mit meist mehreren synchronisierten Sensoren - „mehräugige Systeme“ verschiedene Blickrichtungen verschiedene Abbildungsoptiken (z. B. Weitwinkel- und Teleobjektiv) Multispektral-Systeme als Stereokamerasystem mit synchron getriggerter Bildauflösung - Energie sparende Systeme für batteriebetriebene Geräte mit Bilddatenkompression- miniaturisierte Systeme mit extrem hoher Packungsdichte, z. B. mit Starr-Flex- Leiterplatten ausgeführt- Kamerasysteme mit direkter DVI-Monitorsignalausgabe- low cost Mess- und Sensorsysteme mit Integration der gesamten Geräteelektronik in die Kamerabaugruppe

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 16: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

3. Systemkonzepte von Digitalkameras3. Systemkonzepte von Digitalkameras

1. Kameras mit DSP

• höhere Flexibilität

• einfachere Realisierung von speziellen Verarbeitungsalgorithmen

• intelligentere Verarbeitungsfunktionen

2. Kameras mit FPGA

• sehr hohe Verarbeitungsleistung

Farbinterpolation, Datenkompression, Filterung, Korrelation

• Nachteil: hoher Entwicklungsaufwand für spezielle Algorithmen

3. Kameras mit DSP und FPGA

• Kombination der vorteilhaften Eigenschaften von DSP und FPGA

4. Kameras mit Spezialprozessoren

• Spezialprozessoren: SoC (Silicon on Chip), Webcam etc.

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Blockschaltbild 1

Blockschaltbild 2

Blockschaltbild 3a-3c

Aufgaben

Page 17: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

4. Helligkeitsregelung - Vorbereitung der Kamera4. Helligkeitsregelung - Vorbereitung der Kamera

In vielen Fällen fehlt Licht.

Typische Prozedurabfolge:

• Schaffung optimaler Beleuchtungsbedingungen

• Blende vergrößern bis Tiefenschärfegrenze

oder Qualitätslimit des Objektivs erreicht ist

• Belichtungszeit vergrößern bis Grenze der

zulässigen Bewegungsunschärfe erreicht ist

• automatische Regelung starten

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 18: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

4. Helligkeitsregelung - Regelszenarien4. Helligkeitsregelung - Regelszenarien

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Sensor-kennlinie

linear nichtlinear

Wieviele Dekaden?

Wieviele über-/untersteuerte Pixel zulassen?Auswahl des Algorithmus

Histogramm-regelung?

Aufgabe: Anpassen der Dynamik der Kamera an die Dynamik der Szene

linear

Dynamik

kumulativ

Anwendungsbeispiele:

Page 19: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

5. Farbregelung (1)5. Farbregelung (1)

Grundproblematik

- Menschliches Sehsystem kann starke Varianz der

Beleuchtung automatisch ausgleichen ohne den

Farbeindruck zu verfälschen.

- Farbkameras können diese intelligenten Algorithmen (noch) nicht

realisieren.

- Eine akzeptable Farbdarstellung erfordert neben dem Weißabgleich

eine beleuchtungsabhängige Farbraumtransformation, die sich auch

am Wiedergabemedium orientiert.ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Bildübertragungssystem

Page 20: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

5. Farbregelung (2)5. Farbregelung (2)

Grundsätzliche Lösungsansätze:

1. Manuell Farbeindruck regeln• Korrektur über Einstellelemente für

• Rot-, Grün-, Blauverstärkung • Chrominanz Rot und Blau getrennt (2 Parameter)• Farbtemperatur (1 Parameter)

2. Kalibriervorlage • Kalibrierung mit Weißvorlage oder Farbtafel (halbautomatisch)• Farbabgleich durch Suche eines bekannten (i. d. R. weißen) Objektes, z. B. Roboteranwendungen

3. Lichtmessung• manuelle oder automatische Ermittlung der Beleuchtungscharakteristik (Belichtungssensor mit Streuscheibe/Farbfilter)

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 21: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

5. Farbregelung (3)5. Farbregelung (3)

Regelalgorithmen für den Weißabgleich:

- Gray-World-Algorithmus

- Annahme des perfekten Reflektors

- White-Patch (Retinex) Algorithmus

Farbregelung und Beleuchtung müssen zusammen betrachtet werden!

Spektrum des Beleuchtungslichtes aus dem Bild schätzen

und zur Korrektur heranziehen!

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 22: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

5. Farbregelung (4)5. Farbregelung (4)

Probleme automatischer Regelalgorithmen

- Gray-World-Algorithmus (GW)

• Überkorrektur von Farbstichen (helle Bereiche)

- Annahme des perfekten Reflektors (PR)

• unvollständige Korrektur von Farbstichen (helle Bereiche)

- White-Patch (Retinex) Algorithmus (WP)

• Überbewertung einzelner Pixel

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Lösungsansätze:

- Hybridalgorithmen (GW + PR, GW + WP)

- Wichtung der Pixel, z.B. nach räumlicher und spektraler Nähe

- modifizierter Gray-World-Algorithmus nur für helle Pixel

Das Ergebnis erscheint häufig subjektiv!

Retinex

Page 23: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

6. Bildverbesserung (1)6. Bildverbesserung (1)

1. Sensorkalibrierung (FPN-Korrektur)

• Offset-Korrektur “Offset Fixed Pattern Noise”

• Verstärkungsausgleich der Sensorelemente

“Gain Fixed Pattern Noise” oder PRNU

2. Shadingkorrektur

• Ausgleich von Beleuchtungsinhomogenitäten

• Ausgleich des optisch bedingten Randabfalls der Helligkeit

3. Geometrische Entzerrung und Korrektur

• Ausgleich nichtquadratischer Pixel

• Ausgleich von Objektiv-Verzeichnungen

• Entzerrung z.B. von “stürzenden Linien”, Luftbildentzerrung

• Skalierung und Drehung

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Beispiele

Page 24: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

6. Bildverbesserung (2)6. Bildverbesserung (2)

4. Rauschverminderung• Mittelwertfilterung

• gewichtete Mittelwertfilterung (z.B. Gaussfilter)• nichtlineare Filterung (z.B. Medianfilter)

5. Kontrastverstärkung / Bildschärfeverbesserung• Histogrammanpassung

• Kantenverstärkung• Schärfeoperatoren (z. B. Unscharfmaskierung)

6. Bildstabilisierung Video• konstantes Bildfeld

• bewegtes Bildfeld• Zoom• Kamerafahrt• Kameraschwenk

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Beispiele

Page 25: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

7. Kamerasteuerung/sonstiges7. Kamerasteuerung/sonstiges

Aufgaben für DSP/FPGA sind von konkreter Anwendung abhängig, z.B.:

1. Autotrigger für messende Bildverarbeitung• keine externen Triggersensoren nötig

• Intelligenter Aktivitätsdetektor

2. Autofokus/Belichtungssteuerung• Steuerung von Autofokus und Blende

3. Möglichkeit für Datenkompression, z. B. • Bild ins JPEG-Format konvertieren

4. Panoramabilderzeugung

• mit Farb- und Helligkeitsanpassung + geometrischer Entzerrung

5. Realisierung eines DVI-Ausgangs für moderne Monitore

6. Gesicherte Datenübertragung über USB/Firewire/LAN

7. Wavefront-coded image processing

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 26: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

8. Anwendungsmöglichkeiten für intelligente Kameras8. Anwendungsmöglichkeiten für intelligente Kameras

Industrielle Bildverarbeitung

• Einsparung von PCs durch Kameras mit BV-Kompetenz

• Einsatz als kompakter Prüfsensor für

• geometrische Maße

• Anwesenheit von Teilen/Merkmalen

• Auslesen von Barcodes/Data-Matrix-Codes

Orientierung/Navigation im Roboterumfeld

• Objektlageerkennung

• Einsatz schneller Bildkorrelation für

• Navigation (als fortlaufende Bestimmung des Verschiebungsvektors)

• Lageregelung

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Beispiel

Page 27: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

9. Ausblick9. Ausblick

• Image-Sensoren werden immer komplexer / intelligenter

z.B.: Sensor Micron MT9V022

• Histogrammbasierte Helligkeitsregelung (AEC + AGC)• Bildfeldsegmentierte Verstärkungseinstellung (Gain)• Bildfeldgesteuerte (gewichtete)

Bestimmung der Helligkeitsregelgröße• Stereo-Sensorbetriebsmodus

• Image-Sensoren werden immer fehlerhafter

Aufgaben:

- Beherrschung und Nutzung der neuen Features der Sensoren

durch die Entwickler (auch Beherrschung / Umgehung der Fehler)

- Lösung der Problematik, die neuen Features für den Kameraanwender

handhabbar zu machen (Ergonomie)

teilweise nur durch intelligente Regelalgorithmen oder durch

„Expertensystem“ beherrschbarABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

© Micron

Page 28: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Zum Schluss noch in eigener Sache:

• Bitte nennen Sie der ABS Ihre Anforderungen an DSP-/FPGA-basierte Digitalkamerasysteme!

• Wir wünschen uns eine Kooperation mit Know-How-Trägern auf dem Gebiet „Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras“.

Kontakt:Dr. Günter UhlrichABS GmbHErlanger Allee 10307747 JenaTel.: 0 36 41/22 26 0Email: [email protected] Vortragsanfang

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 29: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

LiteraturauswahlLiteraturauswahl

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

[1] S. Süsstrunk, “Introduction to Color Processing in Digital Cameras”, EPFL Lausanne, Switzerland, 2002.

[2] B. Martinkauppi, “FACE COLOUR UNDER VARYING ILLUMINATION - ANALYSIS AND APPLICATIONS”, University of Oulu, 2002.

[3] J. Laine, “Using Illumination Information in Color Balance Adjustments”, Graphic Arts in Finland 30(2001)1.

[4] D. J. Jobson, Z. Rahman, G. A. Woodell, “A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes”, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 6, NO. 7, 1997.

(http://dragon.larc.nasa.gov/retinex/)

[5] U. Krüger, F. Schmidt, “Ortsaufgelöste Farbmessung”, TechnoTeam Bildverarbeitung GmbH Ilmenau, FRAMOS CCD Forum 2003.

[6] U. Schmidt, “Elektro-optische Charakterisierung von CMOS Sensoren am Beispiel des STAR1000 Active Pixel Sensors”, Jena-Optronik GmbH, Jena.

[7] Micron Technology Inc., “MT9V022 AEC and AGC Functions”, Technical Note, 1/3/2005.

[8] Xilinx, Inc., „Image Scaling & Enhancement IP“, 2004,(http://www.xilinx.com/esp/mil_aero/collateral/presentations/image_scaling_enhance.pdf)

Page 30: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

AnhangAnhang

Page 31: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

BildübertragungssystemBildübertragungssystem

Sensor

AD-Wandler

SensorsteuerungSensorkennlinie/LUT

VerstärkungArea of Interest

BildvorverarbeitungFarbinterpolationgeometrische Entzerrung BelichtungskorrekturFarbbalanceanpassung

Zwischenbild

FarbraumanpassungMonitor (Gamma-Korrektur)

FarbraumanpassungDrucker

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Bild im Sensor-Koordinatensystem

zurück

Page 32: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Blockschaltbild - Kamera mit DSP Blockschaltbild - Kamera mit DSP

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

DSP

SDRAM

USB 2.0Controller

I/O(optoentkoppelt)

Sensor

Bilddaten12 Bit

Sensor-Steuerung

(I²C)

Pow er

Fast / GigabitEthernet

zurück

Page 33: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Blockschaltbild - Kamera mit FPGABlockschaltbild - Kamera mit FPGA

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

FPGA

SDRAM

USB 2.0Controller

I/O(optoentkoppelt)

Sensor

Bilddaten12 Bit

Sensor-Steuerung

(I²C)

Pow er

Fast / GigabitEthernet

zurück

Page 34: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Blockschaltbild - Kamera mit DSP/FPGA (a)Blockschaltbild - Kamera mit DSP/FPGA (a)

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

FPGA

SDRAM

USB 2.0Controller

I/O(optoentkoppelt)

Sensor

Pow er

DSP

SDRAM

DVIDigital Visual I/F

Fast / GigabitEthernet

I²C

Bild-daten

weiter zurück

Page 35: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Blockschaltbild - Kamera mit DSP/FPGA (b)Blockschaltbild - Kamera mit DSP/FPGA (b)

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

FPGA

SDRAM

USB 2.0Controller

I/O(optoentkoppelt)

Sensor

Pow er

DSP

SDRAM

DVIDigital Visual I/F

Fast / GigabitEthernet

I²C

Bild-daten

zurückweiter

Page 36: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Blockschaltbild - Kamera mit DSP/FPGA (c)Blockschaltbild - Kamera mit DSP/FPGA (c)

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

SDRAM

USB 2.0Controller

I/O(optoentkoppelt)

Sensor

Pow er

DSP

SDRAM

DVIDigital Visual I/F

FPGA

Fast / GigabitEthernet

I²C

Bild-daten

zurück

Page 37: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Histogramm Originalbild

Histogramm

kontrastverstärktes

Bild

Grauwertübersetzung

Transferfunktion

zurück

Kontrastverstärkung mit kumulativem HistogrammKontrastverstärkung mit kumulativem Histogramm

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Page 38: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Dynamikanpassung Originalszene - KamerasystemDynamikanpassung Originalszene - Kamerasystem

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Szene:

Kamera-system:

12 Bit

zurück 8 Bit

Page 39: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Schnelle Kreuzkorrelation - VerschiebungsvektorSchnelle Kreuzkorrelation - Verschiebungsvektor

Ermitteln des Verschiebungs-/Geschwindigkeitsvektors

Merkmale:

• pixelgenau

• robust gegen Störungen (z.B. Beleuchtungsänderungen)

Bedingungen:

• genügend strukturiertes Bild + ausreichend Überlappung

• keine periodischen Strukturen innerhalb des Bildes

Suchfenster

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

zurückweiter

Page 40: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Schnelle Kreuzkorrelation - NavigationSchnelle Kreuzkorrelation - Navigation

Bestimmung der Bahnkurve aus einer Abfolge von Verschiebungsvektoren

Kameradrehungen sind hier nicht betrachtet, lassen sich aber mit einem ähnlichen Algorithmus berücksichtigen

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

zurück

Page 41: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Aufgaben für FPGAAufgaben für FPGA

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Typische Aufgaben, die elegant durch FPGA-Nutzung realisiert werden können.

• Bildskalierung

• Bilddrehung

• Farb-/Gammakorrektur

• mehr Farben mit Rasterung/Halftoning

• Kontrast-, Helligkeits-, Schärfverbesserung

• Rauschminderung

zurück

Page 42: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

BildskalierungBildskalierung

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

XILINXQuelle:

zurück

weiter

Page 43: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

BilddrehungBilddrehung

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

XILINXQuelle:

zurück

Page 44: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Ästhetische BildverbesserungÄsthetische Bildverbesserung

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Kontrast

Helligkeit

SchattenaufhellungSchärfeQuelle: XILINX

weiter

zurück

Page 45: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Spatial Enhancement / KantenverstärkungSpatial Enhancement / Kantenverstärkung

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Quelle: XILINX

zurück

weiter

Page 46: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

BildschärfungBildschärfung

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

geschärft original

zurück

Page 47: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

lineare Histogrammentzerrung (1)lineare Histogrammentzerrung (1)

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Gradationskurve

Histogramm flaues Bild

Histogramm nach Entzerrung

zurückweiter

Page 48: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

lineare Histogrammentzerrung (2)lineare Histogrammentzerrung (2)

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Gradationskurve

Histogramm flaues Bild

Histogramm nach Entzerrung

zurück

Page 49: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Retinex - Beispiele 1, 2Retinex - Beispiele 1, 2

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Quelle:

zurück

weiter

Jobson et al

Page 50: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Retinex - Beispiel 3Retinex - Beispiel 3

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Jobson et alQuelle: zurückweiter

Page 51: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Retinex - Beispiel 4Retinex - Beispiel 4

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Quelle:

zurück

weiter

Jobson et al

Page 52: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Retinex - Beispiel 5Retinex - Beispiel 5

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Quelle:

zurück

weiter

Jobson et al

Page 53: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Retinex - Beispiel 6Retinex - Beispiel 6

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Quelle: zurück

weiter

Jobson et al

Page 54: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Retinex - Beispiel 7Retinex - Beispiel 7

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Quelle: zurückweiter Jobson et al

Page 55: ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena  Regel- und Korrekturmechanismen in DSP- basierten Digitalkameras.

Retinex - Beispiel 8Retinex - Beispiel 8

ABS Gesellschaft für Automatisierung, Bildverarbeitung und Software mbH, Jena www.abs-jena.de

Quelle:

zurück

Jobson et al