ENTWICKLUNG EINES MULTISENSORISCHEN ANALYSESYSTEMS … · • FishCam (Prof. Mader, Östereich) •...

© Fraunhofer IFF, Magdeburg 2016

Biosystems Engineering

gefördert durch

ENTWICKLUNG EINES MULTISENSORISCHEN ANALYSESYSTEMS FÜR EIN MULTIKRITERIELLES FISCHMONITORING

Dr.-Ing. Andreas HerzogFraunhofer IFF MagdeburgBiosystems Engineering

Magdeburg, den 27. September 2016Foto: SIBAU

ÖkoZert VP 6



2

gefördert durch

Gliederung

• Vorstellung

• Motivation

• Hardware zur Fischerkennung

• Software zur Fischerkennung

• Zusammenfassung



3

gefördert durch

Kompetenzfeld Biosystems EngineeringFraunhofer IFF Magdeburg

Automatisierte Bildanalyse, Datenauswertung und Mustererkennung im biologischen Kontext

Räumlich-zeitliche Modellierung und Simulation biologischer Entwicklungsprozesse

Weiterentwicklung von Methoden im Bereich maschinelles Lernen / Computational Intelligence

Spezialanwendungen für Industrie, Landwirtschaft, Biologie und Medizin

- Automatisierung der Arbeitsabläufe und Datenauswertung- Bildverarbeitung (multimodal, hyperspektral) - Mustererkennung (Künstliche Neuronale Netzwerke)

http://www.iff.fraunhofer.de/de/geschaeftsbereiche/biosystems-engineering.html



4

gefördert durch

Automatisiertes Monitoring von Fischen an wasserbaulichen Anlagen

• Wasserkraftwerke

• Fischaufstiegsanlagen

• Sensoren (Kameras) sollen Untersuchung durch Befischung ersetzen

• Kein Eingriff in die Anlagen (Kanalisierung der Fischbewegungen)

• Automatisiertes Auswerten und erstellen von Statistiken

Motivation



5

gefördert durch

Ähnliche Ansätze

• Vaki-Counter (isländische Firma) z.B. am Mosellum

• Laserlinien erfassen den Umriss (eingeschränkte Breite)

• Automatische Auswertung

• FishCam (Prof. Mader, Östereich)

• Kamerasystem und Beleuchtung

• Sichtbares Licht, eingeschränkte Breite

• Manuelles Zählen mit Kamerasystem (Mono) z.B. IWSÖ

• Manuelle Auswertung sehr zeitaufwändig

• Größenbestimmung mit einer Kamera nicht möglich

Motivation



6

gefördert durch

Unserer Ansatz

• Modulares System, dass sich an die Umgebung anpassen läßt

• Stereo (Mehrkamerasysteme) zur Entfernung- und Größenbestimmung

• Frei im Wasser ohne Kanalisierung

• Adaptive Beleuchtung je nach Wasserqualität

Motivation



7

gefördert durch

• Hardware

• Kriterien zum Auswahl / Bau der Komponenten

• Kamerasysteme unter Wasser

• Stereokalibrierung

• Beleuchtungssysteme

• Installation

• Software

• Datenmenge, Vor Ort Verarbeitung

• Objekterkennung

• Objektklassifizierung

• Objektvermessung

• Daten und Speicherorganisation (BigData)

Übersicht



8

gefördert durch

Einsatz von IP Überwachungskameras

• Überwachungstechnik

• Umfangreiche Software zum Steuern der Kameras

• Fernwartung

• Datenbanken

• Leider oft proprietäre Dateiformate (Konvertierung von Hand)

• Bewegungsdetektion

• Aufzeichnung nur bei Bewegung

• Pretrigger bei erkannter Bewegung

• Beschränkung bei der Auflösung, Steuerung durch eigene Programme

Versuche mit sehr guten Industriekameras + einfacheren IP Kameras

Hardware - Kameras



9

gefördert durch

Wellenlängenbereich Farbe oder Infrarot

• Farbkamera (RGB) mit weißer Beleuchtung

• Nutzung der Farbinformation zur Klassifizierung (Fisch, Fischart)

• Beleuchtung wird von Fischen gesehen und kann deren Verhalten beeinflussen

• Infrarotkamera mit Infrarotbeleuchtung

• Geringere Eindringtiefe ins Wasser

• Keine Farbinformation

• Beeinflusst die Fische nicht.

Beide Möglichkeiten vorsehen und untersuchen

Hardware - Kameras



10

gefördert durch

Stereokameras

• Stereo zur Entfernungs- und Größenbestimmung notwendig

• Kalibrierung des Kamerasystems notwendig

• In der Luft Standard (Implementiert in Softwarebibliotheken)

• Epipolarlinien ermitteln

• Im Wasser wenig Erfahrung (Software zur Entzerrung entwickeln)

• Zwei Kameras notwendig (Doppelte Kosten?)

• Modulsystem möglich

• Kamera 1: sehr gute Bildqualität

• Kamera 2: niedrige Bildqualität -> nur zur Entfernungsbestimmung

Entwickeln von Standards/Abläufe zur Kalibrierung

Hardware - Kameras



11

gefördert durch

Eintauchgehäuse im Antrag vorgesehen

• Keine vollständige Kapselung notwendig

• Einfachere Kabelführung

• Einfachere Zugänglichkeit

• Nachteile

• Eingeschränkter Tiefebereich (mehrerer Gehäuse, große Abmaße)

• Auftrieb muss kompensiert werden (25cm x 25 cm x 100 cm = 62,5 KG)

• Positionierung zur Scheibe kritisch für Entzerrung des Bildes

Verworfen, besser Tauchgehäuse

Hardware - Kameras

Kameragestell herausnehmbar

wasserdichtes Gehäuse mit Sichtscheibe



12

gefördert durch

Unterwasserkameras

• Unterwassergehäuse für Konsumerkameras

• Einfach verfügbar

• Kein Kabel (Strom, Daten) nur für Batteriebetrieb

• Bedienmöglichkeiten (Durchführung der Knöpfe), hier nicht notwendig

• Professionelle Kameragehäuse

• Wenige Anbieter, Einzelanfertigung

• Kosten ca. 1000 EUR pro Gehäuse (bis 200m)

• Eigenbau

• Verschiedene Möglichkeiten (<150 EUR)

Hardware - Kameras



13

gefördert durch

Unterwasserkameras

• Unterwassergehäuse für Konsumerkameras

• Einfach verfügbar

• Kein Kabel (Strom, Daten) nur für Batteriebetrieb

• Bedienmöglichkeiten (Durchführung der Knöpfe), hier nicht notwendig

• Professionelle Kameragehäuse

• Wenige Anbieter, Einzelanfertigung

• Kosten ca. 1000 EUR pro Gehäuse (bis 200m)

• Eigenbau

• Verschiedene Möglichkeiten (<150 EUR)

Hardware - Kameras



14

gefördert durch

• Industriekameras

• Farbkamera und Infrarotkamera gleiches Gehäuse

• POE (Power over Ethernet), nur ein Kabel (günstig)

• SDK (Software Development Kit) zum Programmieren

• Professionelles LED Licht

• Weiß und Infrarot gleiches Gehäuse,

• Ansteuerung vom Rechner für adaptive Lichtstärke

Versuchsaufbau



15

gefördert durch

Versuchsaufbau Labor

Messbereich 1m x 1m x 1m



16

gefördert durch

Versuchsaufbau Labor

Stereokalibrierung



17

gefördert durch

• Unterwassergehäuse Eigenbau

• Aluminium mit Fenster (<120EUR)

• Geklebtes Acrylglas (<100EUR)

• Tests in der Elbe

Versuchsaufbau



18

gefördert durch

Unterwassergehäuse Acrylglas



19

gefördert durch

Unterwassergehäuse Aluminium



20

gefördert durch

Unterwassergehäuse Test in der Elbe



21

gefördert durch

Beleuchtungsvarianten

Becken - Ansicht von oben

Variante: Beleuchtung von vorn

Stereokamerasystem

Einzelne Strahler mit Abschirmung von Streulicht

Ein

farb

ige

Rü

ckw

and



22

gefördert durch


Becken - Ansicht von oben

Variante: flächige Beleuchtung von hinten

Stereokamerasystem

Fläc

hen

bel

euch

tun

g



23

gefördert durch


Becken - Ansicht von der Seite

Variante: gesteuerte Beleuchtung von oben

Stereo-kamerasystem



24

gefördert durch


Becken - Ansicht von der Seite

Variante: gesteuerte Beleuchtung von oben, zweiseitige Aufnahme

Stereokamera-system I

Stereokamera-system II



25

gefördert durch

Datenmenge

• Videodaten von Kamera

• Videodaten mit Objekt

• Einzelbilder der Objekte

• Eigenschaften der Objekte

• Eigenschaften der Fische

• Statistik der Fische

Software - Datenverarbeitung

groß

klein



26

gefördert durch

Software Frameworks

Echtzeitmodul

• Bildaufnahme, Kameraansteuerung

• Echtzeitverarbeitung

• Steuerung

Batchmodul

• Datensatzbasierte Batchverarbeitung

• Interaktive Arbeitsschritte einfach einbinden

• Modul IP: Bildverarbeitung für Einzelbilder

• Modul Video: Verarbeitung von Videosequenzen



27

gefördert durch

• Interaktives Markieren der Fische

• Unterstützung durch Bildverarbeitung (VisSoftSens

Lernfähiges System - Einlernen

Bild

er u

nd

Vid

eose

qu

enze

n

Berechnung von Bild- und

Objektfeatures

unterstützte interaktive

Artbestimmung

Stat

isti

sch

e A

usw

ertu

ng

Lernfähiges Erkennungs-system zur

Artbestimmung



28

gefördert durch

• Automatisches Arbeiten

• Lernverfahren, Klassifikatoren

• KNN

• cascade classifier

• Deep Learning Network (CNN)

Lernfähiges System - Arbeitsphase

Bild

er u

nd

Vid

eose

qu

enze

n

Berechnung von Bild- und

Objektfeatures

interaktive Kontrolle bei

schwierigen Fällen Stat

isti

sch

e A

usw

ertu

ngLernfähiges

Erkennungs-system zur

Artbestimmung



29

gefördert durch

Bildverarbeitung – Erkennen von Objekten

0

2000

4000

6000

8000

10000

12000

14000

16000

18000

1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106

113

120

127

134

141

148

155

162

169

176

183

190

197

204

211

218

225

232

239

246

253

260

267

274

GW1

GW2

GW3

GW4

GW5

GW6

GW7

GW8

GW9

Aktivitätsmuster



30

gefördert durch

VisSoftSens – Konfigurierbare Softsensoren

Liniensensor - Detektion von Objekten

auf einer Linie- Trainieren des Hintergrunds

(verschiedene Verfahren)

Liniensensor / Punktsensor- Bestimmen der Bildqualität- Bestimmen der Sichttiefe



31

gefördert durch

VisSoftSens – Konfigurieren der Sensoren

Für modulares System einfach konfigurierbar



32

gefördert durch

Interaktives Markieren von Objekten

Erstellen von Trainingsdaten für Maschinelles Lernen.



33

gefördert durch

Vielen Dank für Ihre Aufmerksamkeit !

Dr.-Ing. Andreas HerzogFraunhofer IFF MagdeburgBiosystems [email protected]. 0391 4090 767

ENTWICKLUNG EINES MULTISENSORISCHEN ANALYSESYSTEMS … · • FishCam (Prof. Mader, Östereich) •...

Documents

Transcript of ENTWICKLUNG EINES MULTISENSORISCHEN ANALYSESYSTEMS … · • FishCam (Prof. Mader, Östereich) •...