Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen...

36
Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu „Bildverstehen und Mustererkennung“ Lehrstuhl: Professor Dr. X. Jiang Referent: Christian Ruckert

Transcript of Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen...

Page 1: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

Scale Space and its ApplicationsVortrag im Rahmen des Seminars Ausgewählte Themen zu

„Bildverstehen und Mustererkennung“

Lehrstuhl:

Professor Dr. X. Jiang

Referent:

Christian Ruckert

Page 2: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

2WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Inhaltsverzeichnis

Einleitung Der Skalenraum Anwendungsbeispiele Automatische Auswahl der Skalierung Implementierung Fazit

Page 3: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

3WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Inhaltsverzeichnis

Einleitung– Skalierung– Automatische Bildverarbeitung/-analyse

Der Skalenraum Anwendungsbeispiele Automatische Auswahl der Skalierung Implementierung Fazit

Page 4: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

4WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Skalierung

Digitale Repräsentationen von Realweltobjekten sind stark abhängig vom Betrachtungswinkel

Feine vs. grobe Skalierung

Page 5: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

5WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Beispiel Skalierung

Page 6: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

6WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Landkarten

Weglassen von Details bei grober Skalierung

Page 7: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

7WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Automatische Bildverarbeitung/Bildanalyse

Erkennung von Objekten oder Objektmerkmalen Referenzobjekte in fester Skalierung Zu analysierendes Bild in unbekannter Skalierung Idee des Skalenraumes:

Generierung aller möglichen Skalierungen Deutliche Erhöhung der Erkennungswahrscheinlichkeit

Page 8: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

8WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Inhaltsverzeichnis

Einleitung Der Skalenraum

– Digitale Repräsentation von Bildern– Der Gauß-Filter– Die Faltung– Der Skalenraum– Anforderungen an den Filter

Anwendungsbeispiele Automatische Auswahl der Skalierung Implementierung Fazit

Page 9: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

9WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Digitale Repräsentation von Bildern

Repräsentation durch zweidimensionale Matrizen Werte geben z.B. Helligkeit oder Farbwert an Mehrere Matrizen für Farbkanäle bei RGB-Bildern Beispiel 5 x 5 Grauwert-Bild:

255 255 0 255 255

255 255 0 255 255

0 0 0 0 0

255 255 0 255 255

255 255 0 255 255

Page 10: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

10WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Die gauß‘sche Glockenkurve (1)

Varianz bestimmt wie steil die Kurve abfällt Geringe Varianz stark abfallend Große Varianz schwach abfallend

Glockenkurven zur Varianz 1, 5 und 10

Page 11: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

11WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Die gauß‘sche Glockenkurve (2)

Erzeugung einer Gauß-Maske (auch Gauß-Filter) Maskengröße = 2k + 1 wobei Koordinatenmatrix der x und y Koordinaten :

Berechnung der Funktionswerte für alle Einträge in der Koordinatenmatrix mit Hilfe der Gauß-Funktion:

Gegebenenfalls Runden und Normieren

1/11/01/1

0/10/00/1

1/11/01/1

2

22

222

1),(

yx

eyxG

32 k

Page 12: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

12WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Die Faltung

Wert des Pixels im Ergebnisbild =

Summe der Produkte mit darüber liegender Maske Problem Randpixel:

– Unverändert lassen– Auf Konstante setzen– Faltungskern anpassen– Reflektierte Indexierung (spiegeln)– Zyklische Indexierung (fortsetzen)

Page 13: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

13WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Beispiel Faltung

Gauß-Filter:

Originalbild: Resultat:

121

242

121

16

1

0025500

0025500

0025500

0025500

0025500

064127640

064127640

064127640

064127640

064127640

Page 14: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

14WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Der Skalenraum (1)

Hinzunahme der gefalteten Bilder zum Ursprungsbild liefert den Skalenraum

Skalenraum ist drei-dimensional Kontinuierliches Spektrum in Abhängigkeit von der

Varianz Varianz ist Skalenraumparameter zunehmender Skalenraumparameter lässt feinere

Strukturen immer weiter verschwinden

Page 15: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

15WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Der Skalenraum (2)

Page 16: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

16WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Beispiel

Skalenraumrepräsentationen zum

Parameter t = 0, 2, 8, 16, 32

Page 17: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

17WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Mathematische Definition

n-dimensionales Signal: Skalenraumrepräsentation: Faltung mit einem Filter:

Es entsteht ein kontinuierliches Spektrum von Skalenraumrepräsentationen

t = 0 entspricht dem Originalbild

RRf n :RRRL n :RRRh n :

nR

thxftxhxftxL

),()(),()(),(

Page 18: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

18WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Anforderungen an den Filter (1)

Linearität:

Intensitätsverdoppelung im Ursprungsbild bedeutet Intensitätsverdoppelung in allen Skalenbildern (s.o.)

Translationsinvarianz:

Zeitpunkt der Verschiebung hat keinen Einfluss auf das Resultat der Faltung (-> Kantendetektion)

Page 19: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

19WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Anforderungen an den Filter (2)

Keine Entstehung neuer lokaler Extrema:

Faltung lässt keine neuen Extrema entstehen, Kausalitätsprinzip

Keine Verstärkung bestehender lokaler Extrema:

Wert eines Extremums wird durch Skalierung nicht weiter verstärkt

Page 20: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

20WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Anforderungen an den Filter (3)

Halbgruppenstruktur:

serielle Faltung mit zwei Masken hat selbes Resultat, wie Faltung mit einer entsprechend gewählten einzelnen Maske

),(),(),( 2121 tththth

Page 21: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

21WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Der gauß‘sche Skalenraum

Literatur kennt weitere Anforderungen Gauß-Filter erfüllt obige Anforderungen besonders gut Man spricht vom gauß‘schen Skalenraum

Page 22: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

22WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Beispiel

Skalenraumrepräsentationen zum Parameter

t = 0, 2, 8, 32, 128, 512

Page 23: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

23WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Inhaltsverzeichnis

Einleitung Der Skalenraum Anwendungsbeispiele

– Kantendetektion– Ridge-Detektion

Automatische Auswahl der Skalierung Implementierung Fazit

Page 24: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

24WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Kantendetektion (1)

Kante: 1. Ableitung orthogonal zur Kantenrichtung hat lokales Maximum

Detektion mittels Faltung mit verschiedenen Richtungsmasken

Feine Skalierung: viele Kanten, oft durch Bildrauschen bedingt

Grobe Skalierung: nur starke lange Kanten bleiben erhalten

Auswahl relevanter Kanten durch Betrachtung mehrerer Skalierungen

Page 25: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

25WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Kantendetektion (2)

Kantendetektion mit Parameter t = 1, 16, 256

Page 26: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

26WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Ridge-Detektion (1)

Menge der Punkte an denen Extremum in Richtung der größten Flächenkrümmung vorliegt

Sehr stark von der Skalierung abhängig Einzelne Skalierung kann Gratstruktur nicht adäquat

wiedergeben Deshalb Betrachtung der Gratstruktur über

verschiedene Skalierungen

Page 27: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

27WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Ridge-Detektion (2)

Ridge-Detektion mit Skalenparameter t = 1, 16, 256

Page 28: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

28WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Inhaltsverzeichnis

Einleitung Der Skalenraum Anwendungsbeispiele Automatische Auswahl der Skalierung Implementierung Fazit

Page 29: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

29WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Automatische Auswahl der Skalierung (1)

Verschiedene Skalierungen simultan betrachten zur zuverlässigen Merkmalsextraktion/-erkennung

Betrachtung lokal unterschiedlicher Skalierungen statt einer Skalierung für das gesamte Bild

Automatische Auswahl der Skalierung, trotz fehlender Informationen über zu analysierendes Bild

Normalisiertes Maß, mit Maximum bei größtem Operator-Ausschlag

Maß ist abhängig vom jeweiligen Operator

Page 30: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

30WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Automatische Auswahl der Skalierung (2)

Die fünf stärksten Ridge-Kurven inklusive Darstellung des Skalenparameters

Page 31: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

31WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Inhaltsverzeichnis

Einleitung Der Skalenraum Anwendungsbeispiele Automatische Auswahl der Skalierung Implementierung Fazit

Page 32: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

32WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Implementierung (1)

var_start=1;var_stop=5;schrittweite=1;diff=var_stop - var_start;array_groesse=((var_stop - var_start) / schrittweite ) + 1;array=[]; bild=imread('ast.jpg');bild_grau = .2989*bild(:,:,1)... +.5870*bild(:,:,2)... +.1140*bild(:,:,3);figure; colormap(gray(256)); image(bild_grau);

Page 33: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

33WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Implementierung (2)

for n=var_start:schrittweite:var_stop;m=2^n;maskengroesse=ceil(6*m+1);maske = fspecial('gaussian',

[maskengroesse maskengroesse],m);bild_scale_space = imfilter(bild_grau,maske,'replicate');array=cat(4,array,bild_scale_space);

endfor i=1:(array_groesse-1)

figure;imshow(array(:,:,:,i));

end

Page 34: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

34WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Inhaltsverzeichnis

Einleitung Der Skalenraum Anwendungsbeispiele Automatische Auswahl der Skalierung Implementierung Fazit

Page 35: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

35WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Fazit

Vielfältig verwendbares Konzept Kann Erkennungswahrscheinlichkeit deutlich erhöhen Alternativen zum Gauß-Filter

Page 36: Scale Space and its Applications Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang.

36WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Ende

Vielen Dank für Ihre

Aufmerksamkeit