Post on 05-Apr-2015
Comparison of Interest Point DetectorsVortrag im Rahmen des Seminars Ausgewählte Themen zu
„Bildverstehen und Mustererkennung“
Lehrstuhl:Professor Dr. X. Jiang
Referenten:Julian Hartmann,Slawi Stesny und
Christoph Sünderkamp
2WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Gliederung
1. Grundlagen
2. Algorithmen
3. Implementierung
3WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
1. Grundlagen
Points of Interest
Digitale Bilder
Merkmalsextraktion
Transformationen
4WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Points of Interest
„interessante Punkte“ zielabhängig Eigenschaften
– Informativ– Wenige Punkte– Reproduzierbar & nachvollziehbar
Detektierte Punkte repräsentieren lokale Umgebung Deskriptoren nutzen Punkte zur Lösung einer Aufgabe
Hier: Detektion von POIs Häufig POIs Eckpunkte bzw. Punkte, bei denen sich
die 2D Struktur signifikant ändert
5WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Beispielanwendung: Image Retrieval
6WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
…Beispielanwendung
Matching durch Vergleich lokaler Regionen
7WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Pixel Rasterdarstellung
Endlich, diskreter
Wertebereich
Digitale Bilder
8WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Merkmalsextraktion
Kante genau zwischen zwei Pixelreihen
9WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Merkmalsextraktion
Kante schneidet eine Pixelreihe
10WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Merkmalsextraktion
Stufen-Kante genau zwischen den Pixelreihen
11WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Merkmalsextraktion
Stufen-Kante schneidet die Pixelreihen
12WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Intensitätsvektor
Lesevektor trifft orthogonal auf zwei unterschiedliche Kanten
13WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Kantentypen
Sprungkante – Dachkante - Linienkante
14WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Faltung
Durch Faltung werden die Eigenschaften von Bild-Merkmalen hervorgehoben
Faltung wird mit Hilfe von Matrizen (Masken) durchgeführt Eine Maske spiegelt die gesuchten Eigenschaften eines
Bildmerkmals wieder Je genauer dies Maske auf den ausgewählten Bildabschnitt passt,
desto größer ist die Summe der Multiplikation (Elementweise).
Beispiel Masken
15WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Faltung
Beispiel:
elementweise Skalarmultiplikation
Bildausschnitt
16WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Intensitätsfunktion
Jeder Bildausschnitt hat für jede Maske eine Intensität
Intensitätsfunktion mit Masken– Lesevektor wird in einem Winkel über das Bild gelegt – anhand einer Maske wird die Intensitäten bestimmt
17WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Ableitung der Kantenfunktion
Am Wendepunkt befindet sich die Kante
Bildung der ersten Ableitung– Kante befindet sich beim lokalen Maximum
Kante leichter zu erkennen
18WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Rauschen
Rauschen führt zu falschen Merkmalen Filter glätten eine Bild
weniger falsche Merkmale
19WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Kantenreduktion
Non-Maximum Unterdrückung– Problem:
Kante wird mehrfach gefunden– Ziel:
Nur die kräftigste Kante soll dargestellt werden
20WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Kantenreduktion
Non-Maximum Unterdrückung– Lösung
Alle orthogonal benachbarten Kanten die schwächer ausgeprägt sind werden eliminiert.
21WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Schwellenwert
Einfache Schwellenwert-Operation– Oft nicht ausreichend– Es gibt verbesserte Versionen (Hysterese Schwellenwert-
operation)
Beispiel :Schwellenwert = 20
22WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Transformationen
Geometrisch– Lage von Punkten / Körpern in der Darstellungsebene wird
verändert
Fotometrisch– Änderung der Intensität der Bildpunkte– Betrifft Lichtwahrnehmung des menschlichen Auges
23WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Pixelkoordinaten aus diskretem Wertebereich Ungenauigkeiten durch Verschieben von Pixeln
– Beispiel Rotation:
– Rotierter Körper schneidet mehrere Pixel im Zielbild– Welchen Pixeln im Zielbild werden der Bildpunkte zugeordnet?
Verlust von Bildinformationen
Translation, Skalierung, …
Geometrische Transformationen
24WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
darstellbare Intensitätswerte ebenfalls aus endlich, diskretem Wertebereich
verlustbehaftet
Ausgangsbild, Helligkeits- und Kontraständerung
Fotometrische Transformationen
25WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
2. Algorithmen
Harris
Kovesi
SUSAN
26WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Harris Detektor
Ecken sind Points of Interest Detektion auf Basis von Itensitätswechseln Kanten werden zu Ecken „verknüpft“ Bewertung jedes Bildpunktes bzgl. seiner Umgebung Pixel repräsentiert seine Umgebung
27WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Harris Detektor
Gradient der Intensität Approximiert durch Faltung mit Maske
Je für „x“- und „y“-Richtung der Pixelmatrix Für alle Richtungen => Kovarianzmatrix
1 0 1
1 0 1
1 0 1xI B
M =Ix
2 I x I yI x I y Iy
2
1 1 1
0 0 0
1 1 1yI B
28WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Ix2 Iy2 Ixy
Harris Detektor
29WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Harris Detektor
Kovarianzmatrix M enthält alle Intensitätsänderungen
Eigenvektoren zeigen in die Richtung des stärksten Anstiegs
sind beide Eigenvektoren ( und ) groß liegt eine Ecke vor.
M =Ix
2 I x I yI x I y Iy
2
30WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Harris Detektor
Aus Eigenvektoren kann eine Bewertung der „Eckigkeit“ eines Punktes (bzw. seiner Umgebung) erstellt werden
Harris:
Noble:
cornHarris k ( )
cornHarris det(M ) k spur(M )
cornHarris (Ix2 Iy2 (Ixy)2 ) k (Ix2 Iy2 )2
cornNoble (Ix2 Iy2 (Ixy)2 ) / (Ix2 Iy2 eps)
31WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Harris Detektor
Ausgangsbild Mit Eckenbewertung
32WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Harris Detektor
Bewertung jedes Pixels nicht gewünscht:– Non-maximum-Unterdrückung– Schwellenwert-Hysterese
=> Nur ein POI innerhalb eines gewählten Radius.
33WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Kovesi
Problem– Kein optimaler Merkmalsdetektor vorhanden
Ziel– Verbesserung der gegebenen Algorithmen in den Punkten:
Eindeutige Identifizierung der Merkmale Genauere Lokalisation Weniger Parameter Justierung Rauschkompensation
34WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Ansatz
Bilder werden durch die Fourierreihen-Transformation ins Phasenmodell gebracht
35WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Dynamik der Fourier-Transformation
Funktion für die Transformation
Amplitudendämpfung Phasenverschiebung
36WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Darstellung der Fourier-Transformation
3 unterschiedliche Amplitudendämpfung 180° Phasenverschiebung in
jedem Bild
Phasenverschiebung – Stärke der Ausprägung der
Merkmale
Amplitudendämpfung – Andere Klassifizierung
durch Änderung der Schärfe
Gittermodell
37WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Phasenkongruenz ( Deckungsgleichheit )
In Jedem Punkt des Phasenmodels überdecken sich mehrere Phasen
Die Intensität ( Energie ) dieser Punktewird bei P.Kovesi mit der „phase congruency 2“ (PC2) Funktion bestimmt
– auch gewichtete mittlere Phasenverschiebung genannt
38WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Bestimmung der lokalen Energie
Energie der Vektoren im Punkt x
Vektorkette im komplexen Raum
39WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Auswertung von PC2
Die Ausgabe von PC2 liefert Werte zwischen 0 und 2Pi ( 360° )
– 0 aufsteigende Stufe– ½ Pi helle Linie– Pi absteigende Stufe– 3/2 Pi dunkle Linie– Es wird zwischen auf- /absteigend und hell/dunkel nicht
unterschieden ( Wertebereich bei der Auswertung zusammengefasst )
40WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Phase Congruency 2
Eigenschaften– keine Parameter notwendig bei Kontrast-/ Helligkeits-Änderung– Verbesserte Identifizierung der Merkmale
Zuordnung und Unterscheidung von Linien und Kanten– Verbesserte Lokalisierung der Merkmale– Kompensation von Rauschen
41WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
SUSAN Eckendetektor
Smallest
Univalue
Segments
Assimilating
Nucleus
42WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
USAN – Univalue Segments Assimilating Nucleus
43WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
…USAN
approximierte Kreisfläche mit 37 Pixeln dem Kern ( ) ähnliche Pixel werden abgezählt:
+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +
Kern
00
0
1 ( ) ( )( , )
0 ( ) ( )
if I r I r tc r r
if I r I r t
0r
44WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
…USAN
Größe des USAN:
Beispiel:
Größe = 34 Größe = 13
+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +
+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +
Kern
0 0( ) ( , )r
n r c r r
45WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
SUSAN Principle
Aussagen über die Struktur anhand der USAN-Größe:Der Kern liegt– in einer Fläche bei maximalem USAN,– auf oder nahe einer Kante, wenn das USAN die Hälfte des
maximalen Wertes annimmt und– bei kleineren Werten innerhalb einer Ecke.
Richtlinie: Zur Detektion von Ecken und Kanten müssen nur kleine USANs betrachtet werden Smallest USAN
– Fokus im Weiteren: SUSAN Eckendetektor
max0 0
0
( ) ( )( ) 2
0
ng n r falls n r g
R rsonst
46WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
I. Zwischenstufen oder Linien
Größe = 14
II. Rauschen
Größe = 7
Ausnahmen
+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +
+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +
47WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +
Bereinigung um falsche Einträge I.
Bei einer Ecke ist der Abstand vom Kern zum Schwerpunkt des USAN groß, bei Linien klein
+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +
Schwerpunkt
48WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Bereinigung um falsche Einträge II.
Alle Punkte der Geraden durch Kern und Schwerpunkt müssen Teil des USANs sein
Durch Rauschen treten Lücken innerhalb des USANs auf + + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +
+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +
49WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Bedeutung der Parameter
Geometrischer Grenzwert– Qualitativ: Welcher Punkt wird als Ecke erkannt?
Ähnlichkeitswert – Quantitativ: Ab welchem Intensitätswert gilt ein Punkt ähnlich
dem Kern?
t
g
max0( )
2
nn r g
0( ) ( ) 25I r I r t
50WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Anpassung der Indikatorfunktion
Die Indikatorfunktion wird durch eine stetige Funktion angenähert: 6
0( ) ( )
0( , )I r I r
tc r r e
0( , )c r r
51WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Detektionsergebnis
Ecken werden durch Non-Maximum-Unterdrückung aus der Matrix herausgefiltert.R
52WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
3. Implementierung
Testumgebung
Probleme
Auswertung
Präsentation
53WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Testumgebung
Untersuchung der Robustheit der Detektoren Verschiedene Bildtransformationen
1. Rotation
2. Skalierung
3. Rauschen
4. Intensitätsänderungen
Vergleich der Detektionsergebnisse1. Genaue Übereinstimmung
2. Benachbarte Pixel
3. Nähere Umgebung
54WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Probleme
Transformationen nicht bijektiv Randbetrachtung Treppeneffekt:
Rotation
Intensitätsübergänge durch Interpolation abgeschwächt
55WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Auswertung
Viele Störfaktoren erschweren Auswertung Rauschen bereitete allen Detektoren Probleme PC2 „invariant“ gegen Intensitätsänderungen Überwiegend ähnliche Ergebnisse Harris-Detektor benötigt deutlich weniger Rechenzeit
56WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Präsentation
57WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Literatur
Brady, J.M., Smith S.M.: SUSAN – A New Approach to Low Level Image Processing, in International Journal of Computer Vision 23(1) S.45-78, Kluwer Academic Publishers, 1997
Kovesi, P.: Phase Congruency Detects Corners and Edges, School of Computer Science & Software Engineering, University of
Western Australia, 2003 Stephens, M. J., Harris, C. G.: A combined corner and edge
detector, Plessey Research Roke Manor, United Kingdom, 1988
58WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de
Ende
Diskussion
julian-hartmann@gmx.de slawi@gmx.de christoph@suenderkamp.de