Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und

Comparison of Interest Point DetectorsVortrag im Rahmen des Seminars Ausgewählte Themen zu

„Bildverstehen und Mustererkennung“

Lehrstuhl:Professor Dr. X. Jiang

Referenten:Julian Hartmann,Slawi Stesny und

Christoph Sünderkamp

2WWU > FB10 > Institut für Informatik > Computer Vision and Pattern Recognition Group http://cvpr.uni-muenster.de

Gliederung

1. Grundlagen

2. Algorithmen

3. Implementierung


1. Grundlagen

Points of Interest

Digitale Bilder

Merkmalsextraktion

Transformationen


Points of Interest

„interessante Punkte“ zielabhängig Eigenschaften

– Informativ– Wenige Punkte– Reproduzierbar & nachvollziehbar

Detektierte Punkte repräsentieren lokale Umgebung Deskriptoren nutzen Punkte zur Lösung einer Aufgabe

Hier: Detektion von POIs Häufig POIs Eckpunkte bzw. Punkte, bei denen sich

die 2D Struktur signifikant ändert


Beispielanwendung: Image Retrieval


…Beispielanwendung

Matching durch Vergleich lokaler Regionen


Pixel Rasterdarstellung

Endlich, diskreter

Wertebereich

Digitale Bilder


Merkmalsextraktion

Kante genau zwischen zwei Pixelreihen


Merkmalsextraktion

Kante schneidet eine Pixelreihe


Merkmalsextraktion

Stufen-Kante genau zwischen den Pixelreihen


Merkmalsextraktion

Stufen-Kante schneidet die Pixelreihen


Intensitätsvektor

Lesevektor trifft orthogonal auf zwei unterschiedliche Kanten


Kantentypen

Sprungkante – Dachkante - Linienkante


Faltung

Durch Faltung werden die Eigenschaften von Bild-Merkmalen hervorgehoben

Faltung wird mit Hilfe von Matrizen (Masken) durchgeführt Eine Maske spiegelt die gesuchten Eigenschaften eines

Bildmerkmals wieder Je genauer dies Maske auf den ausgewählten Bildabschnitt passt,

desto größer ist die Summe der Multiplikation (Elementweise).

Beispiel Masken


Faltung

Beispiel:

elementweise Skalarmultiplikation

Bildausschnitt


Intensitätsfunktion

Jeder Bildausschnitt hat für jede Maske eine Intensität

Intensitätsfunktion mit Masken– Lesevektor wird in einem Winkel über das Bild gelegt – anhand einer Maske wird die Intensitäten bestimmt


Ableitung der Kantenfunktion

Am Wendepunkt befindet sich die Kante

Bildung der ersten Ableitung– Kante befindet sich beim lokalen Maximum

Kante leichter zu erkennen


Rauschen

Rauschen führt zu falschen Merkmalen Filter glätten eine Bild

weniger falsche Merkmale


Kantenreduktion

Non-Maximum Unterdrückung– Problem:

Kante wird mehrfach gefunden– Ziel:

Nur die kräftigste Kante soll dargestellt werden


Kantenreduktion

Non-Maximum Unterdrückung– Lösung

Alle orthogonal benachbarten Kanten die schwächer ausgeprägt sind werden eliminiert.


Schwellenwert

Einfache Schwellenwert-Operation– Oft nicht ausreichend– Es gibt verbesserte Versionen (Hysterese Schwellenwert-

operation)

Beispiel :Schwellenwert = 20


Transformationen

Geometrisch– Lage von Punkten / Körpern in der Darstellungsebene wird

verändert

Fotometrisch– Änderung der Intensität der Bildpunkte– Betrifft Lichtwahrnehmung des menschlichen Auges


Pixelkoordinaten aus diskretem Wertebereich Ungenauigkeiten durch Verschieben von Pixeln

– Beispiel Rotation:

– Rotierter Körper schneidet mehrere Pixel im Zielbild– Welchen Pixeln im Zielbild werden der Bildpunkte zugeordnet?

Verlust von Bildinformationen

Translation, Skalierung, …

Geometrische Transformationen


darstellbare Intensitätswerte ebenfalls aus endlich, diskretem Wertebereich

verlustbehaftet

Ausgangsbild, Helligkeits- und Kontraständerung

Fotometrische Transformationen


2. Algorithmen

Harris

Kovesi

SUSAN


Harris Detektor

Ecken sind Points of Interest Detektion auf Basis von Itensitätswechseln Kanten werden zu Ecken „verknüpft“ Bewertung jedes Bildpunktes bzgl. seiner Umgebung Pixel repräsentiert seine Umgebung


Harris Detektor

Gradient der Intensität Approximiert durch Faltung mit Maske

Je für „x“- und „y“-Richtung der Pixelmatrix Für alle Richtungen => Kovarianzmatrix

1 0 1

1 0 1

1 0 1xI B

M =Ix

2 I x I yI x I y Iy

2

1 1 1

0 0 0

1 1 1yI B


Ix2 Iy2 Ixy

Harris Detektor


Harris Detektor

Kovarianzmatrix M enthält alle Intensitätsänderungen

Eigenvektoren zeigen in die Richtung des stärksten Anstiegs

sind beide Eigenvektoren ( und ) groß liegt eine Ecke vor.

M =Ix

2 I x I yI x I y Iy

2


Harris Detektor

Aus Eigenvektoren kann eine Bewertung der „Eckigkeit“ eines Punktes (bzw. seiner Umgebung) erstellt werden

Harris:

Noble:

cornHarris k ( )

cornHarris det(M ) k spur(M )

cornHarris (Ix2 Iy2 (Ixy)2 ) k (Ix2 Iy2 )2

cornNoble (Ix2 Iy2 (Ixy)2 ) / (Ix2 Iy2 eps)


Harris Detektor

Ausgangsbild Mit Eckenbewertung


Harris Detektor

Bewertung jedes Pixels nicht gewünscht:– Non-maximum-Unterdrückung– Schwellenwert-Hysterese

=> Nur ein POI innerhalb eines gewählten Radius.


Kovesi

Problem– Kein optimaler Merkmalsdetektor vorhanden

Ziel– Verbesserung der gegebenen Algorithmen in den Punkten:

Eindeutige Identifizierung der Merkmale Genauere Lokalisation Weniger Parameter Justierung Rauschkompensation


Ansatz

Bilder werden durch die Fourierreihen-Transformation ins Phasenmodell gebracht


Dynamik der Fourier-Transformation

Funktion für die Transformation

Amplitudendämpfung Phasenverschiebung


Darstellung der Fourier-Transformation

3 unterschiedliche Amplitudendämpfung 180° Phasenverschiebung in

jedem Bild

Phasenverschiebung – Stärke der Ausprägung der

Merkmale

Amplitudendämpfung – Andere Klassifizierung

durch Änderung der Schärfe

Gittermodell


Phasenkongruenz ( Deckungsgleichheit )

In Jedem Punkt des Phasenmodels überdecken sich mehrere Phasen

Die Intensität ( Energie ) dieser Punktewird bei P.Kovesi mit der „phase congruency 2“ (PC2) Funktion bestimmt

– auch gewichtete mittlere Phasenverschiebung genannt


Bestimmung der lokalen Energie

Energie der Vektoren im Punkt x

Vektorkette im komplexen Raum


Auswertung von PC2

Die Ausgabe von PC2 liefert Werte zwischen 0 und 2Pi ( 360° )

– 0 aufsteigende Stufe– ½ Pi helle Linie– Pi absteigende Stufe– 3/2 Pi dunkle Linie– Es wird zwischen auf- /absteigend und hell/dunkel nicht

unterschieden ( Wertebereich bei der Auswertung zusammengefasst )


Phase Congruency 2

Eigenschaften– keine Parameter notwendig bei Kontrast-/ Helligkeits-Änderung– Verbesserte Identifizierung der Merkmale

Zuordnung und Unterscheidung von Linien und Kanten– Verbesserte Lokalisierung der Merkmale– Kompensation von Rauschen


SUSAN Eckendetektor

Smallest

Univalue

Segments

Assimilating

Nucleus


USAN – Univalue Segments Assimilating Nucleus


…USAN

approximierte Kreisfläche mit 37 Pixeln dem Kern ( ) ähnliche Pixel werden abgezählt:

+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +

Kern

00

0

1 ( ) ( )( , )

0 ( ) ( )

if I r I r tc r r

if I r I r t

0r


…USAN

Größe des USAN:

Beispiel:

Größe = 34 Größe = 13

+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +

+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +

Kern

0 0( ) ( , )r

n r c r r


SUSAN Principle

Aussagen über die Struktur anhand der USAN-Größe:Der Kern liegt– in einer Fläche bei maximalem USAN,– auf oder nahe einer Kante, wenn das USAN die Hälfte des

maximalen Wertes annimmt und– bei kleineren Werten innerhalb einer Ecke.

Richtlinie: Zur Detektion von Ecken und Kanten müssen nur kleine USANs betrachtet werden Smallest USAN

– Fokus im Weiteren: SUSAN Eckendetektor

max0 0

0

( ) ( )( ) 2

0

ng n r falls n r g

R rsonst


I. Zwischenstufen oder Linien

Größe = 14

II. Rauschen

Größe = 7

Ausnahmen

+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +

+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +


+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +

Bereinigung um falsche Einträge I.

Bei einer Ecke ist der Abstand vom Kern zum Schwerpunkt des USAN groß, bei Linien klein

+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +

Schwerpunkt


Bereinigung um falsche Einträge II.

Alle Punkte der Geraden durch Kern und Schwerpunkt müssen Teil des USANs sein

Durch Rauschen treten Lücken innerhalb des USANs auf + + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +

+ + + + + + + ++ + + + + + ++ + + o + + ++ + + + + + + + + + + + + + +


Bedeutung der Parameter

Geometrischer Grenzwert– Qualitativ: Welcher Punkt wird als Ecke erkannt?

Ähnlichkeitswert – Quantitativ: Ab welchem Intensitätswert gilt ein Punkt ähnlich

dem Kern?

t

g

max0( )

2

nn r g

0( ) ( ) 25I r I r t


Anpassung der Indikatorfunktion

Die Indikatorfunktion wird durch eine stetige Funktion angenähert: 6

0( ) ( )

0( , )I r I r

tc r r e

0( , )c r r


Detektionsergebnis

Ecken werden durch Non-Maximum-Unterdrückung aus der Matrix herausgefiltert.R


3. Implementierung

Testumgebung

Probleme

Auswertung

Präsentation


Testumgebung

Untersuchung der Robustheit der Detektoren Verschiedene Bildtransformationen

1. Rotation

2. Skalierung

3. Rauschen

4. Intensitätsänderungen

Vergleich der Detektionsergebnisse1. Genaue Übereinstimmung

2. Benachbarte Pixel

3. Nähere Umgebung


Probleme

Transformationen nicht bijektiv Randbetrachtung Treppeneffekt:

Rotation

Intensitätsübergänge durch Interpolation abgeschwächt


Auswertung

Viele Störfaktoren erschweren Auswertung Rauschen bereitete allen Detektoren Probleme PC2 „invariant“ gegen Intensitätsänderungen Überwiegend ähnliche Ergebnisse Harris-Detektor benötigt deutlich weniger Rechenzeit


Präsentation


Literatur

Brady, J.M., Smith S.M.: SUSAN – A New Approach to Low Level Image Processing, in International Journal of Computer Vision 23(1) S.45-78, Kluwer Academic Publishers, 1997

Kovesi, P.: Phase Congruency Detects Corners and Edges, School of Computer Science & Software Engineering, University of

Western Australia, 2003 Stephens, M. J., Harris, C. G.: A combined corner and edge

detector, Plessey Research Roke Manor, United Kingdom, 1988


Ende

Diskussion

[email protected] [email protected] [email protected]

Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und

Documents

Transcript of Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und