06.06.2005 The PicSOM Retrieval System

1

The PicSOM Retrieval System

Christian Steinberg

06.06.2005 The PicSOM Retrieval System 2

Überblick

1. EinführungPicSOM:2. Self-Organizing Map3. Tree Structured SOM4. Image Retrieval mit PicSOM5. Zusammenfassung

06.06.2005 The PicSOM Retrieval System 3

1.1 Einführung

Bedarf an effektiven Methoden im Bereich CBIR (Content-Based Image Retrieval)

Beschreibung von Bildern durch Low-Level Merkmale (Farbe, Textur, primitive Formen)

Einbeziehung des Users zum Erkennen von High-Level Merkmalen

06.06.2005 The PicSOM Retrieval System 4

1.2 Einführung

PicSOM Framework zum Erarbeiten von Algorithmen

und Methoden für CBIR Arbeitet mit Beispielbildern (User/DB) User gibt Relevanz an

(relevant/nichtrelevant) System lernt durch Feedback

06.06.2005 The PicSOM Retrieval System 5

2.1 Self-Organizing Map

Elastischen Netz von Punkten Visualisierung von hochdimensionalen

Daten in einer 2D Karte Punkte werden durch Neuronen

dargestellt, jedem Punkt i wird ein Model-Vektor mi zugeordnet (Eigenschaft des jeweiligen Bildes in der DB)

06.06.2005 The PicSOM Retrieval System 6

2.2 Self-Organizing Map

Karte wird anfangs geordnet Nachbarschaft bedeutet Ähnlichkeit Bei neuer Eingabe

Suchen des Neurons mit kleinstem Abstand (O(n))

Anpassen der Karte

06.06.2005 The PicSOM Retrieval System 7

2.3 Self-Organizing Map

06.06.2005 The PicSOM Retrieval System 8

3.1 Tree Structured SOM

Hierarchische Präsentation Jede Ebene ist eine SOM Suche nach dem Neuron

mit geringsten Abstandverringert sich aufO(logn)

06.06.2005 The PicSOM Retrieval System 9

3.2 Tree Structured SOM

Jede Ebene Repräsentiert ein Feature TS-SOM wird von oben herab sortiert Dabei werden die Featurevektoren der

Eingabebilder benutzt

06.06.2005 The PicSOM Retrieval System 10

4.1 Image Retrieval mit PicSOM

Iterativer Prozess Suche beginnt mit Repräsentativen

Bildern der höheren Ebenen des TS-SOMs

Nächsten Schritte passen sich der Auswahl des Nutzers an

06.06.2005 The PicSOM Retrieval System 11

4.2 Image Retrieval mit PicSOM

Intern werden Bilder positiv/negativ markiert für gewählt/nicht gewählt

Anhand dieser Information wird dem User ein neues Set von Bildern präsentiert

06.06.2005 The PicSOM Retrieval System 12

4.3 Image Retrieval mit PicSOM

Funktionsweise SOMs werden als 2D Matrizen betrachtet es wird mehr Gewicht auf Regionen mit nah

beieinanderliegenden positiven Neuronen (Bildern) gelegt (z.B. bestimmte Farbwerte)

Es wird ein Tiefenpassfilter mit einer symmetrischen Convolution Maske angewendet

Regionen mit möglichen „Treffern“

06.06.2005 The PicSOM Retrieval System 13

4.4 Image Retrieval mit PicSOM

06.06.2005 The PicSOM Retrieval System 14

4.5 Image Retrieval mit PicSOM

Aus den entstehenden ‚weißen‘ Regionen werden repräsentative Bilder herausgesucht und dem User gezeigt

Es beginnt eine erneuter Durchlauf

06.06.2005 The PicSOM Retrieval System 15

4.6 Image Retrieval mit PicSOM

PicSOM ist WWW-basiert und kann (wenn der Server wieder steht) unter folgender URL gefunden werden:http://www.cis.hut.fi/picsom

06.06.2005 The PicSOM Retrieval System 16

5. Zusammenfassung

Gute Strukturierung von Bildern durch ihre Merkmale

Gute Suchzeit durch Baumstruktur der ‚Datenbank‘

PicSOM wird als Picture Search Engine für das Internet vorbereitet (Stand 2000)

06.06.2005 The PicSOM Retrieval System 17

Vielen Dank!