EDIOD Editing Images on Desktop

Zur Integration semantischer Beschreibungen in Bilddateien

Magisterarbeit von Jan Schnasse

http://lehre.hki.uni-koeln.de/~schnasse/ediod/

Einleitung

Bilddaten nehmen bei der Bereitstellung geisteswissenschaftlicher Quellen im WWW eine herausragende Stellung ein.

Zum heutigen Zeitpunkt ist im geisteswissenschaftlichen Kontext die Erschließung von Bilddaten durch Menschengenerierte Metadaten der Normalfall.

Die Arbeit beschäftigt sich mit der Frage, inwiefern sich Probleme im Umgang mit Bildern durch das Verspeichern von Metadaten direkt in der Bilddatei lösen lassen.

Ein Softwaretool zur Verspeicherung von XML Daten in PNG Bildern, dass eine semantische Bildsuche erlaubt, wird vorgestellt.

Theoretische Überlegungen

Aufbau1. Probleme bei der Bearbeitung geisteswissenschaftlicher

Quellen in herkömmlichen Datenbanksystemen

2. Verfahren zur Bestimmung und Unterscheidung von räumlichen Verhältnissen von Bildobjekten

3. Entwurf eines XML-Schemas zur Einbindung von bildbeschreibenden Metadaten

4. Verspeicherung von Metadaten in PNG Bildern

5. Bestehende Metadatenstandards

Probleme bei der Bearbeitung geisteswissenschaftlicher Quellenin herkömmlichen Datenbanksystemen

Datensätze bleiben unvollständig bestimmt, da sie nur von dem Forschungsdiskurs bestimmt werden, der Zugangsberechtigung hat.

Der Quellenwert eines Objektes lässt sich für bestimmte Forschungsgebiete nicht im Voraus bestimmen.

Geisteswissenschaftliche Quellen sind oft heterogen. Ein Problem ist die Verteiltheit der Objekte eines

Forschungsgebietes auf verschiedene Institutionen. Aufgrund der schnellen Entwicklung des IT-Sektors

müssen die Daten auch in neue Umgebungen integrierbar sein.

Datenbanksysteme

Relationale Datenbanken Nicht geeignet für eine Datensammlung, bei der nicht

alle Merkmale im Voraus bekannt sind. Objektorientierte Datenbanken

Objektorientierte Datenbanken erlauben beim Entwurf der Datenbank eigene Objekte zu definieren. Das objektorientierte Modell erlaubt es, Daten sei nah am realen Objekt zu modellieren.

Objektrelationale Datenbanken Mit Objektrelationale Datenbanken wird der Versuch

unternommen das Relationale System um objektorientiere Features zu erweitern.

Datenbanksysteme

Verteilte Datenbanken Verteilte Datenbanken versuchen einen Zugriff auf

mehrere physikalisch getrennte Datenbanken zu gewährleisten.

Web-Datenbanken Eine Datenbank, die sich über das WWW bedienen

läßt.

Lösungsansatz: Selbstbeschreibende Objekte

Ein Selbstbeschreibendes Objekt enthält neben den Daten, die das eigentliche Objekt konstituieren weitere Daten, die die inhaltliche Interpretation der Objektdaten erleichtern oder ermöglichen.

Im Fall von Bilddaten wäre eine Bildbeschreibung hinzuzufügen; einzelne Objekte könnten durch Polygonzüge identifiziert werden.

Durch die Kombination mehrerer Selbstbeschreibender Objekte in einer Webseite können komplexe Objektstrukturen abgebildet werden.

Verfahren zur Bestimmung und Unterscheidung von räumlichen Verhältnissen von Bildobjekten

Gesucht ist eine Bildsuche, die räumliche Beziehungen zwischen Objekten mit einbezieht.

Die Identifizierung verschiedener Objekte erfolgt durch Polygonzüge.

Bounding-Boxes und Rectangles Bounding Boxes werden v.a. in der Spiele- und

Grafikprogrammierung angewandt, um zu überprüfen, ob Objekte sich überlappen.

Oriented bounding boxes (OBB) können beliebig im Raum liegen, aligned bounding boxes (AABB) sind an den Achsen des Koordinatensystems ausgerichtet.

Verfahren zur Bestimmung und Unterscheidung von räumlichen Verhältnissen von Bildobjekten

Es wird der Versuch unternommen, menschliche Beschreibungen von Bildern algorithmisch zu erzeugen.

Probleme: Bounding Boxes nicht für alles geeignet Techniken der Bildverarbeitung versprechen

größere Erfolge, müssen aber noch erforscht werden.

Entwurf eines XML-Schemas zur Einbindung vonbildbeschreibenden Metadaten

Immer wenn ein Datenformat erweiterbar bleiben soll, bietet sich der Entwurf in XML (Extensible Markup Language) an.

Entwurf eines Arbeitsschemas: Das Schema soll es ermöglichen an verschiedenen

Stellen benutzerdefinierte Daten einzubinden. Ein bildbeschreibendes Dokument besteht aus einem

Header gefolgt von beliebig vielen Objekten. sci Element für strukturierte Beschreibungen desc für natürlichsprachliche Bildbeschreibungen Polygon Element

Entwurf eines XML-Schemas zur Einbindung vonbildbeschreibenden Metadaten

zu beachten: Inhaltsmodell any Defaultwerte setzen Namespaces vorschreiben

Erweiterungen: image Element layer Atrribut higherResolutionImage Element

Verspeicherung von Metadaten in PNG Bildern

Für eine Verspeicherung von textueller Information eignet sich neben dem PNG Bildformat auch das TIFF.

Vorteil PNG-Format: ist in fast jedem Browser darstellbar

Aufbau eines PNG-Bildes: PNGs verspeichern die in ihnen enthaltenen Daten in

aufeinanderfolgenden Einheiten, den sogenannten Chunks. Jeder Chunk besteht aus vier voneinander unterschiedenen Elementen: length, type, data, CRC.

Jedes PNG Bild besteht aus der PNG-Signatur gefolgt von mindestens drei Chunks: dem IHDR(Image Header Chunk), dem IDAT(Image Data Chunk) und dem IEND (Image End) Chunk.

Möglichkeiten zur Verspeicherung eigener Daten in PNG

Die PNG-Spezifikation sieht mehrere Möglichkeiten vor, Metadaten zu den Bilddaten zu verspeichern. Eine ist die Definition eines eigenen Chunks, z.B. sdIM für

selfdescribing-image-metadata. Weitere Möglichkeiten zur Verspeicherung textueller

Information, bietet die Benutzung und Erweiterung schon vorhandener Chunks. Für textuelle Informationen sieht die PNG-Spezifikation drei unterschiedliche Chunks vor: tEXt, zTXt und iTXt.

Für alle Textchunks steht ein Set von 10 Keywords zur Verfügung, die standardmäßig zu verarbeiten sind: Author, Title, Description, Creation Time, Copyright, Disclaimer, Warning, Software, Source, Comment.

Bestehende Metadatenstandards

MPEG-7 definiert u.a. Möglichkeiten zur Auszeichnung von Multimediadaten. DDL (Data Definition Language) ermöglicht Definition

von Descriptoren und Description Schemes.

Annotationstypen, die MPEG-7 bereitstellt: FreeTextAnnotation entspricht dem desc Element StructuredAnnotation bietet Subelemente wie:

who, whatObject, whatAction, where, when, why, how Unterhalb der Subelemente befindet immer

natürlichsprachlicher Text KeywordAnnotation erlaubt die Definition von

Schlüsselworten, die für die Bildsuche nützlich sein könnten

Beispiel für StructuredAnnotation

<who> Papst Gregor </who><whatAction>kniet betend</whatAction><where>vor dem Altar</where><when>während der Messe</when><how>mit einer Gebärde des Erstaunens</how>

Dublin Core standardisiert eine Gruppe von 15 Elementen, die eine einfache Beschreibung von Digitalen Ressourcen ermöglichen (etwa Author, Title etc.).

Die Empfohlene Implementierung von Dublin Core soll in RDF (Resource Description Framework) erfolgen.

RDF hat eine eigene Schema Sprache. RDF Schema erlaubt es extrem abstrakte Beschreibungen

von Ressourcen anzulegen. Validierbares XML aus beliebigen Namensräumen kann

eingebunden werden.

Bestehende Metadatenstandards

CIDOC CRM (CIDOC Conceptual Reference Model) stellt eine Ontologie zur Beschreibung von Materialien des Kulturellen Erbes zur Verfügung. Der Standard soll als Orientierung für den Aufbau

von Informationssystemen dienen. Die Interoperabilität zwischen unterschiedlichen

Systemen wird unterstützt. Bestehende Datenbanksysteme orientieren sich an

CIDOC. CIDOC kann in RDF implementiert werden, jedoch

nicht in XML. CIDOC eignet sich eher für die Beschreibung von

Dingen einer realen Welt.

Bestehende Metadatenstandards

Schluss Für den Zugriff auf die Materialien eignen sich

Datenbanken, die eine objektorientierte Modellierung und Verspeicherung ermöglichen, derzeit am besten. Offene Datenformate fördern die

Interoperabilität zwischen unterschiedlichen Datenbanksystemen.

Selbstbeschreibende Objekte unterstützen die semantische Suche und verbessern die Duplizierbarkeit von Datenbankwissen.

Schluss XML Dokumente lassen sich in PNGs

verspeichern; mit Hilfe von XML Schema lässt sich ein Datenformat definieren, das Platz für die Einbindung unterschiedlicher Metadaten bereitstellt.

Teilausschnitte von Bildern können mit Hilfe von Polygonzügen ebenfalls ausgezeichnet werden und in räumliche Beziehungen miteinander gestellt werden.

Beispiel Screenshot