Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe...

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe

Wissensbasierte Interpretationmultitemporaler Luftbilder

Promotionsvortrag

12. Januar 2001

Dipl.-Ing. Stefan Growe

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe, Seite 2

Gliederung

Gliederung:

• Einleitung

• Multitemporale Bildinterpretation

• Bewertung von Alternativen

• Anwendungsbeispiel : Detektion eines Messegeländes

• Zusammenfassung


Einleitung Luftbildauswertung: Anwendungsgebiete

1991 1995

Zeit

Landschaft

Automatisierung der Luftbildauswertung erforderlich

Auswertung multitemporaler Luftbilder für:

Umweltüberwachung und Landnutzungsanalyse

Aktualisierung von Karten und Geoinformationssystemen (GIS)

Große Datenmengen und aufwendige Datenerfassung:


Einleitung Probleme der automatischen Bildauswertung

Luftbild

Seg

men

tier

un

g

Segmentiertes Bild

Inte

rpre

tati

on

Grünfläche

Gebäude

Baustelle

Weg

SymbolischeSzenenbeschreibung

Problem:

Komplexität der Szene

perspektivische Verzerrungen, Schattenwürfe

fehlerhafte und unvollständige Segmentierungsergebnisse

Mangel an automatischen Interpretationsverfahren


Einleitung Multitemporale Luftbildauswertung

Interpretation zeitlich versetzt aufgenommener Luftbilder für:

• Änderungsdetektion

1993 1995 1997

• Erkennung von komplexen Objekten aufgrund einer charakteristischen zeitlichen Abfolge von Ereignissen/Zuständen

Ernten

Pflügen Reifen

Säen

Landwirtschaftliche Nutzfläche


Nachteil:• radiometrische und geometrische Entzerrung erforderlich• keine Aussage über die Art der Änderung

1993

1995

Differenzbild

1. Bild-zu-Bild-Verfahren, z.B. Differenzbild:

Einleitung Änderungsdetektion - Stand der Technik


Einleitung Änderungsdetektion - Stand der Technik

1993

1995

2. Klassifikationsvergleich (Post Classification Comparison PCC):

Nachteil:• stark abhängig von der Qualität der

Einzelklassifikationen• separate Bildanalyse ohne Nutzung

der zeitlichen Zusammenhänge

Grünfläche

Gebäude

Baustelle

Klassifikation

Klassifikation

Änderungsbild

Änderung

Keine Änderung


Einleitung Wissenseinbringung durch menschliche Auswerter

01.01.2001

11.01.2001

Halle

Halle ?Wald ?

Wissen über:• Geometrie• Topologie• Struktur• zeitliche

Zusammenhänge

Halle Halle

Halle Wald

Zeitdifferenz: 10 Tage

Für die Automatisierung der multitemporalen Luftbildauswertung ist die Einbringung von Vorwissen erforderlich


Einleitung Wissenseinbringung in automatische Verfahren

Algorithmus: Implizite Wissensrepräsentation

DatenDaten

Wissen&

Steuerung

Wissen&

SteuerungSzenenbeschreibungSzenenbeschreibung

Algorithmus

Wissensbasiertes System: Explizite Wissensrepräsentation

DatenDaten SzenenbeschreibungSzenenbeschreibung

Wissen

Steuerung

Wissensbasiertes System


Einleitung Interpretation von Luftbildern - Stand der Technik

Wissensbasis

Klärwerk

KlärbeckenGebäude

Geoinformations-system(GIS)

Sensordaten

Szenenanalyse

Bildverarbeitung:

Segmentierung

Klassifikation

Symbolische Verarbeitung:

Interpretation

Sensorfusion

Erwartungen

Bildprimitive

AIDA SymbolischeSzenenbeschreibung

Klärwerk-1

Gebäude-1 Klärbecken-1

Wissensbasiertes Bildinterpretationssystem AIDA

Segmentiertes Bild


Semantische Ebene

3D-Ebene

2D-Ebene

Klärwerk-1

Symbolische Szenenbeschreibung

HypotheseInstanz

Einleitung Semantisches Netz

part-ofcon-of

Straße-1

Klärwerk

Fluß GebäudeKlärbeckenStraße

Streifen Zylinder Polyeder

Linie Kreis Polygon

Semantische Ebene

3D-Ebene

2D-Ebene

Wissensbasis

[1..] [1..5][2..4]

Streifen-1Streifen-1

Straße-1 Fluß-1

Streifen-2

Linie-2

Streifen-2

Linie-2

Fluß-1

Linie-1

Klärbecken-1

Zylinder-1

Kreis-1

Gebäude-1

Polyeder-2

Polygon-1

Klärwerk-1

Linie-1

Klärbecken-2

Zylinder-2

Kreis-2

Kreis-2Position: (x y)Radius: 6 pxlFläche: 113 pxl²


Einleitung Leistungsmerkmale AIDA

Mängel in Hinsicht auf eine multitemporale Bildinterpretation:

• Keine Verwaltung von Zeitpunkten und Zeitdifferenzen

• Keine Repräsentation von temporalem Wissen möglich

• Keine Interpretationsstrategie für multitemporale Bildreihen

Leistungsmerkmale von AIDA (gem. Tönjes):

• Flexible Systemsteuerung durch explizite Inferenzregeln

• Genutzte Wissensinhalte:

– Struktur Bestandteilshierarchie

– Geometrie/Radiometrie Konkretisierungen in 3D- und 2D-Ebene

– Topologie Topologische Relationen

(Nachbarschaft etc.)

– ggf. GIS-Daten als partielle Szenenbeschreibung

• Fusion mehrerer Sensoren

Interpretation von multisensoriellen Bildern (Luftbild, IR, SAR)


Einleitung Lösungsansätze

Nutzung des Bildinterpretationssystems AIDA für eine

multitemporale Luftbildauswertung:

• Wissensbasierte Änderungsdetektion

• Detektion komplexer Objekte aufgrund einer charakteristischen zeitlichen

Abfolge von Ereignissen

Notwendige Erweiterungen des Interpretationssystems:

• Modellierung von temporalem Wissen innerhalb des semantischen Netzes

• Interpretationsstrategie zur sequentiellen Analyse der multitemporalen Luftbilder

unter Ausnutzung des temporalen Wissens

Steigerung der Analyseeffizienz durch:

• a-priori-Ausschluß von unmöglichen Landschaftsänderungen

• Realisierung der Interpretationsstrategie „vom Wahrscheinlichen zum

Unwahrscheinlichen“


Gliederung:

• Einleitung




• Zusammenfassung

Gliederung


Multitemporale Bildinterpretation Detektion komplexer Objekte

1.3.20001.3.2000

11.3.20006.3.2000

11.3.2000

Messegelände ?!


AIDA

WissensbasierteBildinterpretation

AIDA

WissensbasierteBildinterpretation

• Bedeutungszuweisung

AIDA

MultitemporaleBildinterpretation

AIDA

MultitemporaleBildinterpretation

• Bedeutungszuweisung• Prädiktion von

Landschaftsänderungen

Multitemporale Bildinterpretation Sequentielle Analyse

Bild t0Bild t1Bild t2

Grünfläche

Gebäude

Fahrzeuge

Szenen-beschreibung t0



• • •



Ausnutzung der Erkenntnisse aus bereitsinterpretierten Bildern


Multitemporale Bildinterpretation Temporales Wissen

• diskrete Objektzustände und Zustandsübergänge

• Zustände werden spezifiziert durch:– charakteristische Bildmerkmale

– Anfangszeitpunkt und Dauer

– Wahrscheinlichkeit

• Zustandsübergänge werden spezifiziert durch:– Dauer

– Wahrscheinlichkeit

• Modellierung ungenauer Zeitangaben durch Intervalle

Zeit t

Zustand Si

Bildmerkmale

Anfangszeitpunkt

Dauer

Wahrscheinlichkeit

FSi

P(Si)

Zustandsübergang Tij

Wahrscheinlichkeit P(Sj|Si)

]00[ ii Smax,

Smin, tt

][ ii Smax

Smin dd Dauer ][ ijij T

maxTmin dd

Zustand Sj

Bildmerkmale

Anfangszeitpunkt

Dauer

Wahrscheinlichkeit

FSj

P(Sj)

]00[ jj Smax,

Smin, tt

][ jj Smax

Smin dd

Modellierung von zeitlichen Zusammenhängen durch:


Multitemporale Bildinterpretation Integration in AIDA

• Repräsentation des temporalen Wissens im semantischen Netz in Form von Zustandsübergangsdiagrammen

Si Sj

•••

•••

Konzept A

ti

[dmin dmax ][t0,min t0, max ]

P(Si )

tj

[dmin dmax ][t0,min t0, max ]

P(Sj )

• Erweiterung der Knoten um:– Zeitstempel– Zustandsdauer und Anfangszeitpunkt– Zustandswahrscheinlichkeit

part-ofcon-of

P(Si |Si ) P(Sj |Sj )P(Sj |Si )

[dmin dmax ]

P(Si |Sj )[dmin dmax ]

• Einführung einer temporalen Relation mit:– Zustandsübergangsdauer und -wahrscheinlichkeit

part-ofcon-oftemp-rel

n...i)S|S(Pn

jij 11

1

n

ii )S(P

11

• Zustandsübergangsdiagramme erfüllen die Regeln von Markov-Ketten


Multitemporale Bildinterpretation Beispiel: Messegelände

Semantisches Netz zur Erkennung eines Messegeländes

con-of

is-a

temp-rel

part-ofRechtwinkliges2D-Polygon

Cluster vonparallelen Linien

Menge von Rechtecken(innerhalb eines Suchraums)

Messegelände

d: [1 1]P: 0,7

d: [1 1]P: 0,1

d: [1 1]P: 0,1

d: [1 1]P: 0,1

LeereParkplätze

VolleParkplätze

LKWsneben Hallen

Industriegebiet

Messeaufbau

d: [5 10]t0: [0 ]P: 0,166

Messe aktiv

d: [5 8]t0: [0 ]P: 0,166

Messeabbau

d: [2 5]t0: [0 ]P: 0,166

d: [1 1]P: 0,3

d: [1 1]P: 0,9

d: [1 1]P: 0,9

Messe inaktiv

d: [0 365]t0: [0 ]P: 0,5

Halle Parkplatz

[3 ] [2 ]

d: [1 1]P: 0,9

Keine LKWsneben Hallen


Multitemporale Bildinterpretation Wissensnutzung

Prädiktion von Zustandsänderungen von t1 nach t2:

Frage: Ist Sj zum Zeitpunkt t2 ein möglicher Folgezustand von Si in t1?

• Optimistische Abschätzung, um keine Lösung auszulassen

• Ausschluß aller unmöglichen Lösungen Steigerung der Effizienz

Zeit t

Zustandsübergang Tij

Dauer ijTmind

Zustand S i Zustand Sj

Zustand S i Zustand SjDauer ijT

maxd

FrühesterAnfangszeitpunkt

SpätesterEndzeitpunkt

MaximaleRestdauer

Min:

Max:

t1 t2

jSmind

jSmaxd


Multitemporale Bildinterpretation Temporale Inferenz

Modellgetriebene Prädiktion von Zustandsänderungen

t = 9 Tage

Bewertung der Alternativen erforderlich

Ausschluß des unmöglichenFolgezustands „Messeabbau“ !

t2 = t1 + t

Messe inaktiv-2P: 0,7

Halle-1

Messe inaktiv-1

Halle-1Halle-1 Halle-1Halle-1Parkplatz-1

Messegelände-1

t2 = t1 + t

Messeaufbau-1P: 0,3

Halle-1

Messe inaktiv-1


Messegelände-1

t2 = t1 + t

Messe aktiv-1P: 0,27

Halle-1

Messe inaktiv-1


Messegelände-1HypotheseInstanz

Halle-1

Messe inaktiv-1

Halle-1Halle-1 Halle-1Halle-1Parkplatz-1t1

Messegelände-1

0,7

0,3 0,9 0,9

0,9

0,1 0,1 0,1

Messe inaktivd: [0 365]P: 0,5

Messeaufbaud: [5 10]P: 0,166

Messeabbaud: [2 5]P: 0,166

Messe aktivd: [5 8]P: 0,166

Messegelände


Gliederung:

• Einleitung




• Zusammenfassung

Gliederung


Bewertung von Alternativen Anforderungen

Zweck:• Bevorzugte Untersuchung der vielversprechendsten Lösungsalternative

Anforderungen an die Bewertung:• Maß für den Grad der Übereinstimmung zwischen den Erwartungen

(aus der Wissensbasis) und den Messungen (in den Daten)• Berücksichtigung der Unsicherheit und Ungenauigkeit von Daten und Vorwissen• Strategie „Vom Wahrscheinlichen zum Unwahrscheinlichen“

t2 = t1 + t

Messe inaktiv-2Messe inaktiv-1

Messegelände-1

t2 = t1 + t

Messeaufbau-1Messe inaktiv-1

Messegelände-1

t2 = t1 + t

Messe aktiv-1

P: 0,7

P: 0,3

P: 0,27

Messe inaktiv-1

Messegelände-1HypotheseInstanz

Messe inaktiv-1

t1

Messegelände-1

P: 0,7

P: 0,3

P: 0,27


Bewertung von Alternativen Bisherige Bewertung

Vorhandenes Bewertungssystem:

• Berücksichtigung von Unsicherheit und Ungenauigkeit der Daten

• Bewertung des semantischen Netzes durch Kombination von

Einzelbewertungen bottom-up

• Keine Berücksichtigung von a-priori-Wahrscheinlichkeiten

Identische Bewertung von Alternativen bewirkt zufällige Kandidatenwahl

Messe inaktiv-2P: 0,7

Halle-1

Messe inaktiv-1


Messegelände-1

1,0 0,9 0,7 0,8 0,9 0,7

1,0

Messeaufbau-1P: 0,3

Halle-1

Messe inaktiv-1


Messegelände-1

1,0 0,9 0,7 0,8 0,9 0,7

1,0

0,90,9 identische Bewertung


Bewertung von Alternativen Bayes-Netze

Neuartiger Ansatz: Bewertung mit Hilfe von Bayes-Netzen

• Bayes-Knoten: diskrete Zufallsvariablen

• Bayes-Kanten: kausale Abhängigkeiten (bedingte Wahrscheinlichkeiten)

• Berechnung von Glaubwürdigkeiten BEL (engl.: Belief) für Bayes-Knoten

Asienbesuch RaucherP(Raucher)=0,3

TuberkuloseP(Tuberkulose)

LungenkrebsP(Lungenkrebs)

Tuberkuloseoder Lungenkrebs

BronchitisP(Bronchitis)

PositiverRöntgenbefund

AtemnotP(Atemnot)=0,2

P(Lungenkrebs|Raucher)

kausaleUnterstützung

diagnostischeUnterstützung

BEL(X) = P(X|e)

e: Evidenz

TuberkuloseBEL(Tuberkulose)

LungenkrebsBEL(Lungenkrebs)

BronchitisBEL(Bronchitis)

RaucherP(Raucher)=1,0

AtemnotP(Atemnot)=1,0


Bewertung von Alternativen Propagierung in Bayes-Netzen

A

B C

E FD G

H I

F

C

A

B

Belief-Update nach Pearl:

1. Bayes-Netz im Gleichgewicht

I

2. Einbringung von Evidenz

3. Verteilung der Information

top-down und bottom-up

bis…

4. Gleichgewichtszustand

wiederhergestellt

Informationsfluß top-down und bottom-up


Bewertung von Alternativen Vom sem. Netz zum Bayes-Netz

Halle-1

Messe inaktiv-1


•••

•••

Messeaufbau-1

P: 0,3

t2 = t1 + t

Semantisches Netz

Bewertungsmaß[0,0 1,0]

bisherige Bewertung neue Bewertung

Bayes Netz

• Transformation aller Instanzen u. Hypothesen• Transformation der Kanten• Abbildung der Attribute als Bayes-Knoten• Berechnung von Glaubwürdigkeiten unter

Berücksichtigung der a priori Wahrscheinlichkeiten

Messe inaktiv-1

Halle-1Halle-1Parkplatz-1

•••

•••

Messeaufbau-1

P: 0,3

t2 = t1 + t

A

A

Halle-1Halle-1Halle-1

AA AAA

A

Wahrscheinlichste Alternative erhält die beste Bewertung


Gliederung:

• Einleitung



• Anwendungsbeispiel: Detektion eines Messegeländes

• Zusammenfassung

Gliederung


Anwendungsbeispiel Messegelände Hannover

Bilddaten:

• 4 Datensätze

1993-1998

• geocodiert

• Auflösungspyramide

0,5-2,0 m/pxl

• Höhendaten

• Simulation eines

Messezyklus durch

Manipulation der

Aufnahmedaten:

1.3., 6.3., 11.3., 21.3.

1993199519971998


Anwendungsbeispiel Detektion von Hallen

Kriterien:

• Höhe

• Form

• Fläche

• Nachbarschaft

akzeptierterHallenkandidat

abgelehnterHallenkandidat


Anwendungsbeispiel Detektion von Parkplätzen

Kriterien:

• Liniendichte

• Linienrichtung

• Form des Clusters

• Lage des Clusters:

außerhalb der

Hallenbereiche

akzeptierterParkplatzkandidat

abgelehnterParkplatzkandidat


Messegelände

Erfolgreiche Detektion des MessegeländesSteigerung der Effizienz durch Reduktion des Suchraums

Anwendungsbeispiel Interpretationsverlauf

Bild 1

Industriegebiet

N1

Messe aktiv

Messe inaktiv

Messeabbau

Messe aktiv

Messeabbau

Spezialisierung

Industriegebiet

N2

Messe inaktiv

N3

Messeaufbau

N4

Messe aktiv

N5

Messeabbau

N6

Industriegebiet

Bild 2 t = 5 Tage

Temporale Inferenz

Messe inaktiv

N7

Messeaufbau

N8Messe inaktiv

Bild 3 t = 5 Tage

Temporale Inferenz

Messeaufbau

N9

Messe aktiv

N10Messeaufbau

Bild 4 t = 10 Tage

Temporale Inferenz

Messeabbau

N11

Messe inaktiv

N12

Messeaufbau

N13

Messe aktiv

Messeabbau


Anwendungsbeispiel Sucheffizienz

0

500

1000

1500

2000

2500

3000

Bild 1 Bild 2 Bild 3 Bild 4

Zahl der Analyseschritte

theoretischeUntergrenze

bisherigeBewertung

neueBewertung(Bayes-Netz)

Deterministisches Systemverhalten mit gesteigerter Effizienz

- 39%

Vergleich der Bewertungssysteme für mehrere Durchläufe:


Zusammenfassung

Ziel:

Automatische Interpretation multitemporaler Luftbilder

• unter Ausnutzung von Vorwissen über temporale Zusammenhänge

• mit möglichst hoher Analyseeffizienz

Ansatz:

• Repräsentation von temporalem Wissen in Zustandsübergangsdiagrammen

• Prädiktion von Landschaftsänderungen durch temporale Inferenz

• Interpretationsstrategie „vom Wahrscheinlichen zum Unwahrscheinlichen“

mit Hilfe eines Bewertungssystems auf Basis von Bayes-Netzen

Ergebnis:

• Erfolgreiche Detektion komplexer Objekte aus multitemporalen Bildreihen

• Bewertungssystem bewirkt deterministisches Systemverhalten mit gesteigerter Analyseeffizienz


Vielen Dank für Ihre Aufmerksamkeit !

Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe...

Documents

Transcript of Institut für Theoretische Nachrichtentechnik und Informationsverarbeitung Stefan Growe...