Evaluationsverfahren für Maschinelle Übersetzungssyteme zur Methodik und Experimentellen Praxis
Automatisierung der Punktübertragung in der ... · Das Methode wurde auf einen "experimentellen"...
Transcript of Automatisierung der Punktübertragung in der ... · Das Methode wurde auf einen "experimentellen"...
Reihe C
ISSN 0065-5325
DEUTSCHE GEODÄTISCHE KOMMISSION
bei der Bayerischen Akademie der Wissenschaften
Dissertationen
Automatisierung der Punktübertragung
in der Aerotriangulation
durch mehrfache digitale Bildzuordnung
Von der
Fakultät 2 für Bauingenieur- und Vermessungswesen
der Universität Stuttgart
zur Erlangung der Würde eines
Doktor-lngenieurs (Dr.-lng.)
genehmigte Dissertation
vorgelegt von
Dipl.-lng. Vassilios Tsingas
München 1992
Verlag der Bayerischen Akademie der Wissenschaften
in Kommiss1on bei der C.H.Beck'schen Verlagsbuchhandlung München
Heft Nr. 392
ISBN 3 7696 9438 4
Adresse der Deutschen Geodätischen Kommission:
DEUTSCHE GEODÄTISCHE ... KOMMISSION
D-8000 MÜNCHEN 22 • Marstallplatz 8 • Postfach 220 002
Telefon (089) 23 031 113 • Telefax (089) 23 031 240
Telex 5 213 550 dgti d
Hauptberichter: Prof. Dr.-lng. F. Ackermann
Mitberichter: Prof. Dr.-lng. W. Förstner
Tag der Einreichung: 30. 09. 1991
Tag der mündlichen Prüfung: 12. 02. 1992
© 1992 Deutsche Geodätische Kommission, München
Alle Rechte vorbehalten. Ohne Genehmigung der Herausgeber ist es auch nicht gestattet, die Veröffentlichung
oder Teile daraus auf photomechanischem Wege (Photokopie, Mikrokopie) zu vervielfältigen.
ISSN 0065-5325 ISBN 3 7696 9438 4
- 3 -
Zusammenfassung
Automatisierung der Punktübertragung in der Aerotriangulation durch mehrfache digitale Bildzuordnung
Bei der Aerotriangulation erfolgt die Verknüpfung der Bilder eines Bildverbands durch homologe Bildpunkte in den
Überlappungsgebieten. Die dafür benötigten Operationen der Punktübertragung und -messung gehören zu den
arbeitsintensivsten und zeitraubendsten Phasen der Aerotriangulation. Darüber hinaus beeinflussen die angewendeten
Verfahren und die verwendeten Geräte erheblich die Genauigkeit und Zuverlässigkeit der Endergebnisse. Die durch
digitalen Verfahren erreichte Automatisierung der Punktübertragung wird eine Leistungssteigerung der Aerotriangulation
mit sich bringen und den automatischen Ablauf der Aerotriangulation (im engeren Sinne die Phasen nach der Befliegung)
als einen geschlossenen Prozeß ermöglichen.
Die Auswahl eines Bildpunktes (Verküpfungspunkt) und die Lokalisierung seiner homologen Bildpunkte in den übrigen
Bildern (Übertragung) stellt das allgemeine Problem der mehrfachen Bildkorrelation dar. Zur Lösung dieses elementaren
Problems wurde eine Methode für die mehrfache Merkmalszuordnung entwickelt, die sich auf etablierte Methoden der
digitalen Bildverarbeitung. der Graphentheorie und der binären Optimierung stützt. Die Methode erfüllt die an sich
gestellten Forderungen nach Subpixelgenauigkeit und automatischer Beschaffung der Näherungswerte.
Für die Extraktion der markanten Punkte wird der Förstner-lnterestoperator benutzt. Somit kann die Methode als eine
Verallgemeinerung des "Feature Based Matching" von mehreren beliebig überlappenden Bildern oder Bildausschnitten
betrachtet werden. Nach der Extraktion der markanten Punkten und deren vorläufigen paarweisen Zuordnung werden
durch eine robuste Ausgleichung die grob falschen Zuordnungen eliminiert. Die endgültige Konsistenzüberprüfung und
die Bestimmung der mehrfachen Zuordnungen erfolgt mit Hilfe eines graphentheoretischen Modells. nämlich des Auf
findens eines maximalen vollständigen Teilgraphen mit minimalen Kantenkosten in einem n-partiten Graphen. Dieses
Problem wird als ein Optimierungsproblem im Sinne der linearen Programmierung formuliert und mit einem
Baumsuchalgorithmus gelöst. Mit der Bestimmung der mehrfachen Zuordnungen findet auch die für die Blockaus
gleichungwichtige Kennzeichnung der homologen Bildpunkte mit der Nummer des entsprechenden Geländepunktes statt.
Für die vollautomatische Anwendung der Methode auf einen photogrammetrischen Block wurde auch eine Strategie
entwickelt. die den Prozeß sowohl durch die vertikale Bildstruktur der Bildpyramiden als auch durch die horizontale
Bildstruktur des Blocks ( Standardstellen der Punktübertragung) steuert.
Das Methode wurde auf einen "experimentellen" Block von digitalen Bildern (5 Streifen. 25 Bilder) angewendet. Damit
konnte die Funktionsfähigkeit und die Konsistenz des Verfahrens demonstriert werden. Die Genauigkeitsergebnisse der
anschließenden Bündelblockausgleichung ( a0 = 1/3 Pixel) entsprechen der erwarteten Genauigkeit.
Abstract
Point Transfer Automation in Aerial Triangulation by Multiple Digital Image Matehing
In aerial triangulation. the image matehing of a photogrammetric block is done by using homologaus points in the
overlapping areas of these photographs. Forthis purpose. one needs tedious and time-consuming operations for the point
transfer and point measurement. Furthermore. the accuracy and reliability of the final results are greatly affected by the
methods and devices used in this procedure. The digital techniques applied for the automation of point transferwill help
increase the efficiency of aerial triangulation and automatize the sequence of operations needed.
The selection of an image point (tie point). as weil as the localisation of its corresponding homologaus points on the
other photographs (transfer) represent the universal problern of the multiple image-correlation. Basedon known methods
- 4 -
from digital image processing, graph theory and binary optimization. a method was developed for the solution of this
elementary problem. This method satisfies the requirements for sub-pixel accuracy and provides automatically the
approximation values asked for by any application case.
For the extraction of interest points on the images, the Förstner Interest Operator is used. Therefore. this method can
be regarded as a generalization of the "Feature Based Matching" for several overlapping images or image sectors. After
extracting the interest points and their preliminary pairwise matching. an elimination of gross matehing errors is achieved
by a robust adjustment. The final consistency check and determination of the multiple matchings is done by a graph
theoretical model. namely by finding a maximal and complete subgraph with minimal cost of links in a n-partite graph.
This is an optimization problern that is solved with the help of a tree searching algorithm being adapted to binary
programming. Tagether with the determination of multiple matehing the homologaus pointswill be designated with the
same number as the corresponding points on the ground. Furthermore, a strategy was developed for the fully automatic
use of this method with photogrammetric blocks.
The method was applied on an experimental block of digital photographs (5 Strips. 25 photographs). The achieved
accuracy for the bundle adjustment (o0,.,.,1/3 pixel) was as expected. This demonstrated the functional performance and
consistency of the method.
- 5 -
INHALTSVERZEICHNIS
1 Einleitung und Zielsetzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..... 7
1.1 Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Übersicht und Stand der Aerotriangulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1 Entwicklung der Aerotriangulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.2 Gliederung der Aerotriangulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.3 Genauigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3 Automation und Genauigkeitssteigerung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.1 Genauigkeitssteigerung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.2 Leistungssteigerung durch Automation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4 Aufgabenstellung und Überblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2 Voraussetzungen und Einschränkungen für die Automatisierung der Aerotriangulation ..... . 14
2.1 Einführung ....................................................... .
2.2 Digitale Photogrammetrie ............................................. .
202.1 Hardwarekomponenten ....................................... .
2.2.2 Digitale Bildverarbeitungsverfahren in der Photogrammetrie .......... 0 .. .
2.2.3 Digitale Korrelationsverfahren ................ . ) '"' _0_., Automation der Teilaufgaben der Aerotriangulation ......... .
2.4 Automatisierung der Punktübertragung und -messung ......................... .
2.4.1 Charakteristika der manuellen Verfahren ........................... .
2.4.2 Forderungen an ein automatisches Verfahren ........................ .
2.4.3 Mehrfache Merkmalszuordnung ....................... 0 ......... .
14
14
15
16
16
17
19
19
20
21
3 Konzeption des Verfahrens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.1 Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2 Voraussetzungen und Spezifikationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2.1 Korrelationsprinzip .................... , . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2.2 Anmerkungen zur Genauigkeit und Auswahl der Zuordnungsmethode . . . . . . . . . . . . 24
3.2.3 Charakteristika des Verfahrens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2.4 Anwendung des Verfahrens für die Punktübertragung und Messung von Verknüpfungs-
punkten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3 Ablauf des Verfahrens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4 Extraktion der markanten Punkte und vorläufige Zuordnungen ................... . 32
4 Mathematisches Modell der mehrfachen Bildzuordnung ................ . 34
4.1 Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.2 Geometrie der überlappenden Bilder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.3 Affintransformation für n Bilder ...................... . 36
4.4 Robuste Ausgleichung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.4.1 Anpassung der Gewichte während der robusten Ausgleichung . . . . . . . . . . . . . . . . . . 39
- 6 -
4.4.2 Fehlergleichungssystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.4.3 Normalgleichungssystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5 Mehrfache Merkmalszuordnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5 .1 Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.2 Elemente der Graphentheorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.3 Graphentheoretische Annäherung des Zuordnungsproblems . . . . . . . . . . . . . . . . . . . . . . . 48
5.3.1 Zuordnung innerhalb von 2 Bildern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.3.2 Zuordnung innerhalb von n Bildern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.4 Algorithmen zum Auffinden von Cliquen in einem Graphen . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.4.1 Maximalen-Clique mit minimalen Knotenkosten in einem n-partiten Graphen . . . . . . . 54
5.4.2 Maximale n-Clique mit minimalen Kantenkosten in einem n-partiten Graphen . . . . . . . 57
5.5 Anwendung des Verfahrens der maximalen unabhängigen Knotenmenge auf einen n-partiten
Graphen mit Kantenbewertung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.5.1 Konstruktion des Graphen G'(X',R') . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
5.5.2 Formulierung des Optimierungsproblems ............. .
5.6 Iterative Anwendung zum Auffinden von n-Cliquen bis 2-Cliquen .. .
61
64
6 Baumsuchalgorithmus für das Zuordnungsproblem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
6.1 Einführung ......................................... .
6.2 Verfahren der binären Programmierung ....................... .
6.3 Der additive Algorithmus von Balas ......................... .
6.4 Anpassung des Algorithmus an das spezifische Optimierungsproblem .. .
6.5 Zerlegung des Graphen in seine zusammenhängenden Komponenten .................... .
69
69
71
74
76
7 Empirische Untersuchungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
7.1 Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
7.2 Demonstration des Verfahrens an 4 überlappenden Bildausschnitten . . . . . . . . . . . . . . . . . . . . . 79
7.2.1 Extraktion der markanten Punkte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
7.2.2 Vorläufige Zuordnungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
7.2.3 Robuste Ausgleichung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
7.2.4 Graph der Zuordnungen und beste Cliquen (mehrfache Zuordnungen) . . . . . . 83
7.3 Anwendung des Verfahrens für die Punktübertragung in einem Bildblock 88
7.3.1 Beschreibung des Datenmaterials .................... . 88
7.3.2 Digitale Punktübertragung und -messung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
7.3.3 Ergebnisse der Bündelblockausgleichung . . . . . . . . . . . . . . . . . . . . . . . . . . 96
7.3.4 Anwendung auf echte Luftbilder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
8 Zusammenfassung und Überblick 104
Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
- 7 -
1 Einleitung und Zielsetzung
1.1 Einführung
Mit der Einführung analytischer Methoden [SCHMID 1958/1959] und der schrittweisen Verfeinerung des mathema
tischen Modells wurde die Bildtriangulation als ein leistungfähiges geodätisches Verfahren hoher Genauigkeit etabliert
und fand in der Praxis eine breite Anwendung (großräumige Kartierung, Kataster, Netzverdichtung usw.). Dazu hat die
Entwicklung in der Computertechnologie und entsprechender Programmsysteme wesentlich beigetragen. Der Einsatz der
Computer in der Aerotriangulation ist aber immer noch auf die numerische Behandlung der gemessenen Bildkoordinaten
in der Blockausgleichung beschränkt. So bezeichnet heute der Begriff der Aerotriangulation im wesentlichen die nume
risch arbeitenden Verfahren der Blocktriangulation, die sich aber auf die noch stets manuell gemessenen Bild- oder
Modellkoordinaten stützen [FÖRSTNER 1989].
Da die Aerotriangulation weiter eine Hauptrolle in der photogrammetrischen Praxis spielen wird (mindestens bis eine
direkte Bestimmung der Orientierungsparameter der photogrammetrischen Bilder während des Fluges mit einer für die
photogrammetrischen Aufgaben hinreichenden Genauigkeit möglich wird), ist die Effizienzsteigerung der Aerotriangula
tion durch die Teil- oder Vollautomatisierung der bisher noch übelwiegend manuellen Arbeitsschritte von wichtiger
Bedeutung. Entsprechend hat sich heute das Interesse der photogrammetrischen Forschung, wie H.Schmid bereits im
Jahre 1959 vorausgesagt hat, mehr auf eine automatische Lösung der Aufgaben der Identifizierung und der koordinaten
mässigen Erfassung des Bildinhalts zu konzentrieren [SCHMID 1959]. Für die Aerotriangulation besteht dieses Problem
in der Identifizierung, Übertragung und Messung der Verknüpfungs- und der Paßpunkte. Die unter dem Sammelbegriff
der Punktübertragung und Punktmessung zusammengefaßten Operationen der Auswahl, Identifizierung, Übertragung,
Markierung und Messung der Bildverknüpfungspunkte bedingen ganz entscheidend die Zuverlässigkeit, Genauigkeit und
Wirtschaftlichkeit einer Blocktriangulation [SCHWIDEFSKY/ACKERMANN 1976]. Bisher sind diese Operationen
praktisch ausschließlich der manuellen Bearbeitung durch den Menschen überlassen und somit arbeitsintensiv, langsam
und teuer. Aus dieser Sicht besteht eine hohe Notwendigkeit wie auch eine günstige Voraussetzung zur Automatisierung
in diesem Bereich. Die technischen Voraussetzungen sind durch die enorme Entwicklung der Computertechnologie
bezüglich Rechenleistung und Speicherkapazität der Rechenanlagen und die Entwicklung neuer Algorithmen und
Methoden der Informations- und Datenverarbeitung (insbesondere der Digitalen Bildverarbeitung) geschaffen worden.
Bei der Aerotriangulation erfolgt die Verknüpfung der Bilder eines Bildverbands durch homologe Bildpunkte in den
Überlappungsgebieten. Die Auswahl eines Bildpunktes und die Lokalisierung seiner homologen Bildpunkte in den
übrigen Bildern stellt das allgemeine Problem der mehrfachen Bildkorrelation dar. Somit ist die Entwicklung eines
Verfahrens für die mehrfache Bildzuordnung als Schwerpunkt dieser Arbeit zusehen. An dieser Stelle möchte ich Herrn
Prof. Dr.-Ing. F. Ackermann danken für die Anregung und Betreuung zu dieser Arbeit, sowie die jederzeit bereitwillige
Unterstützung. Für die zahlreichen Diskussionen und wertvollen Hinweise möchte ich auch Herrn Prof. Dr.-Ing. W.
Förstner danken.
1.2 Übersicht und Stand der Aerotriangulation
Die Aerotriangulation bzw. Bildtriangulation stellt den allgemeinen Fall der photogrammetrischen Punktbestimmung mit
mehr als zwei Bildern dar. In der heutigen Form der analytischen Aerotriangulation besteht die Aufgabe in der gleichzei
tigen Bestimmung der Orientierungsparameter der photogrammetrischen Bilder (einschließlich der inneren Orientierung)
und der dreidimensionalen Koordinaten der beobachteten Geländepunkte. Die Bildtriangulation wird sowohl für interne
- 8 -
photogrammetrische als auch für externe geodätische Zwecke angewendet. Intern liegt der Anwendungsbereich in der
Beschaffung von Paßpunkten für die absolute Orientierung von einzeln Bildern oder Bildpaaren. Damit stellt die
Aerotriangulation die Grundlage für fast alle photogrammetrischen Bildauswertungen dar. Extern bietet die
Bildtriangulation als Punktbestimmungsmethode eine hochgenaue und wirtschaftliche Alternative für viele geodätische
Anwendungen (Kataster, Netze, Nahbereichphotogrammetrie).
1.2.1 Entwicklung der Aerotriangulation
Das heutige hohe Leistungsniveau der Aerotriangulation ist durch eine langjährige Entwicklung erreicht worden, die sich
im wesentlich auf die Blockausgleichung konzentriert hat. Mit der Einführung analytischer Methoden [SCHMID
1958/1959] war die Aerotriangulation bis Anfang der 80er Jahre ein zentrales Thema der photogrammetrischen
Forschung. Genauigkeitsuntersuchungen zeigten die günstigen Genauigkeitseigenschaften der Blocktriangulation und
bildeten die Grundlage für die Planung von Blöcken [ACKERMANN 1966] und die Verteilung der Lage- und
Höhenpaßpunkte. Der praktische Einsatz der rechnerischen Blocktriangulation wurde erst mit der Benutzung von
Rechenanlagen ermöglicht. Dafür wurden leistungsfähige Programmpakete für die Blockausgleichung entwickelt, z.B.
[ACKERMANN/EBNER/KLEIN 1970]. die die Ausgleichung von Großblöcken und die Durchführung von
umfangreichen empirischen Untersuchungen ermöglichten. Die Verfeinerung des funktionalen Modells durch die ,
Einbeziehung von zusätzlichen Parametern für systematische Fehler in die Ausgleichung (Selbstkalibrierung) erhöhte
die Genauigkeit des Verfahrens [BAUER/MÜLLER 1972, BROWN 1974]. Untersuchungen zur Aufdeckung grober
Datenfehler auf der Basis der Zuverlässigkeitstheorie [FÖRSTNER 1978] führten zur E1weiterung der Blockaus
gleichungsprogramme mit robusten Schätzverfahren zur automatischen Lokalisierung bzw. Eliminierung grober Fehler.
Genauso wurde die Beschaffung der für die Linearisierung der Fehlergleichungen benötigten Näherungswerte
automatisiert. Schließlich hat die Verwendung von Hilfsdaten wie Statoskopdaten, APR-Daten (Airborne Profile
Recorder) [ACKERMANN/EBNER/KLEIN 1972] und neuerdings GPS-Daten [FRIESS 1988], die als Beobachtungen
in die Ausgleichung einfließen, die Genauigkeit und Wirtschaftlichkeit gesteigert und neue Anwendungsgebiete eröffnet.
Gleichzeitig wurden schon elektronische [HOBROUGH 1959] und digitale Korrelationsverfahren [KREILING 1976,
ACKERMANN 1983, GRÜN 1985, FÖRSTNER 1986] zur stereoskopischen Fusion von homologen Bildausschnitten.
d.h. zur Übertragung und Messung von Bildpunkten entwickelt. Dadurch wurde immerhin gezeigt, daß die elementaren
Meßaufgaben der Aerotriangulation automatisierbar sind. Der Einsatz solcher Verfahren in der Aerotriangulation ist aber
bisher auf den Bereich der Forschung beschränkt geblieben.
Somit wird heute in der Praxis ausschließlich die rechnerische Aerotriangulation sehr vielfältig angewendet, die sich in
Form der Blocktriangulation als ein hochgenaues und effizientes Verfahren der geodätischen Punktbestimmung erwiesen
hat.
1.2.2 Gliederung der Aerotriangulation
Die Aerotriangulation ist ein systematischer und klar gegliederter Arbeitsprozeß. Man kann im weiteren Sinn vier Phasen
unterscheiden (Abb. 1.1 ): Die Planung und Vorbereitung, die Befliegung, die Messung und die Berechnung
[SCHWIDEFSKY/ACKERMANN 1976]. Im engeren Sinne umfaßt der Begriff der Aerotriangulation die Phasen nach
dem Flug und der Entwicklung des Filmmaterials, nämlich die Messung und die Berechnung.
Bei der Planung werden anband der Genauigkeitsforderungen und des Anwendungszieles die wesentlichen Projektpara
meter bestimmt. Dazu gehören u.a. der Bildmaßstab, die Bild-Überdeckung und die Anzahl und Verteilung der
Paß punkte. In den Bereich der Vorarbeiten gehören die Identifizierung und Signalisierung der Paßpunkte bzw. der
Verknüpfungspunkte (im Fall von signalisierten Verknüpfungspunkten) im Gelände, abgesehen von der geodätischen
Bestimmung der Paßpunkte, sofern notwendig. Während der Befliegung erfolgt die Aufnahme der Bilder und die
Abb. 1.1 :Phasen· und Teilaufgaben der Aerotriangulation
- 10 -
Erfassung der Hilfsdaten, die zusammen mit den Daten der Kammerkalibrierung und den geodätisch bestimmten Landes
Koordinaten der Paßpunkte das Datenmaterial der Aerotriangulation bilden.
Nach der Befliegung und der Entwicklung des Filmmaterials folgt die eigentliche Aerotriangulation, die die
photogrammetrische Messung der Verknüpfungs- und der Paßpunkte umfaßt. Dazu gehört die Vorbereitung des
Bildmaterials für die Messung. Die Verknüpfungspunkte haben die Funktion, die Bilder bzw. die Punkte zu einem Block
zu verknüpfen, um die für die Berechnung der Unbekannten notwendigen Beziehungen zur Verfügung zu stellen. Die
Verknüpfungspunkte werden ausgewählt, bzw. im Fall von signalisierten Punkten identifiziert, und in die benachbarten
Bilder übertragen und markiert. Entsprechend werden die Paßpunkte in den Bildern identifiziert. Anschließend werden
die so identifizierten bzw. übertragenen Bildpunkte gemessen. Für die Reduktion der Bildkoordinaten, die die Transfor
mation der gemessenen Gerätekoordinaten auf das ideale Bildkoordinatensystem und die Korrektur der bekannten Bild
fehler (Verzeichnungsfehler, physikalische Fehler) umfaßt, ist die innere Orientierung der Bilder und damit die Messung
der Bildrahmenmarken erforderlich.
Die reduzierten Bildkoordinaten der beobachteten Punkte werden in der Berechnungs-Phase der Aerotriangulation als
Beobachtungen für die Blockausgleichung nach der Methode der kleinsten Quadrate benutzt, die die Orientie
rungsparameter der Bilder und die Geländekoordinaten der gemessenen Bildpunkte liefert. In dieser Phase sind weitere
Teilaufgaben, wie die Berechnung der Näherungswerte der Unbekannten, die Zuweisung von a priori Varianzen oder
Gewichten an die verschiedenen Beobachtungen, eine geeignete Bildnumerierung zur Minimierung des Rechenaufwands,
die Datenbereinigung (grobe Fehler), sowie die abschließende Qualitätsbeurteilung zu bewältigen. Ebenso ist zu
entscheiden, ob bzw. welche Parameter der inneren Orientierung als Unbekannte behandelt werden sollen und die
Blockausgleichung als Selbstkalibrierung durchgeführt wird.
1.2.3 Genauigkeit
Theoretische und empirische Untersuchungen haben die Abhängigkeit der Genauigkeit ausgeglichener Blöcke von den
Projektparametern gezeigt. Somit ist es schon durch die optimale Wahl der Projektparameter bei der Planung möglich,
die Genauigeit der Ergebnisse zu beeintlussen und damit die gegebenen Spezifikationen zu erfüllen. Bei gegebener
Kamera und gegebenem Bildmaßstab hängt die Genauigeit grundsätzlich nur noch von zwei Faktoren ab, von
der Blockgeometrie (Übercleckung. Yerknüpfung, Paßpunkte) und
der "Meßgenauigkeit" (Geräte-, Meß-. Identifizierungs-, Übertragungsfehler), die sich in dem G 0 der
Ausgleichung ausdrückt.
Die "Meßgenauigkeit" o0 hängt entscheidend von der Art der ve1wendeten Verknüpfungspunkte ab. Man kann nun die
Aerotriangulation bezüglich des erreichbaren Genauigkeitsniveaus in zwei Klassen unterteilen:
Hochgenaue A er o tri a 11 g ul a t i o n (Kataster, Nahbereich). Als Yerknüpfungspunkte werden
signalisierte Punkte venvendet. Die erreichbare Genauigkeit liegt unter 3 ,um ( G 0) im Bild.
Topographische A er o tri an g u I a t i o n (für Kartierungszwecke). Als Yerknüpfungspunkte werden
in der Regel künstlich markierte Bildpunkte verwendet. In diesem Fall liegt der Betrag von G 0 erfahrungs
gemäß zwischen 7 und 20 ,um und zwar wegen der dominanten Übertragungsfehler.
Da die Signalisierung der Yerknüpfungspunkte im Gelände sehr kostenaufwendig ist, stellt die topograpische
Aerotriangulation den Standard-Fall der photogrammetrischen Punktbestimmung dar.
- 11 -
1.3 Automation und Genauigkeitssteigerung
Obwohl der heutige Status der Aerotriangulation nach Qualität und Anwendung als zufriedenstellend betrachtet werden
kann, ist dennoch eine Leistungssteigerung erwünscht und möglich. Die Leistungssteigerung kann durch die Steigerung
der Genauigkeit und die Teil- oder Vollautomatisierung einzelner Teilprozesse erfolgen. Unter diesen beiden Aspekten
müssen alle Phasen untersucht werden. um die kritischen Operationen herauszufinden. Von allen Phasen ist bisher nur
die Blockausgleichung weitgehend ausgereizt. Die Messung dagegen sowie die Planung. die hier nicht weiter behandelt
wird, hat sich trotz der allgemeinen Entwicklung wenig geändert. Insbesondere bestimmen die Operationen der
Punktübertragung und der Punktmessung nicht nur das Genauigkeitsniveau der Aerotriangulation sondern sie sind durch
ihre manuelle Durchführung die zeit- und kostenaufwendigsten Teilprozesse.
1.3.1 Genauigkeitssteigerung
Die Aerotriangulation mit signalisierten Verknüpfungspunkten stellt hinsichtlich Genauigkeit den idealen Fall dar. Die
eigentliche Messung der Bildkoordinaten z.B. mit einem Monokomparator ist sehr genau ( < 1 pm ). und da keine
Punktübertragung mehr benötigt wird. fehlen die Übertragungsfehler ( a0-3,um). Damit repräsentiert dieser Fall die
Präzisionsaerotriangulation und wird dort angewendet, wo hohe Genauigkeitsanforderungen gestellt werden. Der Nachteil
dieser Methode ist, daß die Signalisierung der Verknüpfungspunkte im Gelände mit Feldarbeit verbunden und damit sehr
kostenaufwendig ist. Somit kann die Verwendung von signalisierten Verknü pfungspunten keine allgemeine und
wirtschaftliche Lösung für die Aerotriangulation sein.
Für die Genauigkeitssteigerung der topographischen Aerotriangulation braucht man nun eine interne Punktidentifizierung
und Punktübertragung, die äquivalent zu signalisierten Punkten ist. Dabei ist weniger der Bildpunkt selber das Problem
als vielmehr die Identifizierung homologer Bildpunkte, was der Punktübertragung der Verknüpfungspunkte entspricht.
Benötigt wird also ein Verfahren für die Operationen der Punktidentifizierung, -Übertragung und -messung. die eine den
signalisierten Punkten äquivalente Genauigkeitsleistung bringt ( a0 < 3pm) und gleichzeitig wirtschaftlich ist. Damit
könnte die Präzisionsaerotriangulation der Standard-Fall der photogrammetrischen Punktbestimmung werden.
1.3.2 Leistungssteigerung durch Automation
Die Automatatisierung von zeit- und arbeitsintensiven Operationen der Aerotriangulation kann zu einer weiteren
Leistungsteigerung führen. Das betrifft sowohl den Zeit- und Kostenaufwand als auch die Zuverlässigkeit des Verfahrens.
Als einzige Phase ist die Blockausgleichung, die als Batchprozeß abläuft, weitgehend automatisiert. Dem Operatem ist
nur die Fehlerbehandlung und die Qualitätskontrolle (Genauigkeit und Zuverlässigkeit) der Ergebnisse überlassen. Alle
übrigen vorhergehenden Operationen sind bisher der manuellen Bearbeitung durch den Menschen überlassen. Davon sind
die Punktübertragung und Punktmessung am zeitaufwendigsten. Weiterhin ist die manuelle Abwicklung dieser
Operationen die Hauptquelle für grobe Fehler (z.B. Zielidentifizierung, Punktnumerierung). die \\·eiter in die
Blockausgleichung einfließen und die Zuverlässigkeit der Ergebnisse beeinträchtigen. Daher und in Verbindung mit
ihrem Einfluß auf die Genauigkeit (s. Kap. 1.3.1) besteht eine vordringliche Notwendigkeit zur Automatisierung dieser
Operationen. Die Folge wäre. daß die ganze Aerotriangulation (nach der Befliegung und der Digitalisierung der Bilder)
als ein Prozeß automatisch (batch oder interaktiv) auf einem digitalen Rechner ablaufen könnte. Die letze Entw·icklung
im Bereich der photogrammetrischen Geräte (Scanner und digitale photogrammetrische Stationen) zeigt, daß ein solches
Ziel technisch nicht mehr weit von der Realität entfernt ist. Das würde zu einer benutzerfreundlichen Umgebung für die
Durchführung der Aerotriangulation führen. die den Operatem von arbeitsintensiven Funktionen befreien würde.
- 12 -
1.4 Aufgabenstellung und Überblick
Nach der obigen Analyse konzentriert sich die Arbeit auf die Automation der Punktübertragung. Das schließt die
Auswahl, die Übertragung und die Messung der Verknüpfungspunkte ein. Die Identifizierung und Messung der
Paßpunkte wird nicht behandelt, weil ihre Anzahl normalerweise relativ niedrig ist und interaktiv von dem Operatem
durchgeführt werden kann. Die automatische Behandlung von Bildern, bzw. die Verarbeitung von Bilddaten kann
effizient nur mit Hilfe digitaler Rechenanlagen erfolgen. Die Benutzung der digitalen Rechner für die Punktübertragung
setzt voraus, daß die Bilder in digitalisierter Form vorliegen. Dann können die Verfahren der digitalen Bildverarbeitung
zur Lösung unseres Problems angewendet werden.
Die Identifizierung homologer Bildpunkte in digitalen Bildern erfolgt durch digitale Korrelations- oder Zuordnungsver
fahren. Diese Verfahren sind, wie Genauigkeitsuntersuchungen sowie Anwendungsergebnisse bewiesen haben, potentiell
sehr genau und eignen sich zur Automation. Sie lösen das Problem der Übertragung und der Messung der homologen
Punkte gleichzeitig. Für die Auswahl geeigneter Verknüpfungspunkte können Interestoperatoren verwendet werden. Da
sich bei der Bildtriangulation die Bilder mehrfach gegenseitig überdecken und somit die Verknüpfungspunkte jeweils
auf mehrere Bilder übertragen und gemessen werden müssen, ist für die Automatisierung der Punktübertragung das
Problem der Mehrfachkorrelation und -Zuordnung zu lösen. Damit ist als Ziel der vorliegenden Arbeit die Entwicklung
eines automatischen Verfahrens für die mehrfache digitale Bildzuordnung gesetzt. Ein effizientes Verfahren für die
Automatisierung der Punktübertragung in der Aerotriangulation stellt spezielle Forderungen u.a. an die Genauigkeit, die
Beschaffung der Näherungswerte, den Rechenaufwand und den algorithmischen Ablauf. So sollte der Algorithmus, durch
iteratives Durchlaufen von Bildpyramiden, selber die Näherungswerte beschaffen und den Rechenaufwand durch
Einschränkung auf schrittweise reduzierte Bilddaten in akzeptablem Umfang halten.
Für die Identifizierung und Messung der homologen Verknüpfungspunkte (mehrfache Punktübertragung und Messung)
wurde hier auf Grund der gestellten Forderungen ein Verfahren für die mehrfache d i g i t a I e 111 er km a I s
zu o r d nun g entwickelt. Das Verfahren stützt sich auf etablierte Methoden der Digitalen Bildverarbeitung und der
Graphentheorie bzw. der Linearen Programmierung. Man kann drei Phasen des Verfahrens unterscheiden. In der ersten
Phase werden mit Hilfe eines Interestoperators markante Bildpunkte in allen Bildern unabhängig ausgewählt.
Anschließend wird jeder ausgewählte Bildpunkt mit allen Bildpunkten der anderen Bilder auf Ähnlichkeit verglichen
und jedem Paar ein Ähnlichkeitswert zugewiesen. In der zweiten Phase findet eine genäherte Anpassung der
Bildkoordinaten aller Punktpaare auf ein mathematisches Modell statt, das die funktionale Beziehung der homologen
Bilder bzw. Bildausschnitte beschreibt. Dieses Modell wird für eine robuste Ausgleichung benutzt, die schrittweise die
grob falschen Zuordnungen eliminiert. In der dritten Phase findet die eigentliche mehrfache Punktzuordnung statt. Für
die Eliminierung der noch vorhandenen kleinen Zuordnungsfehler und für die eindeutige Zuordnung der Verknüpfungs
punkte wird ein graphentheoretisches Modell benutzt. Markante Punkte und übriggebliebene Zuordnungen werden durch
einen Graphen dargestellt, auf dem die homologen Bildpunkte vollständige Teilgraphen bilden. Auf diesem Graphen wird
ein binäres Optimierungsproblem formuliert. Zum Schluß findet ein Baumsuchalgorithmus anhand der Bedingungen des
Optimierungsproblems die optimalen Gruppen von homologen Bildpunkten und numeriert sie entsprechnd für die
Blockausgleichung. Die einzelnen Phasen werden in den nachfolgenden Kapiteln schrittweise entwickelt und analytisch
beschrieben :
Das 2-te Kapitel präzisiert die Aufgabenstellung im Vergleich zur konventionellen Aerotriangulation. Die Vorausetzungen
und die Einschränkungen für die Automatisierung der Aerotriangulation werden dargestellt. In Hinblick auf die
Forderungen, die die Automatisierung der Aerotriangulation und speziell der digitalen Punktübertragung stellt, wird die
Entwicklung in der digitalen Photogrammetrie kurz beschrieben.
Das Kapitel 3 beinhaltet eine Beschreibung der digitalen Bildzuordnungsmethoden und ihre Anwendung auf die
photogrammetrische Punktbestimmung. Anhand der gestellten Forderungen und der möglichen Lösungen wird ein
- 13 -
Konzept für die Automatisierung der Punktübertragung aufgestellt. Nach der Präzisierung der Aufgaben. die während
der einzelnen Phasen zu lösen sind. wird der Ablauf des ganzen Verfahrens konzipiert.
Das Kapitel 4 umfaßt das mathematische Modell, das für die robuste Ausgleichung verwendet wird. Dafür wird das
Modell der Affinen Transformationen für die Grauwertmatrizen mehrerer überlappender Bildausschnitte entwickelt.
Im Kapitel 5 erfolgt die Übertragung des Verbandes der Geländepunkte mit ihren homologen Bildpunkten in die
Graphentheorie und die Formulierung der gleichzeitigen mehrfachen Punktzuordnung als ein Optimierungsproblem im
Sinne der Linearen Programmierung. Das Kapitel 6 beschreibt den Baumsuchalgorithmus. der für die Lösung des
Optimierungsproblems ve1wendet \vird.
Im Kapitel 7 wird das entwickelte Verfahren zunächst an einem elementaren Beispiel mit 4 überlappenden
Bildausschnitten demonstriert. Anschließend wird das Verfahren auf einen Block von 25 Bildern angewendet. Da
vorläufig die Digitalisierung ganzer Luftbilder mit hoher Auflösung nicht möglich war. wurde die Methode auf Bilder
eines künstlichen Geländemodells (aus der Architektur) angewendet. die mit einer CCD Kamera aufgenommen wurden
und insgesamt einen Block mit 60% Längs- und 60% Querüberdeckung bilden.
Zum Abschluß sind im Kapitel 8 Problematik und Ergebnisse des Verfahrens zusammengefaßt und Ausblicke auf
zukünftige Untersuchungen und Entwicklungen skizziert.
- 14 -
2 Voraussetzungen und Einschränkungen für die Automatisierung der Aerotriangulation
2.1 Einführung
Unter Automatisierung versteht man die Erledigung, Steuerung und Kontrolle von Arbeitsprozessen ohne menschliche
Eingriffe durch Autornatensysteme. Man kann allgernein zwei Strategien für die Automatisierung eines komplexen
Prozesses verfolgen. Die erste Strategie setzt Verfahren der Künstlichen Intelligenz ein. Die zweite versucht die Randbe
dingungen so zu vereinfachen, daß intelligente Systeme nicht erforderlich sind. Nachteil der ersten Strategie ist, daß viele
Bereiche der Künstliche Intelligenz noch weit von einem operationeilen Einsatz entfernt sind. Bei der zweiten ist die
Vereinfachung der Randbedingungen oft mit hohen Investitionskosten verbunden, wie z.B. der Einsatz von Robotern
in der industriellen Produktion. Mit der weiteren Entwicklung der Künstlichen Intelligenz wird die erste Strategie in
immer mehr Bereichen eingesetzt werden. Dabei müssen jeweils der für die Automatisierung erforderliche technische
Aufwand und der dadurch eingesparte menschliche Arbeitsaufwand sowie die Qualität der Endergebnisse in einem
günstigen Verhältnis stehen.
Die Aerotriangulation ist ein komplexer photogrammetrischer Arbeitsprozeß (siehe 1.2.2). Mehrere verschiedenartige
Aufgaben (Abb. 1.1) müssen erledigt '"''erden. bis der Anwender zu den Endergebnissen kommt. Viele davon, wie
Planung, Auswahl der Verknüpfungspunkte oder Fehlerbehandlung bei der Blockausgleichung lassen sich nicht durch
ein mathematisches Modell beschreiben und können somit algorithrnisch nicht gelöst werden. Bei solchen Aufgaben muß
der Operatem anhand seines Wissens und seiner Erfahrung die Entscheidung treffen. Damit ist die Vollautomatisierung
der Aerotriangulation eng mit der Entwicklung der Künstlichen Intelligenz verbunden. Während die Verfahren der
Künstlichen Intelligenz erst seit einigen Jahren die photogrammetrische Forschung beschäftigen, existieren unterhalb
dieser Ebene schon heute ausgereifte eiernentare Methoden und leistungsfähige Rechenanlagen, die die Automatisierung
verschiedener Operationen der Aerotriangulation ermöglichen. Dafür müssen die einzelnen Teilaufgaben analysiert
werden, um die Engpässe der konventionellen Aerotriangulation zu lokalisieren und um Prioritäten zu setzen. Kriterien
dafür sind einerseits der Einfluß jeder einzelnen Phase auf den Gesamtaufwand und auf die Qualität der Endergebnisse
der Aerotriangulation (Genauigkeit und Zuverlässigkeit) und anderseits die zu ihrer Automatisierung verfügbaren Mittel
(Geräte und Verfahren). Darüberhinaus muß Hauptziel die Befreiung des Operatems von einzelnen arbeitsintensiven
Funktionen und die Beschaffung einer hochinteraktiven und benutzerfreudlichen Umgebung für die Durchführung der
Aerotriangulation sein.
2.2 Digitale Photogra1n1netrie
Die Entwicklung in die Photogrammetrie steht in enger Beziehung mit der allgemeinen Entwicklung der Wissenschaft
und der Technologie. Das betrifft nicht nur die Auswertegeräte sondern auch die angewandten Verfahren. In den 60er
Jahren hat die Entwicklung der Elektronik und Computertechnologie den Übergang von der analogen zur analytischen
Photogrammetrie ermöglicht. In den letzten Jahren erfuhr die Digitale Bildverarveitung durch die neuere Entwicklung
der Sensortechnik und der Computertechnologie einen enormen Auftrieb. Gleichzeitig entwickelten sich die Muster
erkennung und die Bildanalyse als Spezialdisziplinen der Künstlichen Intelligenz. Damit sind die Grundlagen für den
Übergang zur Digitalen Photogrammetrie gelegt, die eine ganz entscheidende Voraussetzung für die Automatisierung
der photogrammetrischen Meß- und Verarbeitungsprozesse ist.
- 15 -
Die digitale Photogrammetrie umfaßt diejenigen Verfahren und Systeme, die digitale oder digitalisierte Bilder als
Eingabedaten benutzen und deren Verarbeitung, interaktiv oder automatisch, ein Computer übernimmt. Das kann die
Leistung der photogrammetrischen Arbeiten steigern und neue Anwendungsbereiche eröffnen. Somit erstrecken sich die
potentiellen Aufgaben der digitalen Photogrammetrie von der Datenerfassung bis zur Interpretation des Objektsraums
[SCHENK 1988]. Eine bestimmte Aufgabe ist dabei die Übertragung der vom menschlichen visuellen System mühelos
geleisteten stereoskopischen Zuordnung identischer Bildpunkte oder -ausschnitte auf die Verfahren der digitalen Bildver
arbeitung und -analyse.
2.2.1 Hardwarekomponenten
In den letzten Jahren sind Prototypen von digitalen photogrammetrischen Stationen entwickelt worden [GRÜN 1988,
KONECNY 1988], die die bisherigen analytischen Auswertegeräte in Zukunft voll ersetzen sollen. Zentrale Komponente
solcher photogrammetrischen Systeme ist eine Allzweckrechenanlage. Die Sonderausrüstung einer digitalen Station mit
geeigneten Ein- und Ausgabegeräten sowie speziellen Prozessoren erhöht die Leistung des Systems, bestimmt aber nicht
die Art der eingesetzten Methoden und Verfahren.
Digitale photogrammetrische Stationen weisen potentiell mehrere Vorteile gegenüber den analogen oder analytischen
photogrammetrischen Systemen auf [GRÜN 1988, LOHMANN 1989]. Sie enthalten keine hochpräzisen optomechani
schen Teile und sind damit wirtschaftlicher zu produzieren. Durch die digitale Speicherung und Verarbeitung der Bilder
bieten sie eine stabile Bildgeometrie und ein robustes Messungssystem. Darüberhinaus ergeben sich ein hoher Grad der
Automatisierung und der Operationalität, sowie große Anpassungs- und E1weiterungsmöglichkeiten. Entscheidend für
den operationeBen Einsatz dieser Systeme in der photogrammetrischen Praxis sind ihre Rechenleistung und die
Speichermöglichkeiten sowie die Verfügbarkeit der den verschiedenen Problemen angemessenen Software.
Beschränkungen der digitalen Photogrammetrie beziehen sich hauptsächlich auf den gegenwärtigen Entwicklungsstand
der Abtastungs- und Speichertechnologie. Der Kern des Problems liegt darin, daß in einem Bild eine sehr große Menge
von Informationen gespeichert ist. Dieses Problem wird verschärft durch die Tatsache, daß für viele photogramme
trischen Prozesse mehrere Bilder gleichzeitig zur Verfügung stehen müssen. Aus diesem Grunde benötigt die digitale
Photogrammetrie große Massenspeicher mit schneller Zugriffszeit. Die digitale Speicherung eines z.B. mit 12.5 ,um
Pixelgröße und 256 Graustufen digitalisierten Luftbildes (20000x20000 Pixel) erfordert um die 0.4 GB [GRÜN 1988).
Die Speicherung von Bildpyramiden erhöht den Bedarf auf 0.6 GB pro Luftbild, was der Speicherkapazität einer
Zoll optischen Platte entspricht. Somit können derzeit mehrere hundert Bilder für direkten Zugriff nur in "Juke-Boxes"
von optischen Platten gespeichert werden [HELA VA 1988]. Systeme wie WURLITZER von Kodak, das aus einer Juke
Box von 150 optischen Platten mit einer Speicherkapazität von 6.8 GB pro Platte besteht, können über tausend Luftbilder
speichern [GROSSKOPF 1989]. Datenreduzierung und Informationsextraktion auf den verschiedenen Ebenen der
photogrammetrischen Auswertung sowie ein DatenveiWaltungskonzept sind notwendig für eine effiziente Arbeit mit
derartig großen Datenmengen.
Ein anderes Problem ist die digitale Datenerfassung, die sich auf die unmittelbare digitale Registrierung oder auf die
nachträgliche Digitalisierung der Bilder bezieht. Die für die Aufgaben der Luftphotogrammetrie besonders wichtige
Digitalisierung der Bilder ist dabei nicht völlig fehlerfrei. Optik und Mechanik der Digitalisiersysteme verursachen
geometrische und radiometrische Fehler, die aber für moderne Geräte unter 2 ,um (geometrische Genauigkeit) liegen
[FAUST 1989]. Vielmehr sind die endlichen Dimensionen der Pixel ein entscheidender Genauigkeitsfaktor. Die Pixel
größe beschränkt die Übertragung des Informationsinhaltes vom Film und setzt die Genauigkeitsgrenze für die geometri
sche Punktbestimmung [HELA VA 1988]. Die Bildfehler beschränken sich aber auf die Phase der Registrierung bzvl.
Digitalisierung. Digitale Bilder weisen eine stabile Geometrie auf und können ohne Informationsverlust beliebig oft
- 16 -
übertragen oder kopiert werden. Die weitere numerische Behandlung der Bilddaten schließt die für die konventinelle
analoge oder analytische Auswertung üblichen Gerätefehler aus.
2.2.2 Digitale Bildverarbeitungsverfahren in der Photogrammetrie
Digitale Bildverarbeitungsverfahren bilden die Grundlage für die digitale Photogrammetrie. Besonders wichtig sind hier,
neben den elementaren Methoden für die Bearbeitung der Bilder (Filter, Operatoren usw. ), die digitalen Korrelations
und Zuordnungsverfahren. Sie ermöglichen vor allem die stereoskopische Parallaxenmessung in digitalen Bildern.
Weiterhin ist aber die Aufgabe der digitalen Photogrammetrie nicht nur, vorhandene analytische Verfahren zu ersetzen,
sondern Prozesse zu automatisieren, die normalweise vom Operateur durchgeführt werden. Das setzt entweder präzises
Wissen voraus, wie der menschliche Operateur die Probleme bei der photogrammetrischen Auswertung löst oder
erfordert entsprechende Ersatzmodelle. Außerdem beziehen sich die meisten photogrammetrischen Anwendungen auf
ein Umfeld, für das sehr wenige äußere Informationen (Paßpunkte, Hilfsdaten) existieren. Damit ist z.B. die
Punktbestimmurig auf die Merkmalsextraktion und die Objektidentifizierung angewiesen. Künstliche Intelligenz kann
helfen, solche Prozesse zu analysieren.
Methoden der Künstlichen Intelligenz finden zunehmend Anwendung in der photogrammetrischen Forschung. Die
digitale Photogrammetrie hat mit vielen Spezialdisziplinen der Künstlichen Intelligenz, welche als Eingabedaten Bilder
benutzen (Bildanalyse, Mustererkennung, Computervision), gemeinsame elementare Probleme zu lösen. Somit können
z.B. leicht Methoden der Künstlichen Intelligenz, wie heuristische Suchverfahren, für die Lösung von Optimierungsauf
gaben, insbesondere von Zuordnungsproblemen, in die Photogrammetrie eingeführt werden. Gleichzeitig werden im
Bereich der Künstlichen Intelligenz Wissenbasierte- oder Expertensysteme für die Lösung komplexerer Aufgaben
entwickelt, deren Lösung normalweise die menschliche Intelligenz und Vorwissen benötigt. Dem entpricht die
Entwicklung von der Datenverarbeitung zur Wissenverarbeitung, die in den 80er Jahren begann [HÄNSCHEID 1987].
Bei einem Expertensystem ist das über ein eng begrenztes Wissensgebiet hochspezialisierte Wissen in einer Wissensbank
abgelegt und kann zur Entscheidung herangezogen werden. Wissensbasierte Systeme können für mehrere Teilaufgabe
der Photogrammetrie, wie Aerotriangulation fSARJAKOSKI 1988a ], Datenbereinigung oder Geoinformationssysteme
[BARTELME 1988] eingesetzt werden. Die Entwicklung eines Wissenbasierten Systems für die Aerotriangulation
beschäftigt schon die photogrammetrische Forschung. T. Smjakoski beschreibt den Rahmen für den Einsatz von
Expertensystemen in der Aerotriangulation und speziell für die Lokalisierung von groben Fehlern bei der Blockaus
gleichung [SARJAKOSKI 1988a, 1988b l lV. Förstner weist auf die Notwendigkeit hin, das Wissen und die langjährige
Erfahrung im Bereich der Aerotriangulation mit der Entwicklung eines Wissengestützten Systems zu sammeln und zu
formalisieren [FÖRSTNER 1989].
2.2.3 Digitale Korrelationsverfahren
Die Aufgabe der digitalen Bildzuordnung besteht darin, mit Hilfe geeigneter Rechenverfahren homologe Bildpunkte oder
-ausschnitte mit hinreichender Genauigkeit in den entsprechenden Bildern herauszusuchen, zu definieren und zu lokali
sieren. Damit ist die digitale Bildzuordnung eine Grundfunktion für die geometrische Verarbeitung überlappender
digitalisierter Bilder und kann für mehrere photogrammetrische Aufgaben angewendet werden ( Parallaxen- oder Bild
koordinatenmessung, Punktübertragung. Oberflächenerfassung, Linienverfolgung usw. ). Es sind mehrere Algorithmen
für die digitale Bildzuordnung entwickelt worden. Davon sind für die Photogrammetrie diejenigen von Interesse, die eine
Punktbestimmung mit Subpixelgenauigkeit erlauben. Die Algorithmen der Bildzuordnung lassen sich in zwei Klassen
einteilen :
- Flächenkorrelation
- Merkmalszuordnung
- 17 -
Bei den Flächenkorrelationsverfahren wird die Lage des korrespondierenden Bildausschnittes durch die optimale
Anpassung der Grauwertflächen bestimmt. Dafür können verschiedene Zielfunktionen, wie Kreuzkorrelation,
Kreuzkovarianz oder die Quadratsumme der Grauwertdifferenzen verwendet werden. Solche Verfahren sind rechen
aufwendig. Wegen des großen Suchraums oder des geringen Konvergenzbereichs benötigen diese Verfahren gute
Näherungswerte und sind somit auf andere Verfahren angewiesen. Schwierigkeiten bei der Anwendung von
Flächenkorrelationsverfahren liegen vor. wenn schwache Textur, periodische Strukturen, unstetige Geländeformen oder
große Rotationen und Großveränderungen existieren.
Merkmalszuordnungsverfahren dagegen suchen in den Bildern ausgeprägte lokale Bildstrukturen (z.B. Punkte, Linien),
die für die Zuordnung geeignet sind. Solche Merkmale sollen schnell extrahierbar sein, in ausreichender Dichte in allen
Bilder auftreten, unterscheidbar sein, und ihre Eigenschaften sollen sich von Bild zu Bild nur gering ändern. Die zu ex
trahierenden Merkmale werden einander auf Grund von Ähnlichkeitskriterien zugeordnet. Zur Einschränkung der
Fehlzuordnungen und der kombinatorischen Vielfalt werden heuristische Regeln beachtet und entsprechende Zuordnungs
strategien entwickelt [KORIES 1985]. Dafür wird das Wissen über das abgebildete Objekt und die Aufnahmesituation
benutzt. Die Genauigkeit dieser Verfahren ist zwar niedriger als die der Flächenkorrelation, dafür sind sie aber weniger
rechenaufwendig und benötigen nur grobe Näherungswerte.
2.3 Auton1.ation der Teilaufgaben der Aerotriangulation
Wie schon erwähnt wurde, ist die Aerortriangulation heute durch eine klare Gliederung der Teilprozesse (Planung.
Befliegung, Vorbereitung, Messung und Ausgleichung) gekennzeichnet. Im engeren Sinne sind unter dem Begriff der
Aerotriangulation die letzten zwei Phasen zu verstehen. Die Entwicklung der letzten Jahre hat sich auf die Ausgleichung
konzentriert. Derzeit wird die Ausgleichung auf die Einbeziehung von GPS-Daten erweitert. Obwohl in diesem Bereich
noch nicht alle Wünsche erfüllt sind (z.B. Datenbereinigung. Fehlerbehandlung, Qualitätskontrolle ), gibt es keinen
dringenden Handlungsbedarf. Somit ist die Ausgleichung hier nicht Gegenstand der Betrachtungen. Dagegen blieb die
Vorbereitung und Messung von dieser Entwicklung der Aerotriangulation ausgeklammert. Die Vorbereitung des Bild
materials und die Datenerfassung (Beobachtungen) werden immer noch manuell abgewickelt und benutzen dafür direkt
die photographischen Bilder. Damit ist die Vorbereitung und Messung die arbeitsintensivste und zeitraubendste Phase
der Aerotriangulation. Darüber hinaus beeinflussen die Verfahren und die Geräte, die für die Lösung der einzelnen
Teilaufgaben in dieser Phase verwendet werden, erheblich die Genauigkeit und Zuverlässigkeit der Endergebnisse.
In der Vorbereitungsphase der Aerotriangulation sind mehrere Aufgaben zu erledigen, bevor man zu der eigentlichen
Messung der Bildkoordinaten kommt. Man kann zwischen der allgemeinen Vorbereitung des Bild- und Datenmaterials
und der Vorbereitung der Bilder für die Messung unterscheiden. Unter der allgemeinen Vorbereitung sind Aufgaben wie
die Prüfung der Bilder und der Überlappungsbeziehungen, das Sammeln und Speichern der übrigen Daten (Liste der
Paßpunkte, Hilfsdaten, Kalibrierungsdaten, Befliegungsparameter) oder das Aufstellen von Numerierungsschemata für
die Verknüpfungspunkte zu verstehen. Die eigentliche Vorbereitung der Bilder für die Messung umfaßt die Auswahl
und Identifizierung der Verknüpfungs- und Paßpunkte und die Punktübertragung. Manche von diesen Aufgaben spielen
entweder eine untergeordnete Rolle. oder ihre Integration in ein automatisches System ist kein Diskussionsthema und
wird somit nicht weiter behandelt. Die wichtigsten Aufgaben werden zunächst analytisch dargestellt und die Möglicheilen
zu ihren Automatisierung besprochen.
Topalogische Beschreibung der Blockstruktur
Für die Verknüpfung der Bilder müssen die Überlappungsbeziehungen der Bilder bekannt sein. Bei der konventionellen
Aerotriangulation werden diese Beziehungen manuell von dem Operateur festgestellt und die Information darüber wird
implizit in der Numerierung der Verknüpfungspunkte gespeichert und für den weiteren Prozeß zur Verfügung gestellt.
Bei einem automatischen Verfahren ist dagegen eine topalogische Beschreibung der Blockstruktur anhand der
- 18 -
Überlappungsbeziehungen der Bilder erforderlich. Eine solche Struktur kann durch einen Graphen dargestellt werden,
wobei die Knoten die Bilder und die Kanten die Überlappungsbeziehungen darstellen. Eine automatische Festeilung der
Überlappungsbeziehungen ist in regelmäßigen Blöcken kein zu großes Problem. Innerhalb eines Streifens kann die
Überlappung zweier Bilder anhand ihrer Nummer und der Längsüberdeckung automatisch ermittelt werden. Für Bilder
aber, die zu verschiedenen Streifen gehören, sowie bei Doppel- oder Vierfachbefliegungen ist die Situation komplizierter.
Eine vom Operatem vorab erfolgte Feststellung der Überlappungen mindestens für die ersten Bilder der Streifen
vereinfacht das Problem. Die Verwendung von Hilfsdaten (z.B. GPS) für die Positionierung der Projektionszentren bietet
eine weitere Lösung.
Herstellung der inneren Orientierung
Die innere Orientierung ist für die Reduktion der Bildkoordinaten notwendig. Darunter ist die Transformation der
Maschinenkoordinaten der gemessenen Bildpunkte auf das ideale Bildkoordinatensystem und die Korrektur von
systematischen Fehlern (Verzeichnung, physikalische Fehler) zu verstehen. Die für die innere Orientierung notwendige
Messung der Bildrahmenmarken bereitet bei digitalen Bildern keine Schwierigkeiten und ist durch Mustererkennung einer
binären Musterrahmenmarke automatisch durchzuführen [ACKERMANN 1985]. Die Herstellung der inneren
Orientierung kann auch schon während bzw. im Anschluß an die Digitalisierung stattfinden.
Identifizierung und Messung der Paßpunkte
Die für die Bestimmung der Unbekannten bzw. für die erforderliche Genauigkeit der Blockausgleichung notwendigen
Paßpunkte müssen in den entsprechenden Bildern identifiziert und gemessen werden. Hierbei handelt es sich um die
Identifizierung und Lokalisierung bestimmter Geländepunkte in den Bildern. Die Automatisierung dieses Vorgangs kann
im Fall von signalisierten Paßpunkten theoretisch durch Musterkennung oder Flächenkorrelation (bei radialsymmetrischen
Signalen) gelöst werden. Da aber der Suchraum in einem Bild sehr groß ist und die Ansätze nicht linear sind, sind sehr
gute Näherungswerte für die Bildkoordinaten erforderlich. Wenn genaue Hilfsdaten für die Positionierung der
Projektionszentren (GPS-Messungen) vorhanden sind, können die Bildkoordinaten der signalisierten Paßpunkte über die
projektiven Beziehungen berechnet und als Näherungswerte für die Flächenkorrelation verwendet werden. Wichtig für
den Zeitaufwand ist die Anzahl der zu messenden Paßpunkte. Sie ist von der Blockgröße, der Überdeckung und den
Genauigkeitsanforderungen abhängig. Die günstigen Genauigkeitseigenschaften großer Blöcke [EBNER 1973] und die
Benutzung von Hilfsdaten [KLEIN 1973] beschränken jedoch die Anzahl der Paßpunkte stark, so daß die manuelle
Messung keine zu große Belastung für den Operatem ist und nicht dringend automatisiert zu werden braucht.
Punktübertragung und -Messung der Verknüpfungspunkte
Die Verknüpfung der Bilder erfolgt durch homologe Bildpunkte in den Überlappungsgebieten. Ihre Anzahl wächst
proportional mit der Blockgröße und kann bei großen Blöcken einige bis viele tausend Punkte erreichen. Damit ist die
Punktübertragung und die Messung der Verknüpfungspunkte der zeitaufwendigste Teil der Aerotriangulation und stellt
einen erheblichen Teil des Gesamtaufwands dar. Darüber hinaus ist die Genauigkeit der Punktidentifizierung und -
Übertragung für die Endgenauigkeit der Aerotriangulation absolut entscheidend. Sie schlägt sich im wesentlichen in dem
00-Wert der Blockausgleichung nieder und bestimmt das Genauigkeitsniveau der Aerotriangulation [ACKERMANN/
SCHNEIDER 1986] (s. Kap. 1.2.3). Das ist besonders bei der Bündeltriangulation kritisch, wo alle Verknüpfungspunkte
übertragen und markiert werden müssen. Die Punktübertragung kann heute bei künstlich markierten Punkten genauer
als 10 llm sein. Sie ist aber immer noch der begrenzende Faktor für die erreichbare Genauigkeit. Somit stellt die
Punktübertragung den wichtigsten Engpaß der konventionellen Aerotriangulation dar.
- 19 -
2.4 Automatisierung der Punktübertragung und -messung
Nach dieser Analyse ist deutlich geworden, daß die Automatisierung der Punktübertragung und -Messung durch digitale
Verfahren zu einer Leistungssteigerung der Aerotriangulation hinsichtlich Genauigkeit, Zuverlässigkeit und
Wirtschaftlichkeit führen wird. Das Hauptproblem ist, homologe Bildpunkte in den Überlappungsgebieten zu finden,
koordinatenmäßig zu erfassen und für die Ausgleichung entsprechend zu numerieren. Der automatische Ablauf dieses
Prozesses ist im Gegensatz zu der automatischen Identifizierung der Paßpunkte operationeil machbar, ohne auf
übergeordnetes Wissen zurückgreifen zu müssen. Die technischen Voraussetzungen dafür (leistungsfähige Rechner,
Scanner, Speichermedien) und die theoretischen Grundlagen (digitale Korrelationsverfahren) sind vorhanden. Der Einsatz
der digitalen Korrelationsverfahren für die Punktübertragung und Messung war schon Gegenstand empirischer
Untersuschungen. Die Ergebnisse zeigen, daß das Genauigkeitspotential dieser Verfahren besser als das der
konventionellen Verfahren oder ihm mindestens vergleichbar ist (siehe Kap. 3.2). Darüber hinaus muß ein automatisches
Verfahren in jeder Hinsicht eine deutliche Leistungssteigerung gegenüber den manuellen Verfahren bringen. Dafür
müssen bei der Konzeption des Verfahrens bestimmte Forderungen gestellt werden.
2.4.1 Charakteristika der manuellen Verfahren
Es gibt mehrere Verfahren für die Auswahl und Messung der Verknüpfungspunkte, die sich durch die Art der Punkte
(natürliche, signalisierte oder künstlich markierte) und die verwendeten Geräte voneinander underscheiden [HELA VA
1989]. Dabei handelt es sich bisher im wesentlich um manuelle Verfahren. Die Art und die Anzahl der gemessenen
Verknüpfungspunkte sowie das Verfahren der Punktübertragung sind grundsätzlich von den Genauigkeitsanforderungen
abhängig bzw. richten sich nach operationeilen Gesichtspunkten. Die in der Praxis am häufigsten angewendete Methode
ist die stereoskopische Punktübertragung und künstliche Markierung der Bildpunkte. Sie ist zwar wirtschaftlich, bestimmt
aber entsprechend das Genauigkeitsniveau der Aerotriangulation. Der Einfluß jedes Verfahrens auf die Endergebnisse
der Aerotriangulation ist unterschiedlich. Sie weisen aber manche gemeinsame Merkmale auf und setzen Grenzen für
die Leistung der Aerotriagulation :
Genauigkeit: Die Genauigkeit der Bildkoordinaten liegt bei den Verfahren mit signalisierten Verknüpfungs
punkten unter 3 ,um ( o0). Dieser Wert enthält die nicht korrigierten Bildfehler, sowie die Genauigkeit der
Identifizierung und der Messung der Bildpunkte. Bei den Verfahren dagegen, die markierte Verknüpfungs
punkte verwenden. kommen zusätzlich die Übertragungsfehler dazu. Die Genauigkeit der Bildkoordinaten
(o0) nimmt in der Praxis Werte zwischen 10 und 20 pm an. Ein untere Grenze von 7 .um scheint bei diesem
Verfahren nicht zu unterbieten zu sein.
Zuverlässigkeit : Bei manuellen Verfahren sind grobe Fehler (z.B. Zielidentifizierung. Punktnumerierung)
unvermeidbar. Bei umfangreichen Datenmengen, wie sie in der Aerotriangulation üblich sind. sind die Daten
nicht mehr unmittelbar kontrollierbar. Die schrittweise automatische Lokalisierung und Eliminierung grober
Fehler während der Blockausgleichung ist zwar bis zu einer bestimmten Grenze möglich. belastet aber die
Aerotriangulation mit zusätzlichem Rechenaufwand.
Zeitaufwand : Der Zeitaufwand liegt je nach verwendetem Gerät und Verfahren bei 2 bis 5 min pro
Bildpunkt (Identifizierung. Übertragung und Messung) [SCHWIDEFSKY/ACKERMANN 1976].
Anzahl der Punkte pro Bild : Die Anzahl der Verknüpfungspunkte pro Bild oder Modell wird wegen des
Zeitaufwands in der Praxis auf ein Minimum beschränkt und beträgt je nach Anwendungsfall zwischen ..f
und 15 Punkte bzw. Doppelpunkte. Aus Gründen der Zuverlässigkeit wird empfohlen. an den 9 Standard
Stellen des Bildes jeweils ein Punktepaar, d.h. insgesamt 18 Verknüpfungspunkte vorzusehen.
- 20-
Anzahl der Bilder : Die Operation Punktübertragung und -messung wird i.a. auf maximal zwei Bilder
beschränkt (Stereoskopische Messung).
Reproduzierbarkeit : Genauigkeit und Zeitaufwand sind stark von der Erfahrung des Operateurs abhängig.
So liefern zwei Ausgleichungen des gleichen Blocks signifikant verschiedene Ergebnisse, wenn die
Punktübertragung und -messung von zwei Operateuren, oder von einem zweimal, durchgeführt wird.
Allgemein kann man feststellen, daß die Forderungen nach Genauigkeit bzw. Schnelligkeit und Wirtschaftlichkeit sich
bei den manuellen Verfahren entgegenstehen. So ist z.B. die zur Erhöhung der Genauigkeit vorgeschlagene Übertragung
von Punktgruppen statt von einzelnen Punkten mit Mehraufwand verbunden. Dieser Gegensatz kann mit automatischen
Verfahren mindestens zum Teil behoben werden.
2.4.2 Forderungen an ein automatisches Verfahren
Ein neues Verfahren für die Übertragung und -Messung der Verknüpfungspunkte muß deutliche Vorteile hinsichtlich
Genauigkeit, Wirtschaftlichkeit und Automatisierung gegenüber den alten Verfahren vorweisen können. Die
Vollautomatisierung der Punktübertragung setzt digitale Bilder und digitale Verfahren voraus. Die Forderungen, die ein
automatisches Verfahren erfüllen muß. sind leicht aus den in (2.4.1) dargestellten Charakteristika der manuellen
Verfahren abzuleiten :
Genauigkeit : Die Genauigkeit digitaler Zuordnungsverfahren ist von der Pixelgröße abhängig und liegt im
Subpixelbereich. Bei einer Pixelgröße von 20 pm sind Genauigkeiten von 1 {tm zu erreichen [ACKER
MANN 1985]. Somit wird die Genauigkeit der manuellen Punkübertragung (7 ~tm) deutlich überboten.
Zuverlässigkeit : Da die Hauptursache für grobe Fehler, nämlich der menschliche Faktor, ausgeschaltet ist,
kann von den digitalen Verfahren auch eine höhere Zuverlässigkeit erwartet werden.
Zeitaufwand : Eine Angabe über den Zeitaufwand eines digitalen Verfahrens ist mit der Leistung der
verwendeten Rechenanlage verbunden. Als Richtlinie sollte ein automatisches Verfahren, um operationeil
eingesetzt zu werden, auf einer Workstation oder auf einer digitalen photogrammetrischen Station deutlich
schneller als die manuellen Verfahren arbeiten.
Anzahl der Punkte pro Bild : Die Schnelligkeit der digitalen Verfahren erlaubt die Übertragung von
mehreren bis vielen Punkten und kann somit die Redundanz fast beliebig erhöhen. Damit können die
Überlappungsbereiche der Bilder mit Haufen von Verknüpfungspunkten abgedeckt werden, um die
Genauigkeit und Zuverlässigkeit der Aerotriangulation durch die zusätzliche Information zu erhöhen.
Anzahl der Bilder : Durch die digitale Speicherung stehen im Prinzip alle Bilder gleichzeitig zu Verfügung.
Damit können Methoden für die gleichzeitige mehrfache Bildzuordnung angewendet werden. Die mehrfache
Punktzuordnung entspricht der strengen Formulierung des Problems der Punktübertragung in der
Aerotriangulation.
Näherungswerte : Das Verfahren soll automatisch die für den Algorithmus benötigten Näherungswerte
beschaffen. Dafür können entweder äußere Hilfsdaten (z.B. GPS-Messungen) verwendet oder hierarchische
Verfahren ( grob zu fein ) angewendet werden.
- 21 -
Reproduzierbarkeit : Ein automatischer Prozeß ist bei Anwendung digitaler Verfahren, solange die
Eingabedaten und die Steuerparameter unverändert bleiben, beliebig reproduzierbar.
2.4.3 Mehrfache Merkmalszuordnung
Ein automatisches Verfahren, das die oben gestellten Forderungen erfüllt und operationeil einsetzbar ist, muß mehrere
verschiedenartige Probleme lösen. Die meisten davon sind organisatorischer Natur und haben mit der Speicherung und
Verwaltung der großen Datenmengen zu tun, die mit der Digitalisierung eines Bildblocks verbunden sind. Die Lösung
dieser Probleme ist von der verwendeten Hardware abhängig und nicht Gegenstand dieser Arbeit.
Um das Verfahren uneingeschränkt für die Punktübertragung und -messung in der Aerotriangulation einsetzen zu können,
müssen methodisch vor allem folgende Forderungen erfüllt werden:
Zuordnung beliebig vieler Bilder oder Bildausschnitte
In jedem Überlappungsgebiet Zuordnung mehrerer bis vieler Verknüpfungspunkte
Hohe Zuordnungsgenauigkeit
Automatische Bestimmung von Näherungswerten aus dem Bildmaterial selbst
Die ersten zwei Bedingungen bedeuten. daß der Kern des Verfahrens eine Methode für die mehrfache Bildkorrelation
sein muß, die mehrere Bildpunkte in den verschiedenen Überlappungsgebieten des Bildverbandes zuorden kann. Die
beiden übrigen Bedingungen weisen auf die Art des Korrelationsverfahrens hin (Flächenkorrelation oder Merkmalszuord
nung), das angewendet werden soll. Da die Flächenkorrelationsverfahren die letzte Bedingung nicht erfüllen und es
außerdem schon mathematische Ansätze für die mehrfache Flächenkorrelation gibt [GRÜN 1985], liegt der Schwerpunkt
dieser Arbeit in der Entwicklung einer Methode für die mehrfache MerkmaIs zu o r d nun g. Sie soll
möglichst gut die gestellten Forderungen erfüllen und entweder direkt Daten für die Blockausgleichung liefern, oder.
falls höhere Genauigkeit verlangt wird, sehr gute Näherungswerte für eine nachträgliche Flächenkorrelation bereit stellen.
- 22 -
3 Konzeption des Verfahrens
3.1 Einführung
Unter dem allgemeinen Ziel der Automatisierung der Aerotriangulation wird hier ein Verfahren für die mehrfache
Bildzuordnung vorgestellt. das die kritischen Operationen der Übertragung und Messung der Verknüpfungspunkte
automatisieren soll. Das Verfahren ist auf der Basis der digitalen Bildverarbeitung konzipiert, deren digitale
Korrelationsverfahren potentiell hochgenau sind und für die elementaren Meß- und Identifizierungsoperationen der
Aerotriangulation angewendet werden können. Die Methode basiert auf der Merkmalszuordnung. Sie stellt einen
Kompromiß dar zwischen der Forderung nach hoher Genauigkeit und nach Automation, und läßt eine nachträgliche
Anwendung eines Flächenkorrelationsverfahrens (Least Square Matching) offen. Die Methode kann durch die simultane
Merkmalszuordnung gleichzeitig auf mehrere übeJappende Bilder angewendet werden. Für die spezielle Aufgabe der
Punktübertragung und Messung für die Aerotriangulation wird die Methode nacheinander auf die verschiedenen
Überlappungsgebiete des Bildverbandes angewendet.
3.2 Voraussetzungen und Spezifikationen
Für die Anwendung des Verfahres müssen einige Vorausetzungen erfüllt sein. Allgemein wird vorausgesetzt, daß die
Bilder in digitaler Form vorliegen. d.h konventionelle Luftbilder müssen in der geeigneten Auflösung digitalisiert werden.
Es ist von VorteiL wenn während der Digitalisierung, oder gleich danach. eine Datenreduktion erfolgt. Das betrifft die
Innere Orientierung und die Korrektur der systematischen Fehler durch Resampling und Bezug auf das Bildkoor
dinatensystem (Bildrahmenmarken). Für die hierarchische Anwendung des Verfahrens müssen die Bilder in Form von
Bildpyramiden gespeichert sein. Als Arbeitsgerbit wird eine digitale photogrammetrische Station oder ein leistungsfähiger
Allzweckrechner (Workstation) vorausgesetzt. Für den vollautomatischen Ablauf des Verfahrens muß der Rechner über
genügend Peripheriespeicher verfügen. damit alle Bilder gleichzeitig zur Verfügung stehen. Die allgemeinen
Überlappungsbeziehungen sollen vom Operateur vorab ermittelt werden und die Näherungswerte für die Längs- und
Querüberdeckung bekannt sein. Von den Bildern braucht keine Orientierung (außer gegebenfalls der inneren
Orientierung) bekannt zu sein. Wenn gute Näherungswerte für die äußere Orientierung bekannt sind (z.B. von GPS
Daten). können sie für eine genauere Bestimmung der Überlappungsbeziehungen verwendet werden. Unter diesen
Voraussetzungen kann das Verfahren im wesentlich als Batch-Prozeß im Rechner laufen. Ein interaktiver Ablauf mit
Überprüfung der Zwischenergebnisse auf Grund numerischer und graphischer Darstellungen ist prinzipiell möglich.
Weiterhin ist das Verfahren auf die Aerotriangulation mit konventionellen Luftbildern (Senkrechtaufnahmen)
ausgerichtet. Weltraum- oder Nahbereichsaufnahmen sind prinzipiell nicht außgeschloßen. Sie benötigen aber ein anderes
mathematisches Modell für die robuste Ausgleichung (Kap. 4 ).
Nach obiger Darstellung der Voraussetzungen kann das Arbeitsprinzip des Verfahrens wie folgt erläutert werden. Zuerst
werden in den einzelnen Bildern automatisch mit Hilfe eines Interestoperators geeignete Verknüpfungspunkt-Kandidaten
aufgesucht und durch ihre Pixelkoordinaten eindeutig identifiziert. Danach werden die dazu homologen Punkte simultan
in allen überlappenden Bildern zugeordnet. Homologe Bildpunkte sind Abbildungen des gleichen Geländepunktes und
bekommen damit dieselbe (Objekt-Punkt-) Nummer. was für die Aufstellung der Fehlergleichungen der Blockaus
gleichung erforderlich ist. Für eine uneingeschränkte Anwendung des Verfahrens in der Aerotriangulation ist
algorithmisch keine Beschränkung der Anzahl der überlappenden Bilder und der Anzahl der zugeordneten Punkte
vorgesehen.
- 23 -
Ein kritischer Punkt ist die Beschaffung der Näherungswerte für die Zuordnung. Das Verfahren soll nur mit Hilfe der
oben erwähnten äußeren Informationen die Näherungswerte automatisch beschaffen. Das Problem der automatischen
Beschaffung der Näherungswerte mit Hilfe der Bildpyramiden und die Genauigkeit der Punktidentifizierung und der
Zuordnung sind die Hauptkriterien für die Auswahl der Merkmalszuordnung als Korrelationsprinzip.
3.2.1 Korrelationsprinzip
Im Bereich der Photogrammetrie sind diejenige Korrelationverfahren von besonderem Interesse, die eine Zuordnung mit
Subpixelgenauigeit erlauben. Nachfolgend wird eine Flächenkorrelationsmethode (Kleinste Quadrate Zuordnung) und
eine Merkmalszuordnungsmethode (Feature Based Matching) bersprochen, die diese Forderung erfüllen und damit für
die Punktübertragung und -messung in Frage kommen.
Kleinste Quadrate Zuordnung (Least Squares Matching)
Aus der Klasse der Flächenkorrelationsverfahren hat die Kleinste Quadrate Zuordnung besondere Aufmerksamkeit in
der Photogrammetrie gefunden. Grund dafür ist die hohe Genauigkeitsleistung des Verfahrens. die für die Paralla
xenmessung bei 1-2 ,um (20 ,um Pixelgröße) liegt [ ACKERMANN 1985, FÖRSTNER 1985] und damit der Meßgenauig
keit eines Operatems ähnlich bzw. überlegen ist. Außerdem bietet die Formulierung der Zuordnung als Ausgleichungs
problem eine realistische Schätzung für die Zuordnungs- bzw. Meßgenauigkeit, d.h. das ganze 'Kleinste Qualrate ·
Werkzeug kann angewendet werden (z.B. theoretische Genauigkeit usw.).
Bei der Stuttgarter Entwicklung [PERTL/ACKERMANN 1982] wird die Anpassung der Grauwertflächen der homologen
Bildausschnitte durch eine geometrische und eine radiometrische Transformation realisiert. Für kleine Bildausschnitte
werden die Disparitäten . die von der Digitalisierung. der Aufnahmegeometrie und der Geländeform verursacht \\'erden.
örtlich in guter Näherung durch die sechs Parameter einer Affintransformation (Translation, Rotation und Maßstab) und
die zwei radiometrischen Parameter (konstante und lineare Korrektur) erfaßt. Minimiert wird dabei die Quadratsumme
der verbleibenden Grauwertdifferenzen.
Die hervorragenden theoretischen Genauigkeitseigenschaften der Methode sind weitgehend geklärt [FÖRSTNER 1982].
Aus der theoretischen Kovarianzmatrix Czz der unbekannten Verschiebungen (Gl. (3.1)) bekommt man die Genauigkeit
ax der geschätzten Parallaxen (GI. (3.2)) [FÖRSTNER 1986]:
,., ,., -1
a; a ,., a;, a
xy 2 a;, g)S, ( 3.1) c = an Q ~ 2 ll
,., a aY a a;, yx g,g,
(3.2)
wobei g die Grauwerte und gx . gy die Gradienten der Grauwerte in x- und y-Richtung sind. und 00
• p. SNR für das
Rauschen, den örtlichen Korrelationskoeffizient und das Signal-Rausch Verhältnis stehen.
Die Genauigkeit der geschätzten Verschiebungen hängt insbesondere vom Signal-Rausch Verhältnis. sowie weiterhin
von der Fenstergröße ab und kann Werte von unter 1/10 der Pixelgröße erreichen. Empirische Untersuchungen von
- 24 -
Aerotriangulationen mit digitaler Punktübertragung haben die Genauigkeitsleistung der Kleinste Quadrate Zuordnung
bestätigt. Im Testblock Schnürpflingen (Bildmaßstab 1:4000, Weitwinkel, p=60%, q=20%, 4 Streifen, 26 Bilder, 405
Verknüpfungspunkte, 107 Vergleichspunkte) sind Punktzuordnungsgenauigkeiten für 97% der naturliehen und für 90%
der signalisierten Geländepunkte von besser als 3 llm ermittelt worden [PERTL 1985]. Die Genauigkeitswerte a0 der
Bündelblockausgleichungen betrugen mit digitaler Punktübertragung 4.0 flm bzw. 3.9 flm, im Gegensatz zu 2.7 flm mit
manueller Messung der signalisierten Verknüpfungspunkte (im Planicomp C100). Aus diesen Werten läßt sich ein Anteil
für die digitale Korrelation von 3.0 pm bzw. 2.8 llm ableiten, was mit der theoretischen Genauigkeit der Zuordnung
übereinstimmt. Ähnliche Ergebnisse ergab ein empirischer Versuch mit dem Testblock Appenweier [ ACKERMANNI
SCHNEIDER 1986].
Dieser guten Genauigkeitseigenschaft steht der geringe Konvergenzbereich der Kleinste-Quadrate-Korrelation gegenüber.
Wegen der hochgradigen Nichtlinearität der Grauwertfunktionen müssen bei dieser Methode die Anfangsnäherungswerte
der Verschiebungen innerhalb von 2-3 Pixel liegen. Damit werden für den operationeBen Einsatz des Verfahrens
zusätzliche Verfahren benötigt, die zuverlässige und hinreichend genaue Näherungswerte für die Verschiebungen und
die geometrischen Verzerrungen liefern. Weiterhin ist das Verfahren besonders wegen des erforderlichen Resampling
rechenaufwendig.
Merkmalszuordnung (Feature Based Matching)
Merkmalszuordnungsverfahren werden nicht nur für die Beschaffung von Näherungswerten und die Verminderung der
Wahrscheinlichkeit von Fehlzuordnungen bei Feinkorrelationsverfahren benutzt, sondern werden auch dank hinreichender
Genauigkeit für viele andere Anwendungen eingesetzt. Das im Stuttgarter Institut für Photogrammetrie entwickelte
"Feature Based Matching" stützt sich auf die Zuordnung von markanten Punkten. Für die Extraktion der Punkte wird
dabei der sog. Förstner Interestoperator benutzt, der auf der Basis der theoretisch erhältlichen Genauigkeit der Fläch
enkorrelation konzipiert ist (GI. (3.1) und (3.2)). Der Förstner Interestoperator bietet bezüglich anderen Operatoren (z.B.
Moravec. Dreschler) die bessere Relation zwischen erreichbarer Genauigkeit und benötigtem Zeitwand [LUHMANN
1986]. Er ist verschiedentlich in der Praxis eingesetzt worden (INDUSURF. TOPOSURF, DCCS). Das Prinzip des Ver
fahrens wird in [FÖRSTNER 1985. 1986]. [FÖRSTNER/GÜLCH 1987] ausführlich beschrieben.
Das Verfahren der Merkmalszuordnung arbeitet in drei Phasen :
- Auswahl markanter Bildpunkte mit dem Interestoperator
- Vorläufige Zuordnung homologer Bildpunkte durch ein Ähnlichkeitmaß
- Endgültige Zuordnung durch Konsistenz-Kriterien
Die Genauigkeit der Zuordnung hängt wesentlich von der Qualität des geometrischen Modells ab und liegt wegen der
pixelweisen Berechnung im Bildfenster im Bereich von 1 Pixel. Man kann höhere Genauigkeit erzielen, wenn man
innerhalb jedes ausgewählten optimalen Fensters die Position des optimalen Punktes (Gradientengewichteter Schwer
punkt. Kantenschnittpunkte. Ecken) subpixelgenau bestimmt und die Grauwerte des Fensters durch Resampling neu
berechnet. Dann liegt die Genauigkeit der so ermittelten Bildkoordinaten unter 1/ 4 der Pixelgröße [FÖRSTNER 1986].
Leider liegen noch keine Ergebnisse von Aerotriangulationen vor, bei denen die Punktübertragung und Messung der
Verknüpfungspunkte durch Feature Based Matehing erfolgt wäre. um diese Genauigkeiterwartung zu bestätigen.
3.2.2 Anmerkungen zur Genauigkeit und Auswahl der Zuordnungsmethode
Für die Auswahl des Zuordnungsverfahren müssen die in Kap. 2.4.2 gestellten Forderungen hinsichtlich Genauigkeit,
Zuverlässigkeit, Schnelligkeit und Automation berücksichtigt werden. Die Forderung nach Automation ist eng mit dem
Problem der Näherungswerte für die Lage der zugeordneten Bildpunkte oder Bildausschnitte im Bild verbunden. Die
kleinste Quadrate Zuordnung benötigt sehr genaue Näherungswerte von 2-3 Pixel, was in hochaufgelösten Bildern 15-50
,um bedeutet. Sogenaue Näherungswerte kann die Methode nicht aus sich selbst beschaffen, sondern es müssen entweder
- 25 -
andere robuste Verfahren angewendet werden oder äußere Informationen beschafft werden. Außerdem werden für die
bekannte mehrfache kleinste Qudrate Zuordnung, die im Objektraum formuliert wird, zusätzliche Näherungswerte für
die Geländekoordinaten der Verknüpfungspunkte benötigt. Beim Feature Based Matehing dagegen werden nur grobe
Näherungswerte für die Überdeckung benötigt, die durch hierarchische Anwendung der Methode auf Bildpyramiden
(grob zu fein) beschafft werden können.
Anderseits bietet die kleinste Quadrate Zuordnung eine Genauigkeit von 1/10 der Pixelgröße oder besser, was für die
Punktzuordnung und -messung selbst bei der Präzisionsaerotriangulation einen idealen Wert darstellt. Die Punktüber
tragungs- und Messungsgenauigkeit schlägt sich im a 0 der Bündelausgleichung nieder, zusammen mit allen nicht
modellierten systematischen Bildfehlern. Als Grenzwert für die Genauigkeit der Bildkoordinaten gilt im Falle der Aero
triangulation mit signalisierten Punkten der empirische Wert a 0 < 3 flm , der bezüglich der Bildpunkte keine Punktüber
tragungsfehler sondern nur einen Meßfehler von etwa 1flm (Monokomparator) enthält. Den Hauptanteil im a0 bilden
somit offensichtlich die nicht kompensierten Bildfehler. Das be~eutet, wenn Präzisionsaerotriangulation ohne signalisierte
Punkte erreicht werden soll, daß der Punktübertragungsfehler (Zuordnungsfehler) dieses Niveau von o0 nicht wesentlich
ändern darf. Z.B. würde ein Zuordnungsfehler von ozuorct. s 2ftm einen Wert a 0 = 3.5 /im bedeuten. Bei 20,um Pixel
größe kann mit der kleinsten Quadrate Zuordnung diese Zuordnungsgenauigkeit erreicht werden. Bei der Standard
Aerotriangulation mit künstlicher Punktübertragung liegt dagegen die Genauigkeitsgrenze in der Praxis bei o0 ""' 7 flm
(ozuorct = 6.5 pm). Häufig liegen aber die Werte von o 0 bei 10 - 20 ,um. Wenn also mit einem automatischen digitalen
Verfahren o 0 regulär in den Bereich von 4 - 5 11m < 0.5 Pixel gebracht würde und damit auch die topographische Aero
triangulation in den Bereich der hochgenauen Aerotriangulation käme, wäre ein großes praktisches Ziel erreicht.
Bei einer optimalen Pixelgröße von 15 ,um [FÖRSTNER 1985] kann man mit der oben dargestellten Merkmalszuordnung
theoretisch eine Zuordnungsgenauigkeit von 4 f.lm = 1/4 Pixel erreichen. Das bedeutet, daß ein Verfahren für die
Punktübertragung und -Messung, das auf diesem Korrelationsprinzip beruht, Werte für a0 um 5 pm erreichen könnte.
Außerdem kann, wenn es nicht um hoch genaue Punktbestimmung sondern nur um möglichst genaue Bildorientierung
geht, das gewünschte Ergebnis dadurch erreicht werden, daß eine größere Anzahl von weniger genauen Verknüpfungs
punkten verwendet wird. Falls aber eine hohe Genauigkeit der Einzelpunkte erreicht werden soll, können die Ergebnisse
dieses Verfahrens als sehr gute Näherungswerte betrachten werden, auf die zusätzlich eine kleinste Quadrate Zuordnung
(paarweise oder mehrfach) angesetzt werden kann. Dafür gibt es bereits Algorithmen [GRÜN 1985], so daß dieser Teil
nicht Gegenstand dieser Arbeit ist.
Es wird also hier ein elementares Verfahren für die mehrfache Merkmalszuordnung entwickelt, das sich auf den Förstner
Interestoperator stützt und als eine algorithmisch unbeschränkte Verallgemeinerung des bekannten Feature Based
Matehing auf mehrere überlappende Bilder oder Bildausschnitte betrachtet werden kann. Dieses Verfahren soll rekursiv
auf die verschiedenen Überlappungsgebiete eines Blockes angewendet werden, um Verknüpfungspunkte zu extrahieren
und zuzuordnen.
3.2.3 Charakteristika des Verfahrens
Bei der Konzeption des Verfahrens wurde versucht, es auf die absolut notwendigen Vorausetzungen und äußeren
Informationen zu beschränken und das Verfahren möglichst allgemein zu gestalten. Somit erlaubt die allgemeine
Formulierung der mehrfachen Merkmalszuordnung die Anwendung des Verfahrens auf Blockgebiete mit verschiedener
Überlappung. Die Anzahl der Verknüpfungspunkte und die Blockgröße sind nur durch die Speichermöglichkeit des
Rechners eingeschränkt. Durch den modularen Aufbau ist sowohl die Erweiterung des Verfahren als auch die Anpassung
auf andere Problemsituationen möglich. Im folgenden werden kurz einige charakteristische Merkmale diskutiert, die die
Universalität des Verfahrens betonen.
- 26 -
Mehrfache Bildzuordnung
Die Punktübertragung findet gleichzeitig in allen betreffenden Bildern bzw. Bildausschnitten statt. Dabei wird nicht nur
wie bei den manuellen Verfahren ein Bildpunkt in die übrigen n-1 Bilder (bei n überlappenden Bildern) übertragen,
sondern es wird für die Bestimmung der n homologen Bildpunkte die Information aller n(n-1)12 möglichen paarweisen
Zuordnungen ausgenutzt. Damit wird eine höhere Genauigkeit und Zuverlässigkeit erreicht. Die mehrfache Bildzuord
nung ist nicht nur die strenge Formulierung des Problems der Punktübertragung, sondern stellt das allgemeine Problem
der Bildzuordnung in der Photogrammetrie dar. Photogrammetrische Probleme, die mit Hilfe der mehrfachen Bild
zuordnung gelöst werden können, treten bei der Verarbeitung von multispektralen oder multitemporalen Bildern, bei der
Orthophoto- und Kartenherstellung oder bei der Herstellung Digitaler Geländemodelle aus mehr als zwei Bildern auf.
Somit kann man auf die Verfahren verzichten, die nachträglich die Distortionen von der jeweils paarweisen Auswertung
zu eliminieren versuchen.
Automatisches Verfahren
Das Verfahren gestattet alle Arbeitsgänge automatisch auszuführen. Der Operatem wird bis auf Überwachungsfunktionen
entlastet. Probleme können bei Gebieten mit armer Textur auftreten, bei denen der Interestoperator keine oder sehr
wenige markante Punkte extrahieren kann. Da aber die Anzahl der benötigten Verknüpfungspunkte in der Regel niedrig
und ihre Anordnung nur grob vorgeschrieben ist, sollten solche Probleme nur selten vorkommen.
Modulares Verfahren
Das Verfahren ist modular aufgebaut. Man kann drei Teilprozesse unterscheiden, die voneinander unabhängig sind und
getrennt eingesetzt werden können :
Merkmalsextraktion und vorläufige Zuordnungen.
Eliminierung der grob falschen Zuordnungen auf der Basis des verwendeten geometrisch-mathematischen Modells (robuste Ausgleichung).
Mehrfache Merkmalszuordnung für die Bestimmung der homologen Bildpunkte.
Von dem einen Teilprozeß zum anderen werden nur die Attribute der Merkmale (Nummer, Koordinaten, Paare,
Gewichte) übergeben. Diese Modularität erlaubt ohne großen Aufwand die Anpassung des Verfahrens auf andere
photogrammetrische Probleme, die mit der mehrfachen Bildzuordnug gelöst werden können, und die Erweiterung auf
die Zuordnung von anderen Primitiven. Somit kann die mehrfache Merkmalszuordnung auch auf andere extrahierte
Merkmale (z.B. Kanten) angewendet werden, solange man sich auf ein Ähnlichkeitskriterium beschränkt. Genauso leicht
kann man statt der Affintransformation (s. Kap. 4) ein anderes mathematisches Modell für die robuste Ausgleichung
(z.B. Projektive Abbildung bei terrestrischen Aufnahmen mit bekannter äußerer Orientierung) verwenden, ohne die
Methode der mehrfachen Merkmalszuordnung ändern zu müssen.
Hierarchisches Verfahren
Durch die hierarchische Anwendung des Verfahrens auf Bildpyramiden wird der Suchraum beschränkt und werden die
für die nächsthöhere Auflösungsebene benötigten Näherungswerte automatisch geliefert. Eine Schätzung der
Verschiebungen in grob aufgelösten Bildern wird auf feiner aufgelöste Bilder übertragen, um das Verfahren auf einen
Bildausschnitt um die geschätzte Position herum neu anzuwenden. Damit wird nicht nur das Risiko grober Zuord
nungsfehler auf ein Minimum beschränkt, sondern es wird auch eine erhebliche Datenreduktion und eine Verringerung
des Rechenaufwands erreicht.
- 27 -
3.2.4 Anwendung des Verfahrens auf die Übertragung und Messung von Verknüpfungspunkten
Das Verfahren der Merkmalszuordnung kann auf Bilder oder Bildausschnitte angewendet werden, unter der
Voraussetzung, daß jedes Bild sich mit den übrigen teilweise überlappt. In der Aerotriangulation aber gilt diese
Bedingung jeweils nur für Gruppen von Bildern. Durch die fortlaufende Überdeckung kann man nicht den Block in
unabhängige Gruppen von miteinander überlappenden Bildern unterteilen, ohne Bildpaare wegzulassen oder sie mehreren
Gruppen zuzuordnen. Wegen dieses Problems und wegen der Näherungswerte muß einer Strategie für die Anwendung
des Verfahrens für die Punktübertragung gefolgt werden. Diese Strategie soll den Ablauf des Verfahrens sowohl durch
die vertikale Bildstruktur (Bildpyramiden) als auch durch die horizontale Bildstruktur (Block) steuern.
Hierarchische Anwendung auf Bildpyramiden
Nach den idealen Genauigkeitsforderungen soll die Pixelgröße etwa 15Jim x 15ltm sein. Das bedeutet für ein ganzes
Luftbild rund 16000x16000 Pixel und für einen Bildblock eine Datenmenge, die weit in den GB Bereich reichen kann,
was vorläufig noch nicht als operationeil beherrschbar angesehen werden kann. Es gibt aber mehrere Gründe. warum
das Verfahren nicht auf die ganzen hochaufgelösten
Bilder angewendet werden muß. Der erste Grund ist
die eingeschränkte Gültigkeit des mathematischen
Modells für die robuste Ausgleichung. Das verwende
te geometrische Modell der Affintransformation (s.
Kap. 4) kann entweder nur kleine hochaufgelöste
Bildausschnitte oder größere mit gröberer Auflösung
beschreiben. Das Verfahren muß bzw. darf somit nur
auf kleine Bildausschnitte (bis etwa 512x512 Pixel)
angewendet werden. Dafür müssen aber Näherungs
werte für die Lage der homologen Bildausschnitte in
den entsprechenden Bildern bekannt sein. Die Genau
igkeit der Näherungswerte muß gewährleisten, daß
sich die homologen Bildausschnitte ausreichend
überlappen. Der zweite Grund, weshalb nicht die
ganzen Bilder hochaufgelöst verarbeitet werden müs
sen, liegt in dem Anwendungsziel selbst, nämlich der
Auswahl der Verknüpfungspunkte und der Punktüber
tragung. Bei der konventionellen Aerotriangulation
. • . . . •
. . il
. • • • . . I
• • • • . • • •
. • • I • . • •
• I
Abb. 3.1 : Standardanordnung der Verknüpfimgspunkte
werden in den 9 Standard Positionen eines Bildes einfache oder Doppelpunkte für die Verknüpfung verwendet
(Abb. 3.1). Ein automatisches Verfahren sollte zwar die Anzahl der Verknüpfungspunkte nicht von vornherein
beschränken, aber eine Anwendung des Verfahrens auf alle vollständigen Bildflächen würde zur Extraktion und
Zuordnung von tausenden von Verknüpfungspunkten pro Bild führen, was für die vorgesehene Anwendung völlig
unzweckmässig wäre. Das Verfahren kann daher wirksam eingeschränkt werden, indem auf der untersten Ebene der
Bildpyramide nur ausgewählte Bildausschnitte bearbeitet werden, und zwar entweder an den Stellen der konventionellen
Anordnung der Verknüpfungspunkte oder z.B. in einem Rasterschema.
Das Problem der Näherungswerte kann durch die Anwendung des Verfahrens auf Bildpyramiden gelöst werden (Abb.
3.2). Die Pixelauflösung der untersten Ebene liegt wegen der gestellten Genauigkeitsanforderungen z.B. bei 15 ,um.
Jeweils 5 x 5 Pixel werden gemittelt und bilden ein Pixel auf der nächsthöheren Ebene. Somit wächst der Pixelabstand
von Ebene zu Ebene, während die Parallaxen wegen der gröberen Auflösung in Pixel-Einheiten relativ kleiner werden.
Das ermöglicht die Verwendung der affinen Abbildung als mathematisches Modell auf immer größere Bildausschnitte.
Wenn man das Verfahren auf drei Ebenen mit entsprechend 15 Jlm, 75Jtm, 375Jtm Auflösung anwendet, kann man auf
der obersten Ebene mit dem ganzen Bild (640x640 Pixel) operieren. Nach der Anwendung des Verfahrens auf die homo-
- 28 -
375~m
75f.&.m
15SJ.m
Abb. 3.2 :Anwendung des Ve1jahrens auf Bildpyramiden
logen Bildausschnitte einer Ebene werden die besten mehrfachen Zuordnungen ausgewählt. Die homologen Bildpunkte
jeder Zuordnung werden auf die nächst niedrigere Ebene übertragen. Um diese Bildpunkte herum werden auf der neuen
Ebene Bildausschnitte definiert, auf denen dann das Verfahren erneut angewendet wird. Die Genauigkeit der so
ermittelten Näherungswerte hängt von dem Reduktionsfaktor (5x5 Pixel) ab. Es wird aber bei Senkrechtaufnahmen in
der Regel eine Überdeckung der homologen Bildausschnitte von über 90% erreicht.
Unterteilung des Blocks in Überlappungsgebiete
Das Verfahren wird in der unteren Ebene der Bildpyramiden auf homologe Bildausschnitte angewendet, die mit Hilfe
der in der darüber liegenden Ebene ermittelten Näherungswerte definiert wurden. In der obersten Ebene stehen als
Näherungswerte nur die allgemeinen Übelappungsbeziehungen der Bilder (Blockstruktur) und die Angaben über die
Längs- und Querüberdeckung zur Verfügung. Wie schon erwähnt wurde, kann der Block nicht in unabhängige Gruppen
von überlappenden Bildern aufgeteilt werden, ohne gewisse Überlappungen zu unterschlagen oder mehrfach zu berück
sichtigen. Um dieses Problem zu umgehen werden die Bilder schon in der obersten Ebene in Bildausschnitte unterteilt.
auf die das Verfahren getrennt angewendet wird. Wie schon erwähnt lassen sich die Bildausschnitte genauer als ganze
Bilder durch die als Modell vorgesehene Affintransforation während der robusten Ausgleichung geometrisch beschreiben.
Die Unterteilung der Bilder erfolgt anhand der allgemeinen Blockstruktur (Längs- und Querüberdeckung). Dafür wird
im Objektraum der Block in Gebiete unterteilt, die jeweils verschiedenen Überlappungen entsprechen (Abb. 3.4). Die
Grenzen zwischen den verschiedenen Gebieten liegen dort, wo sich die Überlappung ändert. In einem Block mit 60%
Längs- und 60% Querüberdeckung gibt es Gebiete mit 2, 3, 4, 6 und 9-facher Überlappung (Abb. 3.3). Jedes
Überlappungsgebiet wird auf der Bildebene durch die homologen Bildausschnitte definiert, die auf Grund der
Überdeckung grob ermittelt werden können. Da die kleinste lineare Dimension eines Überlappungsgebiets auf der
Bildebene etwa 20% der Luftbildgröße beträgt ( 4.5 cm}, müssen die Näherungswerte für die Längs- und Querüber
deckung im Genauigkeitsbereich von 2 bis 3 mm liegen, damit eine hinreichende Überdeckung der homologen
Bildausschnitte garantiert wird. Falls die Überdeckung nur in Form allgemeiner Prozentangaben (z.B. 20% oder 60%)
bekannt ist, kann sie durch Anwendung des Feature Based Matehing auf jedes Paar von überlappenden Bildern mit einer
Genauigkeit < 1 mm bestimmt werden.
- 29 -
11 12 13 14 15 16 Streifen 1
21 22 23 24 25 26 Streifen 2
31 32 33 34 35 36 Streifen 3
41 42 43 44 45 46 Streifen 4
Abb. 3.3 :Block mit 60% Längs- und Querüberdeckung (4 Streifen mal 6 Bilder)
Abb. 3.4 : Unterteilung des Blocks in Überlappungsgebiete
Überlappung .9 .6 4
3
[]2 1
Nachdem der Block in Überlappungsgebiete unterteilt wurde und die homologen Bildausschnitte definiert wurden, kann
das Verfahren auf jedes Überlappungsgebiet getrennt angewendet werden. Wenn Verknüpfungspunkte nur in den
Positionen der Standardanordnung (Abb. 3.1) gewählt werden sollen, können manche Überlappungsgebiete weggelassen
werden (z.B. in Abb. 3.3 bzw. Abb. 3.4 die 2-fachen Überlappungen am Blockrand und die 4-fachen Überlappungen
im Blockinnern).
3.3 Ablauf des Verfahrens
Die digitale Auswertung der n überlappenden Bilder oder Bildausschnitte mit dem Ziel, n-Tupel von homologen
Bildpunkten aufzusuchen, läßt sich in sieben Schritte unterteilen (Abb. 3.5). Die Ergebnisse jedes Teilprozesses werden
als Eingabedaten für den nächsten Schritt ve~endet. Die ersten zwei Schritte, nämlich die Anwendung des
Interestoperators und des Ähnlichkeitsmaßes, sind gleich wie bei dem "Feature Based Matching" (siehe Kap. 3.4), nur
daß sie auf alle Bilder bzw. auf alle möglichen Bildpaarkombinationen angewendet werden.
- 30 -
Interestoperator - Auswahl geeigneter Bildpunkte
In allen überlappenden Bildern oder Bildausschnitten werden mit Hilfe des Interestoperators markante Punkte ausgesucht,
die Kandidaten für die Verknüpfungspunkte sind. Von diesem Schritt bekommen wir für jedes Bild eine Liste der
markanten Punkte, die die Nummer, die Bildkoordinaten und ein Bewertungsmaß über die Eignung zur genauen
Zuordnung der ausgewählten Punkte enthält.
Ähnlichkeitsmaß - Vorläufige Zuordnung
Bei n überlappenden Bildern werden n(n-1 )/2 mögliche Bildpaare gebildet. Für jedes Bildpaar werden alle paarweisen
Punktkombinationen gebildet und mit einem Ähnlichkeitsmaß bewertet. Im Prinzip wird jeder Punkt vom ersten Bild
mit allen Punkten im zweiten Bild verglichen und die jeweilige Zuordnung bewertet. Das Ergebnis dieses Schrittes ist
für jedes Bildpaar eine Liste von zugeordneten Punktepaaren mit entsprechender Gewichtung (Ähnlichkeitsmaß) der
Zuordnung.
Robuste Ausgleichung - Bereinigung der Zuordnungen
Zur Eliminierung der im vorherigen Schritt noch enthaltenen grob falschen Zuordnungen wird als geometrisches Modell
für die Konsistenz ein erweiterter Ansatz der Affintransformation für n Bilder (Kap. 4) benutzt. Mit Hilfe einer
Gewichtsfunktion werden während der Ausgleichung der simultanen Affintransformationen die grob falschen
Zuordnungen schrittweise identifiziert und eliminiert, d.h. die Gewichte der Zuordnungen, deren Gewichtsfunktionswert
kleiner als ein Schwellwert wird, werden gleich 0 gesetzt. Damit bleiben für die weitere Verarbeitung diejenigen
Zuordnungen, die annährend dem gestellten geometrischen Modell entsprechen (das sind in der Regel < 50% der
ursprünglichen Zuordnungen).
Topalogische Beschreibung der Zuordnungen
Nach der robusten Ausgleichung bleiben immer noch doppeldeutige Zuordnungen. Als Genauigkeitskriterium für die
Beseitigung der noch vorhandenen kleinen Zuordnungsfehler werden die Quadratsummen der Verbesserungen der
Bildkoordinaten in x- und y-Richtung nach der letzten Iteration benutzt. Bei zwei überlappenden Bildern werden zwei
zugeordnete Punkte als ein Paar dargestellt. Entsprechend wird bei n Bildern definiert, was eine mehrfache
Punktzuordnung darstellt. Dafür wird aus den markanten Bildpunkten und ihrer Zuordnung ein Graph gebildet, in dem
die Punkte die Knoten und die Zuordnungen die Kanten darstellen (Kap. 5.3.2). In diesem Graphen bilden n homologe
Bildpunkte, wenn alle Zuordnungen zwischen ihnen existieren, einen Vollständigen Teilgraphen. Zur Bewertung der
Kanten (Kosten) wird die Quadratsumme der verbleibenden x- und y-Verbesserungen benutzt.
Heuristisches Suchen - Endgültige Zuordnung
Zur Eliminierung der verbleibenden kleinen Zuordnungsfehler (Kanten) müssen wir im Graphen der Zuordnungen iterativ
alle Vollständigen Teilgraphen mit den minimalen Kosten aufsuchen. Dafür wird ein heuristisches Suchverfahren
verwendet, das sich auf die Methoden der Linearen (Binären) Optimierung stützt. Als Ergebnis bekommen wir die
richtigen Zuordnungen, d.h. n-Tupel von homologen Bildpunkten, die als Abbildungen desselben Geländepunktes mit
der gleichen Nummer für die Ausgleichung numeriert werden.
Abschließende Ausgleichung der Affintransformationen mit den richtigen Zuordnungen
Anschließend wird nocheinmal die Ausgleichung (eine Iteration) der simultanen Affintransformationen mit den
Beobachtungen der als richtig erkannten Zuordnungen durchgeführt, um die endgültigen Tranformationsparameter zu
erhalten und die Genauigkeit angeben zu können.
Transformation auf das BildkoordinatensYstem
Für die nachfolgende Bündelblockausgleichung müssen schließlich die mit dem Interestoperator ermittelten
Pixelkoordinaten der Verknüpfungspunkte, die zum endgültigen Zuordnungsschema gehören, auf das jeweilige
Bildkoordinatensystem transformiert und bereitgestellt werden.
KTION ERGEBNIS
Abb. 3.5: des
- 32 -
3.4 Extraktion der n1arkanten Punkte und vorläufige Zuordnungen
Nach der Definition der Überdeckungsgebiete ist die erste Haupt-Operation des Verfahrens die Extraktion der markanten
Punkte in den Einzelbildern mit dem Förstner-Interestoperator und die vorläufige paarweise Zuordnung durch
Merkmalszuordnung. Der Interestoperator wird auf alle überlappenden Bilder angewendet, und die vorläufigen
Zuordnungen werden zwischen den Punkten aller möglichen Bildpaare aufgestellt. Der Förstner-Interestoperator und das
Ähnlichkeitsmaß für die Bewertung der vorläufigen Zuordnungen werden hier der Vollständigkeit halber kurz
beschrieben. Das Verfahren ist bekannt [FÖRSTNER 1985, 1986, FÖRSTNER/GÜLCH 1987] und ist in dieser Arbeit
nicht mehr Gegenstand weiterer Ent\vicklungen oder Untersuchungen.
Interestoperator zur Auswahl markanter Punkte
In allen Bildern werden getrennt Punkte automatisch durch den Operator ausgesucht, die sich deutlich von ihrer näheren
Umgebung abheben und die im Nachbarbild mit großen Wahrscheinlichkeit wieder auftreten. Markante Punkte lassen
sich in allen Richtungen eindeutig lokalisieren. Da einzelne Pixel nicht genügend Information tragen, verwendet man
als Merkmal der Punkte die Grauwerte in einer kleinen Umgebung (z.B. ein Fenster von 7x7 Pixel). Die eindeutige
Lokalisierung des Punktes ist nun von der Zuordnungsgenauigkeit in allen Richtungen innerhalb des definierten Fensters
abhängig. Sie wird durch eine Fehlerellipse repräsentiert, die sich aus der Gl.(3.2) ableiten läßt. Die Fehlerellipse eines
markanten Punktes muß die beiden folgenden Forderungen erfüllen :
Die Fehlerellipse muß möglichst rund sein.
Die "Rundheit" der Fehlerellipse wird durch den Quotient
q 4 detN = 1 _ (a 2 -b 2f spN (a 2+b 2f
(3.3)
errechnet, wobeiN die Normalgleichungsmatrix (vgl. Gl. (3.1)) und a,b die beiden Halbachsen sind. Für a=b
( q=l ) ist die Ellipse ein Kreis. Punkte, bei denen q zu klein ist ( q < 0.5 ) sind in der Richtung der großen
Halbachse relativ ungenau lokalisierbar und sind daher auszuschließen ( z.B. Kantenpunkte ).
Die Fehlerellipse muß möglichst klein sein.
Die Genauigkeit der Lokalisierung kann man durch den Punktfehler a~=a;+a~=spQ; ( Q=N-1 , a0=1) oder
durch das Gewicht
(3.4)
der für den Punkt Pi zu erwartenden Übertragungsgenauigkeit beschreiben. An markanten Punkten sind diese
Gewichte größer als an anderen Nachbarpunkten der Umgebung.
Das Fenster wird pixelweise über das ganze Bild verschoben, und für jede Stellung werden die Werte für q und H'
berechnet. Die Zentralpunkte der Fensterpositionen, deren Werte q>qmin und w>wmin sind, definieren Kandidaten
punkte. Der Schwellwert für q ist auf Grund von Versuchen zwischen 0.5 und 0. 75 zu setzten. Der Schwellwert für
w ist von dem globalen Bildinhalt abhängig und kann als Funktion des Mediangewichts H'min=C' H'med berechnet
werden, wobei c ein kritischer Wert ist. der experimentell ermittelt werden muß und der nach vorläufigen Erfahrungen
gleich 3 oder 4 zusetzen ist. Damit kann man die Anzahl und Qualität der zu extrahierenden Punkte beeinflussen.
- 33 -
Innerhalb eines Bildbereichs, der frei wählbar ist (mindestens 3x3 Pixel), wird nur die Fensterposition bzw. der Punkt
mit dem maximalen Gewicht angehalten (non-maxima Unterdückung). Innerhalb des betreffenden Fensters wird dann
die Position des eigentlichen Punktes ( Gradientengewichteter Schwerpunkt, Kantenschnittpunkt oder Ecke) subpixelgenau
bestimmt und werden die Grauwerte des Fensters durch Resampling neu berechnet [FÖRSTNER, GÜLCH 1987]. Somit
erhalten wir eine Liste von markanten Punkten für jeden Bildausschnitt Die Liste besteht aus der Punktnummer, den
subpixel-genauen Bildkoordinaten, den Gewichten w und den Grauwertmatrizen um diese Punkte und stellt diese
Merkmale für die vorläufige paarweise Punktzuordnung bereit.
Ähnlichkeitsmaß zur vorläufigen Zuordnung
Nach der Extraktion der markanten Bildpunkte werden alle möglichen n(n-1)/2 Bildpaare eines Überlappungsgebiets
gebildet. Für jedes Bildpaar wird jeder im ersten Bild ausgewählte Punkt mit allen Punkten im zweiten Bild auf der
Basis der Ähnlichkeit der Merkmale verglichen. Da der Grad der Änlichkeit i.a. nicht hinreichend für eine richtige
Zuordnu11g ist, können einem Punkt mehrere ähnliche Punkte im anderen Bild zugeordnet werden. Das verwendete Ähn
lichkeitsmaß sollte invariant gegen geometrische und radiometrische Verzerrungen sein. Da der Korrelationskoeffizient
diese Forderung nur beschränkt erfüllt (er verlangt Verzerrungen kleiner als 30% ), wird als Ähnlichkeitsmaß die
Punktgenauigkeit oP verwendet, die sich vor der 1. Iteration einer Kleinsten Quadrate Anpassung der kleinen
Bildausschnitte ergibt. Das zugehörige Gewicht der Zuordnung des i-ten Punktes im ersten zum j-ten Punkt im zweiten
Bild ist
1 ll pi. 1 ~ \\-' "" = • J • • w •j,t!
ij ~('') 2 1-p .. a:o. i j aP lJ t; 8, 81
(3.5)
wobei wi und wi die in der vorherigen Phase berechneten Gewichte sind und p1j der Korrelationskoeffizient der
entsprechenden Grauwertmatrizen ist.
Von allen möglichen qi x qj Zuordnungen innerhalb eines Bildpaares i,j werden alle diejenigen ausgeschlossen, indem
wij gleich 0 gesetzt wird, bei denen 1rij < 0.5 ist oder die Koordinatendifferenzen grob von den näherungsweise
bekannten Überlappungsbeziehungen abweichen. Somit erhält man für jedes mögliche Paar überlappender Bilder eine
Liste von vorläufig zugeordneten Punktepaaren. In dieser Liste können noch grob falsche und doppeldeutige
Zuordnungen enthalten sein. die in den nächsten Phasen des Verfahrens eliminiert werden müssen.
- 34 -
4 Mathematisches Modell der mehrfachen Bildzuordnung
4.1 Einführung
Mit Hilfe des Interestoperators werden während der ersten Phase des Verfahrens lokal markante Punkte in allen n
überlappenden Bildern extrahiert. Anschließend werden die Punkte jedes Bildes mit den Punkten aller übrigen Bilder
(n(n-1)/2 Bildpaare) auf Ähnlichkeit verglichen und es kann jedem Punktepaar ein Ähnlichkeitswert zugeordnet werden.
Zur Begrenzung der kombinatorischen Vielfalt \Vird eine untere Schranke für den Ähnlichkeitswert und eine obere
Schranke für die Bildkoordinatendifferenz jedes Punktepaares eingeführt. Somit sind Zuordnungen zwischen Punkten
mit geringer Ähnlichkeit oder mit Koordinatendifferenzen, die die näherungsweise bekannten Überlappungsbeziehungen
deutlich überschreiten, von der Liste der vorläufigen Zuordnungen ausgeschlossen. Damit ist nur noch ein Teil der
möglichen qixqj Punktepaare im Bildpaar i.j in der Liste der vorläufigen Zuordnungen enthalten. Ziel der zweiten Phase
des Verfahrens ist es nun, die in der Liste der vorläufigen Zuordnungen noch enthaltenen grob falschen Zuordnungen
zu eliminieren. Als Kriterium dafür \vird die Konsistenz der Zuordnungen mit einem geometrischen Modell benutzt. das
den geometrischen Zusammenhang der überlappenden Bilder beschreibt. Da im allgemeinen bei Luftaufnahmen (mit
Ausnahme der Paßpunkte) keine Information über die Geländeoberfläche vorliegt, kann das Modell der perspektiven
Abbildung in diesem Stadium nicht angewendet werden. Statt dessen \vird ein geometrisches Modell für den direkten
Vergleich der Bilder benutzt. Durch eine robuste Ausgleichung werden alle Zuordnungen, die diesem Modell grob wider
sprechen, als falsch eliminiert. Das Ergebnis ist eine von der grob falschen Zuordnungen bereinigte Liste sowie ein
Genauigkeitsmaß bezüglich des verwendeten geometrischen Modells für die übrigen Zuordnungen. Diese Liste kann
immer noch vom Betrag her kleinere falsche Zuordnungen enthalten.
4.2 Geometrie der überlappenden Bilder
Der direkte geometrische Zusammenhang zwischen zwei überlappenden perspektiven Abbildungen ist wegen der 3-
Dimensionalität des Objekts (Gelände) äußerst komplex und ohne Kenntnis der Geländeoberfläche und der absoluten
Orientierung nicht nachvollziehbar. Er kann aber für kleine Bildausschnitte (etwa 1 cm x 1 cm ) in guter Näherung durch
eine affine Transformation beschrieben werden, weil die perspektive Abbildung für differentiell kleine. ebene
Flächenelemente zur affinen Abbildung wird. Die Affintransformation ist natürlich im nicht differentiellen Bereich nur
ein NäherungsmodelL Homologe Punkte können damit nicht streng aufeinander transfonniert werden. Diese Eigenschaft
wird bei der robusten Ausgleichung der gemeinsamen Transformationen (Abschn. 4.3 und 4.4) zur fehlertheoretischen
Vereinfachung des Ausgleichungsansatzes herangezogen. Da bei digitalisierten Bildern die Pixelgröße das Parallaxenmaß
ist, hängt die Größe der mit der Affintransformation beschreibbaren Bildausschnitte von der Pixelauflösung und der
darauf bezogenen Geländeform ab. Bei gröberer Auflösung werden unter gleichen Bedingungen die Parallaxen in Pixel
einheiten kleiner. Damit können bei genügend großen Pixeln auch größere Bildausschnitte durch eine affine Abbildung
verknüpft werden (Ergebnisse von Diplomarbeiten am Institut für Photogrammetrie der Universität Stuttgart zeigten, daß
der "Feature Based Matching" Algorithmus auch auf ganze Luftbilder mit 1 mm Pixelgröße für die Beschaffung von
Näherungswerten angewendet werden kann [BÜHLER/WEGMANN 1987]).
Bei der Blocktriangulation kann ein Geländepunkt in mehr als zwei Bildern abgebildet sein (z.B. bei 20% Querüber
deckung in bis zu 6 (Abb. 4.1), bei 60% Querüberdeckung in bis zu 9, bei Doppelbefliegung in bis zu 12, bei 4facher
Befliegung in bis zu 24 Bildern). Somit ist eine Erweiterung der Affintransformation für eine beliebige Anzahl von
überlappenden Bildern oder Bildausschnitten notwendig, um die geometrischen Zusammenhänge darzustellen.
Nach der ersten Phase des Verfahrens haben wir für
jedes Bild eine Liste der markanten Punkte und für
jedes Bildpaar eine Liste der vorläufigen Zuord
nungen zwischen den markanten Punkten der entspre
chenden Bilder. Die Bildpunkte sind zeilenweise und
getrennt für jedes Bild numeriert. Somit hat der Punkt
k im Bild i die Bildkoordinaten x~ == [x/,y/Y . Für
jedes Punktepaar in der Liste der vorläufigen Zuord
nungen sind zwei Transformationsgleichungen auf
zustellen (für die x- und y-Bildkoordinaten), mit
denen der jeweilige Punkt im Bild j in das Bild i
transformiert wird. Wenn der Punkt k im Bild i dem
Punkt m im ·Bild j zugeordnet ist und T~ die J
Transformationmatrix von Bild j zum Bild i ist, dann
müßten die Bildkoordinaten die Gleichung
( 4.1)
- 35 -
2 3 2
4 6 4
2 3 2
Abb. 4.1 : Überlappungsbeziehungen bei 20% Quer- und 60% Längsüberdeckung
erfüllen. Oder analytisch, wenn T für eine Affintransformation steht :
wobei a.b .... .f die 6 Parameter der Affintransformation vom Bild j zum Bild i sind.
(4.2)
Bein überlappenden Bildern gibt es u =n( n-1 )/2 verschiedene Bildpaarkombinationen und genauso viele paarweise Trans
formationen (Abb. 4.2). Wenn wir durch alle Bildpaarkombinationen hindurch jeweils auf das vorhergehende Bild
transformieren, erhalten wir für jedes Punktepaar k,m die Gleichungen :
x 1 "",T 1 ·x 3 k 3 m
·•. (4.3)
n-l_ T n-1. n xk - n xm
Hier ist angenommen, daß jedes der n Bilder mit jeweils allen anderen mindestens teilweise überlappt (s. Abb. 4.1),
dieses Transformationssystem also vollstündig ist, wobei aber die Transformationen nicht unabhängig sind voneinander.
- 36 -
Abb. 4.2 : Bildpaare und Transformationen
4.3 Affintransformation für n Bilder
Die Gleichungen (4.1) bzw. (4.3) stellen jeweils die Transformation eines Bildes j in das Bild i dar. Damit auch die
inversen Transformationen T/ = (7'/ r I abgeleitet werden können, wird die 2x3 Transformationsmatrix T/ in GI.
( 4.2) auf 3x3 erweitert. Dann tritt anstelle von GI. ( 4.2) :
a b c
d e f 0 0 1
( 4.4)
Man kann damit in den Gleichungen ( 4.1) bis ( 4.4) jede Transformation T/ vom Bild j zum Bild i über die
Transformationen T/ und T/ der Bilder i und j zu einem jeweils gemeinsamen Referenzbild r darstellen:
xi = T; · xi ~
(T ; f 1 • xr = T; · (T; r 1
• xr
Somit ist
bzw.
T/ = (T ; t 1 • T ;
- 37-
Die allgemeine Formel für die Affintransformation lautet nun :
r -1 r X i = (T i) . T j • X) ( 4.5)
oder
b. -1 b. X xk a. c. aj c. m l l l J J
yk d. e. ~ dj ej ~ Ym (4.6)
l l
0 0 1 0 0 1 1
wobei a; .. .f; und at .. fj die Transformationsparameter für die Affintransformationen der Bilder i und j zum Referenzbild
(r) bedeuten. Dadurch wird die Anzahl der unabhängigen Transformationen auf n-1 beschränkt und die Anzahl der
unbekannten Transformationsparameter. die durch eine simultane Ausgleichung aller Transformationen zu bestimmen
sind, ist ll 1=6(n-1).
Die inverse Matrix (T/)-1 kann durch die Determinante det(T/) und die zu jedem Element von Tt gehörige
Adjunkte q ersetzt werden
b. -1 qll q21 q31 e. -b. bJ;-c;e; a. c.
l l l l l
(T;t1 d. ~ 1
q12 -d. a. c;d;-a/; (4.7)
e. q22 q32 l l a.e.-b.d. l l
0 det(T;) l l l l
0 0 a;e;-b;d; 0 q13 q23 q33 i
Damit bekommt man aus GI. (4.6) und (4.7) für jedes Punktepaar P(k,m) zwischen zwei Bildern i und j die folgende
Beziehung als Funktion der Parameter der Transformationen der beiden Bilder zu dem Referenzbild r :
xk e. -b. bJ;-c;e; a. b. C. X l l J J J m
yk -d. a. c;d;-aJ; d. e. !j Ym (4.8)
a;e;-b;d; l l J J
0 0 a.e.-b.d. 0 0 1 1 l l l l
4.4 Robuste Ausgleichung
In der GI. (4.8) sind die Transformationsparameter unbekannt. Da es im allgemein mehr Zuordnungen pro Bildpaar als
die für die Bestimmung der Transformationsparameter mathematisch notwendigen 3 Zourdnungen ( 6 Gleichungen) gibt.
bilden die GI. ( 4.8) ein überbestimmtes System, das durch eine Ausgleichung gelöst werden kann. Als Beobachtungen
für die Ausgleichung sind im Prinzip die Bildkoordinaten der markanten Punkte einzuführen. Ein großer Teil der
vorläufigen Zuordnungen sind aber grobe Fehlzuordnungen. Damit entsprechen die Verbesserungen der Beobachtungen
nicht, wie bei zufälligen Fehlern. einer N ormalverteilung. Es können aber durch eine r o b u s t e A u s g I e i c h u 11 g
die Transformationsparameter iteratir bestimmt und die Fehlzuordnungen eliminiert werden. Die robuste Ausgleichung
kann bekanntlich über eine normale Ausgleichung (Minimierung der gewogenen Quadratsumme der Verbesserungen)
- 38 -
erfolgen, wenn man mit Hilfe einer Gewichtsfunktion bei jedem Iterationsschritt die Gewichte den Verbesserungen
anpaßt [KRARUP1980, KLEIN/FÖRSTNER1981].
1 X1 +v12
1 2 T2 ·x2
1 + 1 2 X1 v13 T2 ·x3
1 X1 +vl4
1 3 T3 ·x4
x22 + v24 2 3
T3 ·x4 2
X3 + v34 2 3
T3 ·x4
Bild3
Abb. 4.3 : Behandlung der Bildkoordinaten als Beobachtungen bei der vermittelnden
Ausgleichung der Affintransformationen
Nach der robusten Ausgleichung und der Elimination der groben Fehlzuordnungen werden als Bildkoordinaten der
Verknüpfungspunkte nicht die ausgeglichenen Beobachtungen, sondern die ursprünglich durch den Interestoperator mit
Subpixel- Genauigkeit bestimmten Bildkoordinaten der markanten Punkte weiter ve1wendet. Grund dafür ist das
vereinfachte Modell der Affintransformation. das einen fehlertheoretisch strengen Ansatz der robusten Ausgleichung
illusorisch macht. In den Gleichungen (4.3) treten die Bildkoordinaten eines Punktes in verschiedenen Gliedern (links
und rechts) auf. Wenn die Bildkoordinaten streng als Beobachtungen in die Ausgleichung eingeführt würden, hätten wir
in jeder Gleichung zwei Paare von Beobachtungen. Es würde sich also eigentlich um Bedingungsgleichungen mit
Unbekannten handeln. Da ab.er die robuste Ausgleichung nur für die Identifizierung und Eliminierung der grob falschen
Zuordnungen benutzt wird und die nach der Ausgleichung verbleibenden Abweichungen nur im Falle einer doppeldeuti
gen Zuordnung in ein Genauigkeitskriterium eingehen, ist es aus Gründen der Einfachkeit ohne weiteres zulässig. wie
üblich die Gleichungen (4.3) bzw. (4.8) als Fehlergleichungen für eine Ausgleichung nach vermittelnden Beobachtungen
zu verwenden. Dafür werden die Bildkoordinaten der Punkte eines Bildes als Konstante behandelt, wenn sie auf der
rechten Seite auftreten (d.h. wenn sie transformiert werden, z.B. in GI. (4.8) ist das Bild j). Sie werden anderseits als
Beobachtungen mit zugehörigen Verbesserungen behandelt, wenn sie auf der linken Seite auftreten. Wenn die Bildkoor
dinaten eines Punktes mehrmals auf der linken Seite der Fehlergleichungen auftreten, werden sie als verschiedene Be
obachtungen behandelt die zwar den gleichen Wert haben, nämlich die vom Interestoperator ermittelten Bildkoordinaten,
die aber unterschiedliche Verbesserungen erhalten. Erst nach der robusten Ausgleichung, bei der Überprüfung der
Konsistenz der endgültigen Zuordnungen (s. Kap. 5), wird berücksichtigt, daß die Verbesserungen der entsprechenden
Beobachtungen dem gleichen Punkt zugeordnet sind. Die Abb. 4.3 demonstriert diese verschiedenartige Behandlung der
Bildkoordinaten. Der Punkt 3 im Bild 2 ist homolog zu den Punkten 1 und ..f. in den Bildern 1 und 3, während der Punkt
2 fälschlicherweise den Punkten 1 und ..f. zugeordnet ist ( v13 <v12 und v34 <v24 ). Die Bildkoordinaten des Punktes 1 im
Bild 1 treten 3 mal als Beobachtungen auf und bekommen drei mal verschiedene Verbesserungen (v12 , \'13 , v14). Die
Bildkoordinaten der Punkte 2 und 3 im Bild 2 dagegen werden als Konstante in den Zuordnungen des Bildpaars 1,2
behandelt und als Beobachtungen in den Zuordnungen des Bildpaares 2,3 (v24 , v34 ). Schließlich werden die
Bildkoordinaten des Punktes ..f. im Bild 3 nur als Konstanten behandelt, weil sie ausschließlich auf der rechten Seite der
- 39 -
Fehlergleichungen auftreten. Damit ist insgesamt die Anzahl der Verbesserungen für n homologe Bildpunkte gleich der
Anzahl der Punktepaare (Zuordnungen).
4.4.1 Anpassung der Gewichte während der robusten Ausgleichung
Mit dem im Kap. 4.3 erläuterten mathematischen Modell findet die simultane Bestimmung der affinen Transformations
parameter in Form einer robusten Ausgleichung statt. Die groben Zuordnungsfehler werden dabei schrittweise durch
Einführung von Gewichtsfunktionen identifiziert und eliminiert [KRARUP 1980, WERNER 1984, FÖRSTNER 1986].
Den ersten Iterationsschritt bildet eine konventionelle kleinste Quadrate Ausgleichung mit bestimmten Gewichten für
alle Beobachtungen. Ab der zweiten Iteration werden die Gewichte auf Grund einerapriorigewählten Gewichtsfunktion
den Verbesserungen angepaßt. Somit wird der Einfluß der groben Beobachtungsfehler (Fehlzuordnungen) auf die Aus
gleichung schrittweise verringert und zum Schluß mit dem Gewicht 0 völlig unterdrückt. Die Gewichtsfunktionfist eine
Funktion der Verbesserung l' der jeweiligen Beobachtung, des gesetzten a 0, des Redundanzanteils r und des
ursprünglichen Gewichts p0 jeder Beobachtung. Die neuen Gewichte für die (11+ 1)-te Iteration werden wie folgt
berechnet:
n+1 of( n) Pi =pi · ui n+l O Pi =
für f(u/)~0.1
für f(u/)<0.1 ( 4.9)
Dabei ist das Argument u der Gewichtsfunktion eine statistische Größe, die folgendermaßen definiert ist [KLEIN/
FÖRSTNER 1984]
(4.10)
k·a ·V 0 V I i
wobei k ein kritischer Wert ist, der Werte von 1 bis 3 bekommt.
Die Gewichtsfunktion ist nicht für alle Iterationsschritte gleich. Vielmehr werden eine hyperbolische (j1) und eine
exponentielle (j2) Funktion benutzt (G1.(4.11)) [FÖRSTNER 1986]:
f1 (u/) 1
=
J1 + (u/) 2
( 4.11)
(u,")2
f2 (ut) = e-r-
Für die ersten drei Iterationen wird die Funktion f1 verwendet, die eine Konvergenz garantiert und gute Näherungswerte
liefert. Für die Iterationen 4 und 5 wird eine gewichtete Summe von beiden und ab der sechsten Iteration die Funktion
f2 verwendet, die schnell zu kleinen Gewichten führt. Mit diesen empirisch abgestimmten Varianten wird erreicht, daß
das Verfahren einerseits mit Sicherheit und anderseits schnell genug konvergiert und über einer bestimmten Schwelle
- 40-
die aufdeckbaren groben Fehler eindeutig und richtig identifiziert. Eine ähnliche Variation der Gewichtsfunktion ist aus
anderen Anwendungen robuster Ausgleichungen bekannt (z.B. Feature Based Matehing [FÖRSTNER 1986]).
4.4.2 Fehlergleichungssystem
Auf der Grundlage der Beziehungen ( 4.5) und ( 4.8) können wie besprochen die vereinfachten Fehlergleichungen für die
simultane Bestimmung der Affintransformationen aller Bilder eines Überlappungsbereichs auf ein Referenzbild r
aufgestellt werden. Die allgemeine Formulierung lautet
( 4.12)
Die als Beobachtungen geltenden Bildkoordinaten der Punkte k im Bild i sind als Funktion der Transformationsparameter
der Bilder i und j und der Bildkoordinaten der homologen Punkte m im Bild j ausgedrückt. Die Gleichung ( 4.12) ist
bezüglich der unbekannten Transformationsparameter nicht linear und muß nach Taylor linearisiert werden, was neben
den groben Fehlern der zweite Grund für den iterativen Prozeß ist. Als Anfangsnäherungswerte für die Linearisierung
dienen der Wert 1 für die Maßstabsparameter (ai , ei , ai, ej) und der Wert 0 für die Rotationsparameter (bi . di , bi . d)
und für die Verschiebungsparameter ( ci . fi . ci , fi ). Man erhält entsprechend die linearisierten Fehlergleichungen :
; aq, aq, aq, aq, o o o o . j xk+vkm = __ ·da.+ .. ·+-·df+ __ ·da.+ .. ·+-·df+<j>0(a; .... ,J; .a, ..... ,J:,. ,xm)
0 I 0 I 0 1 0 1 , , , Da; CIJ; aai Dfj
In der GI. (4.13) lassen sich die partiellen Ableitungen in
zwei Gruppen einteilen, nämlich bezüglich der Trans
formationsparameter vom Bild i nach r und vom Bild j
nach r. Bei i=r ist i das Referenzbild und (r;r 1 gleich
der Einheitsmatrix, sodaß damit die entsprechenden
Ableitungen verschwinden. Die Struktur der Fehlergleich
ungsmatrix nach Abb. 4.4 zeigt, daß nur bestimmte Sub
matrizen besetzt sind. Die Struktur der Abb. 4.4 ergibt
sich, wenn bei n Bildern alle Bildpaare ij in der Reihen
folge von i=1 bis n-1 und j=i+ 1 bis n gebildet werden.
Jede Submatrix hat die Dimension 2sij x 6 , wobei sii die
Anzahl der Zuordnungen zwischen Bild i und Bild j ist.
• I I:
.1
( 4.13)
6
In Gl. ( 4.13) sind 12 verschiedene partielle Ableitungen
zu berechnen. Damit wir zu einer einheitlichen Formel
für die Berechnung der partiellen Ableitungen kommen,
werden die Transformationsparameter wie in der Fehler
gleichungsmatrix einheitlich numeriert. Dafür werden die
Hilfsparameter ii und jj benutzt, die die Stelle des ersten
Elements jeder Submatrix (ii+1 bzw. jj+1) innerhalb
einer Zeile der Fehlergleichungsmatrix angeben. Mit
Abb. 4.4 : Struktur der Fehlergleichungsmatrix
ii=(i-2)*6 ( i > 1 ) und jj=(j-2)*6
- 41 -
bekommen wir für die Transformationsparameter die Notationen
au~1 = a. ' aii+2 = b. aii+6 = !; l l
ajj+l = a. ' ajj+2 = b.
' ...
' ajj+6 = ~ J J
Mit der neuen Notation bekommen die Determinate und die Adjunktenmatrix der Transformation T~ die Form
und
ql,l ql,2 ql,3 au+s -aii+2 aii+2 aii+6- aii+3 aii+4
Qi q'2,1 q2,2 q2,3 -aii+4 aii+l aii+3aii+4 -aii+l aii+6
q3,1 q3,2 q3,3 i 0 0 aii+l au+s -aii+2aii+4
Mit zwei zusätzlichen Hilfsparametern ik und jk wird die Vektordarstellung der Variablen innerhalb einer Submatrix (1
bis 6) auf eine 3x3 Matrix übertragen :
k = 1, ... ,6 ik=k-int(kf.l) *3
jk=int(k/4)+1
Damit können die partiellen Ableitungen J=!! und g =!! für die ganze Fehlergleichungsmatrix nach den folgenden da. da.
l J
Gleichungen (4.14) und (4.15) entsprechend berechnet werden.
Für k von 1 bis 6 und mit der Hilfsvariablen ii, jj, ik, jk ergeben sich dabei mit folgenden Formeln die Koeffizienten
jeder Zeile der Submatrix ij :
T
qik,l aij+l ajj+2 aij+3 X
J;i+k d<j> 1 [qlJk ]· qik,'2
daii+k det(T:? aii+4 aii+S aii+6 y
q2,jk 1 qik,3 0 0 1
( 4.14)
T
eik,l X . 1
d<j> 1 . [qlt eik,2 1 . [q1Jkx"] ( 4.15)
gjj+k V. Clajj+k det(T~) q2,jk
-' 1 det(T:) %Jk ·xik
eik,3 1
Die GI. (4.14) gilt n.ur für i > 1 . In GI. (4.15) sind e1j die Elemente einer 3x3 Einheitsmatrix und x1k die Elemente des
Vektors xjT =~t y 1]j.
- 42 -
4.4.3 Normalgleichungssystem
In der vermittelnden Ausgleichung werden die Koeffizientenmatrix und der Vektor der Absolutglieder der
Normalgleichungen gemäß GI. (4.16) berechnet
N = A T·P·A h = A T.p.f
(4.16)
wobei /""<Po -x; und P die Gewichtsmatrix der Beobachtungen sind. Als Gewichte der Beobachtungen werden die
Ähnlichkeitswerte benutzt, die den Punktepaaren gemäß GI. (3.5) zugeordnet wurden.
Die Normalgleichungsmatrix (Abb. 4.5) hat die Dimension n1x n1
und ist voll besetzt. Sie besteht aus (n-ll Submatrizen mit der
Dimension 6x6. Da die Fehlergleichungsmatrix A sehr schwach
besetzt ist, werden die Normalgleichungskoeffizienten und die
Absolutglieder nicht nach Gl. (4.16), sondern wie unten beschrieben
in einfacherer Weise direkt aus den nicht-0-Elementen von A be
rechnet. Wegen der Symmetrie werden nur die Diagonalelemente
und die Elemente oberhalb der Hauptdiagonalen berechnet. Für i = 1
bis n-1 und j=i bis n-1 sowie für k=1 bis 6 und 1=1 bis 6 (für die
·J N~T . 1
l L,
Diagonalsubmatrix l=k bis 6) werden die Elemente aller Sub- Abb. 4.5 : Struktur der Normalgleichungsmatrix
matrizen berechnet. Für die Ableitung der Formeln werden folgende
Hilfsvariablen benutzt:
ii=(i-1)*6+k
jj = (j -1) *6 + I Wenn si,j die Anzahl der Zuordnungen in einem Bildpaar ij ist, ist 2xsij ( x- und y-Beobachtung ) die Zeilenanzahl der
entsprechenden Submatrix in der Fehlergleichungsmatrix. Wir erhalten damit :
1. Für die Elemente der auf der Diagonale liegenden Submatrizen Nii (}=i) :
5 1,i+l 11 si+l.m
N .... ll,JJ L L (g~~;"P t"gt,.ii) + L L (ft~i ·Pt "h,.ii) ( 4.17)
m=l t=l m=i+2 t=l
2. Für die Elemente der übrigen Submatrizen Nu (i~j) :
5i•l,j•l
Nii,.ii = L (ft~;"P t ·gt,.ii) ( 4.18)
t=l
Für die Absolutglieder gilt entsprechend :
5 1.i>1 n si>I,m
hii = L L (gt~(P /lr0) + L L (ft~(Pt·lr0 ) ( 4.19)
m=l t=l m=i+2 t=l
Die Produkte, die in den Formeln ( 4.17) bis ( 4.19) auftreten, sind Funktionen der Transformationsparameter ai bzw. aj.
der Bildkoordinaten X; und xj und der Gewichte Px . Man kann durch geeignete Rechenoperationen diejenige Faktoren
ausklammern, die für die ganze Normalgleichungsmatrix oder für eine Submatrix unverändert bleiben und nur einmal
- 43 -
berechnet werden müssen. Das wird anschaulich, wenn man die Normalgleichungskoeffizienten der ersten Iteration
betrachtet, die mit den Anfangsnäherungswerten 1 und 0 für die Maßstabs- bzw. die übrigen Transformationsparameter
berechnet werden. Mit Hilfe der folgenden Notation können die Koeffizienten der Normalgleichungen für diesen Fall
zusammengefaSt dargestellt werden:
5 m,i+1
[xy p] L L (x/+1 ·y/+1 ·pxtm ) + L L (xtm "Ytm ·px1
H ) ( 4.20)
m=1 t=1 m=i+2 t=1
Man erhält damit die in den Abb. 4.6 und 4.7 dargestellte übersichtliche Struktur der Submatrizen.
[xxp] ~.x_y Gy
p) [ xp] 0 0 0
p] [ yp] 0 0 0
[ p] 0 0 0
[xxp) [xyp] [ xp]
[yyp] [ yp]
[ p]
Abb. 4.6 : Struktur der Submatrix Nu ( 1. Iteration)
-[xxp) [xyp] -[ XPTT 0 0 0 ---
-[xyp] [yyp] -[ yp) 0 0 0
-[ xp] [ yp] -[ p] 0 0 0
0 0 0 -[xxp] -[xyp] -[ xp]
0 0 0 -[xyp] -[yyp] -[ yp]
0 0 0 - [ xp] -[ yp] -[ p)
Abb. 4. 7 : Struktur der Submatrix N;i ( 1. Iteration)
Diese Produktsummen der Bildkoordinaten der markanten Punkte, die auch bei der nächsten Iterationen in den Formeln
( 4.17) bis ( 4.19) auftreten, brauchen nur einmal pro Iteration berechnet werden. Ähnliches gilt für die Transformations
parameter a; , die für die Koeffizienten aller Submatrizen Nii (j=l.,n-1) unverändert bleiben, bzw. für die ai innerhalb
einer Submatrix. Zusätzlich sind innerhalb jeder Submatrix symmetrische Strukturen zu erkennen. Man kann also die
Berechnung der Normalgleichungen sehr effizient gestalten.
Die numerische Lösung der Normalgleichungen bietet keine besonderen Schwierigkeiten. Als Ergebnis erhält man die
Transformationsparameter der Affintransformationen und wie beschrieben die Restfehler bzw. Verbesserungen vx, vY
an den jeweiligen Bildpunkten.
- 44 -
5 Mehrfache Merkmalszuordnung
5.1 Einführung
In der beschriebenen dritten Phase des Verfahrens werden aus den vorläufigen Punktzuordnungen mit Hilfe der robusten
Ausgleichung die grob falschen Zuordnungen eliminiert. Damit wird eine Datenreduktion um über 50% erreicht. Nach
der robusten Ausgleichung bleiben aber immer noch doppeldeutige Zuordnungen, wenn auch innerhalb engerer
Toleranzen, d.h. ein Bildpunkt kann noch 2 oder mehreren Bildpunkten des anderen Bildes zugeordnet sein. Im Falle
von nur zwei überlappenden Bildern kann man zwar leicht durch einen Vergleich der entsprechenden Ähnlichkeitsmaße
(s. Kap. 3. Gl. 4.5) oder der verbleibenden Verbesserungen die richtigen (besten) Zuordnungen herausfinden. Bei der
mehrfachen Merkmalszuordnung dagegen nimmt die Komplexität des Problems exponentiell mit der Anzahl der
überlappenden Bilder zu. Die automatische Eliminierung der doppeldeutigen Zuordnungen erfordet eine mathematische
Formulierung der mehrfachen Merkmalszuordnung sowie die Entwicklung eines Algorithmus für seine Lösung. Das
Problem der paarweisen Zuordnung von Objekten wird in der Graphentheorie behandelt und ist als 'Matching-' oder
'Heiratsproblem' bekannt. Das veranlaßt uns. die Hilfsmittel der Graphentheorie für die Lösung der mehrfachen
Merkmalszuordnug zu benutzen. Daher wird nachfolgend zuerst eine kurze Erläuterung der ve1wendeten graphen
theoretischen Begriffe gegeben (Kap. 5.2). In Kap. 5.3 wird dann die Merkmalszuordnung innerhalb von 2 bzw. n
Bildern als ein graphentheoretisches Problem formuliert. Anschließend, nach der Darstellung verschiedener
algorihmischer Lösungen (Kap. 5.4), wird ein Algorithmus vorgeschlagen (Kap. 5.5), der bei n überlappenden Bildern
iterativ alle möglichen Zuordnungen von der Ordnung n (n homologe Bildpunkte) bis zur Ordnung 2 (Paare) findet.
5.2 Elen1ente der Graphentheorie
Die Graphentheorie stellt anschauliche und leistungsfähige Hilfsmittel für die Konstruktion von Modellen und die Lösung
von Problemen bereit, die sich mit der diskreten Anordnung von Objekten befassen [BUSACKER/SAA TY 1968,
CHRISTOFIDIS 1986, WALTHER/NÄGLER 1987]. Ihre Methoden werden heute in vielen Zweigen der Wissenschaft
mit viel Erfolg eingesetzt (u.a. Planung, Wirtschaftswissenschaften, Netzplantechnik, Nachrichtentechnik. Computertech
nologie, Mustererkennung). Besonders bei kombinatorischen Verfahren zur Bestimmung entsprechender Objektanord
nungen, die sich beträchtlich von den klassischen arithmetischen Rechenverfahren unterscheiden. kann man mit Hilfe
der Graphen das Problem algorithmisch durch binäre Matrizen annähern.
Ein Graph ist ein graphisches Gebilde (Abb. 5.1), das aus Knoten und Kanten besteht. Dabei können die
Kanten gerichtet (Abb. 5.1a) oderungerichtet (Abb. 5.lb) sein und entweder zwei Knoten miteinander oder einen Knoten
mit sich selber verbinden. Ein Graph G kann mathematisch durch die Knotenmenge X={t1, ... ,X11
}, die Kantenmenge
R={r1, ... ,r m }, sowie eine In z i den z ab b i I dun g <!> , die im gerichteten Fall jeder Kante rk ein geordnetes Paar
(xi ,xj) von Knoten xi ,xj ( Endknoten ), bzw. im ungerichteten Fall ein ungeordnetes Paar [xi ,xj], zuordnet. Wenn XxX
das geordnete oder c artesische Produkt und X&X das u n geordnete Produkt ist, gilt :
wobei
Gerichteter Graph
Ungerichteter Graph
R~XxX
R~X&X
n= I X I : Anzahl der Knoten
m= IR I : Anzahl der Kanten
max. Anzahl geordn. Paare: n 2 (5.1)
max. Anzahl ungeordn. Paare: n(n+ 1)/2
- 45 -
x3
Xs
( a) ( b)
Abb. 5.1 : Gerichteter (a) und ungerichteter (b) Graph.
Im folgenden beziehen sich hier alle graphentheoretischen Begriffe auf ungerichtete Graphen und zwar auf Graphen,
die keine Schlinge (Kanten deren Endknoten zusammenfallen, z.B. in Abb. 5.1a die Kante r1) und keine Mehrfachkanten
(verschiedene Kanten haben die gleichen Endknoten) enthalten. Im diesem Fall ist die maximale Anzahl der
ungeordneten Knoten-Paare (Kanten) n(n-1)12 .
Die Inzidenzabbildung eines Graphen G(X,R) kann explizit durch die In z i den z m a tri x <I> dargestellt werden.
Wenn man die Knoten und die Kanten willkürlich numeriert, entsprechen die Zeilen von <I> den Knoten und die Spalten
den Kanten. Dann wird <I> wie folgt definiert : 1 , falls x. Endknoten der Kante r. ist
<l>(i,j) =: { I }
0 , andernfalls
Für den Graphen der Abb. 5.1b und die dort angegebene Numerierung der Knoten und der Kanten erhalten wir die
Inzidenzmatrix :
1 1 1 1 0 0 0 0
1 0 0 0 1 1 0 0
<I> = <!>(G) 0 1 0 0 1 0 1 1
0 0 1 0 0 1 1 0
0 0 0 1 0 0 0 1
Ist rk ER und X;, xj EX. derart, daß <!>(rJ=[x; ,x) bzw. <I>(i,k)=l und <I>(j,k)=l , dann heißt die Kante rk in z i den t
mit den Knoten xi und xj, und umgekehrt. Entsprechend kann man einem Graphen eine A d ja z e n z m a tri x A ,
deren Spalten den Knoten entsprechen. wie folgt zuordnen :
1 , falls es eine Kante rk =[ xi, xj] gibt A(i,jl = {
0 . andernfalls
Zwei Knoten, die durch eine Kante verbunden sind ( aij=l ), heißen a d ja z e n t oder b e nach bar t. Ebenso
heißen zwei Kanten. die einen gemeinsamen Endknoten besitzen, adjazent. Die Adjazenzmatrix eines ungerichteten
Graphen ist symmetrisch. Für den Graphen G in Abb. 5.1b ist die zugehörige Adjazenzmatrix :
- 46 -
0 1 1 1 1
1 0 1 1 0
A = A(G) 1 1 0 1 1
1 1 1 0 0
1 0 1 0 0
Die Anzahl der Kanten, die mit einem Knoten x inzident sind, heißt Grad ö(x) von x . Wenn den Kanten eines Graphen
quantitativ meßbare Größen, sog. K o s t e 11 • zugeordnet werden, handelt es sich um einen b e w e r t e t e n G r a p h e n .
Ein Te i l g r a p h G 1 (X 1, R 1) von G ist ein Graph, für den folgende Beziehungen erfüllt sind :
a. X'CX und R'CR b. cl>'(rk)=cp(rk) für alle r/::::. R' c. für rkE R' und cp(rk)=[xi'x) , folgt xiE X' und x,E X 1
Eine Kette ist eine kontinuierliche Folge von Kanten, die jeweils zwei Knoten miteinander verbinden. Ein Graph heißt
zusammen h ä 11 g end, wenn sich je zwei verschiedene Knoten durch mindestens eine Kette miteinander verbinden
G G
X 1
• x3 ex
3
Xs
( a) ( b)
Abb. 5.2 : Komplementärer Graph (b) eines Graphen G (a)
lassen. Alle Knoten eines Graphen G, die durch eine Kette mit einem Knoten x verbunden sind, definieren mit x einen
Teilgraphen, den man eine zusammenhängende K o m p o n e n t e von G nennt. Der zu G k o m-
-p l e m e n t ä r e Graph G (Abb. 5.2) ist ein Graph mit den gleichen Knoten wie G und den Kanten, die in G fehlen.
-Zwei Knoten sind aber in G adjazent nur, wenn die gleichen Knoten in G nicht adjazent sind. Für den
komplementären Graphen G(X,R) gilt :
-X=X und
-R =(X&X)-R (5.2)
Ein Teilgraph Gk heißt v o II ständig oder k- CI i q u e (k ist die Anzahl der Knoten von Gk). wenn je zwei
voneinander verschiedene Knoten adjazent sind. d.h. jeder Knoten ist mit allen übrigen durch eine Kante verbunden. In
einem vollständigen Teilgraphen ist der Grad jedes Knotens gleich k-1. Wenn in G kein anderer vollständiger Teilgraph
- 47-
mit mehr Knoten existiert. heißt Gk m a x i.m a I er v o II ständiger Teilgraph von G. Die Anzahl der Knoten
von Gk heißt Cliquen z a h I y(G) des Graphen G :
(5.3)
Die Anzahl der Kanten eines vollständigen Teilgraphen ist
(5.4)
Eine Knotenmenge X0g in G heißt u n a b h ä n g i g , sofern keine zwei Knoten von XO durch eine Kante verbunden
sind. Die .Knotenmenge XO heißt unabhängige Knotenmenge mit maximaler Knote 11 anzahl oder
in n e r I ich s t a b i I . sofern es keine unabhängige Menge gibt, die XO echt umfaßt. Die unabhängige Knotenmenge
mit maximaler Knotenanzahl bildet einen Graphen G0(XO,R0), in dem R0=0 ist. Die Anzahl der Knoten von G0 heißt
innere Stab i I i t ä t s zahl a(G) des Graphen G:
a(G) IX0 I (5.5)
Aus diesen Definitionen folgt. daß die Knotenmenge eines maximalen vollständigen Teilgraphen in G gleich der
-unabhängigen Knotenmenge mit der maximalen Knotenanzahl in G und die Cliquenzahl von G gleich der inneren
-Stabilitätszahl von G ist :
-y(G) = a(G) IX kl (5.6)
Ein Graph G(X,R) heißt b i p a r t i t oder z w e i f a c h t e i I b a r , wenn sich seine Knotenmenge in zwei
elementefremde Teilmengen XI und X2 unterteilen läßt, derart, daß von jeder Kante der eine Endpunkt in XI und der
andere in x2 liegt :
(5.7)
Die Cliquenzahl eines bipartiten Graphen ist 2 und der maximale vollständige Teilgraph besteht aus einer Kante mit
ihren Endknoten. Entsprechend gelten für einen 11 k- p a r t i t e n 11 oder k- f a c h t e i I baren Graphen folgende
Beziehungen :
k
a. X= UXi i=l
mit x.nx. = 0 I J (5.8)
für i=l, ... ,k-1 und j=i+ l, ... ,k
Die Cliquenzahl eines k-partiten Graphen ist k und der maximale vollständige Teilgraph bildet einen k-Simplex.
- 48 -
5.3 Graphentheoretische Annäherung des Zuordnungsproblems
Nach der robusten Ausgleichung der Zuordnung der Verknüpfungspunkte in den Bildern sind die grob falschen
Zuordnungen oberhalb eines Schwellenbetrags eliminiert (in dem deren Gewichte durch die robuste Ausgleichung gleich
0 gesetzt wurden). Die Zahl der eliminierten Zuordnungen kann über 50% der anfänglichen Näherungszuordnungen
betragen. Die wegen verbleibender kleiner Zuordnungsfehler noch doppeldeutigen oder falschen Zuordnungen müssen
nun nachträglich in einer weiteren Analyse identifiziert und eliminiert werden. Als Kriterium dafür kann die Abweichung
einer Zuordnung von dem im Kap. 4 dargestellten geometrischen Modell der Affintransformation verwendet werden,
die durch die Quadratsumme der nach der letzten Iteration verbleibenden x- und y-Residuen dargestellt wird.
Die markanten Punkte der überlappenden Bilder und die verbleibenden Zuordnungen lassen sich durch einen Graphen
G topalogisch beschreiben, wobei die Knotenmenge aus den markanten Punkten und die Kantenmenge aus den
Zuordnungen besteht. Als Bewertung (Kosten) c; einer Kante r; wird die Quadratsumme der verbleibenden Residuen
der entsprechenden Zuordnung, also im gewissen Sinne ein Genauigkeitskriterium. verwendet :
Um mit Hilfe der Graphentheorie zu einer Lösung der endgültigen konsistenten Zuordnungen zu kommen, ist eine
graphentheoretische Formulierung der mehrfachen Punktzuordnungen notwendig. Das Problem wird zuerst für zwei
überlappende Bilder formuliert und anschließend für n Bilder verallgemeinert.
5.3.1 Zuordnung innerhalb von 2 Bildern
Im Falle von zwei überlappenden Bildern bilden zwei zugeordnete Punkte ein Paar. Da offensichtlich Punkte im linken
Bild nur Punkten im rechten Bild zugeordnet sind, gibt es im Graphen G (Abb. 5.3) keine Kante. die Punkte des
gleichen Bildes miteinander verbindet d.h. der Graph G ist ein bipartiter Graph.
G
Abb. 5.3 : Zuordnung in einem bipartiten Graphen
Die Knotenmenge X läßt sich somit in zwei Teilmengen XL und XR unterteilen, die entsprechend aus den markanten
Punkten im linken und im rechten Bild bestehen. Nach Gl. (5. 7) gilt :
- 49 -
mit XL "" {plL,p2L, ... ,p L} und X "" {plR P2R p R} nL R ' , ••• , n.
Das Problem liegt darin, die richtigen Paare herauszufinden, so daß ein Punkt im linken Bild nur einem oder keinem
Punkt im rechten Bild zugeordnet ist und umgekehrt. Wir müssen deshalb eine Teilmenge M von R wählen mit der
Eigenschaft, daß je zwei Kanten r; , rj E M nicht inzident sind, d.h. daß der Grad jedes Knotens im Graphen Gm(X,M)
maximal gleich 1 ist (Abb. 5.3). Eine solche Menge heißt d i s j unkt. Das Problem ist in der Graphentheorie als
M a t c lz i n g - oder Z u o r d n u n g s p r o b I e m bekannt. Eine disjunkte Teilmenge M heißt m a x im a l e s
M a t c h i n g in G, sofern es keine andere disjunkte Menge gibt, die M echt umfaßt. Damit wir die beste Lösung (mit
den m in im a l e 11 Kosten ) erhalten, wird die Summe der Kosten der in M gewählten Kanten minimiert.
M ist d a s m a x i m a l e M a t c lz i 11 g m i t d e n m i n i m a I e n K o s t e n in G, wenn :
a. M~R
{
m.,m. EM 1\ b. M : disjunkt '
1
oder ö(x)s1
c. IMI -- max
m .~m. => m., m. nicht inzident l } l }
(5.9)
d. L c -- min r,EM r,
Im Falle der auf den Interestoperator zurückgehenden Verknüpfungspunkte ist i.a. die Anzahl der Zuordnungen erheblich
größer als die für die photogrammetrischen Aufgaben minimal notwendige Anzahl. Es kann daher in der Regel eine
Auswahl getroffen werden. Es ist nämlich für die Verknüpfung des Bildverbandes wichtiger, die genauesten und besten
n Zuordnungen herauszufinden und weiter zu verwenden, als die nach dem Prinzip der Kostenminimierung mögliche
maximale Anzahl der Zuordnungen auszuwählen. Deshalb wird auf die Optimierung nach Gl. (5.9) verzichtet und
stattdessen schrittweise in G die jeweils beste Zuordnung gesucht (die Kante mit c;=min) und die Zuordnungen bzw.
Kanten, die mit ihr inzident sind. werden als falsch eliminiert (markiert). Graphentheoretisch lautet die modifizierte
Aufgabe. in G eine 2-Clique G2(X2,R2) minimaler Kosten zu finden :
G2 enthältdie beste Zu o r d 11 u 11 g in G, wenn :
a. IX21 = 2 mit X2 - { L R} - Pk ,pl
b. IR 21 = 1 mit R2 = {r;} und <P(r;) [p/,p/] (5.10)
c. Ö(p/) = ö(p/) = 1 d. c -- min r
Der Vorgang wird wiederholt, bis alle Zuordnungen in G als richtig oder falsch markiert sind. Die aus dieser Lösung
entstehende Kantenmenge M muß, rein mathematisch gesehen, nicht unbedingt mit der nach GI. (5.9) definierten Menge
identisch sein. Das Beispiel der Abb. 5.4 verdeutlicht den Unterschied zwischen beiden Verfahren. Wenn den Kanten
r1 , r2 , r3 , r4 die Kosten c1 =1.5, c2 =2.0, c3 =1.8, c4 =2.5 zugeordnet sind, erhalten wir mit beiden Verfahren
unterschiedliche Lösungen. Während nach der Optimierungsaufgabe der Gl. (5.9) die Kanten r2 und r3 als richtige
-50 -
Zuordnungen ausgewählt werden (c2+c3=3.8 --> min), wird nach (5.10) zuerst die Kante r1 ausgewählt (c1=1.5 --> min),
die Kanten r2 und r3 werden als falsch eliminiert ( sie sind mit r1 adjazent ), und schließlich wird die verbleibende
Graph G Max. Matehing in G Beste Zuordnung in G
Abb. 5.4: Matehing nach G/.(5.9) bzlv. Beste Zuordnung nach GI. (5.10)
Kante t 4 auch als richtig ausgewählt. Mit der zweiten Lösung erhalten wir eine nach den Kosten sortierte Liste von
Zuordnungen. Man kann nun einen Grenzwert für die Kosten einer Zuordnung festlegen und die Zuordnungen. deren
Kosten diese Grenzwert überschreiten. als falsch oder ungenau ausscheiden. Die übrigen richtigen Zuordnungen elfüllen
weiter die gestellten Bedingungen, weil diese für jede Zuordnung getrennt gelten. Im Gegensatz dazu gelten nach dem
Verfahren der GI. (5.9) die Bedingungen (c) und (d) für alle in Mausgewählten Zuordnungen. In diesem Fall ist durch
die nachträgliche Eliminierung einer Zuordnung, deren Kosten den Grenzwert überschreiten, die Elfüllung der
Bedingungen (c) und (b) für die übrigen Zuordnungen nicht gewährleistet.
5.3.2 Zuordnung innerhalb von n Bildern
Bei n überlappenden Bildern haben wir für jeden Objektpunkt, falls er in allen Bildern abgebildet ist, n homologe
Bild punkte. Die Aufgabe besteht dann darin. n Bildpunkte (einen aus jedem Bild) als homologe zu identifizieren und
für die Bündelausgleichung mit der gleichen Punkt-Nummer (im Objektraum) zu versehen. Das Problem ist dabei, daß
die gegenseitigen Zuordnungen zwischen den n Punkten nicht notwendigetweise vollständig gegeben sind. Wir müssen
daher entscheiden, welche Punkte als homologe auszuwählen sind. Die Informationen, die zur Verfügung stehen. sind
die zwischen den ausgewählten Punkten nach der robusten Ausgleichung vorläufig bereinigten Zuordnungen. Die Frage
dabei ist, wieviele Zuordnungen zwischen n Bildpunkten existieren müssen, damit wir die sichere Aussage treffen
können, daß diese n Bildpunkte homolog sind. In Abb. 5.5 sind vier mögliche Fälle für die Zuordnung der 4 homologen
Punkte von 4 Bildern dargestellt. Im Falle (a) ist Bildpunkt P1 mit P2 , P2 mit P3 und P3 mit P4 verknüpft. Im Falle (b)
(a) (b) (c) (d)
Abb. 5.5 : Mögliche Zuordnungen zwischen 4 homologen Bildpunkten
- 51 -
ist Bildpunkt P 1 allen übrigen zugeordnet (das entspricht der manuellen Punktübertragung). Im Falle ( c) fehlt nur die
Zuordnung zwischen den Bildpunkten P2 und P3 • Schließlich ist im Falle ( d) jeder Punkt allen übrigen zugeordnet.
Um eine höhere Genauigkeit und Zuverlässigkeit zu erreichen, wird in dieser Arbeit angestrebt (sowohl bei der
vorläufigen Zuordnung als auch bei dem geometrischen Modell für die robuste Ausgleichung), nach Möglichkeit die
vorläufigen Zuordnungen zwischen allen beteiligten Bildpaaren zu berücksichtigen. Das bedeutet, daß zwischen n
homologen Bildpunkten alle n(n-1)12 Zuordnungen existieren sollten (Fall ( d) in Abb. 5.5). Damit ist die mehrfache
Merkmalszuordnung auf der Ebene der Bilder so definiert, daß jedes Merkmal in einem Bild den entsprechenden
Merkmalen in allen übrigen Bildern zugeordnet sein muß.
n Bilder
Bi I d 1
Abb. 5.6 : Zuordnungsgmph von n Bilder
Der Graph G(X,R), der aus den markanten Bildpunkten der n Bilder mit den entsprechenden Zuordnungen besteht, ist
ein n- p a r t i t er Graph. Für diesen Graphen G gelten nach GI. (5.8) folgende Beziehungen:
wobei
a.
b. R = URij mit Rij = (X;&X) für i=l, ... ,n-1 und j=i+ l, ... ,n
X; : Menge der markanten Bildpunkte im Bild i
Rij :Menge der nach der robusten Ausgleichung verbleibenden Zuordnungen
z1,vischen den Bi/dem i und j
Im Graphen G bilden n homologe Bildpunkte mit den zugehörigen Zuordnungen, unter der oben gegebenen Definition
für die mehrfache Merkmalszuordnung~ eine maximale n - C I i q u e ( m a x im a I er v o II s t ä n d i g er
Te i I g r a p h mit n K 11 o t e n ) GYX",R11). Die Cliquenzahl von G ist gleich der Anzahl der überlappenden Bilder.
In Abb. 5.6 bilden die homologen Bildpunkte eines in 5 Bildern ( 1, 2, i, j, n ) abgebildeten Objektpunktes eine 5-
Clique, deren Kanten stark hervorgehoben sind. Die Aufgabe ist nun, alle n- Tu p e l von Bildpunkten, die in G eine
n-Clique bilden, zu' finden und entsprechend zu numerieren. Da in G aber auch Kanten enthalten sind, die
Fehlzuordnungen bedeuten. müssen wir diejenige n-Clique herausfinden, die das beste Zuordnungsergebnis gibt. Dafür
-52 -
muß die Summe der Kosten aller Kanten in G 11 minimiert werden. Die Knoten und Kanten von Gn müssen deshalb die
Bedingungen des folgenden Optimierungsproblems erfüllen:
Gn repräsentiert die beste mehr f a c h e Zu o r d 11 u n g in G, wenn :
a. IXnl = ll mit 1x~~nx;1 1
b. IR/I I = n(n-1 )/2 mit IRnnR) 1
c. ö(pi) = n-1 'rj P;E xn (5.11)
d. L er, - min r,ER•
Wenn einen-Cliqueaufgefunden ist, die die Bedingungen der GI. (5.11) erfüllt, werden ihre Knoten und Kanten sowie
die Kanten, die mit ihren Knoten inzident sind. markiert und vom weiteren Suchprozeß ausgeschlossen. Das Verfahren
wird wiederholt, bis alle n-Cliquen in G aufgefunden sind. Somit haben wir für d i e p h o t o g r a m m e t r i s c h e n
Zuordnungsprob I e m e eine Verallgemeinerung des Match in g- Prob I e m s auf n Bi I der erreicht.
Die Verallgemeinerung ist formal gültig. denn man erhält die für 2 Bilder gültige GI. (5.10), wenn man in GI. (5.11)
n gleich 2 setzt.
5.4 Algorithn1en zum Auffinden von Cliquen in einem Graphen
Wie schon im Kap. 5.1 erwähnt wurde, entspricht eine Clique im Graphen G einer Menge von unabhängigen Knoten
-im komplementären Graphen G . Damit ist das Problem, eine maximale n-Clique in G aufzufinden, äquivalent mit
-dem Auffinden einer maximalen Menge von unabhängigen Knoten in G . In der Literatur werden dafür i.a.
Algorithmen behandelt, die an einem beliebigen Knoten anfangen und alle Cliquen [KNÖDEL 1969] oder alle
unabhängigen Knotenmengen [CHRISTOFIDIS 1986] in einem u n bewerteten Graphen (oder in einem
bewerteten, aber ohne Berücksichtigung der Kantenbewertung, d.h. ohne Optimalitätskriterium) auffinden. Sie
unterscheiden sich im Grunde in der Art der mathematischen Beschreibung bzw. Speicherung des Graphen
(Inzidenzmatrix, Adjazenzmatrix oder verkettete Liste), die sie verwenden. Solche Algorithmen sind zur Lösung unseres
Problems nicht besonders geeignet. Die aufgefundenen n-Cliquen müssten miteinander bezüglich ihrer Kostensumme
verglichen werden, und zusätzlich müßte jede mit allen übrigen auf gemeinsame Knoten überprüft werden. Außerdem
sind wir nicht an allen, sondern nur an den besten Cliquen (mit minimalen Kosten) interessiert, so daß durch die
Bestimmung aller Cliquen unnötige Rechenzeit aufgewendet würde.
Aus diesem Grund muß das Problem als eine Optimierungsaufgabe im Sinne der L i n e a r e n 0 p tim i e r u n g oder
Programmierung formuliert werden. Das allgemeine Problem der Linearen Programmierung besteht darin. q
Variable X; so zu bestimmen, daß eine Z i e I f u n k t i o n f(xJ ein M a x i m u m oder ein Mi n i m u m erreicht und dabei
m Neben b e d in g u n g e n ( Restri k t i o 11 e n ) erfüllt werden:
Zielfunktion :
Restriktionen
q
j{x) = ~ c:x. ==*' min oder max L 11 j~l
q
L a;/xj ~ b; für i=l.. ... m j~!
(5.12)
- 53 -
wobei
q Anzahl der Variablen
m Anzahl der Restriktionen
aij Elemente der mxq Restriktionsmatrix (Koeffizienten der Ungleichungen)
bi Absolutglieder der Ungleichungen
cj Kosten der Variable -'1
Die Algorithmen, die für die Lösung von Optimierungsproblemen bei der Linearen Programmierung angewendet werden,
unterscheiden sich je nach der Art der Variablen xi (reelle, ganze oder binäre). Bei manchen Problemen, die sich mit
der Anordnung von Objekten befassen, dürfen die Variablen xi nur die Werte 0 und 1 (binäre Variablen) bekommen:
1 falls das Objekt i für die bestimmte Anordnung ausgewählt wird
0 : andernfalls
Solche· Probleme sind meistens Probleme. die sich auf bewertete Graphen beziehen. Sie werden allgemein durch
Verfahren der binären oder "z er o- o n e " Programmierung gelöst (s. Kap. 6). Ähnlich kann unser Problem von
GI. (5.11) als ein binäres Optimierungsproblem formuliert und gelöst werden. Die einzige dem Verfasser bekannte
Formulierung des Problems der maximalen Clique als binäres Optimierungsproblem findet man in [NOLTEMEIER
1976]. Bei diesem Verfahren, das im Bereich des "industrial design" Anwendung findet, wird aber nicht die Summe
der Kosten der Kanten sondern die der Knoten minimiert. Es kann damit nur auf Graphen mit Knotenbewertung direkt
angewendet werden.
Bevor wir die Darstellung der verschiedenen Verfahren fortsetzen, ist eine Erläuterung über den Graphen G der
Zuordnungen und der verwendeten Variablen notwendig. Der Graph wird durch seine Inzidenz- bzw. Adjazenzmatrix
formal beschrieben. Damit eine direkte Beziehung zwischen Zeilen- und Spaltennummern einerseits und Punkt- bzw.
Zuordnungsnummern anderenseits hergestellt werden kann, müssen die ausgewählten markanten Punkte aller Bilder und
die paarweisen Zuordnungen aller Bilder einheitlich numeriert werden. Dafür werden folgende Variablen definiert :
n Anzahl der Bilder bzw. Cliquenzahl des Graphen G
u Anzahl der Bildpaare ( n(n-1)12 )
qi Anzahl der markanten Punkte im Bild i
q Anzahl der Knoten in G bzw. gesamte Anzahl der markanten Punkte in allen Bildern
mij Anzahl der Zuordnungen Z'rvischen Bild i und Bild j
m Anzahl der Kanten in G bzw. gesamte Anzahl der nach der robusten Ausgleichung verbleibenden
Zuordnungen
Die Numerierung erfolgt bildweise (von Bild 1 bis n) für die markanten Punkte und paarweise (von Bildpaar [1,2] bis
[ n-l,n]) für die Zuordnungen mit Berücksichtigung der Numerierung innerhalb eines Bildes (Interestoperator) bzw.
innerhalb eines Bildpaares (vorläufige Zuordnungen bzw. Fehlergleichungsmatrix). Mit Hilfe von zwei zusätzlichen
Hilfsvariablen sk und tk1 kann man auf den ersten Punkt von Bild k bzw. die erste Zuordnung von Bildpaar [k,l] zugreifen
und sich gezielt innerhalb der Inzidenzmatrix bewegen.
sk =
tkl =
wobei
kk=k-1 und ll=n
kk=k und 11=1-1
k-1
(_E q)+1 i~l
kk II
(_LI: mij)+1 i=l j=H
falls k=l+1
a ndemfa lls
für k= l, ... ,ll
(5.13)
für k=l, ... ,n-1 und l=k+ 1, ... ,n
-54-
Bildpaar
1, 2 ·1. 3 1,4 2,3 2,4 3,4
Abb. 5. 7: Struktur der Inzidenzmatrix im Falle von 4 Bildern
Durch diese Numerierung bekommt die Inzidenzmatrix eine spezielle Struktur, ähnlich der Struktur der Fehlerglei
chungsmatrix (Abb. 4.4 ), die von dem entwickelten Algorithmus ausgenutzt wird. Die Struktur der Inzidenzmatrix ist
in Abb. 5. 7 dargestellt.
5.4.1 Maximale n-Ciique mit minimalen Knotenkosten in einem n-partiten Graphen
Bei dem hier verfolgten Verfahren wird das Problem auf den komplementären Graphen G übertragen, um dort eine
maximale unabhängige Knotenmenge X0 ( iJl(X0
,0) ) mit der minimalen Knotenbewertung zu bestimmen
(Abb. 5.8). Diese Formulierung kann nicht auf einen Graphen mit Kantenbewertung übertragen werden, weil für die
Kanten des komplementären Graphen G (sie sind genau die Kanten, die in G fehlen), keine Information bzw.
Bewertung vorliegt. Die Aufgabenstellung ist ähnlich wie bei GI. (5.11) mit dem einzigen Unterschied, daß die Kosten
und damit die Optimierung sich auf die Knoten beziehen. Wenn nun jedem Knoten Pi mit den Kosten ci eine binäre
Variable xi zugeordnet wird, lautet die zu optimierende Zielfunktion :
q
't"' c. ·x. => min L..J I I
(5.14) i=l
-Die Formulierung der Restriktionen, die die Variablen erfüllen müssen, erfolgt auf der Inzidenzmatrix H von G
Damit je zwei Knoten in G0 nicht adjazent sind, muß die Produktsumme der Variablen xi mit den entsprechenden
Elementen jeder Spalte der Inzidenzmatrix kleiner oder gleich 1 sein :
q
E h .. ·x. s 1 1) I
für j= 1, ... ,iii (5.15) i= I
wobei -m die Anzahl der Kanten in G ist:
-55 -
IX&XI - lXI q(q-1) -m 2
(5.16)
Diese Restriktionen gewährleisten, wenn zwei Knoten k,l adjazent sind ( hkj=h1j=l ), daß die entsprechenden Variablen
xk und x1 nicht gleichzeitig gleich 1 sein können. Die Restriktionsmatrix von GI. (5.15) ist nun die Transponierte
-der In z i den z m a tri x von G . Die Zielfunktion GI. (5.14) erreicht aber unter den Restriktionen der Gl. (5.15)
offensichtlich ein Minimum. wenn nur ein Knoten ausgewählt wird. Dafür muß eine Restriktion hinzugefügt werden,
die zur Auswahl der maximalen unabhängigen Knotenmenge führt. Da bei einem n-partiten Graphen die Cliquenzahl
( y(G)=n ) gleich der inneren Stabilitätszahl (Anzahl der Knoten der maximalen unabhängigen Knotenmenge) seines
-komplementären Graphen o(G) ist. muß die Summe der Variablen xi gleich n sein:
(5.17)
Da GI. (5.17) durch zwei Ungleichungen (eine <n und eine >n ) ersetzt wird. beträgt die gesamte Anzahl der
Restriktionen Jn+2 . Wir fassen nun das Optimierungsproblem für das Auffinden der maxi m a I e 11 n- CI i q u e
mit mini m a I e n Knotenkosten in einem n-partiten Graphen zusammen :
Z ie~funktion
Restriktionen
q
L ci·xi ~ min i"'l q
L hij.xis 1 i=l
q
LXi~ll i"'l
für j = 1, ... ,iii (5.18)
Das Verfahren wird nachfolgend auf einem abstrakten 3-partiten Graphen (entpricht 3 überlappenden Bildern)
demonstriert (Abb. 5.8).
G G
Bild 3
Abb. 5.8 : Maximale Clique im 3-partiten Graphen
-56-
Für den Graphen G bzw. G gilt :
Knotenmenge von G bzw. in G X= X ={ 1, 2, 3, 4, 5, 6 }
-Anzahl der Knoten in G bzw. in G q= lXI = q- =I X I =6
Kantenmenge von G R={ 1, 2, 3, 4, 5, 6, 7, 8 }
- -Kantenmenge von G R ={ 9, 10, 11, 12, 13, 14, 15 }
Anzahl der Kanten in G m= IR I =8
Anzahl der Kanten in G iii =I R I =q(q-1)/2-m=7
Die Graphen werden durch ihren Inzidenzmatrizen explizit beschrieben :
1 0 0 1 0 0 0 0 1 1 1 0 0 0 0
0 1 1 0 1 0 0 0 1 0 0 1 0 0 0
1 0 0 0 1 0 0 0 0 0 1 0 0 HG H-::::
0 0 1 0 0 0 0 G 0 1 0 0 1 1 0
0 0 0 0 0 1 0 0 0 0 1 0 0 1 1
0 0 0 1 0 1 1 0 0 0 1 0 0 1
Wenn c={ 3, 2. 4, 2, 1, 4} die Knotenbewertung ist, dann bekommen wir nach dem Optimierungsproblem GI. (5.18)
die analytischen Formeln für den Graphen der Abb. 5.8 :
Ziezfunktion :
Restriktionen : 1 ( Kante - ) x 1+ x 1 :S r 9
.\'1 + .\'4 :S 1 ( > ,.10 )
.\'1 + .\'5 :S 1 ( > rll )
.\'1 + x5 :S 1 ( > 1'12 )
x3+ x4 :S 1 ( :> ,.13 )
x4+ x5 :S 1 ( > 1'14 )
x5+ x6 :S 1 ( > ,.15 )
x1+ x2+ x3+ x4+ x5+ x6 :S 3
x1+ x1+ x3+ x4+ x5+ x6 <:!: 3
Als optimale Lösung bekommen wir die Knoten 2. 4, 6 :
-Die gewählten Knoten bilden in G eine 3-Clique (Dreieck) und in G eine unabhängige Knotenmenge. Man kann nun
aber die Bewertung der Kantennicht auf die Knoten übertragen, weil die Bewertung eines Knotens (ein Wert) nicht ohne
Informationsverlust die Bewertungen der mit ihm inzidenten Kanten enthalten kann. Aus diesem Grund kann das
Verfahren nicht direkt für die Lösung unseres Problems angewendet werden.
- 57 -
5.4.2 Maximale n-Clique mit minimalen Kantenkosten in einem n-partiten Graphen
In einem n-partiten Graphen mit Kantenbewertung werden die Kosten der Kanten, die eine n-Clique bilden, minimiert.
Dafür werden die binären Variablen xj den Kanten zugeordnet. Somit lautet die zu optimierende Funktion :
m
~ c.·x. ~ min L.J ) ) j=l
(5.19)
Die Restriktionen~ die die Variablen xj erfüllen müssen, sind aus GI. (5.11) abzuleiten. Dafür stehen die Adjazenzmatrix
A und die Inzidenzmatrix H zur Verfügung. In der Adjazenzmatrix werden die Knoten durch die Zeilen und die Spalten
dargestellt und die Kanten durch die nicht-null Elemente (aij=l). Da wegen Symmetrie die Kanten inA doppelt auftreten
und innerhalb von A zerstreut sind, ist die Adjazenzmatrix nicht für die Formulierung der Restriktionen geeignet. In der
Inzidenzmatrix dagegen werden die Knoten durch die Zeilen und die Kanten durch die Spalten dargestellt. Damit ist eine
direkte Beziehung zwischen den Zeilen und den Kanten vorhanden ( d.h. das Element j einer Zeile ist der Kante rj
zugeordnet), was die Formulierung der Restriktionen erleichtert.
Während die Bedingungen (a) aus GI. (5.11) sich auf die Knoten beziehen und nicht direkt auf Kanten übertragbar sind.
können aus (b) folgende Restriktionen für die Kanten abgeleitet werden :
a. Aus jedem Bildpaar darf nur eine Zuordnung ( Kante ) ausgewählt werden :
wobei
kk=k+1
kk=k
r,.,11-l
L xj s 1 für k=1, ... ,n-1 und l=k+ 1, ... ,n \I
ll=k+2
11=1+1
falls l=n
anden~fa lls
b. Die gesamte Anzahl der Kanten in G" ist gleich der Anzahl der Bildpaare :
m
L xi ;?! n(n-1 )12 j=l
(5.20)
(5.21)
In GI. (5.21) ist die Ungleichung " ;?! " benutzt, weil sie von der " s " Beziehung der GI. (5.20) linear
abhängig ist (sie entsteht aus ihrer Summe).
Die Restriktionen nach GI. (5.20) und (5.21) gewährleisten nicht, daß nur ein Punkt ( Knoten ) aus jedem Bild
ausgewählt wird. Eine Kante vom Bildpaar Rik und eine Kante vom Bildpaar Ri1 können somit im Bild i verschiedene
Endknoten haben. Die Bedingung (c) in GI. (5.11), die den Grad jedes Knotens in Gn gleich n-1 setzt, kann zwar als
Restriktion für die Kanten formuliert werden, gilt aber nur als Ungleichung "sn-1" für alle Knoten in G. Um die
notwendigen Restriktionen in linearer Form zu formulieren wird der Begriff "Subgrad" bklPJ eines Knotens Pl·Xk
eingeführt. Der Subgrad gibt die Anzahl der Kanten an, die mit dem Knoten xi inzident sind und zu dem gleichen
Bildpaar Rk1 gehören. Die Summe der Subgrade eines Knotens ergibt seinen Grad :
-58-
k-1
ö(p;) = L öklP) + L öklP) (5.22) 1=1 l=krl
Damit nun von jedem Bild nur ein Knoten ausgewählt wird oder, anders formuliert, jeweils n-1 ausgewählte Kanten
adjazent miteinander sind, muß die Summe jedes Subgrades ök;(xJ mit jedem Subgrad von allen übrigen Knoten im
Bild k kleiner oder gleich 1 sein. Mit Hilfe der Inzidenzmatrix H kann man eine solche Restriktion formulieren :
lu1,111-l ~~.11-:l-1
~ lz .. ·x. + ~ h .. ·x. s 1 L,_; '" J J L,_; '2• J J
(5.23)
wobei kk1 ,kk2 ,11 1 ,112 von k, 11 , 12 abhängig und ähnlich wie in GI. (5.20) definiert sind.
Bildpaar
k, I 1
!
i k i2
~ "~ ' -
Abb. 5.9 : Darstellung der Restriktion (5.23) in der Inzidenzmatrix H
In GI. (5.23) ist die Summe des Subgrads ök,tlPu) des Knotens PaEXk mit dem Subgrad ök,~ip;2) des Knotens p;2EXk kleiner oder gleich 1 (Abb. 5.9). Für jedes Bild k sind q;(qr1)(n-1)(n-2)!2 solche Ungleichungen aufzustellen. Damit ist
die gesamte Anzahl der Restriktionen
(5.24)
Wir fassen nun das neue Optimierungsproblem für das Auffinden der m a x im a I e n n - C I i q u e m i t m in i m a l e n
K an t e n kosten in einem n-partiten Graphen zussamen :
Zielfunktion
Restriktionen
m
L cj · xj ==> min j=l
luu-1 t xj s 1 für k=1, ... ,n-1 und l=k+L ... ,n j=tt,l
m
L xj c:: n(n-1)/2 j=l
lz . . ·x. + t,J J
lz . . ·x. s 1 Z2J J
(5.25)
- 59 -
Wenn nun c={4,3,2,4,1,2,4,1} die Kantenbewertung des Graphen G der Abb. 5.8 ist, erhalten wir für dieses Beispiel
die folgende analytische Formulierung des neues Optimierungsproblems :
Zielfunktion :
Restriktionen : s 1 s 1
x6+ x7+ x
8 s 1
x1+ x2+ x3+ x4+ x5+ x6+ x
7+ x
8 ~ 3
x 1 + x5
s 1 x
2+ x
3+ x
4 s 1
x1 + x2
+ x8
s 1 x
3 + x6+ x
7 s 1
x7+ x8 s 1
x4+ x
5+ x
6 s 1
mit x;E { 0, 1 } für i=1, ... ,8
Als optimale Lösung bekommen wir die Kanten 3, 5, 8 , die in G ein Dreieck (3-Clique) mit Knoten 2, 4, 6 als Ecken
bilden :
_x3 = { 2. 4, 6 } R3 == { 3, 5, 8 }
Man kann nun durch Anwendung eines Algorithmus der binären Programmierung auf das oben definierte
Optimierungsproblem die n-Clique mit minimalen Kantenkosten in einem n-partiten Graphen finden. Da die
Restriktionsmatrix aber wegen Gl. (5.23) keine regelmäßige Struktur hat, wie sie die entsprechende Matrix in Kap. 5.4.1
hatte, stellt diese Formulierung, rechentechnisch gesehen, keine geeignete Lösung dar. Aus diesem Grund wird
nachfolgend eine andere Formulierung vorgeschlagen, die auf die Methode des Kap. 5 .4.1 zurückführt.
5.5 Anwendung des Verfahrens der maximalen unabhängigen Knotenmenge auf einen n·
partiten Graphen mit Kantenbewertung
Um das Verfahren mit der Knotenbewertung von Kap. 5.4.1 auszunutzen, müssen wir einen neuen Graph G'(X',R') kon
struieren, der als Knoten die Kanten von G hat ( X'=R ). Somit entspricht die Minimierung der Kosten der Knoten in
G · der Minimierung der Kosten der Kanten in G . Falls nun die in G' ausgewählten Knoten Kanten in G entsprechen,
die eine Clique bilden, hat diese Clique auch die minimalen Kantenkosten. Es müssen also die Kanten des neuen
Graphen so ausgewählt werden. daß eine u- CI i q u e mit den minimalen Knotenkosten in G' (u=n(n-1)/2)
eine 11 - C I i q u e m i t d e 11 m i 11 i m a I e n K a n t e n k o s t e n in G definiert. Dabei lassen sich zwei Knoten in G'
nur dann durch eine Kante verbinden, wenn die entsprechenden Kanten in G zusammen zu ein und derselben minimalen
Lösung (3- oder 4-Clique) gehören.
Die Konstruktion des Graphen G · wird anband der Abb. 5.10 auf einem 4-partiten Graphen demonstriert. Für den
Graphen G gilt :
Knotenmenge von G
Kantenmenge von G
Anzahl der Knoten
Anzahl der Kanten
X={1, ... ,10}
R={1, ... ,14}
q=[X[=10
m=[R[=14
- 60 -
Bild 2
Bild 1 Bild3
Bild 4
Abb. 5.10 :Beispiel mit einem 4-partiten Graphen
Die Inzidenzbeziehungen zwischen Knoten und Kanten sind aus Abb. 5.10 abzuleiten. Die Knotenmenge X und die
Kantenmenge R lassen sich nach Bildern bzw. Bildpaaren in Teilmengen unterteilen :
x. = { 1, 2, 3. } X2 = { 4, 5 } X
3 = { 6, 7, 8 }
X4
= { 9, 10 }
5.5.1 Konstruktion des Graphen G'(X',R·')
Rtz = { 1, 2 } R13 = { 3, 4, 5, 6 } R14 = { 7, 8 }
R23 = { 9, 10 } R
24 = { 11, 12 }
R34
= { 13, 14 }
Für den Graphen G' ist die Knotenmenge X' gegeben. Sie ist identisch mit der Kantenmenge R von G. Damit der Graph
G' vollständig beschrieben werden kann, müssen auch die Adjazenzbeziehungen zwischen den Knoten definiert werden.
Dafür ist für jede Kante eine Klassifizierung der übrigen Kanten notwendig. Für jedes Bildpaar ij lassen sich die übrigen
Bildpaare in zwei Klassen unterteilen :
- Bildpaare, die entweder das Bild i oder das Bild j enthalten ( R;k , Rß ).
- Bildpaare, die keines der Bilder i und j enthalten ( Rk1 ).
Entsprechend dieser Unterteilung lassen sich für jede Kante rERij von G bzw. für jeden Knoten von G' (z.B. r 1ER12 in
Abb. 5.10) die übrigen Knoten in drei Klassen unterteilen :
a. Knoten, die auch zu Rii gehören : Da in jedem Bildpaar nur eine Zuordnung gewählt wird, darf kein
anderer Knoten von R;j mit r verbunden werden (r1 ist mit r 2 in G' nicht adjazent). Damit sind die
entsprechenden Elemente der Adjazenzmatrix (Dreieck- Submatrix auf der Hauptdiagonale) gleich null.
Wegen dieser Bedingung ist der Graph G' ein u- p a r t i t er Graph.
- 61 -
b. Knoten, die zu den Bildpaaren R;k (k=l, .•• ,n und k;o!i) bzw. Rß (l=l, ... ,n und l;o!j) gehören : Damit
ein Knoten dieser Klasse mit r zur gleichen Clique gehören kann, müssen die entsprechenden Kanten
in G adjazent sein. In Abb. 5.10 z.B. wird r1 mit r5 von R13 aber nicht mit r7 von R14 verbunden.
c. Knoten, die zu den übrigen Bildpaaren Rk1 (k;o!i, j und };o!i, j) gehören : Solche Bildpaare treten bei
4 oder mehr überlappenden Bildern auf. Alle Knoten dieser Klasse werden als mögliche Partner von
r angenommen und mit ihm durch eine Kante verbunden. Es wird ausschließlich durch die
Adjazenzbeziehungen zwischen den Bildpaaren R;k, Rj1 einerseits und R;j bzw. Rk1 anderseits (Knoten
der Klasse b) bestimmt, ob ein Knoten dieser Klasse zu der gleichen Clique mit r gehört. Im Beispiel
von Abb. 5.10 werden alle Knoten von R34 (r13 , r14) mit r1ER12 verbunden. Somit sind alle
entsprechenden Submatrizen der Adjazenzmatrix von G' mit Eins besetzt.
0 0 0 0 0 0 1 1 1 0
0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 1 0 0 0 0 0
0 0 0 1 0 1 0 1
0 0 0 0 0 0 0
0 0 0 0 1 0
A' = 0 0 0
0 0 0 1 0
0 0 0
0 0 0
0 0
0 0
0
Abb. 5.11 : Adjazenzmatrix von G' des Graphen G in Abb. 5.10
Der Graph G' wird durch seine Adjazenzmatrix A' beschrieben. Durch A' läßt sich auch der komplementäre Graph G1
beschreiben, wenn die 0-Elemente (bis auf die Elemente der Hauptdiagonale) durch 1 und die I-Elemente durch 0 ersetzt
werden. Nach dieser Methode erhalten wir die AdjazenzmatrixA' von G' (Abb. 5.11) für denGraphenG der Abb. 5.10.
5.5.2 Formulierung des Optimierungsproblems
Man kann nun das Verfahren des Kap. 5.4.1 auf den Graphen G' anwenden und die u-Clique mit minimalen
Knotenkosten finden. Bei diesem Verfahren wurden die Restriktionen des Optimierungsproblems auf der Inzidenzmatrix
H formuliert. Im vorherigen Kapitel wurde dagegen die Adjazenzmatrix für die Bechreibung des Graphen G' benutzt,
die folgende Vorteile gegenüber der Inzidenzmatrix bietet:
Da die Anzahl der Zuordnungen gewöhnlich größer als die Anzahl der Punkte ist (n(n-1)/2 Bildpaare
gegenüber n Bildern), ist die Dimension der Inzidenzmatrix (qxm) größer als die Dimension der
entsprechenden Adjazenzmatrix (qxq).
Die Adjazenzmatrix kann gleichzeitig sowohl den Graphen G' als auch seinen komplementären Graphen G 1
beschreiben (je nach Interpretation der 0 und 1 Elemente).
- 62-
Wegen Symmetrie kann die Adjazenzmatrix als Dreiecksmatrix gespeichert werden.
Man kan direkt aus den Elementen der Adjazenzmatrix ermitteln, ob zwei Knoten adjazent sind und somit
zur gleichen Clique gehören können. Das ist von großen Bedeutung für den erforderlichen Rechenaufwand
des Baumsuchalgorithmus, der für die Lösung des Optimierungsproblems benutzt wird (Kap. 6).
Aus diesem Grund wird das Optimierungsproblem auf die Adjazenzmatrix umformuliert. Da aus jedem nicht null
Element der Adjazenzmatrix, das eine Kante darstellt, eine Spalte der Inzidenzmatrix abgeleitet wird, können die
Restriktionen der GI. 5.15 auch auf der Adjazenzmatrix formuliert werden:
lVenn und (5.26) i<j X.+ X. S l J
Wenn man nun in GI. 5.17 die Anzahl der Bildern durch die Anzahl der Bildpaare u und die Anzahl der Bildpunkte
q durch die Anzahl der Zuordnungen m ersetzt, bekommt man die neue Restriktion : 111 L .\j = u = n(n-:>-1)
j=l -
(5.27)
Wir fassen nun das neue Optimierungsproblem für· das Auffinden von u-Cliquen in einem u-partiten Graphen G'
zussamen :
111
Zie~funktion "t'"' c • r => min L,; j 'j j~l
111
I;xi~u (5.28)
Restriktionen i"'l
xi + xi s 'V i,jE{1, ... ,m} 1\ i<j 1\ a' .. =0 l,j
Wegen der Konstruktionsart von G' definieren die ausgewählten u-Cliquen mit minimalen Knotenkosten in G n
Cliquen mit den minimalen Kantenkosten. Wenn c={ 4,3,2,4,1,2,4,1,3,5,2,3,3,1 } der Kostenvektor ist, lautet das
Optimierungsproblem für den Graphen der Abb. 5.10 :
Zielfunktion : 4x1+3x2+2x3+4x4+ x 5+2x6+4x1+ x 8+3x9+5x10+2x11 +3x12+3x13+ x 14 ==> min
mit X;E{ 0, 1 } für i=1, ... ,14
Restriktionen :
XI +x2 +x3 +x4 +xs +x6 +x1 +xs +x9 +xlo +xu +xl2 +xl3 +xl4 s6
X I +x2 +x3 +x4 +x5 +x6 +x1 +xs +x9 +xlo +xll +xl2 +xl3 +xl4 ~6
X I +x2 si
X I +xJ sl
X I +x4 sl
X I +x6 sl
X I +x1 sl
X I +xl2 sl
X 2 +xJ sl
X 2 +x4 sl
X 2 +x6 sl
X 2 +x1 sl
- 63 -
X 2 +x9 :d
X 2 +xto :s:l
x2 +xll :s:l
X 2 +xt2 :s:l
X 3 +x4 :s:l
X 3 +xs :s:l
x3 +x6 :s:l
X 3 +xa :s:l
X 3 +xto :s:l
X 3 +xt4 :s:l
X 4 +xs :s:l
X 4 +x6 :s:l
X 4 +xs :s:l
X 4 +xw :s:l
x4 +xt4 :Sl
Xs +x6 :s:l
X 5 +x7 :s:l
xs +x9 :s:l
X 5 +xt3 :s:l
X 6 +x7 :s:l
x6 +xa sl
x6 +x9 :s:l
X 6 +XIO :s:l
X 6 +xt3 :s:l
X 6 +xt4 :s:l
X 7 +xa :s:l
X 7 +xtt :s:l
X 7 +xt2 sl
X 7 +xt4 :s:l
X 8 +xt2 :s:l
X 8 +xt3 :s:l
X 9 +xw :s:l
X 9 +xl2 :s:l
X 9 +xl4 :s:l
xto +xl2 :s:l
XIO +xt3 :s:l
XII +xt2 :s:l
xll +xt3 :s:l
xt2 +xt3 :s:l
xt3 +xt4 :s:l
Als optimale Lösung erhalten wir die Kanten 1, 5, 8, 10, 11 und 14 die in G eine 4-Clique bilden mit :
X 4={2,4, 7,9}
R 4={1,5,8,10,11,14}
C1+C5+c8+C 10+C 11 +C 14=14 = min
- 64-
5.6 Iterative Anwendung zum Auffinden von n-Ciiquen bis 2-Ciiquen
Das Verfahren des Kap. 5.5.1 findet in einem n-partiten Graphen die maximale n-Clique mit den minimalen
Kantenkosten. Durch die Anwendung des Verfahrens auf die mehrfache Punktzuordnung bei n überlappenden Bildern
kann mannBildpunkte (einen in jedem Bild) als Homologe identifizieren und mit der gleichen Gelände-Punktnummer
für die Blockausgleichung versehen. Voraussetzung dafür ist, daß der Objektpunkt in allen Bildern abgebildet ist und
daß alle Bildpunkte auf Grund der gesetzten Ähnlichkeitskriterien einander paarweise zugeordnet sind. In der
photogrammetrischen Praxis sind aber häufig Punkte oder Teile des Objektraums nicht in allen n Bildern abgebildet
(Abb. 4.1), in denen sie auf Grund der Bildüberdeckung auftreten müßten, sondern sind nur in manchen davon sichtbar.
Außerdem kann es vorkommen, daß ein Bildpunkt nicht als markanter Punkt von dem Ioterestoperator erkannt wurde,
oder daß die Zuordnung zwischen zwei markanten Bildpunkten während der robusten Ausgleichung als grob falsch
eliminiert wurde. Wir brauchen deshalb ein Verfahren, das nicht nur n-Tupel von homologen Bildpunkten sondern auch
Tupel niedrigerer Ordnung bis herunter zu einzelnen Paaren von homologen Bildpunkten findet. Da es bei n teilweise
überlappenden Bildern ~ mögliche k-Tupel von überlappenden Bildausschnitten gibt, müßten wir das Verfahren, "'!\n-,.,,!
um nur alle homologen Bildpunkte zu finden, die in n-1 Bildern auftreten ( [n-1]-Clique im [n-1]-partiten Graphen ),
n mal wiederholen. Aus diesem Grund müssen wir das Verfahren so erweitern, daß nicht nur die maximalen n-Ciiquen
in einem n-partiten Graphen gefunden werden, sondern iterativ alle Cliquen niederer Ordnung bis herunter zu
Punktepaaren bestimmt werden können, ohne daß neue Graphen konstruiert werden müssen.
Zu diesem Zweck reicht es nicht, in der Restriktion GI. (5.27) die Anzahl der Kanten einer [n-1]-Clique zu setzen. Der
Grund dafür sind die Annahmen, auf die die Konstruktion des Graphen G' gestützt wurde. Für das Auffinden der
maximalen n-Clique müssen bei der Konstruktion von G' zwei Bedingungen erfüllt werden :
Zwei Kanten von dem gleichen Bildpaar dürfen in G' nicht adjazent sein.
Zwei Kanten von verschiedenen Bildpaaren sind in G' adjazent entweder, wenn die Bildpaare kein gemeinsames
Bild haben, oder andernfalls nur, wenn sie in G auch adjazent sind.
Bild 3
Bild 2
G~. ( a) (b)
Abb. 5.12 :Beispiele von drei Kanten in einem 5-partiten Graphen
Da die Anzahl der Knoten der maximalen Clique in G'gleich der Anzahl der Bildpaare ist, gewährleistet die Restriktion
GI. (5.27) die Richtigkeit der Lösung. Wenn wir aber eine Clique niedriger Ordnung, z.B. eine k-Clique, in einem n
partiten Graphen finden wollen, entfällt die Identität zwischen der Anzahl der Kanten der k-Ciique und der Anzahl der
Bildpaare (Cliquenzahl von G'). Die folgenden zwei Beispiele eines 5-partiten Graphen (Abb. 5.12) zeigen, daß strengere
Bedingungen für die Konstruktion von G' gestellt werden müssen. In (Abb. 5.12a) gehören jeweils zwei Kanten
bezüglich der dritte Kante zu der Klasse b und sind somit in G' paarweise adjazent. Sie werden von dem Algorithmus
als eine 3-Clique erkannt. Im zweiten Beispiel (Abb. 5.12b) gehört die Kante r45 bezüglich der Kanten r12 und r23 zu der
- 65 -
Klasse c und ist somit mit ihnen in G' adjazent. Die Kanten r12 und r23 sind in G adjazent (Klasse b) und deswegen auch
in G '. Die drei Kanten bilden nun in G' auch eine 3-Clique. Da alle Bedingungen sich auf die Kanten beziehen, kann
in beiden Fällen nur nachträglich ermittelt werden, daß den drei Kanten in G nicht drei Punkte zugeordnet sind, d.h. eine
3-Clique bilden, sondern vier bzw. fünf.
Es müssen also die Bedingungen, die die Knoten der Klasse b und c bezüglich eines Knotens rijER1j erfüllen müssen,
um mit r1j in G' adjazent sein, neu gestellt werden :
b. Knoten, die zu den Bildpaaren R1k (k=l, ... ,n und k;o!i) bzw. Rj1 (l=l, ... ,n und lll'j) gehören: Damit ein Knoten
r1kER1k dieser Klasse mit r1j zur gleichen Clique gehören kann, müssen die entsprechenden Kanten r1j , r1k in G
adjazent sein und muß im Bildpaar Rjk eine Kante existieren, die mit dessen beiden Kanten adjazent ist. In
Abb. 5.13 ist der Knoten rij mit r1k in G' adjazent,weil auch die Kante rjk im Bildpaar Rjk mit beiden Kanten in
G adjazent ist (im Beispiel von Abb. 5.10 wird r1ER12 mit r5 ER13 verbunden, weil r10ER23 mit r1 und 1·5 adjazent
ist)._
•
Bild j
/---------~
( ) /
Bild I
Abb. 5.13 :Kanten der Klasse (c) im G
c. Knoten, die zu den übrigen Bildpaaren Rk1 (k;o!ij und lll'ij) gehören : Zwei Kanten von verschiedenen
Bildpaaren R 1j, Rk1 in G (Abb. 5.13), die nicht miteinander adjazent sein können, können zu der gleichen n-Clique
( n2:4 ) nur dann gehören, wenn in allen Bildpaaren R 1k, R1b Rjk und Rj1 Kanten existieren, die mit den beiden
Kanten adjazent sind. In Abb. 5.10 gehören r 1 und r14 zu der gleichen 4-Clique, weil r 5ER13, 1'8ER14, r10ER23 ,
r11 ERu mit ihnen adjazent sind. Somit werden zwei Knoten von verschiedenen bildfremden Bildpaaren in G'
verbunden, wenn sie diese Bedingung erfüllen.
Wir erhalten nun die neue Adjazenzmatrix von G ':
- 66 -
0 0 0 0 1 0 0 0 1 1 0 0 1
0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 1 0 0 0 0 0 1 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 1 0 1 1 0 0 1
0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 1 0
0 0 0 0
0 0 0 0 0 0
0 0 0
0 0 0 1
0 0 0
0 0
0
Wegen der strengeren Bedingungen, die für die Konstruktion des Graphen G' gestellt wurden, besitzt die neue
Adjazenzmatrix mehr 0-Elemente als die vorherige, was zusätzlichen Restriktionen in unserem Optimierungsproblem
entspricht :
X I +x9 sl
X I +xl3 sl
X 2 +xs sl
X 2 +x
13 sl
X 2 +xl4 sl
X 3 +xg sl
X 3 +xll sl
X 3 +xl2 s1
X 4 +x7 sl
X 4 +XII sl
X 4 +xl2 sl
X 5 +xl2 sl
X 6 +xu sl
X 6 +xl2 s1
X 7 +x9 sl
X 7 +xlo sl
+xs +x9 sl
x9 +xll sl
X 9 +xl3 sl
xl2 +xl4 sl
. 67 .
Die iterative Anwendung des Verfahrens wird auf dem
Graphen G der Abb. 5.10 demonstriert. Da der Graph G ein
4-partiter Graph ist, werden 3 Schritte benötigt, um alle
Cliquen zu finden ( 4-, 3- und 2-Cliquen). Der ursprüngliche
Graph wird noch einmal in Abb. 5.14 abgebildet. Die wäh
rend des Ablaufs des Verfahren als richtig gewählten oder als
falsch eliminierten Kanten (Zuordnungen) werden in einer
Tabelle markiert. Die richtigen Kanten werden durch die
fortlaufende Nummer der Clique, die sie bilden, markiert (in
den Abbildungen stark hervorgehoben) und die falschen durch
einen Stern (*) gekennzeichnet. Die leeren Stellen in der
Tabelle bedeuten, daß die Kanten dem weiteren Prozeß zu
Verfügung stehen.
7 8 9 10]11j 121131141 f------+---+-+---t----+-+----+-----+- ---r------ !---Status
'--------'---'------'------'---------'---'-----'------ ---- --- --- - ----- - ---
Kante 1 2 3 5 6 4
Sc h r i t t 1 : Suchen von -1 - C I i q u e n
Im ersten Schitt wird in GI. (5.27) u=6 gesetzt. Als beste
Lösung bekommen wir die Kanten 1, 5, 8, 10, 11, 14. Sie
definieren die 4-Clique mit den Knoten 2, 4, 7, 9. Die Kanten
2, 9, 12, die mit Knoten der Clique inzident sind, werden als
falsch markiert und von dem weiteren Suchen nach weiteren
Cliquen ausgeschlossen. Da es keine andere 4-Clique gibt, ist
der l.Schritt abgeschlossen.
Kante 1 2 3 4 5 6 7 10 11 12 13 14
Status 1 * 1 1 1 * 1 --
Sc h r i t t 2 : Suchen von 3 - CI i q u e n
Im zweitem Schritt wird u auf 3 reduziert. Als beste Lösung
erhalten wir die Kanten 3, 7, 13, die die 3-Clique mit den
Knoten 1, 6, 10 definieren. Diese Clique bekommt die
Nummer 2. Die Kante 4, die mit dem Knoten 1 inzident ist,
wird als falsch markiert.
Kante 1 2 3 4 5 6 7 8 9 10 11 12 13 14
Status 1 * 2 * 1 2 1 * 1 1 * 2 1 -- '------ "-
Bild I!
Bild 1 Blld3
Bild 4
Abb. 5.14 : Graph G vor dem 1. Schritt
Bild Blid3
~) Bild 4
Abb. 5.15 : Graph G nach dem 1. Schritt
Bild 4
Abb. 5.16: Graph G nach dem 2. Schritt
- 68 -
S c h r i t t 3 : Suchen von 2 - C l i q u e n
Im letzten Schritt wird u auf 2 gesetzt. Die Kante 6, die als
einzige nicht markiert ist definiert eine 2-Clique (Punktepaar)
mit den Knoten 3 und 8. Nachdem alle Kanten markiert sind,
ist die Aufgabe, alle möglichen Cliquen in G zu finden,
abgeschlossen.
Kante 1 2 3 4 5 6 7 8 9 10 11 12 13 14
Status 1 * 2 * 1 3 2 1 * 1 1 * 2 1
Sild 2
81/dt 0
Bild 4
Abb. 5.17: Graph G nach dem 3. Schritt
Von den ursprüngligen 14 Zuordnungen (Kanten) wurden 10 für die Zuordnung der homologen Punkte ve1wendet und
die übrigen als falsch eliminiert. Die Ergebnisse sind in der folgenden Tabelle zusammengestellt :
I Bildpunkte II Zuordnungen ID @I xl I X:! I x3 I x4 II R12 I R13 I Rl4 I R23 I R24 I R34 I~
4 2 4 7 9 1 5 8 10 11 14 14
3 1 -- 6 10 -- 3 7 -- -- 13 9
2 3 -- 8 -- -- -- 6 -- -- -- 2
- 69 -
6 Baumsuchalgorithmus für das Zuordnungsproblem
6.1 Einführung
Im vorherigen Kapitel wurde das Problem der mehrfachen Merkmalszuordnung mit Hilfe der Graphentheorie als eine
Optimierungsaufgabe im Sinne der binären Programmierung formuliert. Die Aufgabe kann nun mit jedem Algorithmus
der binären Programmierung gelöst werden. Während für die Lösung von Optimierungsproblemen mit reellen Variablen
die Simplex Methode dominiert. gibt es in der ganzzahligen bzw. binären Optimierung keine Methode, die allgemein als
beste akzeptiert wird. Die Auswahl eines geeigneten Algorithmus ist von den spezifischen Merkmalen des Optimierungs
problems abhängig. Dabei muß man entscheiden, ob der Algorithmus nach endlich vielen Rechenschritten beendet sein
soll und op er die beste oder eine hinreichend gute Näherung der besten Lösung finden soll. Von dieser Entscheidung
sowie von der Dimension des Optimierungsproblems (Anzahl der binären Variablen und Anzahl der Restriktionen) ist
der benötigte Rechenaufwand abhängig. Der Algorithmus, der hier für die Lösung des Zuordnungsproblems verwendet
wird, muß den gestellten Forderungen nach Genauigkeit und Schnelligkeit genügen. Im diesem Kapitel wird ein Algo
rithmus ausgewählt, der am besten diese Forderungen erfüllt, und an die spezifischen Merkmale des Problems angepaßt.
Die Effizienz des Algorithmus wird durch rechnerische Simulation ermittelt. Auf Grund der ermittelten Rechenzeiten
wird anschließend versucht. die Größe des Optimierungsproblems zu begrenzen, um die kombinatorische Explosion zu
vermeiden. Das geschieht durch die Zerlegung des Graphen der Zuordnungen in seine zusammenhängenden Kompo
nenten und die Formulierung des Optimierungsproblems auf jeder Komponente getrennt.
6.2 V erfahren der binären Progran1n1ierung
Die Variablen xi in der binären Optimierung dürfen nur die Werte 0 oder 1 bekommen. Damit ist eine Lösung eine
Kombination von 0 und 1 für die Variablen xi , die die Zielfunktion optimieren, ohne eine Restriktion zu verletzten.
Da nun die binären Optimierungsprobleme von kombinatorischer Natur sind, muß der entsprechende Algorithmus
einerseits möglichst einfach und anderseits sehr effizient sein, damit man Probleme von großer Ordnung schnell lösen
kann. Die Effizienz wird aber bei manchen Algorithmen durch Kompromisse erkauft. So liefern manche Algorithmen
nicht die beste Lösung sondern nur eine gute Näherung der besten Lösung, was für viele Probleme ausreichend ist. Bei
anderen Algorithmen. die iterativ die beste Lösung finden, ist die Konvergenz nicht garantiert, d.h. es ist nicht sicher,
daß der Algorithmus nach endlich vielen Rechenschritten die beste Lösung findet. Alle diese Faktoren müssen bei der
Auswahl des Algorithmus berücksichtigt werden, um für das spezifische Problem eine effiziente Lösung zu erreichen.
Die Verfahren der binären Optimierung lassen sich grundsätzlich in zwei Gruppen unterteilen [NEUMANN 1975,
MINOUX 1986]:
- Schnittebenenverfahren (Algorithmus von Gomory )
- Kombinatorische Verfahren ( Branch-and-Bound-Ve1jahren )
Bei den Schnittebenenverfahren werden die binären Variablen indirekt durch die Lösung des entsprechenden allgemeinen
Optimierungsproblems ( reelle Variablen ) bestimmt. Dabei wird mit der Simplex Methode die beste Lösung ermittelt,
die allgemein aus reellen Werten für die Variablen besteht. Wenn alle Variablen nur die Werte 0 und 1 bekommen
haben. ist die Aufgabe gelöst. anderfalls werden zusätzliche Restriktionen (Sc h n i t t e b e n e n ) in das Optimierungs
problem eingeführt. die diese beste Lösung unzulässig machen, ohne eine mögliche ganzzahlige oder binäre Lösung aus
zuschließen. Das Verfahren wird \viederholt. bis alle Variablen binäre Werte erhalten. Die Schnittebenenverfahren
konvergieren theoretisch nach einer endlichen Anzahl von Schnittebenen. Es kann aber sein, daß der Wert der Ziel-
- 70-
funktion eine Ebene erreicht und dort für eine extrem große Anzahl von Schnittebenen bleibt [GILLETT 1976]. Dieser
Aspekt in Verbindung mit der Tatsache. daß die entsprechenden Algorithmen Gleitkommaoperationen verwenden,
bewirkt durch die zunehmenden Rundungsfehler. daß eine optimale Lösung, wenn sie erreicht wird, unzuverlässig sein
kann. Wenn solche Probleme nicht auftreten. finden diese Verfahren bei Optimierungsproblemen großer Ordnung die
optimale Lösung schneller als die kombinatorischen Verfahren.
Im Gegensatz zu den Schnittebenen-Verfahren führen die kombinatorischen Verfahren direkt zu der Bestimmung der
binären Variablen. Dabei handelt es sich um Suchverfahren in Bäumen. Wenn in einem solchen Baum eine
Kante für die Auswahl einer Variablen steht. dann stellen die Knoten die verschiedenen möglichen Lösungen dar und
die Äste die Lösungswege. Die allgemeinen Merkmale eines Baumalgorithmus sind :
- Er ist leicht verständlich.
- Er ist leicht auf ein bestimmtes Problem anzupassen.
- Er läßt sich ohne großen Aufwand für einen Rechner programmieren.
- Die obere Schranke für die Zahl der im Algorithmus erfoderlichen Rechenschritte ist von der Ordnung 0(2m),
wobei m die Anzahl der Variablen ist.
Die drei erstgenannten Merkmale sind ohne Zweifel von großem Vorteil. Das vierte Merkmal dagegen ist nachteilig.
denn der Rechenaufwand steigt exponentiell mit der Anzahl der Variablen. Die einfache Methode, ein binäres Opti
mierungsproblem zu lösen. besteht darin. alle möglichen 2'n Lösungen aufzuzählen und daraus diejenige auszuwählen,
die die Restriktionen erfüllt und die Zielfunktion optimiert. Dafür können sogenannte ' u n in form i er t e · oder
· b 1 in d e ' Algorithmen, wie der ' d e p t h f i r s t ' oder ' b r e a d t h f i r s t • Algorithmus, die sequentiell alle Äste
des Lösungsbaums durchlaufen. Verwendung finden. Da sich aber der Rechenaufwand bei jeder zusätzlichen Variablen
verdoppelt, sind solche Verfahren nur auf Optimierungsprobleme mit wenigen Variablen anwendbar. Man versucht
deshalb die Suche in dem Lösungsbaum zu beschleunigen, indem man eine optimale Lösung findet, ohne alle Äste des
Baumes explizit zu untersuchen. Dafür benutzen die entsprechenden Algorithmenheuristische Informationen über
das Problem, um den vielverprechendsten Lösungsweg zu wählen ('in form i er t e ' oder h e u r i s t i s c h e
Algorithmen). Um zwischen zwei oder mehreren
Lösungswegen wählen zu können. wird mit Hilfe
einer heuristischen Schätzfunktion das "Ver-
sprechen" jedes Lösungswegs gemessen. Diese heuri
stische Schätzfunktion, die für jeden Knoten des
Lösungsbaums berechnet wird, kann von diesem
Knoten, von den vorherigen Knoten in dem selben
Ast, oder von den nachfolgenden Knoten abhängig
sein. Heuristische Suchverfahren ( ' b es t f i r s t • ,
A *) finden breite Anwendung im Bereich der
Künstlichen Intelligenz, wo es Optimierungsprobleme
von sehr großer Ordnung zu lösen gibt. Die meisten
der von diesen Algorithmen benutzten Heuristiken
reduzieren zwar den Rechenaufwand enorm. geben
aber gleichzeitig die Garantie auf. daß die ermittelte
Lösung die beste ist.
000 001 010 011
000 001
010 011
100 101 110 111
~
100
101 110 111
Abb. 6.1 : Lösungsbaum eines Problems mit 3 Variablen
Eine ähnliche Strategie benutzen die B ranch-an d- B o und- Methoden . die in der binären Programmierung
Anwendung finden. Bei diesen Methoden versucht man auf Grund geeigneter Kriterien, von der großen Anzahl der
möglichen Lösungen, die ein Lösungsbaum enthält. große Zweige abzuspalten, die als optimale Lösung nicht in Frage
kommen können. Dafür wird die Menge aller möglichen Lösungen sukzessiv in immer kleinere und nicht überlappende
Teilmengen unterteilt ( B r a n c h in g) und eine untere oder obere Schranke für die Kosten einer Lösung innerhalb
- 71 -
einer Teilmenge berechnet ( B o und in g). Das Prinzip des Branching ist durch die Baumstruktur der Abb. 6.1 für
ein Problem mit drei Variablen dargestellt [THESEN 1978]. Die Wurzel des Baumes umfaßt die Menge aller möglichen
Lösungen und die Knoten geben die verschiedenen Klassen von möglichen Lösungen an. Die Endknoten stellen die
einzelnen Lösungen dar. Die Unterteilung entsteht durch die Auswahl einer Variablen und die Generierung einer
Abb. 6.2 : Festlegung der Werte der Variablen
Teilmenge von möglichen Lösungen für jeden der beiden Werte (0,1), die die Variable annehmen kann. Das hat zur
Folge, daß der Lösungsbaum binär ist. d.h. von jedem Knoten gehen nur zwei Äste aus. Die Baumstruktur der Abb. 6.2
spezifiziert, wo und wie in den verschiedenen Phasen die Werte der Variablen festgelegt wurden. Offensichtlich
bekommt man einen anderen Lösungsbaum, wenn sich die Reihenfolge bei der Auswahl der Variablen ändert. Die
meisten Branch-and-Bound-Algorithmen arbeiten ebenenweise. Das bedeutet, daß auf jeder Teilebene, die durch die zwei
möglichen Werte der gewählten Variablen definiert ist, eine Schranke für die Kosten der besten Lösung berechnet wird.
Diese Schranke gilt für jeden Knoten. der aus dieser Teilebene entsteht. Die Teilmengen, deren Kosten die Kosten einer
schon bekannten möglichen Lösung überschreiten, werden von der weiteren Unterteilung ausgeschloßen. Die Lösungen
nun, die in diesen Teilmengen enthalten sind, hat man implizit untersucht. Danach hängt die Effizienz eines Branch und
Bound Algorithmus von der Art der B o und in g- Funktion ab, die die Schranke berechnet (sie entspricht der
heuristischen Schätzfunktion bei den Suchverfahren der Künstlichen Intelligenz), sowie von den Kriterien, die die
Reihenfolge bei der Auswahl der Variablen bestimmen. Dafür werden wie bei den Verfahren der Künstlichen Intelligenz
Heuristiken verwendet. Dabei muß der für die Berechnung der Bounding-Funktion und für die Auswahl des optimalen
Lösungsweges benötigte Aufwand deutlich niedriger liegen als für eine explizite Lösung. Die Branch-und-Bound
Verfahren sind eher eine Lösungsstrategie als konkrete Algorithmen und können leicht auf spezifische Probleme angepaßt
werden. Es gibt soviele Branch-and-Bound-Algorithmen, wie es Kriterien gibt, die für das branching und bounding
verwendet werden können.
6.3 Der additive Algorith1nus von Balas
Als Basis für die Lösung des oben formulierten binären Optimierungsproblems wird hier der a d d i t i v e
A I gor i t h m u s von Ba 1 a s [BALAS 1965, NEUMANN 1975] verwendet. Der additive Algorithmus ist ein spezieller
Branch und Bound-Algorihmus zur Lösung binärer linearer Optimierungsprobleme mitpositiven Kosten c j • Das
letzte bedeutet praktisch, daß durch die Auswahl einer zusätzlichen Variable in einer Lösung der Wert der Zielfunktion
- 72-
größer wird oder gleich bleibt. Der Ansatz ist eine im p I i z i t e E n u m e r a t i o n , da man systematisch alle möglichen
Lösungen aufzählt. Im Gegensatz zu den meisten Branch und Bound Verfahren arbeitet der additive Algorithmus
astweise, d.h. der Lösungsbaum vdrd jeweils entlang nur eines Astes von einem gegebenen Knoten bis zu einem
Endknoten untersucht. Es wird also zunächst nur die Teilmenge der möglichen Lösungen betrachtet, die Nachfolger des
gegebenen Knotens sind. Der Graph aller möglichen Lösungen hat eine andere Struktur, wie in Abb. 6.3 dargestellt ist.
Von jedem Knoten können m-k verschiedene Äste ausgehen, wobei m die Anzahl der binären Variablen und k die
Anzahl der bis zu diesem Knoten ausgewählten Variablen ist. In diesem Graphen wird durch den additiven Algorithmus
der Lösungsbaum aufgespannt. Eine Kante bedeutet nun die Auswahl einer Variablen, wenn man sich in Richtung auf
die Endknoten (Blätter) bewegt, und das Verwerfen dieser Variablen, wenn man sich in Richtung auf die Wurzel bewegt
(Abb. 6.4). Der Lösungsgraph hat m+l Ebenen (O, ... ,m). Die k-te Ebene enthält die Teilmenge aller Lösungen, in der
k Variable den Wert 1 haben und m-k Variable den Wert 0 haben. Damit hat die k-te Ebene ( 7) verschiedene
Lösungen. Um Redundanz zu vermeiden und den Algorithmus nach endlich vielen Schritten zu beenden, muß die
Information darüber gespeichert werden, welche Teilmengen bereits untersucht worden und welche noch zu untersuchen
sind. Damit wird jeder Knoten im Graphen der Abb. 6.3 nur einmal erreicht.
Eine Lösung ist zulässig, wenn die ausgewählten Varia
blen allen Restriktionen genügen. Eine zulässige Lösung
dominiert eine andere zulässige, wenn sie einen kleineren
Wert der Zielfunktion hat. Untersucht man alle Lösungen
systematisch auf ihre Zulässigkeit, können einige der
Lösungen, die bisher nicht geprüft worden sind, von den
bis jetzt besten zulässigen Lösungen dominiert werden.
In diesem Fall ist es nicht mehr notwendig, sie explizit
zu überprüfen. Nach endlich vielen Schritten sind alle
Äste direkt oder implizit untersucht. Das Ergebnis ist
entweder die optimale Lösung oder die Feststellung, daß
keine zulässige Lösung existiert. Die Effizienz des
Algorithmus ist von der Lösung der folgenden Aufgaben
abhängig :
- Auswahl der nächsten Variablen
- Entscheidung ob ein Knoten Endknoten ist oder nicht
- Realisierung des Rückwärtsschritts
Abb. 6.3 : Lösungsgraph für 3 Variablen
Ein Knoten wird als Endknoten bezeichnet. wenn seine Nachfolger nicht untersucht werden müssen. Dafür wird nach
der Auswahl einerneuen Variablen (xj=l) in einer Lösungaufgrund strenger Kriterien überprüft, ob einer der folgenden
drei Fälle vorliegt:
a. Die bis jetzt ausgewählten Variablen stellen eine zulässige Lösung dar.
b. Unter den Zweigen, die von der zuletzt ausgewählten Variablen (Knoten) ausgehen, gibt es keine zulässige Lösung.
c. Unter denselben Zweigen gibt es keine zulässigen Lösungen. die besser als die beste bisher ermittelte zulässige Lösung sind.
Liegt Fall ( a) vor, so braucht die Gültigkeit von (b) und ( c) nicht mehr geprüft werden. Ebenso erübrigt sich die
Untersuchung von (c), wenn Fall (b) gegeben ist. Trifft einer der Fälle (a), (b) oder (c) zu, so sind alle Äste des
Lösungsbaums, die von diesem Knoten ausgehen, implizit untersucht. In diesem Fall setzt der Algorithmus die zuletzt
- 73 -
ausgewählte Variable auf 0 und kehrt damit zu dem Vorgänger Knoten zurück, um von dort aus einen neuen Ast zu
untersuchen. Die Auswahl einer neuen Variablen erfolgt auch aufgrund scharfer Verwerfungsregeln, um den vielver
sprechendsten Lösungsweg zu finden. Damit findet der Algorithmus schnell eine gute Lösung. Je schneller eine gute
Lösung erreicht wird, um so niedriger ist die obere Schranke für die Kosten aller übrigen nicht untersuchten Lösungen
und umso größere Äste werden damit implizit untersucht.
Ohne auf die mathematische Darstellung der benutzten Kriterien einzugehen, wird hier die Effizienz des Algorithmus
an einem kleinen Beispiel demonstriert. Das folgende binäre Optimierungsproblem enthält 3 Variablen, die 2
Restriktionen erfüllen müssen :
3x1-2x
2+ x
3 :s; 2
-2xl + x2- x3 :s; -1 (6.1)
Der Lösungsbaum ist in der Abb. 6.4 dargestellt. Als Basislösung dient der binäre Vektor x0=[000] und als obere
Schranke für die Zielfunktion !l=oo. Offensichtlich erhält die Zielfunktion durch diese Lösung den Wert 0 (<I>(x0)=0).
Da keiner der oben erwähnten Fälle vorliegt, fährt der Algorithmus mit der Auswahl der vielversprechendsten Variablen
x3 fort. Damit bekommen wir die Lösung x1=[001 ]. Diese Lösung genügt beiden Restriktionen und ist somit eine
zulässige Lösung ( Fall ( a) ). Der Wert der Zielfunktion <l>(x1) wird jezt als neue obere Schranke benutzt ( s1 =3 ). Der
Algorithmus untersucht die Äste nicht weiter, die von
dieser Lösung ausgehen, weil durch die Auswahl
einer zusätzlichen Variablen der Wert der Zielfunk
tion verschlechtet würde und mindestens eine Restrik
tion nicht erfüllt würde. In der Lösung x1 wird
deshalb die Variable x3 wieder auf 0 gesetzt, um
damit zu dem Vorgänger Knoten x0 zu gelangen. Als
nächste wird die Variable x 1 gewählt. die die neue
Lösung x2=[100] liefert. Da es unter dem Nachfolger
von x2 keine zulässige Lösung gibt. die besser als die
beste bisher ermittelte zulässige Lösung x1 ist (z.B.
die zulässige Lösung [11 0] ergibt für die Zielfunktion
den Wert 5 > s1 ), liegt der Fall (c) vor, und damit
Abb. 6.4 : Lösungsbaum des Beispiels GI. 6.1
sind die Nachfolger von x2 implizit untersucht worden. Mit x1=0 kehrt der Algorithmus zu der Lösung x0 zurück. Unter
den Nachfolgern von x0, die nicht untersucht wurden, gibt es keine zulässige Lösung ( Fall (b) ). Damit hat der
Algorithmus mit nur 2 Vonvärts- und 2 Rückwärtsschritten die optimale Lösung erreicht und bewiesen daß es keine
andere bessere gibt. Bei einer expliziten Enumeration würden 7 Vorwärts- und 7 Rückwährtsschritte benötigt. Wegen
der benutzten strengen Kriterien erreicht der Algorithmus zwar schnell die beste Lösung (im Beispiel im 1. Schritt ),
benötigt aber die mehrfache Zeit um zu beweisen, daß keine andere bessere Lösung existiert.
Man muß noch zwei weitere V orteile des Algorithmus erwähnen. Der erste ist, daß in den für das Verfahren
grundlegenden mathematischen Formeln nur Additionen bzw. Subtraktionen vorkommen (additiver Algorithmus), die
vom Rechner viel schneller als Multiplikationen und Divisionen berechnet werden. Der zweite Vorteil daß der
Speicherplatzbedarf von der Anzahl der erforderlichen Iterationsschritte unabhängig ist, im Gegensatz zu vielen anderen
Branch-and-Bound-Methoden. Ein entscheidender Faktor für den benötigten Rechenaufwand ist auch die Anzahl der
Restriktionen. Mit zunehmender Anzahl von Restriktionen verringert sich einerseits die Anzahl der zulässigen Lösungen
und damit die Anzahl der explizit zu untersuchenden Äste im Lösungsbaum. anderseits aber muß die Zulässigkeit einer
- 74 -
Lösung auf mehr Restriktionen überprüft werden, was wieder zusätzlichen Rechenaufwand bedeutet. Das gleiche gilt
für die Kriterien, die für die Auswahl der nächsten Variablen in einer Lösung angewendet werden. Diese Kriterien
untersuchen die Restriktionen, um die vielversprechendste Variable als nächste zu wählen. Eine Schätzung für den
Rechenaufwand bezüglich der Anzahl der Variablen und der Restriktionen ist nicht möglich. Es bleibt nur die Angabe
der oberen Grenze für die erforderlichen Rechenschritte, die aber, wie das Beispiel gezeigt hat, von den wirklich
benötigten Rechenschritten stark abweicht. In der Literatur findet man Angaben über die Rechenzeit von numerischen
Versuchen, die aber wegen der Entwicklung in der Computertechnologie überholt sind.
6.4 Anpassung des Algorith1nus an das spezifische Optimierungsproblem
Schon die ersten Versuchsberechnungen zeigten, daß eine direkte Anwendung des Algorithmus für die Lösung unseres
Problems der gestellten Forderung auf Schnelligkeit nicht genügen würde. Der Algorithmus hat für das Auffinden aller
Cliquen in einem 4-partiten Graphen mit 12 Knoten und 24 Kanten 10 Minuten (max. 1.7*107 Schritte) auf einem PC
AT mit 10 MHz gebraucht. Diese Rechenzeit ist auf 8 Stunden gestiegen für den Fall eines 5-partiten Graphen mit 15
Knoten und 40 Kanten ( max. 1.1 * 1012 Schritte). Deshalb wurde der Algorithmus den spezifischen Merkmalen des in
Kap. 5.4 formulierten Optimierungsproblems angepaßt. Das einzige Merkmal unseres Optimierungsproblems, das der
Algorithmus unmittelbar berücksichtigt, sind die positiven Kosten der Variablen. Das ist zwar sehr wichtig, weil alle
Heuristiken, die der Algorithmus benutzt. sich auf dieses spezielle Merkmal stützen, es ist aber, wie die Ergebnisse
zeigen, unzulänglich. Die übrigen heuristischen Informationen über das Optimierungsproblem muß der Algorithmus durch
rechenaufwendige Untersuchung der Restriktionen gewinnen. Die Informationen über die spezielle Struktur des
Optimierungsproblems, daß es sich nämlich um das Auffinden der besten n-Clique in einem n-partiten Graphen handelt,
sind in der großen Anzahl der Restriktionen verteilt. Es wird nun versucht, mindestens einen Teil dieser Informationen
algorithmisch darzustellen und in den additiven Algorithmus zu integrieren.
I n=4 u=6 m=24 I n=5 u=10 m=40 I mu
0 11=4·103 t2=106
m!/(m-u)! ·u! 33·t1 808·t2
2m 4·103 ·t1 106 ·t2
Abb. 6.5 : Maximal elforderliehe Rechenschritte
Die oben erwähnte obere Schranke für die erforderlichen Rechenschritte 0(2m) wird durch die Anzahl der Variationen
(mit Wiederholung) von m binären Variablen bestimmt und gibt die Anzahl der Zweige im Lösungsbaum an, die explizit
oder implizit untersucht werden müssen. Wenn man die in GI. (5.25) formulierten Restriktionen näher betrachtet. stellt
man fest, daß nur u-Tupel der Variablen eine zulässige Lösung darstellen. Das verringert die Zahl der erforderlichen
Rechenschritte auf m! ( Anzahl der Kombinationen von m Variablen zur u-ten Klasse ). Wenn man
(m-u)! · u!
zusätzlich berücksichtigt, daß von jedem Bildpaar nur eine Kante ausgewählt werden solL dann werden die
u
Rechenschritte noch einmal auf I1 m1
reduziert, wobei m1 die Anzahl der Zuordnungen im Bildpaar i ist. Wenn man i~J
nun annimmt, daß die durchschnittliche Anzahl von Zuordnungen pro Bildpaar m0 ist, kann man die maximal
- 75 -
erforderlichen Rechenschritte berechnen. In der Tabelle der Abb. 6.5 sind die maximal erforderlichen Rechenschritte
für die oben eingeführten Beispiele ( 4 bzw. 5 Bilder mit jeweils 4 Zuordnungen pro Bild paar) zusammengestellt. Der
Vergleich zeigt, daß die Integration der Information über die Restriktionen in den additiven Algorithmus zu einer
enormen Reduzierung des Rechenaufwandes führt. Das Gewinn wird außerdem mit zunehmender Anzahl der Variablen
größer.
Die Reduzierung der erforderlichen Rechenschritte beruht auf der speziellen Struktur der Restriktionsmatrix. Mit
Ausnahme der 2 Restriktionen der GI. (5.27) sind in jeder Restriktion der Gl. (5.26) nur zwei Koeffizienten gleich 1
und die übrigen gleich 0. Jede dieser Restriktionen verhindert, daß die entsprechenden Variablen in einer Lösung
auftreten, weil sie Kanten zugeordnet sind, die miteinander nicht adjazent sind. Es sind diejenigen Kanten, deren
entsprechende Elemente in der Adjazenzmatrix A' gleich 0 sind. Man kann nun nach Auswahl einer Kante ri alle Kanten
rj markieren, die nicht mit ri zur gleichen Clique gehören können ( a'ij=O ), und sie von der nächsten Auswahl direkt
ausschließen. Damit hat der Algorithmus nur zwischen Kanten zu wählen, die mit allen schon gewählten Kanten adjazent
sind. Während des Rückwärtsschritts. in dem die zuletzt ausgewählte Variable wieder auf 0 gesetzt wird, werden alle
Kanten, die wegen der Adjazenzbeziehungen mit der letzten Variablen markiert wurden, zur Auswahl freigegeben. Es
bleiben somit nur die Restriktionen der GI. (5.27). Sie bestimmen, daß eine zulässige Lösung u Kanten enthalten muß
(maximale Clique im u-partiten Graphen). Es kommen nur Lösungen in Frage, die in .der u-ten Ebene des
Lösungsgraphen liegen (u Variable gleich 1 und m-u Variable gleich 0). Diese beiden Restriktionen können durch einen
Zähler und eine Abfrage erzetzt werden. Damit wird das Suchen im Lösungsbaum bis auf die u-te Ebene beschränkt.
Die Zulässigkeit einer Lösung wird direkt von der Markierungsmethode und der Bedingung für den Zähler garantiert.
Da aber der additive Algorithmus die Restriktionen zusätzlich für die Heuristiken verwendet, um auf die Restriktionen
ganz verzichten zu können, müssen sie auch auf der Adjazenzmatrix formuliert werden. Das Entfallen der Restriktionen
bringt folgende Vorteile mit sich :
- Die Anzahl der möglichen Lösungen (Kombinationen der Variablen) verringert sich, weil in jedem Schritt nur
Kanten (Variablen) in Frage kommen, die mit allen schon ausgewählten adjazent sind.
Die Rechenzeit für die Überprüfung der Lösungen auf Zulässigkeit durch direktes Einsetzen in die
Restriktionen entfällt.
- Es wird kein Speicherplatz mehr für die Restriktionsmatrix benötigt.
Nach dieser Anpassung des Algorithmus liegt die Anzahl der erforderlichen Rechenschritte weit unterhalb der zuletzt
angegebenen oberen Schranke und ist bei gegebener Anzahl der Zuordnungen von den Adjazenzbeziehungen zwischen
den Kanten abhängig.
Um die Effektivität des modifizierten Algorithmus zu überprüfen, wurde das Verfahren auf simulierte Daten angewendet.
Variable Größen waren die Anzahl der überlappenden Bilder und die Anzahl der in allen Bildern abgebildeten
Objektpunkte (Anzahl der Bildpunkte pro Bild). Im Referenzbild generierte ein Zufallsgenerator die markanten Punkte,
die anschließend mit einer vorgegebenen Transformationsmatrix auf die übrigen Bilder affin transformiert wurden.
Anschließend wurde jeder Punkt smvohl seinem homologen Punkt als auch im Durchschnitt zwei anderen, zufällig
ausgewählten Punkten in jedem Bild zugeordnet. Die Gewichte der richtigen Zuordnungen wurden um einen bestimmten
Faktor größer als die der falschen Zuordnungen gewählt, bei denen der Abstand der Punkte von den homologen Punkten
im gleichen Bild berücksichtigt wurde. Die simulierten Daten standen in Form einer Liste von markanten Punkten und
einer Liste von vorläufigen Zuordnungen bereit. Die untersuchte Rechenzeit umfaßt die Zeit für die robuste
Ausgleichung, die Aufstellung der Graphen und den Baumsuchalgorithmus. Die Ergebnisse der Simulation, die auf einem
V AX/3500 Rechner durchgeführt wurden, sind in Abb. 6.6 dargestellt. Die Angaben beziehen sich auf die mittlere Zeit
für das Zuordnen der homologen Bildpunkte eines Objektpunktes. Wie man sieht, steigt die Rechenzeit mit der
Verknüpfung vieler Punkte bei vielfacher Bildüberdeckung stark an. Bei 6 überlappenden Bildern und 50
Verknüpfungspunkten benötigte das Programm fast 3 min pro Verknüpfungspunkt (15 paarweise Zuordnungen). Dieses
Ergebnis ist zwar nicht zufriedenstellend, aber man muß berücksichtigen, daß es sich in diesem Fall um ein
- 76 -
sec
166.83
208
158
188
58
8 18 28 38 40 50
Punkte pro Bild
- 3 Bilder ~ 4 Bilder c=J 5 Bilder ~ G Bilder ~
Abb. 6.6 : Rechenzeit pro Objektpunkt für die Zuordnung homologer Bildpunkte auf VAX 3500.
Optimierungsproblem mit 1500 Variablen und fast 1 Million Restriktionen handelt. Konventionelle kombinatorische
Verfahren der binären Programmierung, die die Optimalität der ermittelten Lösung garantieren, werden in der Praxis
nur auf Optimierungsprobleme mit maximal 100 Variablen angewendet.
6.5 Zerlegung des Graphen in seine zusanunenhängenden Kon1ponenten
Die Ergebnisse der Simulation zeigen, daß der Algorithmus trotz der Anpassung ab einer bestimmten Anzahl von
überlappenden Bildern und Verknüpfungspunkten sehr empfindlich mit großen Rechenzeiten reagiert. Für den bezüglich
Überlappung und Anzahl der Punkte uneingeschränkten Einsatz des Verfahrens für die Punktübertragung muß der
Rechenaufwand noch weiter drastisch reduziert werden. Der Versuch, den Algorithmus noch weiter zu verbessern, würde
sicherlich zu geringeren absoluten Rechenzeiten führen, könnte aber wenig gegen die kombinatorische Explosion tun,
die von der Anzahl der Bilder bzw. Bildpaare hervorgerufen wird. Eine deutliche Reduzierung des Rechenaufwands kann
man aber erreichen, wenn man entweder auf die beste Lösung verzichtet oder wenn die Größe des Optimierungsproblems
unabhängig von der Überlappung und der Anzahl der Verknüpfungspunkte gehalten werden kann. Wenn das Verfahren
eine gute Lösung findet, ohne zu beweisen, daß sie die optimale ist, dann sind Zuordnungsfehler nicht auszuschließen.
Sie können entweder als grobe Fehler die spätere Blockausgleichung mit zusätzlichem Rechenaufwand belasten oder
als kleine Fehler die Genauigkeit der Aerotriangulation beeinträchtigen. Außerdem wird der Rechenaufwand immer noch
stark von der Größe des Optimierungsproblems abhängig sein. Die zweite Strategie kann realisiert werden, indem man
das gesamte Problem der mehrfachen Merkmalszuordnung in kleinere Teilprobleme unterteilt (mehrere kleine
Bildausschnitte an Stelle eines größeren). Eine Unterteilung der Bildausschnitte in kleinere ist vor der robusten
Ausgleichung nicht besonders vorteilhaft, weil die Nährungswerte für die Überlappungsbeziehungen umso besser sein
müssen, je kleiner die Bildausschnitte sind. Außerdem würde die robuste Ausgleichung durch die geringere Redundanz
ungenauer. Es wird deshalb die Unterteilung in Teilaufgaben erst nach der robusten Ausgleichung vorgenommen, die
keinen besonderen Engpaß in der Rechenzeit darstellt.
Eine geometrische Unterteilung der Bildausschnitte würde zu Problemen in den Randbereichen der neuen Ausschnitte
führen. Es könnten z.B. zwei homologe Bildpunkte nach der Unterteilung in nicht homologen Bildausschnitten liegen.
- 77-
Deshalb müssen die topalogischen Beziehungen zwischen den Bildpunkten, die der Graph der Zuordnungen beschreibt,
berücksichtigt werden. Nach der robusten Ausgleichung (Kap. 4) sind die grob falschen Zuordnungen eliminiert worden.
Die verbleibenden Zuordnungen ordnen Bildpunkte einander zu, die annähernd das geometrische Modell der
Affintransformation erfüllen. Das bedeutet, daß ein Bildpunkt nur Punkten in anderen Bildern zugeordnet ist, die alle
in kleinen homologen Bildausschnitten liegen, sonst wäre die entsprechende Zuordnung wegen der Größe der
Verbesserungen als grob falsch erkannt und eliminiert worden. Die Folge ist, daß der Graph G der Zuordnungen nicht
zu s a m m e n h ä n g e n d ist. Man kann nun den Graph G in seine zu s a m m e 11 h ä n g e n d e 11 K o m p o n e n t e n
(s. Kap. 5.2) zerlegen (Abb. 6.7). Da eine Clique nur zu einer Komponente gehören kann, kann das Optimierungs-
G Gi G2
+ Blld3 Bild3 Bild 3
Abb. 6. 7 : Zerlegung eines Graphen G in seine zusammenhängenden Komponenten
problern ohne Einschränkung getrennt auf jedem Teilgraphen formuliert werden. Damit haben wir erreicht, die
Dimension des Optimierungsproblems in Grenzen zu halten, ohne die Allgemeinheit des Verfahrens einzuschränken. Die
Anzahl der zusammenhängenden Komponenten, aus denen der Graph besteht, kann man durch die robuste Ausgleichung
beeinflussen (Anzahl der Iterationen, Gewichtsfunktion bzw. obere Schranke für die verbleibenden Verbesserungen).
Nach empirischen Untersuchungen besteht jeder Teilgraph durchschnittlich aus zwei bis drei Punkten pro Bildausschnitt
und aus drei bis vier Zuordnungen pro Bildpaar. Falls es Komponenten gibt, die wesentlich mehr Knoten und Kanten
besitzen, kann man in diesen Komponenten sogenannte Brücken suchen und sie elimieren. Brücken sind diejenigen
Kanten in einem zusammenhängenden Graphen, durch die nach ihrer Eliminierung der Graph in zwei zusammen
hängende Komponenten zerlegt wird. Der Baumsuchalgorithmus kann nun sequentiell (oder parallel auf einem
Parallelrechner) auf jeden Teilgraphen bzw. auf jedes Teiloptimierungsproblem angewendet werden.
Nach der Integration dieser Option in den Algorithmus wurde das Verfahren noch einmal auf die simulierten Daten
angewendet. Die Ergebnisse der neuen Simulation sind in Abb. 6.8 dargestellt. Man kann danach über die mit Zerlegung
des Graphen in zusammenhängende Komponenten benötigte Rechenzeit feststellen :
- Die absolute Rechenzeit ist deutlich reduziert. Die Reduzierung wird mit steigender Anzahl der Variablen
größer.
- Bei gleich bleibender Anzahl der überlappenden Bilder ist die Gesamtrechenzeit proportional zu der Anzahl
der Objektpunkte. Das bedeutet, daß die für die Zuordnung eines n-Tupel von homologen Bildpunkten
benötigte Rechenzeit von der gesamten Anzahl der zugeordneten n-Tupel unabhängig ist.
- Die Rechenzeit pro Objektpunkt ist nur von der Anzahl der Bilder abhängig. Durch Hinzufügen eines Bildes
steigt sie um dem Faktor 1.5 bis 2, obwohl dabei die Anzahl der Bildpaare um n und die Anzahl der
Zuordnungen um n x m0 (m0 : durchschnittliche Anzahl der Zuordnungen pro Bildpaar) und die Anzahl der
möglichen Kombinationen im gesamten Optimierungsproblem um 2 n·m" größer wird.
1.4
1.2
1
0.8
0.6
0.4
0.2
o
- 78 -
sec
1.18 ............................................................................................................................................................................................................. 1.03
,ß ....................................... .
10 20 30 40 50
Punkte pro Bild
- 3 Bilder ~ 4 Bilder c=J 5 Bilder ~ 6 Bilder ~
Abb. 6.8 : Rechenzeit pro Objektpunkt nach der Zerlegung des Graphen in seine zusammenhängenden Komponenten ( VAX 3500)
Die Ergebnisse sind soweit als zufriedenstellend und das Verfahren als praktisch anwendbar zu betrachten. Es erfüllt
die für die Automatisierung der Punktübertragung in der Aerotriangulation gestellten Anforderungen. Der modifizierte
Algorithmus bildet somit einen wesentlich Bestandteil des hier entwickelten Verfahrens.
- 79-
7 Empirische Untersuchungen
7.1 Einführung
Das vorgestellte Verfahren ist eine Methode für die mehrfache Merkmalszuordnung, die unter dem Gesichtspunkt ihrer
Anwendung für die Punktübertragung und -messung in der Aerotriangulation entwickelt wurde. Nach der Entwicklung
und Darstellung des Verfahrens in den vorhergehenden Kapiteln wird nun das Verfahren an Hand von echten Bilddaten
demonstriert und empirisch getestet. Der analytische Ablauf des Verfahrens wird zunächst an einem Beispiel von 4
überlappenden Bildausschnitten gezeigt. Weiterhin wird untersucht, ob das Verfahren für die Automatisierung der
Punktübertragung und Messung die erwünschten Ergebnisse liefert. Es war leider noch nicht möglich, echte Luftbilder
mit der erforderlichen Auflösung zu digitalisieren, um das Verfahren darauf anzuwenden. Stattdessen wurde ein
Geländemodell aus Holz mit einer CCD Freihandkamera so aufgenommen, daß ein Block von entsprechenden
"Luftbildern" entstand.
7.2 Demonstration des Verfahrens an 4 überlappenden Bildausschnitten
Der ganze Ablauf der mehrfachen Merkmalszuordnung wird an einem Prinzip-Beispiel mit 4 überlappenden
Bildausschnitten demonstriert. Damit die Richtigikeit der Ergebnisse kontrolliert werden kann, wurden nicht homologe
Bildausschnitte von tatsächlichen Luftbildern verwendet, sondern aus einem ausgewählten Luftbildausschnitt (80x80
Pixel) wurden die drei anderen zugehörigen Bildausschnitte durch affine Tranformationen mit vorgegebenen
Transformationsparametern generiert. Dadurch sollten die von dem Verfahren auf Grund der richtigen mehrfachen
Zuordnungen berechneten Transformationsparameter mit den für die Generierung der Bildausschnitte verwendeten
Parametern übereinstimmen. Mit Bild 11 als Referenzbild wurden die übrigen Bilder 12, 21 und 22 mit bilinearem
Resampling auf Grund der folgenden Transformationen generiert :
1l [ 1.00 T = 12 0.00
0.00
1.00 5.00] 5.00
H [ 1.10 T -:u - -0.05
0.05
0.90 0.00] 0.00
11- [ 0.95 -0.08 -4.00] T22 -
0.07 1.05 3.00
Das Referenzbild 11 und die generierten Bildausschnitte 12, 21, 22 sind in Abb. 7.1 dargestellt. Im folgenden werden
die einzelnen Schritte der mehrfachen Merkmalszuordnung nach dem Diagramm der Abb. 3.5 (siehe Kap. 3) vollzogen
und die Zwischenergebnisse dargestellt.
7.2.1 Extraktion der markanten Punkte
Durch den Interestoperator wurden in allen Bildausschnitten markante Bildpunkte ausgesucht. Für die Auswahl der
markanten Punkte wurde ein Fenster von 7x7 Pixel und für die Unterdrückung der non-maxima ein llxll Pixel Fenster
verwendet. Durch hohe Schwellwerte wurde erreicht, die Anzahl der extrahierten Punkte zu beschränken, um das
Beispiel übersichtlich zu halten. Die markanten Punkte und ihre Nummern sind in die Bilder der Abb. 7.2 eingezeichnet.
Die Listen neben den Bildern enthalten die subpixelgenauen Pixelkoordinaten und die Gewichte. Der Nullpunkt des
Kordinatensystems liegt oben links. Die x-Achse verläuft in Zeilenrichtung, entspricht also den Spalten. Die y-Achse
verläuft in Spaltenrichtung und entspricht den Zeilen. Die Numerierung der Punkte erfolgt zeilenweise von oben nach
unten.
- 80 -
1
Bild 12
11
Abb. 7.1 : Generierung der homologen Bildausschnitte
7 .2.2 Vorläufige Zuordnungen
Mit den vier Bildausschnitten ·werden sechs Bildpaare gebildet. In jedem Bildpaar werden die Punkte des einen Bildaus
schnittes mit den Punkten des anderen Bildausschnittes auf Ähnlichkeit verglichen. Die Punktepaare (Zuordnungen),
deren Ähnlichkeitswert den Schwellwert überschreitet (p>0.65), bilden die Liste der vorläufigen Zuordnungen (Abb. 7.3).
Die Numerierung der Zuordnungen ist einheitlich für alle Bildpaare. In den Tabellen der Abb. 7.3 sind die vorläufigen
Zuordnungen für jedes Bildpaar getrennt ausgewiesen. In der zweiten Spalte stehen die Gewichte der Zuordnungen, die
aus GI. (3.5) berechnet wurden (siehe Kap. 3.5) und die als Gewichte der Beobachtungen in die robuste Ausgleichung
eingeführt werden. In der dritten Spalte stehen die Korrelationskoeffizienten der entsprechenden Bildausschnitte. Die
beiden letzten Spalten enthalten die Nummern der jeweils zugeordneten Bildunkte.
- 81 -
Bild 11
I YR XC w X
1 4.1 9.2 164.1 y 2 16.2 12.5 159.0
3 22.8 13.3 313.9 4 24.4 56.0 115.8 5 30.3 21.8 75.1 6 34.3 64.2 195.2 7 41.7 25.6 284.5 8 50.1 52.7 91.5 9 54.0 29.9 316.0
10 62.5 5.8 131.7 11 66.7 37.5 332.7 12 75.3 24.8 82.4
Bild 12
I YR XC w
1 11.2 7.5 159.0 2 17.8 8.3 313.9 3 19.4 51.0 115.8 4 25.3 16.8 75.1 5 29.3 59.2 195.2 6 36.7 20.6 284.5 7 45.1 47.7 91.5 8 49.0 24.9 316.0 9 61.7 32.5 332.7
10 70.3 19.8 82.4 11 73.3 28.8 217.6 12 76.1 10.5 153.4 13 76.7 38.8 73.7
I YR XC w
1 5.0 8.2 129.0 2 18.7 10.7 116.3 3 25.8 11.1 211.6 4 29.8 49.6 101.3 5 41.2 56.6 157.5 6 47.6 20.9 259.9 7 56.1 21.2 213.2 8 57.4 44.9 63.9 9 69.4 24.8 37.4
10 75.2 76.9 36.8 11 75.9 30.9 255.7
Bild 22
I YR XC w
1 16.3 64.5 91.2 2 17.8 19.7 177.4 3 25.1 73.8 168.5 4 34.9 34.0 171.4 5 41.8 64.4 65.3 6 46.5 39.5 242.6 7 52.6 47.2 68.5 8 56.4 15.0 98.2 9 58.7 48.4 251.6
10 64.2 6.1 51.6 11 64.3 57.2 46.2 12 66.8 35.5 50.7 13 68.7 44.6 151.1 14 74.0 27.0 120.3 15 75.2 41.4 63.4
Abb. 7.2: AusgeH·ählte Bildpunkte mit ihren Pixelkoordinaten und Gewichten
- 82 -
Bildpaar : 11,12 Bildpaar : 11,21
-------------------------------- --------------------------------I w COR Bll Bl2 I w COR Bll B21
-------------------------------- --------------------------------1 139.416 0.990 2 1 18 156.781 0.990 1 1 2 256.137 0.990 3 2 19 38.696 0.969 2 2 3 78.280 0.990 4 3 20 46.746 0.955 3 3 4 1. 300 0.654 4 10 21 51.216 0.985 4 4 5 2.339 0.669 4 11 22 105.758 0.990 6 5 6 51.824 0.990 5 4 23 42.193 0.965 7 6 7 117.910 0.990 6 5 24 6.164 0.867 8 7 8 148.401 0.990 7 6 25 10.101 0.931 8 8 9 3.049 0.763 7 10 26 83.580 0.981 11 11
10 3.015 0.654 7 11 27 3.009 0.758 12 6 11 83.874 0.990 8 7 12 159.830 0.990 9 8 13 188.059 0.990 11 9 14 1. 300 0.654 12 3 15 3.049 0.763 12 6 16 59.145 0.990 12 10 17 2.186 0.685 12 11
Bildpaar : 11,22 Bildpaar : 12,21 -------------------------------- --------------------------------
I w COR Bl1 B22 I w COR Bl2 B21
-------------------------------- --------------------------------28 12.417 0.854 3 2 44 38.696 0.969 1 2 29 39.344 0.982 4 1 45 46.746 0.955 2 3 30 1. 585 0.735 4 7 46 51.216 0.985 3 4 31 1.114 0.662 4 12 47 105.758 0.990 5 5 32 112.264 0.990 6 3 48 42.193 0.965 6 6 33 2.051 0.752 6 10 49 6.164 0.867 7 7 34 48.529 0.977 7 4 50 10.101 0.931 7 8 35 2.677 0. 773 7 12 51 83.580 0.981 9 11 36 3.436 0.830 8 5 52 3.009 0.758 10 6 37 21.468 0.934 9 6 53 3.098 0.658 11 6 38 66.763 0.990 10 8 39 1.188 0.686 10 10 40 6. 071 0.774 11 9 41 1. 523 0. 710 12 1 42 2.346 0.768 12 4 43 8.158 0.943 12 12
Bildpaar : 12,22 Bildpaar : 21,22 -------------------------------- --------------------------------
I w COR Bl2 B22 I w COR B21 B22
-------------------------------- --------------------------------54 12.417 0.854 2 2 73 16.059 0.898 3 2 55 39.344 0.982 3 1 74 13.691 0.951 4 1 56 1. 585 0.735 3 7 75 1. 909 0. 774 4 7 57 1.114 0.662 3 12 76 40.010 0.975 5 3 58 112.264 0.990 5 3 77 2.113 0.777 5 10 59 2.051 0.752 5 10 78 10.595 0.903 6 4 60 48.529 0.977 6 4 79 2.802 0.779 6 12 61 2. 677 0.773 6 12 80 1. 597 0.671 7 5 62 3.436 0.830 7 5 81 1.744 0.736 8 5 63 21.468 0.934 8 6 82 0.770 0.657 9 11 64 6.071 0.774 9 9 83 0.970 0.698 9 15 65 1. 523 0.710 10 1 84 2.027 0.785 10 5 66 2.346 0.768 10 4 85 4.315 0.739 11 9 67 8.158 0.943 10 12 68 2.719 0. 722 11 1 69 2.433 0.670 11 4 70 2.639 0.760 11 12 71 4.536 0.753 11 13 72 3.060 0.755 12 14
Abb. 7.3 : Liste der vorläufigen paarweisen Zuordnungen
- 83 -
7 .2.3 Robuste Ausgleichung
Für die Eliminierung der grob falschen Zuordnungen, die in der Liste der vorläufigen Zuordnungen noch enthalten sind,
wird eine robuste Ausgleichung der kombinierten Affintransformationen durchgeführt, mit denen die homologen
Bildausschnitte simultan auf das Referenzbild transformiert werden. Aus jeder Zuordnung werden zwei Fehler
gleichungen aufgestellt (eine für die x- und eine für die y-Koordinate). Unbekannte sind die Parameter der
Transformationen der generierten Bilder 12, 21, 22 auf das Referenzbild 11 (Abb. 7.1). Da es bei 4 überlappenden
Bildern 3 unabhängige Transformationen gibt, haben wir insgesamt 18 Unbekannte. Die Daten der robusten
Ausgleichung sind in der folgenden Tabelle aufgelistet :
Anzahl der Bilder ............ ........ 4 Anzahl der Bildpaare . . . . . . . . . . . . . . . . . 6 Anzahl der Transformationsparameter .. 18 Anzahl der Bildpunkte . . . . . . . . . . . . . . . . 51 ·Anzahl der Zuordnungen............... 85 Anzahl der Beobachtungen ............. 170 Redundanz . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
Nach der 7-ten Iteration waren 25 von den 85 vorläufigen Zuordnungen als grob falsch eliminiert. Die Transformations
parameter, die aus den übrigen Zuordnungen berechnet wurden, sowie das a 0 der Ausgleichung (in Pixeleinheit) erhielten
folgende Zahlenwerte :
TRIPARAMETER
BILDPAAR al a2 a3 a4 a5 a6
-----------------------------------------------------------------------11-12 1.000 -0.001 5.011 0.000 0.999 5.014 11-21 1.102 0.048 -0.075 -0.048 0.899 0.000 11-22 0.951 -0.072 -4.220 0.071 1.036 2.985
SIGMA-NULL : 1.951
Diese Zahlenwerte entsprechen noch nicht der endgültigen Ausgleichung, so daß auf die Diskussion im Abschnitt 7.2.4
verwiesen wird.
7.2.4 Graph der Zuordnungen und beste Cliquen (mehrfache Zuordnungen)
Nach der robusten Ausgleichung bekommen wir die Liste der von groben Fehlern bereinigten Zuordnungen (Abb. 7.4 ).
Diese Zuordnungen und die markanten Punkte werden topalogisch durch einen 4-partiten Graphen beschrieben. Der
Graph besteht aus 41 Knoten (markante Punkte) und 60 Kanten (Zuordnungen). Der Graph ist nicht zusammenhängend
und besteht aus 20 zusammenhängenden Komponenten. Die größte davon hat 7 Knoten und 18 Kanten. Von den 20
Komponenten bestehen 6 aus nur einem Knoten und werden damit nicht weiter betrachtet. In der Tabellen der Abb. 7.4
sind die bereinigten Zuordnungen (Kanten) dargestellt. In der zweiten und dritten Spalte stehen die Punktnummern, die
im Graphen den Anfangs- und Endknoten der Kante bilden. In der vierten Spalte steht die Nummer der zusammen
hängenden Komponente, zu der die Kante und die inzidenten Knoten gehören.
Nach der Lösung des Optimierungsproblems (maximale Clique mit minimalen Kantenkosten) auf jeder Komponente
bekommen wir die endgültigen mehrfachen Zuordnungen. Die homologen Bildpunkte werden mit der gleichen Nummer
versehen. In Abb. 7.6 sind diese Verknüpfungspunkte (zugeordnete Punkte) in die Bilder eingezeichnet. Damit man
- 84 -
Bildpaar : 11,12 Bildpaar : 11,21 Bildpaar : 11' 22 ------------------- ------------------- -------------------
I AK EK KOM I AK EK KOM I AK EK KOM ------------------- ------------------- -------------------
1 2 1 2 18 1 1 1 28 3 2 3 2 3 2 3 19 2 2 2 29 4 1 4 3 4 3 4 20 3 3 3 32 6 3 6 6 5 4 5 21 4 4 4 34 7 4 7 7 6 5 6 22 6 5 6 35 7 12 7 8 7 6 7 23 7 6 7 36 8 5 8 9 7 10 7 25 8 8 8 37 9 6 9
11 8 7 8 26 11 11 11 38 10 8 10 12 9 8 9 27 12 6 7 40 11 9 11 13 11 9 11 42 12 4 7 15 12 6 7 43 12 12 7 16 12 10 7
Bildpaar : 12,21 Bildpaar : 12,22 Bildpaar : 21,22 ------------------- ------------------- -------------------
I AK EK KOM I AK EK KOM I AK EK KOM ------------------- ------------------- -------------------
44 1 2 2 54 2 2 3 73 3 2 3 45 2 3 3 55 3 1 4 74 4 1 4 46 3 4 4 58 5 3 6 76 5 3 6 47 5 5 6 60 6 4 7 78 6 4 7 48 6 6 7 61 6 12 7 79 6 12 7 50 7 8 8 62 7 5 8 81 8 5 8 51 9 11 11 63 8 6 9 83 9 15 16 52 10 6 7 64 9 9 11 85 11 9 11
66 10 4 7 67 10 12 7 71 11 13 12 72 12 14 13
Abb. 7.4 : Von groben Fehlern bereinigte Zuordnungen
direkt aus den Bildern sieht, welchen anderen Bildern ein Verknüpfungspunkt zugeordnet (übertragen und gemessen)
ist, wurden die Bildpunkte durch die Zeichen der Abb. 7.5 markiert. Diese Markierungszeichen entsprechen der
rechteckigen Anordnung der Bilder in der Abb. 7.6 und der gegenseitigen Lage der Luftbilder in einem Block. Wenn
nun eines der Quadrate in den Ecken schwarz ist, bedeutet das, daß der Verknüpfungspunkt dem entsprechenden Bild
zugeordnet ist. Somit ist z.B. der Verknüpfungspunkt 10 im Bild 11 (oben-links) dem Bild 21 (unten-links) zugeordnet
und der Verknüpfungspunkt 12 im Bild 11 (oben-links) dem Bild 22 (unten-rechts).
In der Tabelle der Abb. 7. 7 sind die mehrfachen Zuordnungen aufgelistet. Die mehr
fachen Zuordnungen sind nach Ordnung und nach Genauigkeit sortiert und ent
sprechend numeriert. Homologe Bildpunkte bekommen dieselbe Nummer im Objekt
raum und für die Bündelausgleichung (Spalte 2). Die Nummer ensteht aus der
Position in der sortierten Liste und einer spezifischen Nummer für das Überlappungs
gebiet (hier 100), d.h Verknupfungspunkte mit niedriger Nummer sind genauer oder
in mehr Bildern gemessen als andere mit höherer Nummer. In den Spalten 3 bis 6
stehen die Nummern der homologen Bildpunkte in den entsprechenden Bildern. Ein
Strich an Stelle der Bildnummer bedeutet. daß in dem entsprechenden Bild kein
homologer Punkt zugeordnet wurde. In der siebten Spalte steht die Genauigkeit der
Zuordnung, die sich auf das mathematische Modell der Affintransformation bezieht
Abb. 7.5 : Punktmarkierung
und durch den mittleren quadratischen Fehler aller beteiligten paarweisen Zuordnungen dargestellt wird. In den letzten
zwei Spalten ist die Ordnung der Zuordnung (Ordnung der Clique) und die Nummer der Graphenkomponente. zu der
sie gehört, angegeben. Es sind insgesamt 14 mehrfache Zuordnungen ermittelt worden, nämlich sechs 4-fache. drei 3-
fache und fünf 2-fache (Paare) Zuordnungen. Ihnen entsprechen in allen Bildern insgesamt 43 homologe Bildpunkte.
Die Anzahl der pro Bild zugeordneten Bildpunkte steht in der letzten Zeile der Tabelle von Abb. 7. 7. In der Abb. 7.8
sind die homologen Bildausschnitte der ersten mehrfachen Zuordnung in 10-facher Vergrößerung dargestellt. Die Kreuze
- 85 -
Abb. 7. 6 : Überlappende Bildausschnitte mit der melufaclzen Zuordnungen
UEBERLAPPENDE BILDER : 11 12 21 22
ZUGEORDNETE OBJEKTPUNKTE 14 GEMESSENE BILDPUNKTE 43 -----------------------------------------------------
NUMMER IM NUMMER IM BILD i OBJEKTRAUM 11 12 21 22 vv N KOM
-----------------------------------------------------1 10001 6 5 5 3 0.0 4 6 2 10002 4 3 4 1 0. 1 4 4 3 10003 3 2 3 2 0.1 4 3 4 10004 7 6 6 4 0.2 4 7 5 10005 11 9 11 9 0.3 4 11 6 10006 8 7 8 5 1.2 4 8 7 10007 9 8 6 0. 1 3 9 8 10008 2 1 2 0.1 3 2 9 10009 12 10 12 0.4 3 7
10 10010 1 1 0.0 2 1 11 10011 5 4 0. 0 2 5 12 10012 10 8 0.2 2 10 13 10013 12 14 0.9 2 13 14 10014 11 13 1.0 2 12 -----------------------------------------------------Punkte/Bild : 12 12 8 11 -----------------------------------------------------
Abb. 7. 7 : Liste der melufachen Zuordnungen
- 86 -
zeigen auf 1/10 Pixel genau die Lage der vom Interestoperator
extrahierten markanten Punkte. Unter jedem Bildausschnitt und
rechts davon stehen die x- und y-Pixelkoordinaten. Oben-links
ist die Bildnummer und oben-rechts die Punktnummer im Bild
angegeben. Aus der Liste der mehrfachen Zuordnungen können
je nach Genauigkeitsforderungen und nach der benötigten
Anzahl von Verknüpfungen die genauesten ausgewählt werden.
Bildkoordinaten als Beobachtungen für die Bündelausgleichung
Wenn wir annehmen, daß die Bildausschnitte aus Luftbildern
stammen und zwar hier aus dem 4-fachen Überdeckungs
bereich, dann werden die Pixelkoordinaten auf das Bildkoor
dinatensystem transformiert, um als Beobachtungen in der
Bündelausgleichung verwendet werden zu können. Für das
Bündelprogram PAT-B würde dann in diesem Beispiel die
Liste der Bildkoordinaten der zugeordnete Verknüpfungspunkte
wie in der Abbildung 7.9 ausehen.
21 lilt.2 51.2
5
5&.& ;n.e
Abb. 7.8 : Homologe Bildausschnitte der Verknüpfungspunktes 1
Abschließende Ausgleichung der Affintransformationen mit den richtigen Zuordnungen
Mit den bereinigten, richtigen Zuordnungen werden abschließend noch einmal die Transformationsparameter der
Affintransformationen in einer Ausgleichung mit den ursprünglichen Gewichten berechnet.
TRIPARAMETER - ABSCHLIESSENDE AUSGLEICHUNG
BILDPAAR al a2 a3 a4 a5 a6
----------------------------------------------------------------------11-12 1.000 0.000 5.006 0.000 1.000 4.998 11-21 1.102 0.048 -0.091 -0.048 0.899 0.009 11-22 0.952 -0.076 -4.137 0.072 1.038 2.939
Diese Transformationsparameter gelten nur lokal für die homologen Bildausschnitte und nicht für die ganzen Bilder.
Wenn das Verfahren auf mehrere Ausschnitte der gleichen Bilder angewendet wird, werden für jeden Bildausschnitt
andere Transformationsparameter berechnet.
Aus der Ausgleichung erhält man auch die geschätzte Genauigkeit (Standard-Abweichungen) der berechneten
Transformatiomsparameter und das a 0 :
GENAUIGKEIT
BILDPAAR sa1 sa2 sa3 sa4 sa5 sa6
------------------------------------------------------------------------11-12 0.001 0.001 0.036 0.001 0.001 0.036 11-21 0.001 0.001 0.044 0.001 0.001 0.043 11-22 0.001 0.002 0.128 0.001 0.002 0.125
SIGMA-NULL : 0.593
- 87 -
101 10001 23.700 6.200 10002 15.500 16.100 10003 -27.200 17.700 10004 -14.900 -1.200 10005 -3.000 -26.200 10006 12.200 -9.600 10007 -10.600 -13.500 10008 -28.000 24.300 10009 -15.700 -34.800 10010 -31.300 36.400 10011 -18.700 10.200 10012 -34.700 -22.000
-99 102
10004 -19.900 3.800 10001 18.700 11.200 10010 -31.300 36.400 10011 -18.700 10.200 10012 -34.700 -22.000
-99 102
10004 -19.900 3.800 10001 18.700 11.200 10005 -8.000 -21.200 10002 10.500 21.100 10006 7.200 -4.600 10007 -15.600 -8.500 10008 -33.000 29.300 10009 -20.700 -29.800 10003 -32.200 22.700 10011 -23.700 15.200 10013 -30.000 -35.600 10014 -11.700 -32.800
-99 201
10002 9.100 10.700 10004 -19.600 -7.100 10005 -9.600 -35.400 10008 -29.800 21.800 10001 16.100 -0.700 10010 -32.300 35.500 10003 -29.400 14.700 10006 4.400 -16.900
-99 202
10009 -5.000 -26.300 10004 -6.500 5.600 10002 24.000 24.200 10007 -1.000 -6.000 10001 33.300 15.400 10003 -20.800 22.700 10012 -25.500 -15.900 10005 7.900 -18.200 10013 -13.500 -33.500 10006 23.900 -1.300 10014 4.100 -28.200
-99
Abb. 7.9 : Bildkoordinaten der i'erknüpfungspunkte als Eingabe für die Bünde/blockausgleichung
Wenn man die berechneten Transformationsparameter von den in diesem Fall bekannten wahren Parameterwerten
abzieht, erhält die wahren Fehler der Unbekannten der Ausgleichung :
BILDPAAR
11-12 11-21 11-22
WAHRE FEHLER
ea1
0.000 -0.002 -0.002
ea2
0.000 0.002
-0.004
e =a.-a. a~ z z
ea3
-0.006 0.091 0.137
ea4
0.000 -0.002 -0.002
ea5
0.000 0.001 0.018
ea6
0.002 0.009 0.061
- 88 -
Die Ergebnisse zeigen, daß die Transformationsparameter mit hinreichender Genauigkeit bestimmt wurden und beweisen
numerisch die korrekte Arbeitweise des Verfahrens und die interne Genauigkeitsleistung. Das o0 enthält in diesem
Beispiel (wegen der strengen Gültigkeit der Affin-Modells) nur die Fehler des Resampling bei der Generierung der
Bilder und die Ungenauigkeit der Punktidentifizierung durch den Interestoperator.
7.3 Anwendung des Verfahrens für die Punktübertragung in einem Bildblock
7.3.1 Beschreibung des Datenmaterials
Nun s.oll das Verfahren der automatischen Punktübertragung auf einen echten Bildblock angewendet werden. Dazu
wurden die Aufnahmen eines Geländemodells benutzt. Das Modell war ein ArchitekturmodelL das einen Stadtteil
darstellte. Die Bilder wurden direkt mit einer CCD Freihandkamera digital aufgezeichnet und gespeichert. Mit der
Kamera wurde ein "Flug" über das Modell simuliert, sodaß die Bilder einen regelmässigen Block mit 5 Streifen zu je
5 Bildern mit 60% Längs- und 60% Querüberdeckung bilden.
Die Kamera war mit einem CCD-Matrixsensor ausgerüstet, der Bilder mit 512x512 Pixel Auflösung lieferte (8 bit
Grauwertauflösung --> 1/4 MB). Als Objektiv wurde ein Weitwinkel Objektiv (Nikkor f=28mm) benutzt. das für
Spiegelreflexkameras entwickelt worden ist. Die Pixel des CCD-Matrixsensors waren nicht quadratisch sondern
rechteckig, was zu einem Verhältnis zwischen x- und y- Koordinaten von 0.68 führte. Somit wurde mit einem Bild eine
Fläche von 30 cm x 20 cm auf dem Modell abgedeckt. Die Fläche, die von dem gesamten Bildblock überdeckt wurde,
betrug etwa 70 cm x 50 cm. Da die Oberfläche des Modells aus Naturholz war und keine besondere Textur hatte.
wurden kleine Linien aufgezeichnet und signalisierte Punkte aufgeklebt. Die signalisierten Punkte waren schwarze
Scheiben mit ein Durchmesser von lmm auf weißem Hintergrund.
Die Objektkoordinaten der für die Bündelausgleichung erforderlichen Paßpunkte sowie der für die Genauigkeits
untersuchung benötigten Kontrollpunkte wurden mit dem Verfahren der Nahbereichsphotogrammetrie bestimmt. Dafür
wurde eine Mittelformat (6cm x 6cm) Rolleimetrikkamera ve1wendet. Dabei wurden die Objektkoordinaten der Paß- und
Kontrollpunkte mit einer Lagegenauigkeit von 0.1 mm und einer Höhengenauigkeit von 0.2 mm bestimmt. Da keine
genauen Angaben über die Kammerkonstante und die Affinität der Pixel bekannt waL wurden sie durch eine
Bündelausgleichung mit Selbstkalibrierung mit Hilfe aller Kontrollpunkte ermittelt. Dafür wurde das Bündelaus
gleichungsprogramm ACX benutzt.
Aus dem aufgenommenen Bildblock mit 60% Längs- und 60% Querüberdeckung wurde durch Weglassen der Streifen
2 und 4 ein zweiter Block mit 20% Querüberdeckung gebildet (3 Streifen x 5 Bilder), der ebenfalls ausgewertet wurde.
In der Abb. 7.10 sind die Bilder des ganzen Blocks zusammengestellt.
7.3.2 Digitale Punktübertragung und -messung
Das Verfahren der mehrfachen Zuordnung wurde nach der Strategie, die im Kap. 3.2.4 entwickelt wurde. auf den Block
angewendet. Wegen der geringen Größe der Bilder (512x512 Pixel) wurden keine Bildpyramiden für die mehrfache
Zuordnung benötigt. Somit konnte die Anwendung des Verfahrens auf eine Ebene beschränkt bleiben. Für Über
sichtszwecke und für die Bestimmung der Überdeckung wurden aber Bilder mit gröberer Auflösung (102x102 Pixel)
durch Mittelung von jeweils 5x5 Pixel generiert. Die einzelnen Schritte des Verfahrens sowie einige Aspekte der auto-
- 89-
41
51 52 53 54 55
Abb. 7.10 :Block mit 60% Längs- und 60% Querüberdeckung (5 Streifen x 5 Bilder)
- 90 -
matischen Auswertung des ganzen Blocks werden im folgenden kurz besprochen und durch Beispiele aus dem Block
erläutert.
Numerierung der Bilder und der Überlappungsgebiete
Die Überlappungsbeziehungen zwischen den Bildern (Blockstruktur) werden als bekannt vorausgesetzt und im Form
einer Matrix dargestellt, wobei der Zeilenindex der Streifennummer entspricht und der Spaltenindex der Bildnummer
j ----I I 1
Bilder Überlappungsgebiete
Abb. 7.11 : Numeriemng der Bilder und der Überlappungsgebiete
inerhalb der Streifen (Abb. 7.11). Ein Block mit 60% Längs- und 60% Querüberdeckung, der aus ns Streifen mit nb
Bildern pro Streifen besteht, lässt sich in IISll x nbu Überlappungsgebiete unterteilen. Dabei ist nsu die Anzahl der
Überlappungsgebiete quer zu den Streifen und nbu die Anzahl der Überlappungsgebiete innerhalb der Streifen. Man kann
die Anzahl der Überlappungsgebiete aus den folgenden Beziehungen berechnen :
nsu ( ns 3 ) · 2 + 5 nbu ( nb - 3 ) • 2 + 5
(7.1)
Die Überlappungsgebiete sind nun, wie in der Abb. 7.11 dargestellt, von 0,0 bis nsu-l,nbu-1 numeriert. Die Überlappung
eines Überlappungsgebiets (i,j) wird wie folgt berechnet :
uq= mod(i-1,2)+2·(1-div(i,nsu-1)) ul = mod (j-1, 2)+2 ·(1- div (i, nbu-1))
llgesamt = uq ·ul
Der 5x5 Block wurde in 9x9 Überlappungsgebiete unter
teilt. In der folgenden Tabelle (Abb. 7.12) sind die nach
01.(7.2) berechneten Überlappungen der Gebiete zusam
mengestellt.
0 1 2 3 4 5 6 7 8
0 1 2
1 2 3 2 4 6 3 6 9 2 4 6 3 6 9 2 4 6 3 6 9 2 4 6 1 2 3
3 4 5 6 7 8
2 3 2 3 2 1 4 6 4 6 4 2 6 9 6 9 6 3 4 6 4 6 4 2 6 9 6 9 6 3 4 6 4 6 4 2 6 9 6 9 6 3
I 4 6 4 6 4 2 2 3 2 3 2 1
Abb. 7.12 : Überlappungen im 5x5 Block
(7.2)
- 91 -
Die Bilder. die ein Gebiet (i,j) überdecken, sind alle Bilder (k,l) für k=ka, ka+uq-1 und l=la, la+ul-1 wobei
ka = div{i+1 ,2) + 1- div(i+nsu-2,nsu-1) + div(i,nsu-1) Ia = div(i+ 1, 2) + 1- div(j+nbu-2,nbu-1) + div(j, nbu-1)
(7.3)
Das Überlappungsgebiet (1 ,2) z.B. ist von den Bildern 11, 12, 13 des ersten Streifens und den Bildern 21, 22, 23 des
zweiten Streifens überdeckt.
Berechnung der Überdeckung und Unterteilung der Bilder in Bildausschnitte
Für die Unterteilung des Blocks bzw. der Bilder in Überlappungsgebiete müßten die Überdeckungen auf mindestens 4-5
Pixel genau bekannt sein, damit eine Überdeckung der homologen Bildausschnitte von 80-90% gewährleistet ist. Da die
kleinste Dimension eines Überdeckungsgebiets in diesem Block etwa 1/5 der Bilddimension beträgt, sind die
FBM
k
(a) (b) (c)
( d) (e)
Abb. 7.13 : Unterteilung der Bilder in Ausschnitte
Bildausschnitte nur etwa 100x 100 Pixel groß. Die Unterteilung der Bilder in Bildausschnitte, die den Überlappungs
gebieten entsprechen. ist in Abb. 7.11 dargestellt. Für die Berechnug der Überdeckung wurde auf jedem überlappenden
Bildpaar (in der gröberen Auflösung) (a) das Feature Based Matehing (ohne Bestimmung des optimalen Punktes
innerhalb des Fensters) ange\vendet (b) und wurden die Transformationsparameter ( c) mit Pixelgenauigkeit berechnet,
was bezogen auf die ursprünglichen Bilder 5 Pixel bedeutet. Auf Grund dieser Transformationsparameter wurden die
Ecken eines Bildes auf das andere transformiert, und dort wurde die Gleichung der durch die beiden Ecken definierten
Gerade berechnet ( d). Auf diese Weise wurden die Trennlinien für die Überdeckungsgebiete festgelegt. Für jedes Bild
(im Blockinneren) wurden so 16 Linien definiert, die das Bild in 25 Bildausschnitte unterteilen (e). Die Numerierung
der Ausschnitte im Bild erfolgt im Form einer Matrix. Auf Grund der Lage eines Ausschnitts im Bild, der Lage des
Bildes im Block und auf Grund der Überdeckungen wurde die Nummer des Überdeckungsgebiets dem Bildausschnitt
zugeordnet. Das war insbesondere notwendig, weil die Bildausschnitte klein sind und wegen der schwachen Textur des
Modells zum Teil nur wenige markante Punkte extrahiert wurden, sowie auch weil manche Kontrollpunkte nahe an den
Grenzen der Überdeckungsgebiete lagen. Man kann für ein Überlappungsgebiet (i,j) nicht nur die Bilder sondern auch
die homologen Bildausschnitte. die dieses Überlappungsgebiet abdecken, mit Hilfe der folgenden Gleichungen angeben:
- 92 -
Bild 11 Bild 12 Bild 13
Bild 21 Bild 22 Bild 23
Abb. 7.14 : Homologe Bildaussc/mitte des Überlappungsgebiets 12
is = i-2·k+3+div(k+ns-2,ns)+div(k+ns-3,ns)
ib = j-2·/J3-•div(l+nb-2,nb)+div(l+nb-3,nb)
wobei k,l das Bild ist, in dem der Ausschnitt liegt. In der Abb. 7.14 sind für das Überlappungsgebiet ( 1.2) die über
lappenden Bilder und die homologen Bildausschnitte dargestellt.
Extraktion der markanten Punkte
Nach der Festlegung der Überdeckungsgebiete wurde der Interestoperator auf den ganzen Bildblock zweimal mit
verschiedener Fenstergröße angewendet. Für die möglichst genau Lokalisierung der signalisierten Paßpunkte in den
Bildern wurde wegen der geringen Größe der signalisierten Punkte im Bild (etwa 3x3 Pixel) ein 5x5 Fenster gewählt.
Dieses Fenster ist aber zu klein für eine genaue Zuordnung bei
den Verknüpfungspunkten. Um eine bessere Zuordnungsgenau
igkeit zu erreichen wurden deshalb die markanten Punkte mit
einem Fenster von 7x7 Pixel extrahiert, was doppelt so viel
Information wie das 5x5 Fenster liefert. Das hatte zur Folge, daß
auch alle weiteren Schritte zweimal durchgeführt werden
mußten. Für jeden markanten Bildpunkt wurde seine Lage
bezüglich der Trennlinien berechnet und dem jeweiligen Bild
ausschnitt und Überlappungsgebiet zugeordnet. Entsprechend
wurden der Liste der markanten Punkte (9) zwei neue Spalten
mit der Nummer des Bildausschnitts und des Überlappungs
gebiets hinzugefügt. Diese Vorgehensweise ist zweckmäßig, weil
die Überdeckungsgebiete sowie die Bildausschnitte im all
gemeinen nicht rechteckig sind und damit nicht direkt als Matrix
behandelt werden können. Insgesamt wurden etwa 300 bis 400
markante Punkte pro Bild extrahiert.
I YR XC trQ-1 rcT ijU
1 3.7 181.5 251.9 13 1 2 2 3.6 447.3 101.3 15 1 4 3 4.9 359.1 83.4 14 1 3 4 9.7 268.8 93.8 13 1 2 5 23.3 180.6 118.5 13 1 2 6 22.9 270.4 80.6 13 1 2 7 28.9 29.0 146.8 11 1 1 8 29.7 363.8 154.5 15 1 4 9 31.5 4.9 100.0 11 1 1
10 31.5 203.2 172.3 13 1 2 11 32.0 449.6 65.4 15 1 4
Bildausschnitt
Überlappungsgebiet
Abb. 7.15 : Erweiterte Liste der markanten Punkte
- 93 -
Vorläufige Zuordnungen
Die vorläufigen Zuordnungen wurden zwischen den Punkten der homologen Bildausschnitte berechnet, d.h. zwischen
den Punkten des gleichen Überlappungsgebiets. Für jedes Überdeckungsgebiet werden dabei die Bilder und die
homologen Bildausschnitte automatisch ermittelt. Dann werden alle möglichen Bildpaarkombinationen gebildet. Aus der
Liste der markanten Punkte der entsprechenden Bilder werden nur diejenigen auf Ähnlichkeit geprüft, die die gleiche
Kennummer für das Überlappungsgebiet haben. Somit erhalten wir eine Liste der markanten Punkte dieses Gebiets und
eine Liste der vorläufigen Zuordnungen für jedes Gebiet, die als Eingabedaten für die mehrfache Zuordnung dienen.
Mehrfache Zuordnung
Nach der Eliminierung der groben Fehler durch die robuste Ausgleichung der Affintransformationen wurde die Methode
der mehrfachen Zuordnung auf jedes Überlappungsgebiet angewendet. Dabei wurden insgesamt 1060 Tupel von
homologen Bildpunkten gefunden (im Block mit 20% Querüberdeckung waren es 615), die als Verknüpfungspunkte für
die Bündelausgleichung bereitgestellt werden.
Messung der Bildkoordinaten der Paß- und Kontrollpunkte
Die Paß- und Kontrollpunkte sind signalisiert. Sie müssen daher in einem gesonderten Verfahren erfaßt werden. Sie
wurden zunächst anband von gedruckten Papierbildern oder am Bildschirm in den Listen der markanten Punkte vom
Operateur identifiziert. Obv·mhl der Ioterestoperator nicht ohne weiteres für die Identifizierung signalisierter Punkte
angewendet werden kann, wurden sie fast ohne Ausnahme als markante Punkte automatisch extrahiert. Die Koordinaten
wurden als Näherungswerte für eine genauere kleinste Quadrate Korrelation mit einem Musterbild verwendet. Die
Ergebnisse sind in der Abb. 7.16 an einem Beispiel 202 ll;il 203 lOB dargestellt. Die weißen Kreuze stellen die vom Interest-
operator ermittelte Position des markanten Punktes dar.
Die Kreuze mit der schwarzen Mitte markieren die durch
die kleinste Quadrate Korrelation verbesserte neue
Position. Unten und rechts sind an jedem Bildausschnitt
die vom Interestoperator ermittelten Koordinaten des
markanten Punktes bzw. die von der kleinsten Quadrate
Korrelation relativ dazu berechneten Verschiebungen
angegeben Ueweils in Pixel-Einheiten). Die nachträgliche
Anwendung der kleinsten Quadrate Korrelation auf die
insgesamt 136 Bildpunkte der Paß- und Kontrollpunkte
ergab im Mittel eine Verschiebung von 0.17 Pixel und
eine maximale Verschiebung von 0.4 Pixel. Als Er
klärung für die nur geringe Genauigkeitsverbesserung
wird auf die geringe Größe der signalisierten Punkte von
3x3 Pixel im Bild verwiesen. die auch mit der Bild
korrelation keine genauere Lokalisierung erlaubt.
]92.5 -.La lla5.1 +.0
]02 3 ]0] 15
]9;äl.2 +.1 150.5 -.]
Abb. 7.16 : Punktidentifizierung mit dem Interestoperator und der LS-Korrelation
- 94 -
Rechenaufwand
Eine der Forderungen, die an die automatische Punktübertragung gestellt wurde, war die Schnelligkeit des Verfahrens.
Die eigentliche mehrfache Zuordnung (inklusive robuster Ausgleichung) benötigt mit dem modifizierten Verfahren, wie
wir in Kap. 6.5 gesehen haben, weniger als 1 sec pro Verknüpfungspunkt (mehrfache Zuordnung) auf der Rechenanlage
VAX 3500. Wesentlich mehr Zeit wird für die Extraktion der markanten Punkte mit Subpixelgenauigkeit benötigt. In
der folgenden Tabelle sind die mittleren Rechenzeiten (pro Bild bzw. pro Überlappungsgebiet) zusammengestellt, die
die entsprechenden Programmodule auf der Workstation VAX 3500 benötigten. Die verwendeten Programme wurden
nur zum Testen des Verfahrens entwickelt. sind also nicht ausgereift. Das bedeutet, daß noch viel Spielraum zur
Programmoptimierung besteht. Das gilt besonders für das Programm der Punktauswahl mit dem Interestoperator, das
lediglich eine Übertragung einer PC-Version ist.
Bestimmung der Überdeckung (pro Bild) <1 min X 25 = 25 min
Interestoperator mit Subpixelgenauigkeit (pro Bild) 8 » X 25 = 200 »
Ähnlichkeitstest (pro Überlappungsgebiet) <1 » X 85 85 »
Mehrfache Zuordnung (pro Überlappungsgebiet) <1 » X 85 85 »
Der gesamte Rechenaufwand für den Block betrug etwa 6.5 Stunden. Da das Verfahren intern zweimal vollständig
durchlaufen wurde (mit dem 5x5 Pixel- und 7x7 Pixel-Fenster für den Interestoperator), betrug die tatsächliche
Rechenzeit insgesamt 13 Stunden. Dabei \Vurden 1060 Verknüpfungspunkte zugeordnet und gemessen, was in diesem
Fall einer totalen Rechenzeit von 0. 7 min pro Verknüpfungspunkt entspricht.
Algorithmischer Ablauf des Verfahrens
Nach ein paar Testberechnungen. die für die Bestimmung der Schwellwerte notwendig waren, ist das Verfahren für den
ganzen Block als Batchprozeß abgelaufen. Die folgenden Abbildungen stellen den algorithmischen Ablauf des Verfahrens
übersichtlich zusammen.
Schritt 1
i=l,ns j=l,nb
Bildpaar
I I I I ~ I i, j+l I ~,j+21
OBJEKT
I ~I i+2,jl
'tKT~O:""'j Feature Based Matehing Transformation der Eckpunkten
_j[_:~~.:~;s~"ll Überlappungsgebiete auf Bildebene
-~---"····-··•·•·•CC
- 95 -
Schritt 2
i=1,ns j=1,nb
Eil Bild
I ~
EI Interestoperator
I
I ERGEBNIS I Liste der markanten Punkten mit Überdekkungsgebietsnummer u(p)
Schritt 3 ------'=-=--=-============'l]
i=1,nsu j=1,nbu
k=ka,ka+uq-1 l=la,la+ul-2
I
II
Schritt 4
i=1,nsu j=1,nbu
fBJEKT I
I
AKTION
I
I
ERGEBNIS
i
1 < la+u -
m=k n=la+1,1
I OBJEKT
I AKTION
I ERGEBNI
k < ka+u
m=k+1,ka n=la ,la
1-1
a+ul-1
q-1
+uq-1 +ul-1
Bildpaar
=---
I OBJEK: ]
- ~- Bildpaar
_l_J~ G~
Punkte
Zuordnungen I
I AKTION --J[Ähnlichkeitstest der Punkte mit u(p)=i, j
~l~-;te der vorläuf. Zuordnungen I ERGEBNI
Liste der vorläuf. Zuordnungen des Überlappungsgebiets i,j
Robuste Ausgleichung Mehrfache Zuordnung
Tupel von homologen Punkten (Punktnumerierung)
- 96 -
7.3.3 Ergebnisse der Bündelblockausgleichung
Mit den durch die mehrfache digitale Zuordnung identifizierten und gemessenen Verknüpfungspunkten wurde für beide
Blöcke (60% bzw. 20% Querüberdeckung) die Blockausgleichung durchgeführt. Dafür wurde das Bündelblockaus
gleichungsprograrnm PAT-B verwendet. Von den bekannten signalisierten Punkten wurden 9 als Voll- und 9 als
Höhenpaßpunkte in der Blockausgkeichung benutzt. Die übrigen signalisierten Punkte (23 Lage- und 14 Höhenpunkte)
wurden als Kontrollpunkte (Gewicht=O) für die unabhängige Genauigkeitsuntersuchung verwendet. Die Daten beider
Blöcke sind in der folgenden Tabelle zusammengefaßt.
I BLOCK 1 I BLOCK 2 I Streifen 5 3
Bilder 25 15
Längsüberdeckung 60% 60%
Querüberdeckung 60% 20%
Vollpaßpunkte 9 9
Höhenpaßpunkte 9 9
Verknüpfungspunkte 1060 615
Beobachtungen 5934 2826
Unbekannte 3330 1927
Redundanz 2604 899
Eine graphische Übersicht über die Projektionzentren ( + ). die Vollpaßpunkte (t..), die zusätzlichen Höhenpaßpunkte (O)
und die Verknüpfungspunkte (·)gibt Abb. 7.17 für den Block 1 (q=60%) und Abb. 7.18 für den Block 2 (q=20%). Wie
man sieht. sind die Verknüpfungspunkte weitgehend zufällig über den ganzen Block verteilt. Die Anzahl der
Verknüpfungspunkte wurde durch einen Schwellwert für den quadratischen Mittelwert des Zuordnungsfehlers (9-te Spalte
in der Abb. 7.7) begrenzt. Da es vorab keine empirische Erfahrung über die Genauigkeit gab, mit der das
mathematischen Modell der Affintransformation die Bilder des betreffenden Objekts (Architekturmodell) beschreibt, und
da in manchen Gebiete nur wenige markante Punkte extrahiert wurden, wurde der SchweBwert am Anfang auf 3 Pixel
gesetzt. Die Ergebnisse der Ausgleichung zeigten dann. daß etwa 1% der Beobachtungen große Verbesserungen (> 1
Pixel) bekamen, die eigentlich als grob falsche Zuordnungen hätten eliminiert werden müssen. Diese Zuordnungsfehler
wurden aber zunächst durch die robuste Ausgleichung nicht als grob falsch erkannt und nict eliminiert. Nach der Analyse
dieser Prohe-Ausgleichung wurde der SchweBwert für das Verfahren auf 1 Pixel gesetzt. Darauf beziehen sich die
Angaben in der vorherigen Tabelle.
Die Genauigeit der durch das Verfahren geleisteten Übertragung und Messung der Verknüpfungspunkte wird
hauptsächlich durch das o0 der Bündelausgleichung ausgedrückt sowie durch die Verbesserungen der Bildkoordinaten
der Kontrollpunkte, die als wahre Fehler betrachtet und durch ihren quadratischen Mittelwert fl repräsentiert werden. Die
Ergebnisse der Bündelausgleichung ohne zusätzliche Parameter sind in folgender Tabelle (Abb. 7.19) zusammengestellt.
- 97 -
m6sb 60 5b M = 1: 3500 LX 13. 5.1991 10:38:30
ffi·:· .. cO
.6, +' + +
0 0
* + 6
'+ +. + o·
0
+ ·. ·. + + ·+ 0
6 0 . -:'!<: + .+ . : . ~
Abb. 7.17: Projektionzentren( + ), Paß-(.!1, o) und Verknüpftmgspunkte(-) bei 60% Querüberdeckung
m2sb 20% M = 1: 3500 L'
13. 5. 1991 10: 3 5: 0
M .. /':,.
cO f '+· L.:c. .+ + .. + !.::.
+
0 0 6'
6 :
.+ + + + 0
0
0 6..
6 0 +:: ·+· + .+ ..
+
Abb. 7.18 : Projektionzentren( + ), Paß-(.!1, O) und Verkniipfungspunkte () bei 20% Querüberdeckung
- 98 -
I Block 1 (q=60%)
I Block 2 (q=20%)
I Oo Pixel im Bild 0.290 0.279
( mm im Objektraum ) (0.182) (0.175)
f.Lx mm im Objektraum 0.541 = 3.0 a0 0.420 = 2.4 a0
f.Ly » 0.518 = 2.8 a0 0.426 = 2.4 0 0
I-tz » 1.985 = 10.9 a0 1.732 = 9.9 a0
Abb. 7.19 : Genauigkeitsparameter der Bündelausgleiclumg ohne zusätzliche Parameter
Das Ergebnis ist nicht in Übereinstimmung ~it den theoretischen und praktischen Erwartungen über die Genauigkeit
der Aerotriangulation, weder absolut noch relativ. Insbesondere ist auch der Block 2 mit 20% Querüberdeckung genauer
als der Block 1 mit 60% Querüberdeckung. Die Ergebnisse lassen somit stark vermuten, daß die Bildkoordinaten mit
starken systematischen Fehlern behaftet sind. Das war auch zu erwarten, weil die Bilder mit einem gewöhnlichen
Objektiv für Spiegelreflexkameras aufgenommen wurden und keine Kalibrierung stattgefunden hat. Zur Erfassung der
systematischen Bildfehler wurde die Bündelausgleichung mit zusätzlichen Parametern [EBNER 1976] noch einmal
durchgeführt. Da wir hier die Genauigkeit der durch die mehrfache Zuordnung zugeordneten und gemessenen
Verknüpfungspunkte und nicht die Genauigkeit des Aufnahmesystems (Kamera+Objektiv) untersuchen wollten, war es
zulässig, den so ermittelten systematischen Teil der Bildkoordinatenfehler zu korrigieren. Mit den so von systematischen
Fehlern bereinigten Bildkoordinaten \vurde die Bündelausgleichung noch einmal durchgeführt. Die damit erzielten
Genauigkeitsergebnisse zeigt die Tabelle der Abb. 7.20 :
I Block 1 (q=60%)
I Block 2 (q=20%)
Oo Pixel im Bild 0.294 0.281
( mm im Objektraum ) (0.185) (0.177)
f.Lx mm im Objektraum 0.114 = 0.6 a0 0.155 = 0.9 a0
f.Ly » 0.086 = 0.5 a0 0.089 = 0.5 a0
I-tz » 0.490 = 2.6 a0 0.783 = 4.4 a0
Abb. 7.20 : Genauigkeit der Bündelausgleichung ohne zusätzliche Parameter mit von systematischen
Fehlem bereinigten Beobachtungen
I
I
I
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
.{1,1
.{1,2
.{),3
.{),4
.{1,5
.{),6
.{1,7
.{),8
.{),9
0
0,9
0,8
0,7
0,6
0,5
0,4
o.s 0,2
0,1
0
.{1,1
.0,2
.{1,3
.{),4
.0,5
.{),6
-<J,7
.{1,8
.{1,9
-1
0
- 99 -
Verbesserungen der x-Bildkoordinaten
D D
D
0 D Do El IID D D D
Q]
D D D
D D D D D D D
D
0.4 0,8 1,2 1,6 2 (Tausender) Bildpunkte
Verbesserungen der y-Bildkoordinaten
D D
1,6 (Tausender) Bildpunkte
q=60%
D
D D D
D D Q]
D D D~~E/D @lJ D
D
D'
oD D
D oD D
2.4 2,8
q=60%
D
Abb. 7.21 : \lerbesserungen der Bildkoordinaten bei 60% Querüberdeckung
- 100-
Verbesserungen der x-Bildkoordinaten q=20%
0,7 D D
0,6 D D
D D D 0,5
D D § D D g D IDl D D lfll 0,4 D
D D D 0,3 tOJl D
0,2
0,1
~ ..(),1 DD[J]
D oD
..(),2 § D D /!fP D oD
D D D -o,3 c:P=J D D Do oD ..(),4 D D D cfl D D D IDl
D c::P D D D
-0,5 D ol3
D D D -0,6
D
-0,7
-0,8
0 0,2 0,4 0,6 0,8 1,2 1.4 (fausender) Bildpunkte
Verbesserungen der y .. ßildkoordinaten q=20%
0,9
o.s D
0,7 D
0,6 r::P D D
0,5 D D D
D D DD D 0.4 D
D Do D D o,:3 D
0,2
0,1
~ 0
..(),1
-0,2
-0,3
-0,4 D
GJ D D D
-0,5 Cl D D lfll -0,6 D
..(),7 D
-0,8
-0,9 D
-1
0 0,2 0,4 0,6 0,8 1,2 1.4 (fausendery Bildpunkte
Abb. 7.22 : Verbesserungen der Bildkoordinaten bei 20% Querüberdeckung
- 101 -
Ein Vergleich der neuen Ergebnisse zwischen den beiden Blöcken zeigt, daß nunmehr der Block mit 60%
Querüberdeckung wie zu erwarten eine bessere Genauigkeit besonders in der Höhe aufweist. Auch die durch die
Kontrollpunkte ausgewiesene Lagegenauigkeit entspricht nun weitgehend den theoretischen Erwartungen. Das gilt auch
für die absolute Höhengenauigkeit die zwar sehr ungenaue Werte aufzuweisen scheint, die aber durchaus dem in diesem
Fall vorhandenen Basis/Höhen Verhältnis von 0.17 entspricht.
Das a 0 liegt in allen Fällen unter 0.3 Pixel. Bei 15 Jim Pixelgröße entspricht dem a0 .... 4.5Jim. Damit liegt die Genauigkeit
der Zuordnung etwa bei azuord .... 3.5 f.Lm bzw. auf Pixel umgerechnet bei 0.23 Pixel. Dieser Wert entspricht der
bekannten theoretischen Genauigkeit des Interestsoperators (114 Pixel) und ist damit im Einklang mit der für das
Verfahren der mehrfachen Zuordnung erwarteten Genauigkeit. Damit ist unmittelbar gezeigt, daß das hier entwickelte
Verfahren auch ohne eine nachträgliche kleinste Quadrate Korrelation genauere Ergebnisse liefert als der Standard Fall
der konventionellen Aerotriangulation mit manueller Punktübertragung und -markierung. Weiterhin ist zu erwarten, daß
die Gen\'l,uigkeit des Verfahrens bei Anwendung auf echte digitalisierte Luftbilder wegen der besseren Bildqualität und
der genauen Kammerkalibrierung eher noch besser ausfallen wird.
Als weiteres Ergebnis kann die hohe Zuverläsigkeit des Verfahrens genannt werden. Von den 2949 automatisch
identifizierten und gemessenen Bildpunkten im Block 1 (bzw. 1495 im Block 2) wurde kein einziger mehr in der
Blockausgleichung als grob falsch ausgewiesen. Die Verbesserungen aller Bildkoordinaten lagen, wie die Abb. 7.21
und Abb. 7.22 zeigen, unter 1 Pixel. was mit dem eingeführten Schwellwert für den Zuordnungsfehler übereinstimmt.
Man kann demnach, wenn eine große Anzahl von Zuordnungen vorhanden ist, durch niedrigere SchweBwerte nur die
entsprechend genauen Zuordnungen für die Verknüpfungspunkte auswählen und damit im gegebenen Fall signifikant
genauere Ergebnisse erzielen.
7.3.4 Anwendung auf echte Luftbilder
Zur operationeilen Anwendung des Verfahrens für die Punktübertragung in echten Luftbildern müssen etmge
Vorausetzungen bezüglich der Speichermöglichkeiten des verwendeten Rechners erfüllt sein. Wenn jeweils das ganze
Luftbild mit hoher Auflösung (15,um) digitalisiert und durch Mittelung die Bildpyramide erstellt wird, haben wir den
Vorteil einer übersichtlichen Datenorganisation. Außerdem stehen dann die digitalisierten Bilder für beliebige andere
digitale Anwendungen zu Verfügung. Anderseits bedeutet die Digitalisierung der Vollbilder einen hohen Aufwand und
erfordert insbesondere eine große Speicherkapazität. Ein mit 15 Jlm Pixelgröße digitalisiertes Luftbild liefert eine
Datenmenge von 256 MB. Selbst für einen kleinen Block von nur 25 Bildern sind das 6.4 GB, die bei einem
vollautomatischen Ablauf des Verfahrens gleichzeitig für direkte Zugriffe zu Verfügung stehen müssen. Gewöhnliche
Arbeitsstationen verfügen über magnetische Platten mit 1-2 GB Speicherkapazität. Somit können eigentlich die Bilder
eines Blocks nur auf optischen oder optomagnetischen Platten gespeichert werden, auf die durch ein "Juke-Box"-Sytem
von Laufwerken gleichzeitig zugegriffen werden kann. Sie haben allerdings bis auf weiteres den Nachteil, daß die
Zugriffszeiten von optischen oder optomagnetischen Laufwerken erheblich länger sind als bei den magnetischen Platten.
Eine wichtige Alternative ist deshalb die Digitalisierung von Bildausschnitten an Stelle von ganzen Bildern. Man kann
dabei mit sehr grober Auflösung das ganze Luftbild für die oberste Ebene der Bildpyramide digitalisieren, was z.B. mit
3 75 Jim Pixelgröße für ein ganzes Bild 640x640 Pixel ergibt. Diese Bilder werden für Übersichtszwecke ve1wendet sowie
für die Bestimmung der Überdeckungen und der Anfangsnäherungswerte. Für die zwei anderen Ebene (75 Jim und 15
Jfm Auflösung) der Bildpyramide werden nur noch Bildausschnitte an den 9 Standardstellen der Punktübertragung (Abb.
7.23) digitalisiert. Damit die homologen Bildausschnitte sich hinreichend überlappen, müssen die digitalisierten
- 102-
Ausschnitte etwa 4cm x 4cm groß sein. Mit den heutigen Navigationsmitteln (z.B. GPS), die a priori eine genaue
Bestimmung der Überdeckung erlauben. können sogar kleinere Bildausschnitte verwendet werden. Somit wird die
Datenmenge insgesamt auf etwa 1/3 des oben genannten Umfangs reduziert.
Das Verfahren der Punktidentifizierung und -Übertragung
kann nun auf der obersten Ebene der Bildpyramide
angewendet werden, genau wie es hier entwickelt und am
Beispiel des Architekturmodells demonstriert wurde. Die
mit der höheren Auflösung digitalisierten Bildausschnitte
enthalten die stark überdeckten Bildbereiche (bis 9-fach bei
60% Querüberdeckung). Somit beschränken sich im Fall
des 25-Bilder-Blocks die Überlappungsgebiete, auf die das
Verfahren angewendet wird, auf 45 (Abb. 7.24). In jedem
Überlappungsgebiet werden nur die 1-3 genauesten mehr
fachen Zuordnungen (die ersten in der entsprechenden
Liste) ausgewählt und ihre homologen Bildpunkte auf der
nächsten (mittleren) Ebene der Bildpyramide in die
entsprechenden Bildausschnitte übertragen. In dieser Ebene
werden um die transformierten Bildpunkte herum Bildaus
schnitte von z.B. 256x256 Pixel neu definiert und auf sie
das Velfahren erneut angewendet. Entsprechend wird das
Verfahren auf der nächsten (unteren) Bildebene fortgesetzt.
Abb. 7.23 : Standardstellen der Punktübertragung
Die mehrfachen Zuordnungen auf dieser Ebene definieren die endgültigen homologen Bildpunkte (Verknüpfungspunkte ),
deren Bildkoordinaten als Beobachtungen in die Bündelblockausgleichung eingebracht werden. Damit die Bildausschnitte
eines Bildes sich nicht gegenseitig überlappen und so gleiche Gebiete zweimal verwendet würden, müssen die in der
oberen Ebene ausgewählten mehrfachen Zuordnungen geometrisch so verteilt sein, daß zwischen den Bildpunkten eines
Bildes mindenstens ein Abstand von der Größe der in der unteren Ebene verwendeten Bildausschnitte (256 Pixel)
verbleibt. Das bedeutet auch. daß das Suchverfahren (Kap. 6) nicht alle vorhandenen mehrfachen Zuordnungen (Cliquen)
finden muß, sondern daß es nach dem Auffinden von z.B. 10mehrfachen Zuordnungen, die die Genauigkeitsforderungen
elfüllen und im Bildausschnitt verteilt sind. abgebrochen werden kann. Außerdem braucht der Interestoperator nur in
der hochaufgelösten Ebene mit subpixelgenauer Punktbestimmung zu arbeiten, während man sich in den beiden oberen
Ebenen auf die Auswahl der optimalen Bildfenster beschränken kann. Somit kann der benötigte Rechenaufwand weiter
reduziert werden.
Wenn bei der Anwendung des Verfahrens auf den 3 Ebenen der Bildpyramide in den ganzen Überlappungsgebieten in
der obersten Ebene und in den homologen Bildausschnitten in den übrigen Ebenen jeweils k Punkte auf die nächste
Ebene übertragen werden. kann man den Gesamtrechenaufwand für einen 5x5 Block von echten Luftbildern auf Grund
der im Beispiel des Architekturmodells ermittelten Rechenzeiten hochrechnen. Der Interestoperator wird in der oberen
Ebene auf die ganzen Bilder und in den übrigen Ebenen dagegen nur auf die homologen Bildausschnitte (256x256 Pixel)
angewendet. deren Anzahl für jeden in der Bildpyramide übertragenen Punkt gleich mit der Überlappung des Gebiets
n,
ist. in dem der Punkt liegt. Wenn nun su = L u1
die Summe der Überlappungen aller Überlappungsgebiete (hier i=l
su-=221, Abb. 7.24) ist (u1 Überlappung des Gebiets i). dann wird der Interstoperator auf s • k j-J Bildausschnitte
- 103 -
Überlappung
9
6
4
. 3
[ill2
01
Abb. 7.24 : Überlappungsgebiete im Falle von Bildausschnittdigitalisierung
angewendet, wobei j die Nummer der Ebene in der Pyramiden-Hierarchie ist. Der Ähnlichkeitstest und die mehrfache
Zuordnung wird nu • k j-J mal auf jeder Ebene angewendet, wobei nu die Anzahl der Überlappungsgebiete ist (hier
nu=45). Man erhält somit die folgenden Rechenzeiten für einen 25-Bilder-Block nach Abb. 7.25 (VAX 3500) :
Bestimmung der Überdeckung 25 x 1 min
Interestoperator (Ganzpixel) 640x640 Pixel 25 x 4 min
» » ) 256x256 » s· k x 1 min
» (Subpixel) » » s· k2 x 2 min
Ähnlichkeitstest nu· (k2+k+1) x 1 min
Mehrfache Zuordnung nu· (k2+k+1) x 1 min
Mit k=3 ergibt sich ein Gesamtrechenaufwand von rund 70 Stunden. Etwa 70% dieser Rechenzeit wird vom
Interestoperator verbraucht. Wie schon erwähnt wurde, sind die Rechenzeiten besonders für den Interestoperator nicht
repräsentativ, da sie sich auf nicht optimierte Testprogramme beziehen. Beschleunigungen um den Faktor 2-3 müßten
daher leicht zu erreichen sein. Die Entwicklung und Optimierung effizienter Rechenprogramme ist nicht Gegenstand
dieser Arbeit, die sich auf die Entwicklung und Prinzip-Demonstration des automatischen Verfahrens beschränkt hat.
Immerhin zeigen aber die Ergebnisse, daß eine operationeHe Entwicklung und wirtschaftliche Anwendung des Verfahrens
unter Ve1wendung der heute verfügbaren Computer Technologie praktisch möglich wird.
- 104-
8 Zusammenfassung und Überblick
Die Aerotriangulation hat sich in langjähriger Entwicklung als ein leistungsfähiges geodätisches Verfahren der
Punktbestimmung hoher Genauigkeit etabliert. Dieser Fortschritt wurde bisher fast ausschließlich durch die Entwicklung
der Ausgleichung erzielt. Für die anderen Phasen der Aerotriangulation, nämlich die Planung und die Vorbereitung und
Messung der Bilder, wurde dagegen trotz der theoretischen Forschungen in der Praxis vergleichsweise wenig getan. Es
bilden aber besonders die Vorbereitung der Bilder und die Messung der Verknüpfungspunkte, die heute immer noch
manuell durchgeführt werden, nicht nur eine ganz entscheidene Vorausetzung für die Zuverlässigkeit und Genauigkeit
der Endergebnisse, sondern sie sind die arbeitsintensivsten und zeitaufwendigsten Operationen in der Aerotriangulation.
Es gibt somit einen dringenden Bedarf zur Automatisierung gerade dieser Operationen, um eine weitere Leistungs
steigerung der Aerotriangulation zu erreichen. Gleichzeitig signalisiert gegenwärtig die Entwicklung sowohl der
photogrammetrischen Methoden als auch der Geräte (Photogrammetrische digitale Arbeitsstation, Scanner) den Übergang
von der analytischen zu digitalen Photogrammetrie. Dieser Prozeß wird durch die ständige Leistungssteigerung und den
gleichzeitigen Preisverfall der Rechenanlagen beschleunigt werden. Die Voraussetzungen zur digitalen Automatisierung
der Meßprozesse in der Aerotriangulation sind also zunehmend gegeben.
In dieser Arbeit wurde ein digitales Verfahren für die Automatisierung der Punktübertragung und der Punktmessung
vorgestellt. Der Kern des Verfahrens ist eine Methode für die mehrfache Merkmalszuordnung. Die Methode ist eine
algorithmisch unbeschränkte Generalisierung des Feature Based Matehing (Merkmalszuordnung innerhalb von zwei
Bildern) auf mehrere überlappende Bilder. Damit wird das Problem der Verknüpfungspunkte bei variabler
Bildüberlappung in photogrammetrischen Blöcken einheitlich gelöst. Die Forderungen, die an die mehrfache
Bildzuordnug gestellt werden, sind von dem Anwendungsziel bestimmt. Das Verfahren sollte eine günstige Alternative
zu dem Standardfall der Aerotriangulation mit manueller Punktübertragung sein, d.h automatisch und wirtschaftlich
genauere und zuverlässigere Ergebnisse liefern. Die Vorausetzungen für die Anwendung des Verfahrens sind minimal.
Es wird vorausgesetzt, daß die allgemeinen Überlappungsbeziehungen zwischen den Bildern aus der Blockstruktur
bekannt sind und daß die Bilder genügend Textur aufweisen, sodaß die benötigten Merkmale (Punkte) extrahiert werden
können. Das in der Photogrammetrie bekannte Problem der Näherungswerte wird durch die hierarchische Anwendung
des Verfahrens auf Bildpyramiden gelöst. Unter dem Gesichtspunkt der praktischen Anwendung benutzt das Verfahren
als Basis etablierte Methoden der digitalen Bildverarbeitung, der Graphentheorie und der binären Programmierung. Damit
ergab sich nicht nur ein modularer Aufbau des Systems aus im Prinzip bekannten Verfahren, sondern es wurde auch
die Genauigkeit der Ergebnisse vorhersagbar.
Mit der Anwendung des Verfahrens auf einen kleinen Bildblock von 25 Bildern konnte die praktische Funktionsfähigkeit
und die Konsistenz des Systems demonstriert werden und eine erste Vorstellung über die benötigten Rechenzeiten
gewonnen werden. Die Ergebnisse der anschließenden Blockausgleichung, bei der die durch das Verfahren ausgewählten
und gemessenen Verknüpfungspunkte benutzt wurden, bestätigen die hohen Genauigkeitserwartungen, die an das
Verfahren gestellt wurden. Aufgrund dieser Ergebnisse kann man festellen. daß man durch die richtige Auswahl der
Schwellwerte für die einzelnen Schritte des Verfahrens die Genauigkeit und die Zuverlässigkeit der Ergebnisse
kontrollieren kann. Die erreichbare Genauigkeit der Bildkoordinaten von a0 .... 4.5 Jim entspricht für 15tlm Pixelgröße
den theoretischen Erwartungen und unterbietet die beste bei der konventionellen Aerotriangulation mit Punktübertragung
erreichte Genauigkeit von Oo ;;;;: 7;Lm erheblich. Die daraus abgeleitete Genauigkeit der Punktzuordnung von ozuord .... 3.5
,um weist kaum mehr signifikante Unterschiede auf im Vergleich zu den Ergbnissen früherer empirischer Untersuchungen
( ozuorct .... 2.8 - 3.0 Jlm), bei denen die Punktübertragung durch kleinste Quadrate Korrelation mit 20 ,um Pixelgröße
- 105 -
erfolgte (siehe Kap. 3.2.1). Die Bestätigung dieser Ergebnisse durch die Anwendung des Verfahrens auf echte Luftbilder
muß hier allerdings offen bleiben. Da aber bei dem hier verwendeten Bildmaterial eine Reihe von ungünstigen
Voraussetzungen (Pixelaffinität. Amateurobjektiv, Kammerkalibrierung, Basisverhältnis) herrschten, die bei echten
Luftbildern entfallen, können die hier erzielten Ergebnisse mit Luftbildern sicherlich unterboten werden.
Der automatische Ablauf der Punktübertagung und -Messung in dem Verfahren in Verbindung mit der im Prinzip
unbeschränkten Anzahl der überlappenden Bilder und der Verknüpfungspunkte eröffnet ein weites Feld für weitere
empirische Untersuchungen. Somit ist insbesondere der Einfluß der Anzahl der Verknüpfungspunkte sowei ihrer
Verteilung (Standardstellen oder flächenhaft) auf die Genauigkeit und Zuverlässigkeit der Blockausgleichung zu
untersuchen. Weiterhin soll untersucht werden, ob eine nachträgliche Anwendung der kleinsten Quadrate Korrelation
eine signifikante Genauigkeitsteigerung bringt und den zusätzlichen Rechenaufwand rechtfertigt. Ein anderer Punkt sind
die denkbaren Erweiterungen des Verfahrens. Durch die Kombination des Verfahrens mit genauen Navigationsdaten
(GPS) kann der Rechenaufwand verringert w·erden (Bestimmung der Überdeckung, Anfangsnäherungswerte). Ferner kann
das elementare Verfahren der mehrfachen Zuordnung mit Hilfe eines anderen mathematischen Modells für die robuste
Ausgleichung auch auf andere Aufnahmen angepaßt werden (Raum-, Nahbereichsaufnahmen).
Es gibt keine ZweifeL daß die Zukunft der Photogrammetrie digital sein wird. Dabei kann die Aerotriangulation keine
Ausnahme sein. In einigen Jahren wird der ganze Prozeß der Aerotriangulation (im engeren Sinne) vollautomatisch oder
hochinteraktiv auf digitalen Rechnern ablaufen. Das hier vorgestellte Verfahren hat die methodische Grundlage dafür
gelegt.
- 106-
LITERATURVERZEICHNIS
ACKERMANN F. (1966) : "On the Accuracy of Planimetrie Block Triangulation"
Photogrammetria, Vol. 21, 1966. S. 145
ACKERMANN F. (1983) : "High Precision Digital Image Correlation"
Proceedings 39. Photogrammetrische Woche, Stuttgart 1983, IPS Heft 9, S. 231
ACKERMANN F. (1985) : "Digitale Bildverarbeitung in der photogrammetrischen Stereoauswertung"
Proceedings 40. Photogrammetrische Woche, Stuttgart 1985, IPS Heft 11, S. 61
ACKERMANN F., EBNER H., KLEIN H. (1970) : "Ein Programmpaket für die Aerotriangulation mit unabhängigen
Modellen"
Bildmessung und Luftbildwesen 1970, S. 218
ACKERMANN F., EBNER H .. KLEIN H. (1972) "Combined Blockadjustment of APR Data and Independent
Photogrammetric Models"
Canadian Surveyor 1972, S. 384
ACKERMANN F., SCHNEIDER W. (1986): "High Precision Aerial Triangulation with Point Transfer by Digital Image
Correlation"
Int. Arch. of Photogrammetry, Vol. 26-3. S. 18, Rovaniemi 1986
BALAS E. (1965) : "An Additive Algorithm for Solving Linear Programs with Zero-One Variables"
Operation Research, Vol. 13, 1965, S. 517
BARTELME N. (1989) : "GIS Technologie"
Springer Verlag, Berlin Heidelberg 1989
BAUER H., MÜLLER j. (1972): "Programm BAP"
Festschrift Gerhard Lehmann, Hannover 1972
BROWN D. C. (1974) : "Evolution, application and potential of the bundle method of photogrammetric triangulation"
Proceedings IGP-Komm. III Symposium. Stuttgart 1974
BÜHLER M., WEGMANN A. (1987): "Anwendung des Feature-Based-Matching-Algorithmus in der Aerotriangulation"
Selbständige geodätische Arbeit 848, Inst. für Photogrammetrie, Stuttgart 1987
BUSACKER R., SAATY T. (1968): "Endliche Graphen und Netzwerke"
Oldenbourg Verlag, München-Wien 1968
CHRISTOFIDIS N. (1986) : "Graph Theory. An Algorithmic Approach"
Academic Press, Inc., London 1986
- 107-
EBNER H. (1973) : "Philosophie und Realisierung von Großblöcken"
in F. Ackermann "Numerische Photogrammetrie", Herbert Wichmann Verlag, Karlsruhe 1973, S. 109
EBNER H. (1976) : "Self Calibrating Block Adjustment"
Int. Arch. of Photogrammetry. XIII ISP-Congress , Helsinki 1976
FAUST H. W. (1989) : "Digitization of Photogrammetric Images"
Proceedings 42. Photogrammetrische Woche, Stuttgart 1989, IPS Heft 13, S. 69
FÖRSTNER W. (1978) : " Die Suche nach groben Fehlern in photogrammetrischen Lageblöcken"
DGK. Reihe C, Heft Nr. 240. München 1978
FÖRSTNER W. (1982) : "On the Geometrie Precision of Digital Correlation"
Int.. Arch. of Photogrammetry. Vol.24-III, Helsinki, S. 197
FÖRSTNER W. (1985) : "Prinzip und Leistungsfähikeit der Korrelation und Zuordnung von Bildern"
Proceedings 40. Photogrammetrische Woche, Stuttgart 1985, IPS Heft 11, S. 69
FÖRSTNER W. (1986) : "A Feature based Correspondence Algorithm for Image Matching"
Int. Arch. of Photogrammetry. Vol 26-III, Rovaniemi, Finland
FÖRSTNER W. (1989) : "Wissengestützte Aerotriangulation"
Festschrift Friedrich Ackermann. IPS Heft 14, Stuttgart, S. 33
FÖRSTNER W., GÜLCH E. (1987) : "A Fast Operator for Detection and Precise Location of Distinct Points, Corners
and Centres of Circular Features"
Proceedings Intercommission Conference on Fast Processing of Photogrammetric Data, Interlaken, Switzerland
FRIESS P. (1987) : "The Navstar Global Positionig System for Aerial Triangulation"
Proceedings 41. Photogrammetrische Woche, Stuttgart 1987, IPS Heft 12, S. 33
GILLETT B. (1976) : "Indroduction to Operations Research"
Mc Graw HilL 1976
GROSSKOPF R. E. (1989) : ''Digital Processing of High Definition Images"
Proceedings 42. Photogrammetrische Woche, Stuttgart 1989, IPS Heft 13, S. 169
GRÜN A.W. (1985) : "Adaptive kleinste Quadrate Korrelation und geometrische Zusatzinformation"
Vermessung, Photogrammetrie. Kulturtechnik, 9/85, S. 309
GRÜN A.W. (1988) : Digital Photogrammetric Systems - Current Status and Prospects"
Int. Arch. of Photogrammetry. Vol 27. S. 343, Kyoto 1988
GÜLCH E. (1985) : "Instrumentelle Realisierung und Kalibrierung der digitalen Bildkorrelation am Planicomp C100"
Proceedings 40 Photogrammetrische Woche, Stuttgart 1985, IPS Heft 11, S. 91
- 108 -
HÄNSCHEID P. (1987) : "Dedizierte Symbol-Prozessoren für komplexe Aufgaben der Wissensverarbeitung"
Experten Syteme, MEGA Sonderheft Nr. 250, Franzis Verlag
HELA VA U. V. (1988) : "Object-Space Least-Squares Correlation"
Photogrammetric Engineering and Remote Sensing, Vol. 54, Nr. 6, S. 711, 1988
HELAV A U. V. (1988) : "On System Concepts for Digital Automation"
lnt. Arch. of Photogrammetry. Vol. 27, S. 17L Kyoto 1988
HELAVA U. V. (1989) : "Digital Camparator Cerrelation System"
ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 44, NO. 1, S. 37
HOBROUGH G. L. (1959) : "Automatie Stereo Plotting"
Photogrammetric Engineering 1959. S. 763
KLEIN H. (1973) : "Blocktriangulation mit Hilfsdaten"
in F. Ackermann "Numerische Photogrammetrie", Herbert Wichmann Verlag, Karlsruhe 1973, S. 127
KLEIN H., FÖRSTNER W. (1981) : "Strategien für die Fehlersuche in der Aerotriangulation"
Stuttgart 1981, IPS Heft 7. S. 91
KLEIN H., FÖRSTNER W. (1984): "Realization of Automatie Error Detection in the Block Adjustment Program PAT
M43 Using Robust Estimators"
XVth ISPRS-Congress. Rio de Janeiro 1984. IPS Heft 10, S. 63
KNÖDEL (1969) : "Graphentheoretische Methoden und ihre Anwendungen"
Springer Verlag, Berlin 1969
KONENCNY G., LOHMANN P., SKOG. L. (1988): "A Digital Mapping System"
Int. Arch. of Photogrammetry, Vol. 27. Kyoto 1988
KORIES R.R. (1985) : "Bildzuordnungsverfahren für die Auswertung von Bildfolgen"
Proceedings 40 Photogrammetrische Woche, Stuttgart 1985, IPS Heft 1 L S. 157
KRARUP, JUHL, KUBIK (1980) : "Götterdämmerung over Least Squares Adjustment"
Int. Arch. of Photogrammetry, Vol. 23-33. S. 369, Harnburg 1980
KREILING (1976) : "Automatische Herstellung von Höhenmodellen und Orthophotos aus Stereobildern durch digitale
Korrelation".
Dissertation, Karlsruhe 1976
LOHMANN P. (1989) : "Design and Development of a Digital Photogrammetric System"
Proceedings 42. Photogrammetrische Woche, Stuttgart 1989, IPS Heft 13, S. 191
- 109-
LUHMANN T., ALTROGGE G. (1986) : "Interest Operator for Image Matching"
Int. Arch. of Photogrammetry. Vol 26-III, Rovaniemi, Finland
MINOUX M. (1986) : "Mathematical Programming"
John Wiley Verlag, 1986
NEUMANN K. (1975) : "Operations Research Verfahren"
Hanser Verlag. 1975
NOLTEMEIER H. (1976) : "Graphentheorie mit Algorithmen und Anwendungen"
Walter de Gruyter Verlag. Berlin 1976
PERTL A. (1985) : "Empirical Results of Automatie Parallax Measurement"
Proceedings 40. Photogrammetrische Woche, Stuttgart 1985, IPS Heft 11, S. 109
PERTL A., ACKERMANN F. (1982) : "Zuordnung kleiner Bildflächen durch digitale Korrelation zur Verknüpfung
verschiedener oder verschiedenartiger Bilder im Anwendungsbereich Photogrammetrie und Fernerkundung"
DFG Final Report
SARJAKOSKI T. (1986a) : "Potential of Expert-System Technology for Aerialtriangulation"
lnt. Arch. of Photogrammetry. Vol. 26-3, S. 212, Rovaniemi 1986
SARJAKOSKI T. (1986b) : "Knowledge-Based Blunder Treatment in Bundle Block Adjustment"
Int. Arch. of Photogrammetry. Vol. 26-3, S. 119, Rovaniemi 1986
SCHENKT. (1988) : "The Effect of Digital Photogrammetry on Existing Photogrammetric Concepts, Procedures and
Systems"
lnt. Arch. of Photogrammetry. S. 234, Kyoto 1988
SCHMID H. (1958/1959) : "Eine allgemeine analytische Lösung für die Aufgabe der Photogrammetrie"
Bildmessung und Luftbildwesen. Nr. 4 (1958), Nr. 1 (1959)
SCHWIDEFSKY K.. ACKERMANN F. (1976) : "Photogrammetrie"
B. G. Teubner Verlag. Stuttgart 1976
THESEN A. (1978) : "Computer Methods in Operations Research"
Academic Press Verlag. 1978
WALTER H .. NÄGLER G. (1987) : ''Graphen-Algorithmen-Programme"
Springer Verlag. Leipzig 1987
WERNER H, (1984) : "Automatie Grass Error Detection by Robust Estimators"
Int. Arch. of Photogrammetry. Vol. 24-3, Rio de Janeiro 1984
26.11.1959
1965-1971
1971-1977
1977-1984
22.2.1984
1984-1987
seit 1988
- 110 -
Vassilios Tsingas
LEBENSLAUF
Geboren in Grammeno - Griechenland
Grundschule in Grammeno
Besuch des naturwissenschaftlichen Gymnasiums "Zosimaia-Lyzeum" in Ioannina
Studium des Fachs Agronomie und Vermessungswesen an der technischen
Universität "Aristoteles" in Thessaloniki
Diplomprüfung
Teilnahme an der Vorlesungen der letzten Semester des Studiums Vermessungs
wesen an der Universität Stuttgart für die Anerkennung des griechischen Studiums
abschlusses.
Wissenschaftlicher Mitarbeiter des Instituts für Photogrammetrie der Universität
Stuttgart