Bildbasiertes Mobile Mapping€¦ · Bildbasiertes Mobile Mapping - 9. Hamburger Forum für...

Sensorik, Algorithmik und AnwendungenBildbasiertes Mobile Mapping -

9. Hamburger Forum für Geomatik, 24. Mai 2018

Stefan Blaser, wissenschaftlicher Mitarbeiter, Institut Geomatik

13.06.2018Institut Geomatik 2

Grundprinzip: Bildbasiertes Mobile Mapping

• Navigationssensorik: GNSS + IMU

• Umgebungssensorik: Stereosysteme, (evtl. LiDAR)


Georeferenziertes 3D-Bild

• perspektivisches Messbild mit Distanzwert für jedes Pixel

• so einfach interpretierbar und nutzbar wie ein 2D-Bild und gleichzeitig voll 3D-fähig

• relative & absolute Messungen, Digitalisierung & Überlagerung von 2D- und 3D-Geodaten

• für Aussenraum & Innenraum

• Forderung: WYSIWYG (what yousee is what you get)(Nebiker et al., 2015)


Konzept 3D-Bild

Tiefenwerte ausa) Image Matching od.b) co-registriertem LiDAR


Vergleich 3D-Bild mit 3D-Punktwolke


Nutzung von 3D-Bilddaten: Web-basierte und mobile Cloud Services


Fahrzeug, Luft, Wasser, Schiene … Spektrum an Plattformen und Anwendungen

Leitungskataster (Ingesa Oberland AG) Hochspannungsleitungen (Meran / Bozen)

Flussufer und Brücken (Basel-Stadt) Bahninfrastruktur (BLS)


360° Stereo-Panorama-Konfiguration

• Weitwinkel-Stereo-Kamerasysteme (frontal / rückwärts) (blau)→ Strassenraum und -infrastruktur

• Zwei verschwenkte Mehrkopf-Panoramakameras (rot)= 4 Fischaugen-Stereokamerasysteme (seitlich)→ Gehsteige und Fassaden

(Blaser et al., 2017)


Systemkalibrierung

• Bündelblockausgleichung mit zusätzlichen Bedingungen

• Unterstützung verschiedener Kameramodelle:• perspektivisch• äquidistant (Fischaugenobj.)

• Teilkalibrierung im Innenraum:• Innere Orientierung (IOP)• Relative Orientierung (ROP)

• Teilkalibrierung im Aussenraum:• Hebelarme und Fehlaus-

richtungen zum INS (LM)

Kalibrierfeld im Innenraum (links):

• 144 Targets, = 0.3 mm

Kalibrierfeld im Aussenraum (rechts):

• Targets und natürliche Passpunkte


3D-Bildgenerierung aus Fischaugen-Stereokamerasystemen

• Äquidistantes Kameramodell wird beibehalten

• Linkes Bild des korrigierten äquidistanten Stereobild-paares: RGB-Layer des 3D-Bilds

• Für die Generierung der Dis-paritätskarte: Verwendung des epipolar-äquidistantenKameramodells

• Workflow als Python-Programm umgesetzt

• Dense Image Matching: SURE (Blaser et al., 2017)


3D-Messgenauigkeiten (Stereobildmessung)

Vergleich von bildbasierten 3D-Distanzmessungen mit 3D-Referenzdistanzen

• St. Abw. Fassade:0.5 – 1.5 cm

• St. Abw. Fussgängerstreifen:0.5 – 6.5 cm

• Einflussfaktoren:• Kalibrierung

(IOP + ROP)• Punktdefinition

(Blaser et al., 2017)


Vergleich Distanzmessungen im 3D-Bild mit Referenzdistanzen

(Blaser et al., 2018, accepted)

• St. Abw. Fassade (rot & grün):0.1 – 6.1 cm

• St. Abw. Fussgängerstreifen: (blau)0.5 – 12.2 cm

• Einflussfaktoren:• Kalibrierung

(IOP + ROP)• Punktdefinition• Dense Image Matching


Automatische Ableitung von realitätsgetreuen 3D-Stadtmodellen(BTh Ackermann & Studer, 2016)


Genauigkeitsvergleich direkte vs. Bildbasierte Georeferenzierung

Mittlere 3D-Abweichung

• 1: 520 mm

• 2: 93 mm

• 3: 81 mm

1

2

3

Genauigkeitssteigerung

Direkte Georeferenzierung => Bildbasierte Georeferenzierung

RMSE Checkpunkte Δ3D: 427 mm => 39 mm

ca. Faktor 10

(Cavegn et al., 2016)


Bildbasierte Georeferenzierung mit relativen Orientierungsbedingungen

Laufende PromotionS. Cavegn

Relative Orientierungsbedingungen für

• Stereokameras

• Multihead-Panoramakameras

Genauigkeitsuntersuchungen(RMSE Checkpunkte 3D)

• Aussenraum: 22-31 mm

• Innenraum: 15-22 mm

(Cavegn et al., 2018, accepted)


Indoor Mobile MappingKTI-Projekt BIMAGE – Cloud-basiertes Building Information ManagementSystemanforderungen:

• Prototypisches Indoor Mobile Mapping-System• Forschungszwecke• Pilotprojekte

• Flexibles Design (Hardware & Software)

• Mobile Plattform (Rucksack)• Baustellen, Treppenhäuser, etc.

• Hardwaregesteuerte Zeitsynchronisation

• Vollständige GNSS-Unabhängigkeit• LiDAR-SLAM als «GNSS-Ersatz»• Bildbasierte Georeferenzierung


Systemkonfiguration

• Flexibler Aluminium-Rahmen

• Modularer Aufbau

• 1 Panoramakamera

• 2 Multiprofil-Laser-Scanner

• 1 IMU (Industrial Grade)

• Gewicht: ca. 22 kg

• Akkulaufzeit: ca. 2 Stunden


Elektronisches Design

• Gemeinsame Zeitbasis: Arduino Nano

• Zeitsynchronisation mit PPS & NMEA

• Hardwarebasierte, gleichzeitige Kameraauslösung

(Blaser et al., 2018, submitted)


Softwaredesign

• Framework: Robot Operating System (ROS)(Quigley et al., 2009)

• Open Source• Zahlreiche verfügbare

Module• Hardware-Kompatibilität

• Graph-basiertes Kommunikationskonzept(Node, Topic, Service)

• SLAM: Cartographer von Google(Hess et al., 2016)



Ablauf Datenprozessierung

• Bildposen werden über die Zeitstempel in die SLAM-Trajektorie interpoliert

• Kamerabilder werden entzerrt(Korrektur der inneren Orientierung)

• Bildbasierte Georeferenzierung auf Basis der SLAM-Posen als Näherungswerte (Cavegn et al., 2018, accepted)

13.06.2018Institut 23

Anwendung 3D-Gebäudeaufnahme

SLAM-basierte 3D-Kartierung als Basis für die bildbasierte Georeferenzierung

13.06.2018Institut Geomatik 2413.06.2018Institut Geomatik 24

Genauigkeitsuntersuchungen6. Obergeschoss• Passpunkte jeweils in 4 Bildern

gemessen (Vorwärtseinschnitt)

• SLAM & COLMAP-Posen

• Transformation der lokalen Koordinatenüber 8 Passpunkte

• LiDAR-SLAM-Posen:• Relativ: 8.2 – 12.3 cm• Absolut: 10.6 – 13.3 cm

• COLMAP-Posen:• Relativ: 0.2 – 0.3 cm• Absolut: 1.3 – 1.8 cm

• Genauigkeit mit bildbasierter Georeferenzierung um Faktor 10 gesteigert



Einsatz im Versuchsstollen Hagerbach3D-Blockkurs (6. Semester, Bachelor-Studiengang)


Fazit

• Georeferenzierte 3D-Bilddaten bilden die Basis für bildbasierte Infrastruktur-Webdienste mitMessfunktionalität

• Vorteile von 3D-Bilddaten• Räumliche und zeitliche Kohärenz

von Bild und Tiefe• Intuitive Messmöglichkeiten• Hohe Informationsdichte

• Paradigmenwechsel• Feld → Arbeitsplatz• Datenerhebung durch

Infrastruktur-Expert/innen• Begehungen werden eingespart


Fazit

Verschiedene Einsatzgebiete (Strasse, Schiene, urbaner Raum, Innenraum) stellen unterschiedliche Anforderungen an

• Sensorik• Navigationssensorik• Umgebungssensorik

• Algorithmik• Georeferenzierung• Erstellung der Tiefen-

bzw. 3D-Information

Ziel: Georeferenziertes 3D-Bild


Ausblick

Erweiterung / Optimierung MMS-Rucksacks

• Alternativer Ansatz zur Verbesserung der SLAM-Posen (erschwerte Bedingungen)• EKF-basierte Trajektorienberechnung

• Untersuchung unterschiedlicher Strategien zur Generierung der Tiefeninformation• Fixe Stereobasen• Virtuelle Stereobasen• Verwendung der LiDAR-Punktwolke

• Kalibrierung des Gesamtsystems

• Durchführung von Pilotprojekten in unterschiedlichen Umgebungen


Ausblick

• Bildbasierte Lokalisierung in unterschiedlichen Umgebungen (Projekt BIMAGE)• Nachführung / Erweiterung der 3D-Bilddatenbasis• Eröffnet breites Spektrum an neuen Anwendungen


Literatur

Blaser, S., Nebiker, S., & Cavegn, S., 2017. System Design, Calibration andPerformance Analysis of a Novel 360° Stereo Panoramic Mobile Mapping System. In: ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci., Hannover, Germany, Vol. IV-1/W1, pp. 207–213.

Blaser, S., Cavegn, S. & Nebiker, S., 2018. Development of a Portable High Performance Mobile Mapping System Using the Robot Operating System. In: ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci., Karlsruhe, Germany (submitted).

Blaser, S., Nebiker, S., & Cavegn, S., 2018. On a Novel 360° Panoramic Stereo Mobile Mapping System. Photogrammetric Engineering & Remote Sensing, (accepted).

Cavegn, S., Blaser, S., Nebiker, S., & Haala, N., 2018. Robust and Accurate Image-Based Georeferencing Exploiting Relative Orientation Constraints. In: ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci., Riva del Garda, Italy, (accepted).


Literatur

Cavegn, S., Nebiker, S., & Haala, N., 2016. A systematic comparison of direct andimage-based georeferencing in challenging urban areas. In: Int. Arch. of thePhotogramm. Remote Sens. Spatial Inf. Sci., Prague, Czech Republic, Vol. XLI, Part B1, pp. 529–536.

Hess, W., Kohler, D., Rapp, H., & Andor, D., 2016. Real-Time Loop Closure in 2D LIDAR SLAM. In: 2016 IEEE International Conference on Robotics and Automation (ICRA), Stockholm, Sweden, pp. 1271–1278.

Nebiker, S., Cavegn, S., & Loesch, B., 2015. Cloud-Based Geospatial 3D Image Spaces—A Powerful Urban Model for the Smart City. ISPRS Int. J. Geo-Information, 4(4), pp. 2267–2291.

Quigley, M., Conley, K., Gerkey, B., Faust, J., Foote, T., Leibs, J., Berger, E., Wheeler, R., Ng, A., 2009. ROS: an open-source Robot Operating System. ICRA workshop on open source software, 3(3.2), p. 5.

Bildbasiertes Mobile Mapping€¦ · Bildbasiertes Mobile Mapping - 9. Hamburger Forum für...

Documents

Transcript of Bildbasiertes Mobile Mapping€¦ · Bildbasiertes Mobile Mapping - 9. Hamburger Forum für...