Auf Knopfdruck – Auswertung und Resultate UAV-gestützter...

HCU HafenCity UniversitätHamburg

HCU HafenCity Universität Universität für Baukunstund MetropolenentwicklungHamburg

HAMBURGS NEUE UNIVERSITÄTEuropas erste Universität für die bebaute Umwelt

Auf Knopfdruck – Auswertung und Resultate UAV -gestützter Bildflugdaten

Thomas P. Kersten


148. DVW-Seminar „Vermessung mit unbemannten Flugsy stemen – UAV 2016, 18.-19. Februar 2016, Bonn

Inhalt

� System

� Einführung

� Workflow

� Fazit & Ausblick

� Software

� Ergebnisse & Produkte von UAV -Bildflügen


1. Einleitung

� Rasante Marktentwicklung – ständig neue Systeme

� UAV-Systeme für div. Anwendungen im Einsatz

� Lückenschluss zwischen Luftbild & Nahbereich

� Kann jeder, der ein UAV steuern kann, auch Photogra mmetrie?

� High-End bis Low -Cost Systeme – Flächenflieger vs. Rotoren

� Zulauf bei wissenschaftlich-technischen Veranstaltu ngen

� Metrische Q - Genauigkeit, Wiederholbarkeit & Zuverl ässigkeit?


� Photogrammetrisches UAV-Aufnahme- & Auswertesystem (Beispiel)

KameraSony Nex 5R(f = 16 mm)

Notebook (3D) Software PhotoScan 1.2.3

��

��

��UAV

Schenker XMG P723

MikroKopter ARF OktoXL

(HiSystems GmbH, Moormerland)

Intel Core i7, 32 GB RAM2x NIVIDEA GTX 780M

2. System

EUR 150 - 2500EUR 500 - 30000

EUR 800 - 4000

EUR 0 - 5000


Status

Visualisierung

UAV-Bildflug

Bündelblockausgleichung(Bildorientierung & Kamerakalibrierung)

3. Workflow

Dense Image Matching

Semi-auto

Automatisch

Texturierung

3D-Triangulation (Dreiecksvermaschung)

Bildflugplanung

Bildpunktmessungen(SIFT & RANSAC)

Passpunkt-messungen

Filterung Segmentierung Höhenlinien

Orthophoto


� Kamerakalibrierungsparameter

� Zuverlässigkeit & Wiederholbarkeit der Methoden

� Objektdeformationen durch schlechte Bildverbände

� Datumsdefinition (Passpunkte & Skalierung)

� Wiederholungen von Mustern oder keine Texturen

� Beleuchtungsänderungen

� Integration von Bildern unterschiedl. Maßstäbe (z.B. UAV + terrestr.)

� Berechnungszeiten (CPU / GPU)

� Vielseitigkeit / Einsetzbarkeit

� Suche nach korrespondierenden Punkten (connectivity maps)

� Lebensdauer von Open-Source Lösungen

� Kritische Aspekte für 3D -Aufnahme & Auswertung

[Remondino et al. 2012]

3. Workflow


Systemanforderungen

� Workflow in einer Software

� Photogrammetrische Kamerakalibrierung in SW

� GPU-fähige Software (Geschwindigkeit)

� Leistungsstarke Rechner (RAM, Graphik-Karte, Prozes sor)

� Automatische Messung von Verknüpfungspunkten

� Dense Image Matching (oder Semi-Global Matching)

� Bündelausgleichung mit Passpunkten + GNSS/INS (geod . Beob.)

� Messung (automatisch/manuell) von Passpunkten oder Strecken

� Dreiecksvermaschung & Texturierung

� Polygondezimierung & verschiedene Ausgabeformate

4. Software


4. Software� „Klassische“ kommerzielle Softwarepakete

Inpho UASMaster


4. Software� Open-source Software – Bundler & PMVS2

� Webservice – Autodesk 123D Catch

� Low-cost Software – Agisoft PhotoScan

� Freie Software – VisualSFM

� Open-source Software – Apero & MicMac

� Webservice – ARC 3D

Apero & MicMac

� Weitere – My3DScanner, PhotoSynth, hypr3D, etc.

� Kommerzielle Software – Pix4Dmapper

� Kommerzielle Software – aSPECT 3D inkl. SURE von nFrames

� Kommerzielle Software – Smart3DCapture™


� Kommando-Zeilen basierte Open-Source Software

� Structure from Motion Algorithmus (Bundler - SIFT / RANSAC)& Dense Image Matching (PMVS2)

� Automatischer Workflow mit HCU GUI (zBundler)

� Bundler/PMVS2 (Universität von Washington, Seattle)

� Kamerakalibrierung – Brennweite f aus EXIF-Daten,2 Parameter radial-symmetrische Verzeichnung k1 & k2

3. Software

� Keine Passpunktmessungen möglich


� Structure from Motion auf GPU (Graphics Processing Unit)

� Multicore Bündelblockausgleichung

� VisualSFM (Universität von Washington, Seattle) – f reie Software

� Dense Image Matching mit CMVS/PMVS2 auf CPU

� Kamerakalibrierung –Brennweite faus EXIF-Daten,Bildhauptpunkt x 0, y0,1 Verzeichnungs-parameter

4. Software

� Keine Passpunkt-messungen möglich?


4. Software

� MICMAC –Multi Images Correspondances parMéthodes Automatiques de Corrélation

� Apero = Aérotriangulation PhotogrammétriqueExpérimentale Relativement Opérationnelle.

� APERO (IGN) – Triangulationssoftware

� MICMAC (IGN) – Software für automat. Image Matching

� Div. Kamerakalibrierungsmodelle (z.B. Parameter von Brown & Ebner)

� Automatische Verknüpfungspunkte, Näherungswertberec hnungen,Bündelausgleichung (relative und absolute Orientier ung)


� Webservice – Autodesk Photofly | 123D Catch4. Software

Automatically convert ordinaryphotos into extraordinary3D models leveragingthe power of the cloud

Smartphonegrammetry


http://www.arc3d.be/

Vergauwen, M. & Van Gool, L. (2006): Web-Based 3D ReconstructionService. Machine Vision Applications, 17, 411-426.

4. Software

� Webservice – ARC 3DA Family of Web Tools for Remote 3D Reconstruction


4. Software

� 3D-Werkzeuge – Schnitte anlegen, hochauflösendeAnsichtsrenderings, Tiefenbilder, Messung (Abstände ,Flächen, Volumina), Rahmen, Koordinatensystem, Tran sformation

� Kommerzielle Software – aspect 3D –Das Photogrammetrie-Komplettpaket zumErstellen und Bearbeiten von 3D-Meshes uvm .

� Software SURE von nFrames integriert (Bildorientieru ng &Kamerakalibrierung von Bundler)


4. Software

� Kommerzielle Software – Pix4Dmapper� Spin-Off EPF Lausanne (Schweiz)


� Industrial-quality software solutions forautomatic high resolution 3D modeling from photos,with unmatched performance on complex scenes.

4. Software

Smart3DCapture™

� Kommerzielle Software – Smart3DCapture™


� Kommerzielle Software – Agisoft PhotoScan (Standard / Pro)

� 3D-Rekonstruktionssoftware �� textur. vermaschte Modelle

� Multi-view bildbasierte 3D-Modellierungslösung

4. Software


� Kommerzielle Software – Agisoft PhotoScan (Standard / Pro)

4. Software

� Auswertung mit Agisoft PhotoScan

�Fotos importieren (Add Photo…)

�Bildorientierung & Kamerakalibrierung (Align Photo…)

�Skalierung durch Passpunkte oder Maßstäbe

�Dichte Punktwolke mit Dense Image Matching

(Build Dense Cloud…)

�Bereinigung, Filterung, Segmentierung

�Dreiecksvermaschung/Polygonreduktion (Build MeshCloud…)

�Texturierung (Build Texture…)

�Export 3D-Modell in verschiedene Formate (3D PDF, OBJ, etc.)

�Visualisierung


3. Software

� Software zur Bearbeitungvon 3D-Punktwolken und Dreicksvermaschungen

� Open-Source-Projekt� Französ. Firma EDF R&D

� Open-source Softwarefür die Bearbeitung und Editierungvon unstrukturierten 3D-Vermaschungen

� MeshLab

� CloudCompare

http://www.danielgm.net/cc/

http://meshlab.sourceforge.net/

� Visual Computing Labof Istituto di Scienza e Tecnologie dell’Informazione “A. F aedo”,ein Institute of the National Research Council of Italy


� Beispiele UAV-Bildflugprojekte

5. Ergebnisse & Produkte von UAV -Bildflügen

Objekt UAV-System Kamera c [mm] # Fotos # PasspkteSeedorf Trikopter Canon IXUS 125 4 60 18Dannewerk Quadrokopter Canon PS S100 2 250 8Lembecksburg Hexakopter Sony Nex-5 16 186 5Osterinsel Oktokopter Sony Nex-5R 16 702 14

Seedorf LembecksburgDanewerk Osterinsel


� Historisches Gebäude – 3D Punktwolke aus 215 Fotos


Torhaus Seedorf(Bad Segeberg)

Erbaut 1583


� Fotos (rot) vom Trikopter – Canon IXUS 125 HS (4 mm) = 60

� Fotos vom Boden – Nikon D800 (18 mm) = 99, Nikon D7000 (50 mm) = 56

Nikon D7000 (4928 x 3264)Nikon D800 (3600 x 2400)

CanonIXUS 125 HS(4608 x 3456)

Trikopter (Aerophoto Hamburg)



� Bildorientierung & Kamerakalibrierung mit Agisoft P hotoScan

� Verbesserungen in Bildkoordinaten – σσσσ xy = 0.35 pix� Verbesserungen in 18 Passpunkten – σσσσ XYZ = 1.2 cm

� Dünne Punktwolke – 6,387 Punkte | Dichte Punktwolke – 35.9 Mio. Punkte



� Vermaschtes 3D-Modell – 2,67 Mio. Dreiecke = 294 Mbyte (OBJ)



� Historisches Gebäude Torhaus Seedorf – 3D-CAD-Modell ierung

� 3D-CAD-Modellierung – Geomagic & AutoCAD mit PointSe nse



� Historic building – 36 mill. points for CAD modellin g


� Historisches Gebäude Torhaus Seedorf – 3D-CAD-Modell



� 3D-Vergleich –TLS Punktwolke vs. 3D-CAD-Modell (rech ts)

� 3D-Vergleich –TLS Mesh vs. Punktwolke PhotoScan (lin ks)



19.02.2016TITEL PRÄSENTATION

� Danewerk – Das Tor zum Wikingerreich


ARKVEST Arkæologi Vestjylland

dji phantom 2

Canon PowerShot

� UAV als Low-Cost System


� Bildauswahl – 250 Fotos in unterschiedlichen Flughöh en

� Rechenzeit – 201 Minuten (3 Std. 21 Min.)

� Rechner – Schenker XMG, Intel Core i7 (4 GHz), 32 GB RAM, 2x NVIDEA GeoForce GTX 780M mit 4096 MB



� Abweichungen Passpunkte – Lage 4 mm, Höhe 2 mm

� Bildmessgenauigkeit Passpunkte – 0.1 Pixel


� Dichte Punktwolke – 8.9 Mio. Punkte

� Dünne Punktwolke 285.750 Punkte –Bildorientierung & Kamerakalibrierung

� Produkt Kamerakalibrierung



� Produkt Oberflächenmodell – 1.8 Mio. Dreiecke (GSD 2 .2 cm)

39.6465 m

26.392 m



� Produkt Oberflächenmodell – 1.8 Mio. Dreiecke (GSD 2 .2 cm)

� Produkt Orthophoto (GeoTIFF) – GSD 15 mm (8 Mbyte) 39.6465 m

26.392 m


� Luftbildflug mit Unmanned Aerial Vehicle (Hexacopter, EUR 2840.-)� Kamera Sony NEX-5 (16 mm Brennweite, 4592 x 3056 p ix)� Flugzeit – 8 min | 186 Fotos� Manuelle Kontrolle wegen starkem Wind (steife Bries e)

� GSD – ∼∼∼∼2,5cm

� Flughöhe – ∼∼∼∼77m

Sky Hero Spy 750

Steuerung – 3D Robotics Pixhawk

� Systemkosten –EUR 5K



� Agisoft PhotoScan

HCU HafenCity Universität

Hamburg

� Orientierung (Kamera-kalibrierung + Bildorientierung) & Rekonstruktion (dense pointcloud) – ca. 35 min

� Qualität Medium –8.8 Mio. Punkte

� 5 Passpunkte –Verbesserungen XY = 6mm, Z = 2mm



� 3D-Vergleich –UAV vs. p3d systems

� Höhenshift –UAV höher alsp3d systems

[m]



0

50

100

150

200

250

0,1 0 -0,1 -0,2 -0,3 -0,4 -0,5 -0,6 -0,7 -0,8 -0,9 -1 -1,1 -1,2

Verteilungsdiagramm Z-Differenzen (Datensatz 2)p3d & UAV & TLS lowest – Totalstation

p3d UAV ImagerTLS

� Qualitätskontrolle – p3dsystems & UAV & TLS vs. Refe renz� Negativer systematischer Höhenshift (Grashöhe) zur R eferenz

Ø Abw. [m] Abw. min [m] Abw. max [m]p3d -0.19 -0.90 0.06UAV -0.25 -0.99 0.03TLS -0.22 -0.87 0.09

� Geländemodell p3d, TLS & UAV höher als Referenz



5. Ergebnisse & Produkte von UAV -Bildflügen� Produkt Kamerapositionen/Flächenabdeckung� Produkt DOM


5. Ergebnisse & Produkte von UAV -Bildflügen� Produkt Kamerapositionen/Flächenabdeckung� Produkt DOM

� Produkt DOP



KameraSony Nex 5R(f = 16 mm)

MikroKopterARF OktoXL

(HiSystems GmbH,Moormerland)

� Gebiet Quebrada Vaipú 2015 (Osterinsel, Chile)

� Bildflugplanung (schematische Fluglinien + Talbildf lug)


� UAV-Bildflug 2015 – 429 Fotos

� UAV-Bildflug 2015 – Dt. Archäo. Grabung 2015 – 273 Fot os

� Residuen der 14 Passpunkte – s XYZ = 2.5 cm

� Dünne Punktwolke für Bildorientierung & Kamerakalib . –56 von 702 Fotos nicht automatisch orientiert

� Verknüpfung zweier Luftbildblöcke – Bestimmung von zusätzlichen Passpunkten in den Bilddaten

5. Ergebnisse & Produkte von UAV -Bildflügen� Gebiet Quebrada Vaipú 2015 (Osterinsel, Chile)


� Gebiet Quebrada Vaipú (inkl. Ava Ranga Uka A Toroke Hau )

� Dichte Punktwolke – 64.8 Mio. Punkte

� Produkt 3D-Modell – 14.3 Mio. Dreiecke (Vermaschung)



� Produkt – Digitales Orthophoto mit 3 cm GSD (Pixelgrö ße)







� Produkt – DOP mit Vektordaten der archäolog. Grabung

HCU HafenCity UniversitätHamburgHCU HafenCity UniversitätHamburg


� Produkt – Digitales Orthophoto mit Höhenlinien überla gert




� Produkt – DOP mit Höhenlinien im Vergleich überlager t




� Produkt – Digitales Geländemodell (farbkodiert dargestel lt)




6. Fazit & Ausblick

� UAV-Bildflug – Testfelduntersuchungen, GNSS-Empfänger ?

� Software am Markt – Open-Source, Low -Cost, Kommerziell

� Flexibler Einsatz bei kleinflächigen Projekten

� Metrische Qualitätskontrolle – Fehleranalyse / Proto kolle?

� Stabilität durch metrische Kamera – Genauigkeitsgewi nn?

� UAV-Bilddatenverarbeitung – auf Knopfdruck (Automati on)

� Standard-Produkte �� DOM, DOP, vermaschtes 3D-Modell

� Software-Einsatz – diverse Kriterien für Photogramme trie



Vielen Dankfür Ihre Aufmerksamkeit!

Kontakt – Prof. Thomas P. KerstenHafenCity Universität Hamburg, Labor für Photogrammetrie & Laserscanning, Überseeallee 16, D-20457 Hamburg, [email protected]

Dank an die UAV-Piloten:Dr.-Ing. Johannes Prenting (Aerophoto Hamburg),

Esben Schlosser Mauritsen (Museum Arkeologi Vestjylland, Dänemark)und Dipl.-Ing. Christian Hartl-Reiter (Landesarchäologie Mecklenburg-Vorpommern)

Fot

o: C

. Har

tl-R

eite

r

Auf Knopfdruck – Auswertung und Resultate UAV-gestützter...

Documents

Transcript of Auf Knopfdruck – Auswertung und Resultate UAV-gestützter...