Folie 1 19.03.2014

Virtuelle Integration von Datenquellen mit einer Graph-Datenbank (Projekt ArcoFaMa)

Prof. Dr. Petra Sauer

Dipl.-Inf. Frank Herrmann M.Sc. Jan Matusewicz

Fossgis 2014

19.03.2014 Fossgis 2014 Folie 2

43 ha Gartenfläche 17.000 m2 unter Glas (Schau- und

Anzuchtgewächshäuser) Ca. 4000 Bäume 22.000 Pflanzenarten (wiss. Daten-

bank der Pflanzensammlung) Be- und Entwässerungssystem z.T.

noch aus den Gründungsjahren 1899 (Fördermenge ca. 80 – 130 Tsd. m3 / Jahr)

300 CAD-Dateien mit Gartenbau- und bewirtschaftungsrelevanten Objekten

Aufwendige Sanierung des „Großen Tropenhauses“ (2006-2009) z.T.

unter Einsatz von 3D-Gebäudemodellen

Ausgangssituation beim Botanischen Garten Berlin

Geoinformation im Kontext des Botanischen Gartens

19.03.2014 Fossgis 2014 Folie 3

Geoinformation im Kontext des Botanischen Gartens

Folie 4 19.03.2014 Fossgis 2014 Folie 4

Geoinformation im Kontext des Botanischen Gartens

Folie 5 19.03.2014 Fossgis 2014 Folie 5

Geoinformation im Kontext des Botanischen Gartens

Folie 6 19.03.2014 Fossgis 2014 Folie 6

Geoinformation im Kontext des Botanischen Gartens

Folie 7 19.03.2014 Fossgis 2014 Folie 7

4000 Bäume in Baumdatenbank

Geoinformation im Kontext des Botanischen Gartens

Folie 8 19.03.2014 Fossgis 2014 Folie 8

Genauer Standort ? Entfernung zu Baum 10?

Nächster Hydrant ?

Weg zum Ausgang ?

Geoinformation im Kontext des Botanischen Gartens

Folie 9 19.03.2014 Fossgis 2014 Folie 9

300 CAD-Dateien

Projekt ArcoFaMa: Zielstellung und Ansatz

Ziel

Geometrien und Geodaten aus proprietärem CAD-Format in offenes, interoperables Format überführen

Geodaten u.a. für das Facility Management nutzbar machen

Integration mit Datenbeständen des Botanischen Gartens (BGBM)

Problematik

überwiegend isolierte Datenhaltung von Geo- und FM-Daten

Überwiegend isolierte Datenhaltung von Geo- und BGBM-Daten

Ansatz

Regelbasierte Transformation von Geodaten aus CAD-Daten

Einheitliche Datenhaltung in Geodatenbank

Aufbau einer Integrationsplattform, um heterogene Daten gemeinsam zu verarbeiten

Entwicklung von Anwendungen, die die Integrationsplattform nutzen

Folie 10 19.03.2014 Fossgis 2014

Informationsintegration

19.03.2014 Fossgis 2014 Folie 11

Herausforderungen

Verteilung der Datenquellen

Autonomie der Datenquellen

Beachtung der Heterogenität

Datenmodell (relational, OO, XML)

Strukturell (Schema)

…

BoGART Dokumente (Excel, CAD,…)

11

CAFM (WaveFM)

BIM-Server 3DCityDB

Transform. z.B. über FME

Import über IFC

ArcoFaMa Integrationsschicht (Umkreissuche; Routenplanung;

Kartenvisualisierung)

Zugriff über Browser und/ oder mobiles Endgerät (App) externe Dienstleister mobiler Zugriff für Mitarbeiter Wissenschaftler und Besucher

Zugriff über Standard-CAFM-Programm interne Mitarbeiter externe Dienstleister

über Web-Portal des CAFM-Systems

Informationsintegration

19.03.2014 Fossgis 2014 Folie 12

Entscheidungen

Virtuelle Integration

Verknüpfte Informationen verbleiben in den ursprünglichen Datenbanken

Anfrageschnittstellen nutzen

Keine schreibenden Zugriffe auf Datenquellen

Metadatenbasierter Ansatz

…

BoGART Dokumente (Excel, CAD,…)

12

CAFM (WaveFM)

BIM-Server 3DCityDB

Transform. z.B. über FME

Import über IFC

ArcoFaMa Integrationsschicht (Umkreissuche; Routenplanung;

Kartenvisualisierung)

Zugriff über Browser und/ oder mobiles Endgerät (App) externe Dienstleister mobiler Zugriff für Mitarbeiter Wissenschaftler und Besucher

Zugriff über Standard-CAFM-Programm interne Mitarbeiter externe Dienstleister

über Web-Portal des CAFM-Systems

Metadaten

Informationen zur Beschreibung anderer Daten

Im Kontext einer Integrationsplattform:

Welche Datenquellen sind verfügbar?

Wie erreicht man diese Datenquellen? (Technologie, Zugriff)

Wie sind die Datenquellen strukturiert? (Abbildung)

Wie können die Datenquellen miteinander verknüpft werden? (Klassifizierung Knoten / Kanten)

Welche impliziten Daten können mit einbezogen werden? (Informationsanreicherung)

Notwendigkeit des Einsatzes eines effizienten Datenspeichers mit flexiblen Verwaltungsfunktionalitäten

19.03.2014 13 Fossgis 2014

Graph Datenbanken

Property-Graphen

kombinieren mehrere Besonderheiten:

Knoten verfügen über Eigenschaften (Schlüssel–Werte-Paare)

Kanten sind gerichtet und verfügen über einen Namen

Kanten können über weitere Eigenschaften verfügen

Property-Graphen sind gewichtete, gerichtete und benannte Multigraphen

Hypergraphen erlauben die Verbindung von Knoten mit mehr als einer Kante

M/N – Abbildungen können somit vereinfacht dargestellt werden

19.03.2014 14 Fossgis 2014

Graph Datenbanken

Prozessierung der Daten

Native Processing Engine – beherrscht indexfreie Adjazenz

Wesentliches Merkmal der effizienten Prozessierung

Knoten haben direkten Verweis auf den Nachbarknoten

Kein ‚Nachschlagen‘ in einem globalen Index nötig

Großer Geschwindigkeitsvorteil gegenüber non native Graph-DB

Neo4j ist bezüglich der Speicherung und Prozessierung eine native Graph-Datenbank

19.03.2014 15 Fossgis 2014

Graph Datenbanken

Neo4j – Open-Source-Graph-DB

Native Processing Engine – beherrscht indexfreie Adjazenz

Seit 2003 in Entwicklung, Firma Neo Technology

Implementiert in der Programmiersprache Java

Version 1.0 im Jahre 2010, aktuell Version 2.0.1

Eigens entwickelter Persistenzmechanismus für die Speicherung und Verwaltung

Persistenzschicht nutzt per Java NIO Blöcke fester Größe zur Speicherung von Knoten und Kanten

19.03.2014 16 Fossgis 2014

Graph Datenbanken

Neo4j – Open-Source-Graph-DB

Unterstützt Transaktionen per JTA, vollständige ACID Eigenschaften / Garantien

Atomarität, Konsistenz, Isoliertheit ,Dauerhaftigkeit

Datenzugriff per

Java API

Abfragesprache Cypher

Traverser Framework

REST Schnittstelle

Abfrage, Verwaltung und Visualisierung über eine Webapplikation

19.03.2014 17 Fossgis 2014

Metadatengraph

19.03.2014 18 Fossgis 2014

Geo-Datenbank

Postgresql / Postgis

Räumlicher Datentyp Geometry (Geography)

Abfrage nach Geometrietyp und SRID (Koordinatenreferenzsystem)

Eigenschaften werden im Knoten gespeichert

Geometrietyp (POINT, POLYGON etc.)

SRID

Tabellenknoten hält die BoundingBox-Parameter

Identifikation möglicher Relationen über Tabellen hinweg

Gleichheit der SRID und Geometrietyp

Überschneidung/Überlappung der von den BoundingBoxen abgedeckten Zonen

19.03.2014 19 Fossgis 2014

Metadaten-Graph

19.03.2014 20 Fossgis 2014

Metadaten-Graph

19.03.2014 21 Fossgis 2014

Technologien und Werkzeuge Integrationsplattform

19.03.2014 22 Fossgis 2014

JAVA

Datenbankzugriff JDBC

Webservices AXIS2 GeoServer/GeoTools

Mobile Apps Webfrontend interaktives Infoportal

Datenaustausch mit proprietären Anwendungen (FM)

Fachdaten Karten wms/wfs

Eingesetzte Produkte / Software-Komponenten

CAFM-System

Wave Facilities (Loy und Hutz)

ArcoFaMa Integrationsplattform

GeoServer (www.geoserver.org)

NoSQL-Datenbank Neo4j (Metadaten)

Tomcat 6

Verknüpfte Datenquellen

PostgreSQL 9.3 (Geodatenbank)

– PostGIS 2.0.4

– 3DCityDB-Schema

BIM-Server 1.2 (www.bimserver.org )

BoGart-Datenbank (MS SQL-Server)

Wave Facilities-Datenbank (MS SQL-Server)

Schnittstellenstandards

Industry Foundation Classes (IFC 4)

CityGML 2.0

OGC-Services (WebMapService, WebFeatureService)

JSON (Webservices)

Software zur Konvertierung

FME (Feature Manipulation Engine); Safe Software Inc. (Transformation)

OpenJump (Java GIS – Rotation, Koordinationssystem)

GrassGIS 7 (Koordinatenumrechnung)

19.03.2014 Fossgis 2014 Folie 23

Fazit

Umfangreiche Aufgabenstellung

Umfangreiche empirische Untersuchungen

Best Practice – Ansätze finden

Baustellen :

Transformation CAD-Daten / CityGML

Anbindung FM-Daten im IFC-Format

Weiterentwicklung Integrationsplattform

19.03.2014 Folie 24 Fossgis 2014

Kontaktdaten

Prof. Dr.-Ing. Markus Krämer Hochschule für Technik und Wirtschaft Berlin Tel. +49 30 5019 4236 markus.kraemer@htw-berlin.de

M.Sc. Benjamin Peris Hochschule für Technik und Wirtschaft Berlin Tel. +49 30 5019 3630 benjamin.peris@htw-berlin.de

Prof. Dr. Petra Sauer Beuth Hochschule für Technik Berlin Tel. +49 30 4504 2691 sauer@beuth-hochschule.de

Dipl.-Inform. (FH) Frank Herrmann Beuth Hochschule für Technik Berlin Tel. +49 30 / 4504-3880 fherrmann@beuth-hochschule.de

Folie 25 19.03.2014

Dipl.-Ing. und Dipl.-Kfm. (FH) Karsten Schomaker Botanischer Garten und Botanisches Museum Berlin-Dahlem Freie Universität Berlin k.schomaker@bgbm.org www.bgbm.org

Dipl.-Inform. (FH) Thomas Kalweit Aviant GmbH thomas.kalweit@aviant.de http://www.aviant.de/

Holger Fell Fell & Kernbach GmbH holger.fell@fell-kernbach.de http://www.fell-kernbach.de/

Fossgis 2014