Langzeitarchivierung von Satellitendaten: ESA Missionen...

Langzeitarchivierung von Satellitendaten: ESA Missionen Sentinel 1 und Sentinel 3 Technische Besonderheiten der SAM-QFS Konfiguration und Nutzung Charlotte Wehn, Stephan Schropp Deutsches Zentrum für Luft- und Raumfahrt, Earth Observation Center 22.6.2017

• Das ESA Copernicus Programm • Satelliten Sentinel 1 und Sentinel 3

• Überblick über das Langzeitarchiv • Oracle HSM Konfigurationen:

• Shared QFS über Firewall • SAM-QFS: Manuelle Hochverfügbarkeit • SAM-QFS Library Anbindung über Netzwerk (ACSLS) durch eine Firewall

Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 2

Agenda

• Katastrophen- und Krisenmanagement • Informationen zur Verbesserung der Reaktionsfähigkeit auf Katastrophen und

Unterstützung von Rettungskräften • Landüberwachung

• Informationen über Landbedeckung und -nutzung sowie Veränderungen der Landoberfläche für z.B. urbane Planung, Stadtentwicklung, Flächenversiegelung

• Überwachung der Meeresumwelt • Informationen über den Zustand der Ozeane, Küstengebiete sowie für die

Schifffahrt (z.B. Eisdienst) • Überwachung der Atmosphäre

• Informationen zur Zusammensetzung der Atmosphäre für die Überwachung der Luftqualität und die Überwachung globaler Abkommen und deren Wirksamkeit

• Überwachung des Klimawandels • Aufbau von Klimainformationsdiensten

• Zivile Sicherheit • Überwachung der EU-Außengrenzen und maritime Überwachung


Das Copernicus Programm der ESA Copernicus ist ein umfassendes satellitengestütztes Erdbeobachtungsprogramm der ESA. Seine Aufgaben sind:


Die ESA Sentinel Satellitenfamilie

2014 2015 2016 2017 2018 2019 2020 2021 2022 2023

Sentinel 1 – SAR imaging

Sentinel 2 – Multispectral imaging d

c

a b

a b

c d

Sentinel 3 – Ocean and global land monitoring

c d

a b

Sentinel 4 – Geostationary Atmosphere

Sentinel 5 – Low-orbit Atmosphere/ Air quality

S5 Precursor

Payload on EUMETSAT geostationary

Payload on EUMETSAT polar orbiting

Sentinel 6 – Low-orbit Altimetry CNES JASON heritage

a + b

a + b

a + b +c

http://www.d-copernicus.de/sites/default/files/bilder/sentinels/sentinel_5_produkt.gif


Sentinel 1 Sentinel-1A 03.04.2014

Sentinel-1B 25.04.2016

© ESA

- Zwei Satelliten: Sentinel 1a und Sentinel 1b - C-Band SAR (Synthetic Aperture Radar) in der

Kontinuität der ESA-Missionen ERS (seit 1991) und ENVISAT

- wetter- und beleuchtungsunabhängig - Je nach Modus bis zu 5x5m Auflösung

Langzeitarchivierung Sentinel 1/3: SAM-QFS Techniken C.Wehn, S.Schropp 22.6.2017 DLR.de • Folie 6 Die Ostalpen 06.12.2014, Sentinel-1A: IW Modus, GRD © Copernicus Sentinel Daten (2014)


Eisberg-Überwachung mit Sentinel-1

© Polar TEP, Polar View, C-CORE, Canadian Ice Service,

Danish Meteorological Institute, International Ice Patrol © Copernicus Sentinel data

(2015)/ESA


Hochwasser-kartierung nach Zyklon Roanu, Mai 2016, Sentinel-1A 30 h von der Aktivierung bis zur ersten Karte

© Copernicus Service information (2016) / Copernicus EMS / e-GEOS


www.DLR.de • Chart 9

© Contains modified Copernicus Sentinel data (2016)/ESA/CNR-IREA

Erdbeben am 24.08.2016 in Mittel-Italien: Interferogramm aus Sentinel-1-Daten (15.8. + 27.8.2016)


Sentinel 3 - Zwei Satelliten: Sentinel 3a (gestartet), Sentinel 3b

(Start geplant März 2018) - mittelaufgelöste, tägliche Information über Land

und Ozeanen mittels optischer und passiver und aktiver Radarsensoren

- Messungen der Landbedeckung, Ozeanfarbe, Ozean-Oberflächentemperatur und -höhe


Sandsturm über dem Roten Meer,

25.07.2016 Sentinel-3A OLCI

© Contains modified Copernicus Sentinel

data (2016), processed by ESA

Sandsturm über dem Roten Meer,

25.07.2016 Sentinel-3A OLCI




Hurrrikan Matthew, Thermal-Infrared,

Oberflächen- Temperaturen,

Sentinel-3A SLSTR




Sentinel-3A SRAL © contains modified Copernicus

Sentinel data (2016), processed by ESA and CNES

Schwankungen des Meeresspiegels, 3.3. - 2.4.2016, Sentinel-3A Radar Altimeter

Copernicus Daten sind öffentlich und kostenfrei zugänglich. Für Deutschland betreibt das DLR Earth Observation Center die Plattform. Copernicus Data and Exploitation Platform – Deutschland

https://code-de.org


Zugang zu Sentinel Daten


DLR Sentinel Processing and Archiving Center

S-1B S-2A S-3A

X XX X

S1-PAC

DLR

GMES-WAN / ESA Data Circulation and Dissemination Network (T-Systems)

S1-PAC

Airbus

S3-PACOLCI

DLR

S3-PACSLSTR+Synergy

ACRI

S3-PACSRAL

CLS

S1-MPCCLS

S3-MPCACRI

Svalbard

KSAT

Inuvik

KSAT

Matera

e-GEOS

Maspalomas

INTA

S2-PAC

Indra

S2-PAC

Airbus

S2-MPCCS

ESA Sentinel Space Segment

X-Band

S-1A S-2B S-3B

ESA SentinelPayload Data Ground Segment

CDS

PDMC

ESRIN

CopernicusServices

Users

S1S3-PAC-DLR & S-5P PAC

Ka-Band

XEDRS-Stations

WeilheimHarwellRedu

S-5PPAC

DLR

S-5P

• Dateneingang der Sentinel-Daten von den CGSs und EDRS via GMES-WAN (2*10Gbit/s)

• systematische Prozessierung aller Daten zu höherwertigeren Produkten

• Datenarchivierung im Langzeitarchiv (LTA) des DLR-EOC

• Datenaustausch mit Partner-Einrichtung (UK-PAC) Redundanz!

• Verteilung der Sentinel-Daten

Copernicus-Nutzlastbodensegment


Erwarteter Zuwachs des Datenvolumens für S1/S3 am DLR Processing and Archiving Center 2014 – 2025 (in Terabyte)

Sentinel-1A: 03. April 2014

Sentinel-1B: 25. April 2016

Sentinel-3A: 16. Feb. 2016

Sentinel-3B: März 2018


Die Sentinel 1 + 3 LTA Umgebung

Firewall

SAN Switches

Appl. Server Appl. Server Appl. Server

ESA

Appl. Zone

data transfer from/to ESA

Internal Networks

= failover

Zone FS.

SAM-FS config

SAM-QFS

HA Server / Appl Server SamFS + Appl. SamFS + Appl. SamFS + Appl. SamFS + Appl. Appl.

Zone Shared QFS 1

Archivserver Archivserver Archivserver Archivserver

Appl. Zone

Appl. Zone

Shared QFS 2

Shared QFS 2

Shared QFS 1

1st Copy

ACSLS 1

2nd Copy

ACSLS 2

Archive Net

Shared QFS 1

Shared QFS 2

Ausgangslage: • Ursprünglich wenig performante Firewall zwischen Quell- und Zielsystem • Große Datenmengen zur Auslieferung • Zwei Quellsysteme, ein Zielsystem • Zielsystem muss Daten nach Verarbeitung löschen können • Gemeinsame SAN Infrastruktur und Storage vorhanden


Shared QFS über Firewall

Lösung: • Shared QFS • Daten laufen nur über SAN • Metadaten werden über Firewall übertragen • Primärer und Sekundärer Metadatenserver auf den Quellsystemen • Zielsystem fungiert als Client • Firewallfreischaltung: Port 7105 von Client zu Metadatenservern


Shared QFS über Firewall

Anlegen des Filesystems mit Shared: # samfsinfo QFS1 samfsinfo: filesystem QFS1 is mounted. name: QFS1 version: 2A shared [ … ] Host File (/etc/opt/SUNWsamfs/hosts.QFS1): # samsharefs QFS1 # # Host file for family set ‘QFS1' # # Version: 4 Generation: 13 Count: 5 # Server = host 0/Archive-Server-1, length = 210 # Archive-Server-1 A.B.X.x 1 - server Archive-Server-2 A.B.X.y 2 - Appl-Server-1 A.B.Y.a - - Appl-Server-HA A.B.Y.b - - Archive-Server-HA A.B.X.z - -


Shared QFS über Firewall: Konfiguration



Firewall

SAN Switches


ESA

Appl. Zone


Internal Networks

= failover

Zone FS.

SAM-FS config

SAM-QFS


Zone Shared QFS 1


Appl. Zone

Appl. Zone

Shared QFS 2

Shared QFS 2

Shared QFS 1

1st Copy

ACSLS 1

2nd Copy

ACSLS 2

Archive Net

Shared QFS 1

Shared QFS 2

Ausgangslage: • Vier Archivserver, ein Zielserver für Failover • Zeitliche Anforderung: mehrere Stunden Downtime sind OK • Gemeinsame SAN Infrastruktur und Storage vorhanden • Identische Hardware mit identischen Controllerpfaden zu Platten

Ziele: • HA-Lösung mit Sun Cluster aus Komplexitäts- und Kostengründen nicht

erwünscht • Möglichst wenig fehleranfällige Lösung


Manueller Failover von SAM-QFS - Ausgangslage


Manueller Failover von SAM-QFS – Lösung Dokumentiert und getestet

Zpool mit • Anwendungsverzeichnissen • SAMFS Konfig und Runtime

/etc/opt/SUNWsamfs /var/opt/SUNWsamfs

SAM-QFS Devices/FS

Sek

undä

rer M

etad

aten

serv

er

Archivserver HA Server

Anwendungsprozesse

Service IP Adresse

Metadaten- server

Service IP Adresse

Anwendungsprozesse

Met

adat

ense

rver

SAM Services SAM Services

Auf dem Archivserver: • aridle, möglichst abwarten • Anwendung herunterfahren • IP Adresse wegkonfigurieren • Wenn nötig: Metadatenserver umziehen auf sekundären Metadatenserver • Alle SAM-QFS unmounten • Service sam-fsd in SMF disablen • Unser SAM-QFS Log liegt unter /var/opt/SUNWsamfs

-> in /etc/syslog.conf auskommentieren, Refresh auf Service system-log • Zpool exportieren


Manueller Failover von SAM-QFS – Herunterfahren

Falls Crash eines primären Metadatenservers, auf sekundärem Metadatenserver: • Metadatenserver mit Force holen!

Auf dem HA-Server: • Zpool importieren – nach Crash mit Force! • Unser SAM-QFS Log liegt unter /var/opt/SUNWsamfs -> in /etc/syslog.conf

vorbereitete Zeile ent-kommentieren, Refresh auf Service system-log • Service sam-fsd in SMF enablen. Häufig „samd config“ nötig -> warum? • Alle SAM-QFS Filesysteme mounten

Eigenes Mount-Skript mit eigener vfstab in /etc/opt/SUNWsamfs • Service IP Adresse konfigurieren.

Vorsicht vor Wiederhochfahren eines gecrashten Servers! • Anwendung hochfahren • Bei uns: arrun, da nicht automatisch


Manueller Failover von SAM-QFS – Hochfahren



Firewall

SAN Switches


ESA

Appl. Zone


Internal Networks

= failover

Zone FS.

SAM-FS config

SAM-QFS


Zone Shared QFS 1


Appl. Zone

Appl. Zone

Shared QFS 2

Shared QFS 2

Shared QFS 1

1st Copy

ACSLS 1

2nd Copy

ACSLS 2

Archive Net

Shared QFS 1

Shared QFS 2

• Zwei Storage TEK Libraries mit ACSLS Anbindung, jeweils eigener ACSLS Server • ACSLS Server / Libraries für verschiedene Umgebungen in eigenem Netz • Netze getrennt durch Firewall • ACSLS funktioniert asynchron: Auftrag für Mount/Dismount und Bestätigung über getrennte

Verbindungen

• Verbindung zum ACSLS Server nutzt als Default RCP Bind Firewall

• SAM-QFS Seite (ACSLS Client) nutzt je einen ACSLS Client Prozess (ssi_so) mit zwei TCP Ports pro Library:

• Port für lokale Verbindung von Sam Prozessen, Default 50004 zwei Prozesse

• Port für Rückverbindungen von ACSLS Server, Default dynamisch Firewall


ACSLS über Firewall - Ausgangslage

SAM-QFS Server ACSLS Server ssi_so

50004 rpcbind

ACSLS

111/UDP

30031 dynamisch Sam

Prozesse

ssi_so

50004

• Verbindung zum ACSLS Server: Port 30031 fix konfiguriert, kein rpcbind • Unterschiedliche fixe Ports für die ACSLS Client-Prozesse (ssi_so) auf SAM-QFS Server

Einfache Firewall-Freischaltungen: Verbindung vom SAM-QFS Server zum ACSLS Server: Immer Port 30031 Verbindung vom ACSLS Server zum SAM/QFS Server: Ports 30031 und 30032


ACSLS über Firewall - Lösung

SAM-QFS Server ACSLS Server 2

Sam Prozesse

ssi_so

50022

ACSLS

Fix 30031

ssi_so ACSLS Server 1

ACSLS

Fix 30031 Fix 30031

Fix 30032

50023

Library Parameter File 1 (Auszug): hostname = acsls-1 # ACSLS Server portnum = 50022 # lokaler Port csi_hostport 30031 # Port auf ACSLS Server ssi_inet_port 30031 # Port für Rückverbindung vom ACSLS Server Library Parameter File 2 (Auszug): hostname = acsls-2 portnum = 50023 csi_hostport 30031 ssi_inet_port 30032


ACSLS über Firewall - Konfiguration


Fragen?

Langzeitarchivierung von Satellitendaten: ESA Missionen...

Documents

Transcript of Langzeitarchivierung von Satellitendaten: ESA Missionen...