EfficientNodes EfficientArchive V3.2.3 Praesentation dt

[email protected]

EfficientArchive® V3.2.3

1

mailto:[email protected]

2

Was ist EfficientArchive® ?

EfficientArchive ist eine Backend Software Lösung für das Rechenzentrum, das unstrukturierte Daten (Dateisysteme) sichert, archiviert, und gleichzeitig ein schnelles „Disaster Recovery“ ermöglicht.

Über ArchiveNodes werden entsprechende Leistungsketten (Chained Processes) abgebildet (z.B. von Festplatte auf Festplatte, dann auf Band)

Durch Hardwareintegration (Hitachi HNAS API) ist eine besondere Steigerung der Effizienz und Senkung der Systembelastung möglich, da z.B. nicht mehr ständig nach neuen oder geänderten Dateien gesucht werden muss, sondern diese vom System mitgeteilt werden.

Durch Anwendungsintegration über den mitgelieferten Kommunikationsserver (Orchestra by Soffico) ist es möglich, beliebige externe Systeme und Protokolle (DB, SOAP, ftp, http, CSV, EDIFACT, HL7, DICOM ...) einzubinden.Dies führt neben einer Effizienzsteigerung (siehe HW Integration) darüber hinaus zu einem deutlichem Zuwachs an Information (Metadaten über die Dateien).Dadurch ist es erst möglich, z.B. mit Personen behafteten Dateien, auch nach geltenden Datenschutzbestimmungen umzugehen (Pflicht der Datenlöschung).

Diese dadurch, über die unstrukturierten Daten gewonnenen Informationen, können jederzeit über die gleichen Methoden auch an andere Anwendungen und Lösungen weitergegeben werden (Third Party Integration – z.B. BigData, Data Warehouse, SAP HANA).

[email protected]


Referenzliste

[email protected]

• Sozialstiftung Bamberg - Klinikum Bamberg(> 100 TB > 50 Mio. Files > 20 ArchiveNodes)

• mobil isc, Hannover (> 150 TB > 500 Mio. Files > 10 ArchiveNodes)

• Klinikum Bayreuth (> 70 TB > 50 Mio. Files > 10 ArchiveNodes)

• Kreiskrankenhaus Erding (neu 2015)

• Elektronische Werke Fritz Driescher & Söhne GmbH, Moosburg (neu 2015)

• Barmherzige Brüder München (neu 2015)

• Uniklinik München Großhadern (EA 2015 neu geplant, TimeStamps 2012)

• Krankenhaus LK Weilheim-Schongau (2015 neu geplant)

3


4

EfficientArchive® Probleme mit unstrukturierten Daten

• ungebremstes, exponentielles Wachstum der unstrukturierten Daten - Backupprozesse kaum durchführbar - Laufzeiten viel zu lang- dadurch auch größte Probleme bei der „Disaster Recovery“- damit auch lange Ausfallzeiten und hohe Kosten

• kann auch nicht durch Einsatz von Funktionalitäten des Storage Herstellers gelöst werden- Spiegelung der Daten erfordert immer zusätzliches Backup der Daten (Backup to Disk and Backup to Tape)

• Pflicht der revisionssicheren Aufbewahrung der Daten- proprietäre, spezielle Hardware - Lösungen sind meist sehr teuer, sehr langsam und führen zur Abhängigkeit auf einen Hersteller

• freie, uneingeschränkte Nutzung der Daten - BigData- mit Daten auf trägen Systemen kann nicht gearbeitet werden

5

EfficientArchive®

Vorteile

• Revisionssicheres Langzeitarchiv ohne proprietäre Hardware (WORM), durch Einsatz von Signaturen

• keine Datensicherung der archivierten Daten notwendig - damit große Kosteneinsparungen beim Backupkonzept

• schnellstmögliche Wiederherstellung der Daten aus EfficientArchive durch „Recovery und Remapping“ für die Produktivsysteme

• erfüllt 3-2-1 Regel: 3 Kopien der Daten 2 davon auf unterschiedlichen Speichersystemen1 davon auf einem anderen Standort

• erfüllt Datenschutzrichtlinien - Pflicht der Datenlöschung

• Archivierung im Renntempo (> 450 MByte lesend von CIFS, bei gleichzeitigen 450 Mbyte schreibend auf CIFS = 900 MByte Durchsatz bei Standarddateien mittlerer Größe)

• „Daten sind das Öl des 21. Jahrhunderts“Synergien, kein Datenfriedhof, durch „Third Party Integration“ - Big Data Solutions, Data-Warehouse, Viewing

6

EfficientArchive®

Übersicht

• Revisionssichere Langzeitarchivlösung mit TÜV Zertifikat

• Leistungsfähige Schnittstellen (XML, SAP ArchiveLink, HL7/MDM, DICOM, HTTP, CIFS/NFS)

• Automatische Signatur aller eingehenden Daten - optional mit qualifizierten Zeitstempeln (AuthentiDate)

• Redundante (Multi-Tier) Speicherung der Daten auf unterschiedlichen Speicher Tier Klassen (Platte, Band, HCP), dadurch höchste Geschwindigkeit und Sicherheit

• Mobile Viewing powered by Imagitive®

• Nutzung offener Standards zur Speicherung der Daten(CIFS, NFS, LTFS) - keine proprietären

• EfficientArchive Content Repository (Speicher für Metadaten) zur intelligenten Nutzung der Information im Archiv (Big Data)

• Hochskalierbar über viele PetaByte und Milliarden von Dateien

EfficientArchive® for BigData

[email protected]

Infrastruktur EbeneBlock Storage - HUS/VSP

File EbeneHNAS Fileoperationen

Metainformationen über Dateien(Name, letzter Zugriff, Typ)

BigData EbeneEfficientArchive®

Informationen der Dateien


8

EfficientArchive®

Was ist ein ArchiveNode?

ein ArchiveNode ist ein logisches Objekt und besteht aus:

• Windows Server 2008/2012 (physikalisch oder als VM)

• zugehöriges Dateisystem - dorthin werden die Dateien gespeichert bzw. archiviert. (Netzwerkfreigabe SMB oder NFS)

• zugehörige Datenbank - darin werden die Metadaten gespeichert. (üblicherweise nicht lokal auf dem Windows Server, sondern auf einem zentralen DB Server)

• XML Import Verzeichnis

• XML Export Verzeichnis(se)

DB

ArchiveNodeLevel 1CIFS/NFS

XMLExport

XMLImport

XMLExport

9

DB

ArchiveNodeLevel 1CIFS/NFSTier 2 NSAS

XMLExport

XMLImport

XMLExport

DB


XMLExport

XMLImport

XMLExport

DMS

EfficientArchive®

ArchiveNodes®

Chained Processes classical

EfficientArchive Gen Service creates XML Files

EfficientArchive Sync Service use XML Files to backup and archive

[email protected]


10

DB


XMLExport

XMLImport

XMLExport

DB


XMLExport

XMLImport

XMLExport

DMS

EfficientArchive®

ArchiveNodes®

Hitachi HW-Integration API

EfficientArchive JetCopy/JetArchive feature uses HNAS Changed File List tocreate XML Files


[email protected]

HNASChanged File List

API


11

DB


XMLExport

XMLImport

XMLExport

DB


XMLExport

XMLImport

XMLExport

DMS

EfficientArchive®

ArchiveNodes®

Application SW-Integration

EfficientArchive Communication Server Modul (soffico orchestra) works with applications to get files with metadata objects and then creates XML Files


[email protected]


12

EfficientArchive®

[email protected]

DMS

SAP

XMLExport

ArchiveNodeLevel 2

Tier 4 Tape

XMLImport

DB

)(

DB

ArchiveNodeLevel 1CIFS/NFSTier 1 SAS

XMLExport

XMLImport

XMLExport

CommunicationServer

Integration

embeddedMiddleware

13

DB


XMLExport

XMLImport

XMLExport

Apple IOSIphoneIpad

ViewingNode

DMSPRO TIFFJPEG 2000DICOM, PDF ...

MicrosoftWindows

XMLImport

DB

DB


XMLExport

XMLImport

XMLExport

DB

ArchiveNodeLevel 1CIFS/NFSTier 1 SAS

XMLExport

XMLImport

XMLExport

DB


XMLExport

XMLImport

XMLExport

XMLExport

ArchiveNodeLevel 2LTFSTier 4 Tape

XMLImport

DB

DMS

ERP

SAP

XMLExport

ArchiveNodeLevel 3DataCenter

XMLImport

DB

EfficientArchive®

ArchiveNodes®

Chained Processes Overview

Hitachi HDS

Storage APIHW-Integration

Compute BladeLPAR

OrchestraCommunication

Server

ApplicationSW-Integration

embeddedMiddleware

EA TimestampNodeLevel 3

XMLExport

ArchiveNodeLevel 3HDS HCP

XMLImport

[email protected]

DB


XMLExport

XMLImport

XMLExport


14

Backup Process Classicalwith HDS HCP

100 TB

structured andunstructured

DataDB, VMware,Filesystems,

Files …

Liz Backup SW300.000€

[email protected]

Backupto Disk

Tape500 TB

capacity requirements

4 week retention time

(4 * full, 24 * incbackup)

1 PB


400 * LTO 6 Tapes (2.5 TB)

50.000€

HDS HCP

24 TB


no D/R capability

100.000€

500 TB

200 * 4TB

250.000€


EfficientArchive®

[email protected]@brandl-systemhaus.de

15

Applikationsintegration HW-Integration Communication Server Hitachi API*

CIFS / NFS Backup Archiv D/R

Efficient Archive unstrukturiert

SQL, Exchange, SharePoint, Domain Ctlr.

VMware HyperV Backup Veeam

virtualisiert

Daten



16

DB


XMLExport

XMLImport

XMLExport

XMLExport

ArchiveNodeLevel 2LTFSTier 4 Tape

XMLImport

DB

EfficientArchive®

EfficientNodes®

structured and unstructured Data

HDPS20 TB

structuredData

DB, VMware …

Liz Backup SW80.000€

EfficientArchive80 TB

unstructuredData

FilesystemsFiles

Liz EA80.000€

[email protected]

Backupto Disk

Tape

HNAS100 TB


4 week retention time

(4 * full, 24 * incbackup)

LTO Library100 TB

(200 TB)


80 * LTO 6 Tapes (2.5 TB)

HW 25.000€

HNAS100 TB


(includes versioning)

40 * 4TB

HW 50.000€

100 TB

40 * 4TB

HW 50.000€

CrossroadsStrongbox

100 TB(200 TB)

80 *LTO 6Tapes (2.5 TB)

HW 50.000€


EfficientArchive®

Leitfaden - Richtlinien

[email protected]

• Grundsatz der technischen Trennung von Archiv- und Produktivspeicher

• Daten verbleiben im Produktivspeicher - kein HSM / Stubfile

• Speicherung mehrfach redundant auf unterschiedlichen Tiered Storage Klassen, einschließlich Band

• Umsetzung von Datenschutzrichtlinien - Pflicht der Datenlöschung

• Grundsatzentscheidung: Datenschutz vor Aufbewahrungspflicht der Daten?

• digitale Signaturverfahren bevorzugt vor Einsatz von proprietäre WORM HW Lösungen

• Prüfung der Dauer der vollständigen Wiederherstellung der Daten aus Archiv

• Archivierung ersetzt Datensicherung

• Anpassungsfähigkeit auf gesetzliche Änderungen

17


EfficientArchive®

Problematik bei der Entscheidung für eine bestimmtesNetzwerk Speicher- und Archiv Konzept

[email protected]

• Für welchen Hersteller von Speichersystemen entscheide ich mich?

• Können Produkte von unterschiedlichen Herstellern kombiniert werden?

• Soll mann sich für eine NAS, ISCSI oder SAN basierte Architektur entscheiden?

• Beim Kauf von Produkten mit allumfassender Funktionalität (Alleskönner) - mache ich mich dann nicht abhängig? - Problem der sog. „Eier - legende - Wollmilchsau“

• Was ist, wenn ich meine Daten revisionssicher Archivieren will?

• Soll man eine eigenständige Lösung für die Langzeitarchivierung kaufen?

• Wurde der jährliche Bedarf an Speicher richtig eingeschätzt (30 - 50% Wachstum jährlich) - Bedarf wird meist nur linear berechnet, z.B. jährlich 5 TB

• Wird das Ganze nicht dann irgendwann unbezahlbar?

• Ist diese Lösung dann in ein paar Jahren auch noch die richtige? Oder muss mann dann die gespeicherten Daten zeit- und kostenaufwendig migrieren?

• Ist eine einmal begonnene Lösung offen und flexibel, um kommende neue technische Möglichkeiten zu adaptieren, oder bewege ich mit in eine Sackgasse?

• ....

18


19

EfficientNodes GmbHKagerser Hauptstraße 2a

D-94315 Straubing

Tel.: +49 9421 33035 0Fax.: +49 9421 33035 52

www.brandl-systemhaus.de

Albin BrandlTel.: +49 9421 33035 12Mobil:+49 171 [email protected]

[email protected]

EfficientArchive®

Kontakte und Infos

Partner:

http://www.brandl-systemhaus.de



EfficientNodes EfficientArchive V3.2.3 Praesentation dt

Documents

Transcript of EfficientNodes EfficientArchive V3.2.3 Praesentation dt