1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte...

28
1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ 2008 ca. $114 M. > Weltweite Support Infrastruktur (1.630 Stützpunkte) > + 5.500 installierte Systeme weltweit > + 2.100 Kunden > + 600 Petabyte Daten Zeitlinie Data Domain First Dedupe NAS First Dedupe Volume Replication First Dedupe Gateway Largest Dedupe Array First Dedupe Directory Replication First Dedupe VTL 2003 2004 2005 2006 2007 First Dedupe Nearline Storage 2008

Transcript of 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte...

Page 1: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

1

DeDuplication Speicher Systeme

> Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte> Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ 2008 ca. $114 M.> Weltweite Support Infrastruktur (1.630 Stützpunkte) > + 5.500 installierte Systeme weltweit> + 2.100 Kunden> + 600 Petabyte Daten

Zeitlinie

Data Domain

First Dedupe NASFirst Dedupe NAS

First Dedupe Volume ReplicationFirst Dedupe Volume Replication

First Dedupe GatewayFirst Dedupe Gateway Largest Dedupe ArrayLargest Dedupe Array

First DedupeDirectory ReplicationFirst DedupeDirectory Replication

First Dedupe VTLFirst Dedupe VTL

2003 2004 2005 2006 2007

First Dedupe Nearline StorageFirst Dedupe Nearline Storage

2008

Page 2: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

2

0

500

1000

1500

2000

2500

3000

3500

2006 2007 2008 2009 2010

Marktbetrachtung: Capacity Optimized Storage (COS)

COS

Tape Automation

2006 Revenues

$M

“When viewed through the data deduplication lens, Data Domain took a lion’s share of the market with 53% of the storage with data deduplication in 2006, according to our estimates.”Source: Arun Taneja, SearchStorage.com, May 2, 2007

Data Domain has enjoyed the market leadership position in the midrange data deduplication space for at least two years now. We believe that Data Domain today continues to hold a 9 to 12 month technology lead over its nearest competitor. Meanwhile the company is aggressively expanding its products both up and down the performance spectrum. Source: RBC Capital Markets Corp. - Enterprise Systems Perspectives Deduplication: Proliferation and Confrontation Ahead, June 2008

Source: Taneja Group - Next Generation Data Protection Market Profile, December 2006

Page 3: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

3

Data Domain – Hauptmerkmale

Integration: Einfache Einbindung in bestehende Umgebungen

Technologie: DeDuplizierung

Sicherheit: “Data Invulnerability” Architektur

Effizienz: Replikation für DR

Page 4: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

4

Integration

3U(15) 500 GB SATA drives

RAID-6NVRAMN+1 Fan

1 - 4 Ports5.4 to 21.6 TB with Shelves

File System

(Gateway: EMC, HDS, Nexsan, Pillar, NetApp, 3PAR, LSI, IBM, HP)

CIFS, NFS, NDMP

OST

FC = VTL

Replikation

Nearline Applikationen

Page 5: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

5

3FB0734C 5B2B36AC842194A3214DCF8947

Technologie im Detail

3FB0734CD7DC8B935B2B36AC842194A3214DCF8947D7DC8B93

Pointer

Page 6: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

6

94A3214DCF89475B23FB0734C 5B2B36AC842194A3214DCF8947B36AC84213FB0734C

Pointer

Technologie im Detail

Page 7: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

7

94 94794A3214DCF89475B23FB0734C A3214DCF8

Technologie im Detail

Page 8: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

8

94 9475B23FB0734C

3FB0734C5B294947

Technologie im Detail

Page 9: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

9

Variable Segmente vs. Blocklevel

Segmemte von variabler Größe haben entscheidende Vorteile !

Feste Blockgröße versagt bei den meisten Veränderungen

Variable Startpunkte verbessern das Auffinden von Dubletten

StartpunkteRedundante Segmente

Ich bin im Z oo b ei d en A ffen

Sie sind im Zoo bei den Affe

Ich war bei den Affe n im Zoo

Paul und ich waren im Z oo b ei d en A ffen

Page 10: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

10

Second Friday Full BackupSecond Friday Full Backup

B C D E F L G H

Daten-DeDuplizierungseffekt

A B C D E F G H I J

Friday Full BackupFriday Full Backup

A B C D A E F G

Mon IncrMon Incr A B H

Tues IncrTues Incr C B I

Thurs IncrThurs Incr A C K

Weds IncrWeds Incr E G J

BACKUP DATA LOGICAL ESTIMATED PHYSICALREDUCTION

Monday Incr 100 GB 7-10x 10 GB

Tuesday Incr 100 GB 7-10x 10 GB

K L

Wednesday Incr 100 GB 7-10x 10 GB

Thursday Incr 100 GB 7-10x 10 GB

2nd FRIDAY FULL 1 TB 50-60x 18 GB

TOTAL 2.4 TB 7.8x 308 GB

FRIDAY FULL 1 TB 2- 4x 250 GB

Page 11: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

11

Week 1Week 1

BACKUP DATA LOGICAL ESTIMATED PHYSICALREDUCTION

Feb. 28 12.8 TB 14x 890 GB

März 31 15.2 TB 16x 940 GB

April 7 18.0 TB 18x 980 GB

April 14 19,4 TB 18x 1050 GB

April 21 21.5 TB 19x 1130 GB

TOTAL 23.4 TB 20x 1178 GB

Jan 31 8.4 TB 11x 714 GB

Längere Aufbewahrungszeiten mit der selben Diskkapazität !

Week 2Week 2

Week 3Week 3

Month 1Month 1

Month 2Month 2

Month 3Month 3

Month 4Month 4 April 28 23.4 TB 20x 1178 GB

Daten-Deduplizierungseffekt

Page 12: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

12

Online-DeDuplizierung

► Online Erkennung von Redundanzen IO basierender Prozess benötigt CPU & RAM

► Leseverifizierung der Daten direkt beim Schreiben

► Asynchrone Replikation der Daten während dem Backup

► 1 X Schreiben auf primärer DD; 1 x Lesen für Replikation

Page 13: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

13

Online-DeDuplizierung

4 TB 4 TB 4 TB

BackupReplikation

Kein zusätzlicher Plattenbedarf geringere Stromkosten

Keine Software-Upgradegebühren für z.B. NetWorker notwendig

Replikation kann unmittelbar mit dem Backup angestoßen werden DR fähig

Page 14: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

14

Online versus Post - DeDuplizierung

► Festplatten I/O basierende Architektur

► Backup erfolgt direkt auf VTL Device und wird in Native Format abgelegt

► Wenn genügend System Ressourcen vorhanden sind beginnt die Deduplizierung

► Nach Abschluss der Deduplizierung beginnt die Replikation

► Kritisch im Bezug auf die Überwachung des Systemzustands

► Kritisch im Bezug auf die Systemperformance und Datenkonsistenz

► Benötigt zusätzliche Diskkapazität

► 1 x Schreiben Native; 1 x Lesen für DeDup; 1 x schreiben DeDup; 1 x Lesen für Replikation

Page 15: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

15

Post-DeDuplizierung

10 TB

Backup Replikation

4 TB 4 TB4 TB

DeDup

Zusätzlicher Platzbedarf höhereStromkosten Zusätzliche Software-Upgradegebühren für z.B. NetWorker notwendig Extrem I/O-lastig Anfällig für Datenkonstistenzprobleme / hohe Wahrscheinlichkeit für

Diskfragmentierung Replikation kann erst nach Post-Deduplizierung angestoßen werden DR fähig ?

Page 16: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

16

Performance: CPU vs. HDD

Source: http://seagate.com/docs/pdf/whitepaper/economies_capacity_spd_tp.pdf

Klassische Lösungen haben Nachteile gegenüber CPU bassierender DeDuplizierung

Mehr Geschwindigkeit nur durch mehr Festplatten Verschwendung von Plattenplatz Höherer Managementaufwand / Kosten

  1987 2004 Faktor

CPU Performance 1 MIPS 2,000,000 MIPS 2,000,000 x

Memory Size 16 Kbytes 32 Gbytes 2,000,000 x

Disc Drive Performance 60 msec 5.3 msec 11 x

Page 17: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

17

Durchsatz: CPU-centric Design

Mit jeder Verdopplung der # “Cores” erhöht sich bei DD der Durchsatz um ~50% SISL™ (Stream Informed Segment Layout) CPU-centric Design

Laufwerke

Durchsatz

300 MB/sec

100 MB/sec

50 MB/sec

2001005010

Most Dedupe V

endors

Most Dedupe V

endors

FC Drives:2x SATA Geschw.3-5x SATA Preis

SATA Drives

Data Domain

Page 18: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

18

Recovery: “Data Invulnerability” Architektur

Zusätzlicher Schutz• RAID-6• NVRAM• Snapshots

DatenüberprüfungCheck-SummeDeDup, auf Platte schreibenVerifizieren

Selbstheilendes file systemCleaningDefragVerifizieren

Trust but verify – hope is not a strategy !

Page 19: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

19

Replikation: WAN–Effizienz

WAN

home

Backup Daten

Backup DatenBackup

Daten

home

DIR A

Quelle: Remote Sites

Ziel: Data Center Hub

95- 99% Bandbreitenreduzierung95- 99% Bandbreitenreduzierung

1- 5%

1- 5%

1- 5%

Echtes DR; reduziert WAN–Kosten; verbessert SLAs !

Backup Daten

Page 20: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

20

Einheitliche Plattform für Archiv- und Backupdaten

home

• Archiv und Backup auf einem System

• eine Plattform für mehrere ApplikationenBackup Daten

Backup Daten

Backup Daten

Archiv Daten

Archiv Daten

Archiv Daten

WAN

• SnapShot für Datenintegrität

• Effiziente Replikation für DR

Page 21: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

21

Skalierbarste Inline Deduplication Systeme

DD500 Appliance Series

DDX Array Series

Replicator, VTL, Open Storage, Retention Lock Software Optionen

Bis zu 16 Kontrollerinterner oder externer Storage

DD120 DD510 DD530 DD565 DD580/g DD690/g DDX Array

Durchsatz (GB/h) 150 290 360 630 800 1,4 TB/h 22,4 TB/h

Logische Kap. (TB) 7-18 55-135 110-285 320-810 430-1,08 PB 710-1,7 PB 11,3-28 PB

Roh Kap. (TB) ,750 Bis zu 3,75 Bis zu 7,5 Bis zu 23,5 Bis zu 31,5 Bis zu 48 Bis zu 768

Nutzbare Kap. (TB) ,373 Bis zu 2,7 Bis zu 5,7 Bis zu 16,2 Bis zu 21,6 Bis zu 35,3 Bis zu 564

DD120 Für Außenstellen

Gateway Series

DD690 System

DD690g

DD580g

Page 22: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

22

Data Domain – 10 Vorteile auf einen Blick !

Problemlose Einbindung in die vorhandene Backup-Software und Vereinfachung des Managements

Datenreduktion von über 90% möglich (variables SI auf Segmentebene) Reduzierung von Wiederherstellungszeiten durch viel längere Aufbewahrung

der Backupläufe auf Disk Extreme Datensicherheit durch eingesetzte Technologie z.B. RAID 6,

Replikation, permanente Überprüfung der Daten auf Korruption (physisch und logisch)

Einfache Umsetzung von DR-Konzepten durch Replikation Außenstellen mit Replikation über WAN-Leitung anbinden Performantes Backup/Recovery gerade auch in unternehmenskritischen

Umgebungen und bei Datenbanken Optimal auch in virtuellen Umgebungen mit VMware Kosten für weniger benötigte Dokumente reduzieren (Speicherung von

Archiv- und Backup-Daten auf der gleichen Data Domain Appliance) Green-IT: drastische Reduktion der Stromkosten, des Platzbedarfes und der

Klimakosten

Page 23: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

23

Was beim Thema DeDup berücksichtigt werden sollte

Ist die Datenstruktur DeDup fähig ?

Gibt es Referenzen mit meiner Applikation ?

Können Außenstellen mit eingebunden werden ?

Kann ein Leistungsfähiges DR–Konzept erstellt werden ?

Technologie: Online oder Postprozess / CPU- oder Platten-basiert /

fixe oder variable Blöcke?

VTL oder Filesystem ?

Managementaufwand & Sicherheit des Systems (bspw. Metadaten,

Datenkorruption, Selbstheilung, RAID-Typ, Gegenmaßnahmen zur

Fragmentierung) ?

Implementierungsaufwand ?

Page 24: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

24

Fortune 1000 Kunden

Technology

Telecom

Public Sector

Media/Entertainment

Healthcare

Industrial/Auto

Consumer/Retail

Financial Services

Source: Data DomainSource: Data Domain

Page 25: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

25

Kunden in Deutschland

EMC NetWorker

Gateway mit EMC Clariion Speicher

4 TB Daten

Oracle, Mail und Flat File

4 Wochen retention

SAN

Page 26: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

26

Kunden in Deutschland

“Data Domain hat unsere Erwartungen mehr als erfüllt, in dem bei hoher Performance sehr gute DeDuplication Werte erreicht werden und der Betrieb absolut problemlos und zuverlässig läuft”(Peter Langwieder)

Page 27: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

27

Kunden in Deutschland

“Die Betreuung und der Know-How Transfer … hat sehr gut funktioniert und durch den Test konnte schon im Vorfeld die hervorragende Funktionsweise der DeDuplication der Data Domain Lösung ermittelt werden. Dies hat sich mittlerweile im produktiven Praxisbetrieb bestätigt.”(Ljudevic Katovic)

Page 28: 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

28

Data Domain …the proven way to do DeDuplication