Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsbericht

Click here to load reader

  • date post

    04-Aug-2015
  • Category

    Technology

  • view

    149
  • download

    6

Embed Size (px)

Transcript of Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsbericht

1. Klonen von Exadata Datenbankenmit der Oracle ZFS ApplianceEin ErfahrungsberichtDOAGKonferenz20141 2. databaseintelligence|opera1onsexcellence|lizenzberatung Oracle-Projekte seit 2003 Data Warehouse undBusiness Intelligence Projekte WartungsvertrgeDOAGKonferenz20142wegotheextramileJan Schreiber, Senior ConsultantLoopback.ORG GmbH 3. KUNDE UND ANWENDUNGDeutschlandweiter KommunikationsdienstleisterDWH/BI Landschaft mit mehreren ExaData-SystemenDatenbeladungen von 2 TB pro TagTgliche Bereitstellung von Key-Performance-IndikatorenDOAGKonferenz20143 4. Ausgangssituation (physisch)RMAN10 Gbit/sec.DOAGKonferenz20144RMAN1 Gbit/sec.SAN StorageProduktionsumgebungTestumgebungFC 5. Ausgangssituation (logisch)Post-Tasks:- Anonymisierung- Maskierung- Security-Refit- Database Links- Produktion Produktion TestDOAGKonferenz20145 6. Ausgangssituation (logisch)Produktion ProduktionDOAGKonferenz20146Post-Tasks- Anonymisierung- Security-Refit- Database Links- - Anonymisierung- Security-Refit- Database Links- lots of times...- Anonymisierung- Security-Refit- Database Links- TestEntwicklungT/E 7. Nachteile Platzverbrauch (ein n-faches der Originalvolumens) Lange Laufzeiten Hoher Netzwerk-Traffic durch Datenbewegung Lange Anpassungszeiten fr Post-Tasks Insgesamt lange Bereitstellungszeiten Test / Entwicklungsumgebungen wurden zu selten aktualisiertDOAGKonferenz20147 8. Oracle ZFS Appliance Direkt an Exadata-Infiniband angeschlossen Hohe Durchsatzraten bei der Datensicherung ZFS bietet Snapshots und Klone Schnelle Bereitstellung, geringer Platzverbrauch HCC Kompression kann beibehalten werden Native dNFSDOAGKonferenz20148 9. Oracle ZFS Appliance Application Engineered Storage: Speziell fr Datenbank-Storage entworfen 17,3GB/s bei $23/MB/s dTrace-GUI Analytics Oracle Database Integration: SMU EM Cloud Control Plugin Thin Provisioning / Deduplication / CompressionDOAGKonferenz20149 10. dTrace AnalysisDOAGKonferenz201410 11. Infiniband-Integration Exa / ZSExadata Rack 1Leaf Switch 1 Leaf Switch 2IB0 IB1 IB2 IB3 IB0 IB1 IB2 IB3Oracle ZFS Storage Cluster Head 1 Oracle ZFS Storage Cluster Head 2DOAGKonferenz201411Exadata Rack 2Leaf Switch 1 Leaf Switch 2Active IPMP LinkFailover Link 12. Configuring a Single Oracle ZFS Storage Appliance into anInfiniBand Fabric with Multiple Oracle Exadata MachinesTwo Exadata racks can be cabled together to share the same IBfabric mesh. The merged Exadata racks can then be connected to asingle clustered Oracle ZFS Storage Appliance. Successful setuprequires adherence to some critical prerequisites and instructions,including physical cabling procedures. Be sure to reference theOracle Exadata Database Machine Owner's Guide,Part IV: Extension Configuring a Single Oracle ZFS StorageAppliance into an InfiniBand Fabric with Multiple Oracle ExadataMachines of the Oracle Database Machine and Oracle ExadataStorage Expansion Rackhttp://www.oracle.com/technetwork/server-storage/sun-unified-storage/documentation/multiple-exadata-zfssa-121013-2080035.pdfDOAGKonferenz201412 13. IB-Konfiguration Enable LACP Link Aggregation Active/Active-Konfiguration fr IPMP nicht empfohlen* Linux ifcfg-ibx: MTU=65520 Connected ModeDOAGKonferenz201413*sieheMOSNote:283107.1 14. Durchsatz Infiniband Bus Transferrate 2.0Gb/sec 40Gb/s mit QDR auf Eda-Seite Erwarteter Durchsatz 4GB/sDOAGKonferenz201414 15. Klon-ErzeugungFilesystem-Klon: offline online mit recovery Zugriff auf ArchiveLogs notwendig Quell- und Klon-DBliegen in einemFilesystem odersind per zfs sendrepliziertRMAN-Klon: Sicherung der Quell-DBmit RMAN AS COPY aufein (d)NFS-Share derZS RMAN Recovery auf derZS zfs clone Start auf DB-Host per(d)NFS MountDOAGKonferenz201415Data-Guard-Klon: DataGuard statt RMAN Point In Time Klonmglich Verbindung mitDesaster Recovery 16. Ausgewhlte StrategieOracle RMAN Incremental Backup Oracle RMAN Incremental BackupMCL@t1 MCL@t2 MCL@t3 MCL@t4MTD@t1 MTD@t2 MTD@t3 MTD@t4S1 S2 S4C4S3S5 S6 S7 S8C1 C2 C3C6C5 C7 C8 C9 C10 C13DOAGKonferenz201416C12C11OracleASMDatabaseSource-DBLoopback.ORG 17. Ausgewhlte StrategieOracle RMAN Incremental Backup Oracle RMAN Incremental BackupMCL@t1 MCL@t2 MCL@t3 MCL@t4MTD@t1 MTD@t2 MTD@t3 MTD@t4S1 S2 S4C4S3S5 S6 S7 S8C1 C2 C3C6C5 C7 C8 C9 C10 C13DOAGKonferenz201417C12C11OracleASMDatabaseSource-DBRestoredDBLoopback.ORG 18. Ausgewhlte StrategieOracle RMAN Incremental Backup Oracle RMAN Incremental BackupMCL@t1 MCL@t2 MCL@t3 MCL@t4MTD@t1 MTD@t2 MTD@t3 MTD@t4S1 S2 S4C4S3S5 S6 S7 S8C1 C2 C3C6C5 C7 C8 C9 C10 C13DOAGKonferenz201418C12C11OracleASMDatabaseSource-DBRestoredDBMasterTestDBLoopback.ORG 19. Ausgewhlte StrategieMCL@t1 MCL@t2 MCL@t3 MCL@t4MTD@t1 MTD@t2 MTD@t3 MTD@t4S1 S2 S4DOAGKonferenz201419SnapshotsOracle RMAN Incremental Backup Oracle RMAN Incremental BackupC4S3S5 S6 S7 S8C1 C2 C3C6C5 C7 C8 C9 C10 C13C12C11OracleASMDatabaseSource-DBRestoredDBMasterTestDBLoopback.ORG 20. Ausgewhlte StrategieOracle RMAN Incremental Backup Oracle RMAN Incremental BackupMCL@t1 MCL@t2 MCL@t3 MCL@t4MTD@t1 MTD@t2 MTD@t3 MTD@t4S1 S2 S4C4S3S5 S6 S7 S8C1 C2 C3C6C5 C7 C8 C9 C10 C13DOAGKonferenz201420C12OracleASMDatabaseSource-DBRestoredDBMasterTestDBC11SnapshotsKlone 21. Zusammenspiel RMAN und ZA RMAN AS COPY 1,75x lngere Laufzeit als AS BACKUPSET Incrementally updated backup ENABLE BLOCK TRACKING BACKUP AS COPY SKIP INACCESSIBLE (ARCHIVELOG ALL)DOAGKonferenz201421 22. RMAN Konfiguration RMAN Channel SBT_TAPE ohne Komprimierung, wennBackup Software bereits komprimiert RMAN Compression ist sehr CPU intensiv Hhere Datenraten mit mehreren RMAN-Channels Mount der Backup Shares mit Automounter oder init.d-SkriptDOAGKonferenz201422 23. Datenbank-Kloning und ZA Alle zusammengehrigen Dateien mssen konsistentgeklont werden Schreiboperationen mssen auf Redo ausgelagert werden Archive Logs mssen bercksichtigt werdenDOAGKonferenz201423 24. DB-Kloning mit SMU Management der Kloning iSCSI und dNFS WebGUI und CLI Oracle 10,11, RAC, Linux, SolarisDOAGKonferenz201424 25. DB-Kloning mit SMUDOAGKonferenz201425 26. SMU: Ablauf1. Klon des Backup Share2. Mount Klon auf Target Host3. Start Temp-Instanz aus Backup, mount Controlfile,read parameters (maxSCN, FRA-Size)4. Start Klon-DB mit neuem PFile5. Recover Control File6. Database Recovery7. OPEN RESETLOGS8. Recompile aller Schema-ObjekteDOAGKonferenz201426 27. Host-Anbindung ZS L2: FC, IB oder (10G) Ethernet TCP/IP ber Ethernet und IB ZA Protokolle: ftp, smb, nfs, iSCSI iSCSI: ZFS datasets (Volumes) als raw devices fr ASM Nur eine ASM-Instanz pro Host iSCSI Volumes werden im Stck geklontDOAGKonferenz201427 28. Oracles dNFS NFS-Implementation im Oracle-Prozess Fr Datenbank-Zugriffe optimiertes Verhalten Fr Datafiles, RMAN, Temp, Redo, Controlfiles Keine serverseitige Komponenten Weniger CPU-Overhead Von Oracle empfohlen fr Datenbankfiles auf ZA Storage 300% der kNFS-Performance in Linux 100% in Solaris ;)DOAGKonferenz201428 29. k NFSI/O ClientOracleProcesskernelNFS-ClientNFS-ServiceI/O ClientOracleProcessI/O ClientOracleProcessFile A File B File BDOAGKonferenz201429d NFSI/O ClientOracleProcessNFS-Client NFS-ClientNFS-ServiceI/O ClientOracleProcessNFS-ClientI/O ClientOracleProcessFile A File B File BUSER KERNEL MODEUSER KERNEL MODELoopback.ORG 30. SMU Konfiguriert Snapshots und Klone von Oracle-Datenbanken aufZFS-Storage Oracle Datenbank 10,11 auf ZA Solaris, Linux, Windows Clients, RAC NAS & SAN Snapshot, Clone, Rollback Online, Offline, Standby SnapshotsDOAGKonferenz201430 31. ZFS-Snapshots ZFS: Allocate on Write nderungen werden stets auf neue Blcke geschrieben Nach einem Snapshot werden keine obsoleten Blcke mehrgelscht Ein Klon ist ein beschreibbarer Snapshot Schreiben auf einen Klon ist nicht langsamerDOAGKonferenz201431 32. ZFS-Konfiguration: ARC & ZIL ARC Adaptive Read Cache in RAM oder aufSSD (Readzilla/L2ARC) Buffer Cache des Filesystems ZIL ZFS Intent Log (Writezilla) Redo Log des Filesystems Synchrones Schreiben Asynchrones Schreiben geht ins RAMDOAGKonferenz201432 33. Schreiben in ZFSGet into atransaction groupUpdate ourin-memory buffernoyesDOAGKonferenz201433Create in-memorylog recordSync? Commit transactionCommit ZIL record to diskReturn 34. ZFS logbias Latency: mit ZIL Throughput: ohne ZIL Auf SSD schreibt es sich schneller Aber viele Disks haben mehr Bandbreite als wenige SSDsDOAGKonferenz201434 35. ZIL Konfiguration Gestripte SSDs fr ZIL Maximale Performance Doppelfehler fhrt zu Datenverlust Gespiegelte SSDs fr ZIL Maximale Schreibrate im Latency-Mode = Bandbreite eines SSD-AnschlussesDOAGKonferenz201435 36. ZFS Share Konfiguration frDatenbankenShare Logbias Recordsize Primarycache CompressionDATAFILES latency db_blocksize all LZJBShare Logbias Recordsize Primarycache CompressionDATAFILES latency db_blocksize all LZJBINDIZES latency db_blocksize all offCONTROLFILES latency 128k all LZJBDOAGKonferenz201436 37. Pool-Konfiguration Oracle empfiehlt verschiedene Pools fr Datafiles und Redo Mirrored Pool fr Klon-Shares? RAID-Z fr RMAN, Archive Log? HDDs knnen nur einem Pool zugewiesen werden HDDs knnen nie mehr aus Pool entfernt werden Ein Pool pro Head Oracle empfielt 4 Schreib-SSDs fr Klone und inkrementelle BackupsDOAGKonferenz201437 38. ZA Cluster 2 Heads, n Storage Bays Storage Bays sind untereinander querverbunden HDDs des anderen Heads knnen importiert werden Heads mssen einzeln konfiguriert werden Readzilla pro Head, verliert nach Schwenk Status Aufwrmphase nach dem NeustartDOAGKonferenz201438 39. Projekt-Konfiguration ZFS datasets heissen in der ZA Shares Ein ZA Projekt ist ein Template fr Shares iSCSI Block Devices werden immer synchron geschrieben, daher kein LatencyMode Auf keinen Fall Deduplikation verwenden, da umfangreicheSpeicherstrukturen aufgebaut werden mssen (im RAM sollte der Cache sein) Shares mssen in beiden Kpfen angelegt werden User und Group ID in den Share Voreinstellungen anpassen (1001) Eindeutiges Namens-Schema fr Shares und Snapshots einhalten!DOAGKonferen