Heterogene Echtzeitreplikation am Beispiel DB2-Oracle: Der...

Heterogene Echtzeitreplikation am BeispielDB2-Oracle: Der Einsatz von GoldenGate® zur

Unterstützung geschäftskritischer Prozesse bei AMD

Datenbankstammtisch an der HTW Dresden - 26. März 2008

Thomas RichterIT Systems & Operations

AMD Saxony LLC & Co. KG

Heterogene Echtzeitreplikation bei AMD2 26. März 2008

Übersicht

Einführung

GoldenGate – Transactional Data Management

Der Einsatz von GoldenGate – TDM bei AMD

Sonstige Aspekte


Einführung


AMD –Führende Mikroprozessor-Technologie

Advanced Micro Devices (AMD) ist ein führender, global tätiger Hersteller von innovativen Prozessoren für die Computing-, Grafik-und Consumer Electronics-Märkte.

ChipsetsMulti-Kern-Mikroprozessoren

Hochleistungs-Grafikprozessoren

Consumer Electronics

Emerging Markets

UMPCsLaptopsDesktopsCommercial

ClientsServer

and HPCHandheld


AMD in Dresden: Produktion

Reinraumfläche

Produktions-kapazität

Technologie aktuell

Technologie zukünftig

Fab 36

13.400 m2

~ 24.000 Waferstarts/Monat

65 nm / 45 nm (300 mm Wafer)

32 nm & kleiner

Fab 38

14.000 m2

flexibel in 2008 Kapazitätserweiterung für Fab 36

Umwandlung in ein neues 300-mm-Werk

Reinraumfläche Bump-Test-Gebäude ~11.000 m²


AMD in Dresden

Fab 36DDC/OSRC Fab 38 Bump/Test

FacilityEVC 2

2008

EVC 1

Parallele Volumenfertigung und Technologieentwicklung Flexible Kapazität in Fab 38 während der Konversionsphase

65 nm Produktion in Fab 36, 45 nm Pilotlinien in Betrieb


Das ‘Factory Control System’ in Fab36

Komponenten

Equipment

Software

Message-Busse

Infrastruktur

Netzwerk

Hardware, Betriebssysteme, Datenbanken

Telekommunikation

Prozesse

Advanced Process Control

Yield Engineering

SAP/PM

Der Mensch

Operations

Factory Automation

IT Systems & Operations


Dispatching und Reporting -Komponenten

MES

Manufacturing Execution System

Zentrale Komponente des Factory Control System

DB2 UDB

Dispatching und Reporting Funktionalität – unzureichend

DRS

Echtzeit-Dispatching und Reporting System

Echtzeitdaten aus MES

Proprietäre Datenhaltung

Interface zum Speichen und Abrufen der Daten

MDS (AMD)

Manufacturing Data Store

Reporting, Visualisierung, Dispatching

Replizierte und aggregierte Daten aus MES

Echtzeitdaten aus MES

Oracle


Dispatching und Reporting - Datenfluss


Dispatching und Reporting –Replikation vor GoldenGate


Ausgangssituation

DB2

Trigger

Queue-Tabelle

Verlust der Transaktionsintegrität

Erwartete Performance- und Durchsatzprobleme

DRS-Adapter


MDS-Tap

Unflexible Konfiguration


MDS

Datenbankschema aus DRS

Erwartete Latenzprobleme

Verlust der Transaktionsintegrität


Alternative Replikation -Anforderungen

Asynchrone Replikation

Transaktionsintegrität

Performance: Durchsatz und Latenz

Rückwirkungsfreiheit auf Primärdatenbank

Hochverfügbarkeit

Funktionsumfang

Flexibilität

Administration


Alternative Replikation - Ziel


GoldenGate® – Transactional Data Management


GoldenGate® Software Inc.

Die Firma GoldenGate Software Inc. ist ein Unternehmen, das Lösungen

im Bereich des ‚Transactional Data Management’ (TDM) anbietet.

TDM sorgt für garantiertes

Extrahieren (Capture)

Routen

Transformieren

Replizieren (Delivery)

von transaktionsbasierten Daten in heterogenen Datenbank- und

Systemumgebungen in Echtzeit.


GoldenGate - TDM

TDM findet Einsatz in den Bereichen

Hochverfügbarkeit und Desaster-Toleranz

Echtzeit-Datenintegration

TDM unterstützt u.a. folgende Datenbank-Versionen

Oracle

DB2 Mainframe und UDB

MS SQL Server

Teradata

Sybase

MySQL

ODBC

...


TDM - Komponenten

Komponenten (modularer Aufbau flexible Architektur)

Manager-Prozess

Extract-Prozess(e)

Replicat-Prozess(e)

Trail-Files bzw. Extract-Files

Checkpoints

Collector-Prozess(e)


TDM – Logische Architektur


TDM – Der Manager-Prozess

Manager-Prozess

1 Manager je GoldenGate-Installation

kontrolliert Prozesse: Start, Stop, Restart

wartet Trails

protokolliert Fehler

kommuniziert mit User Interface

Konfiguration: Parameter-File


TDM – Der Extract-Prozess

Extract-Prozess

Quellsystem

Konfigurationsoptionen und Datenquellen

Initialisierungen (Initial Loads)

Tabellen der Quell-Datenbank

Änderungssynchronisation (Change Synchronization)

Datenbank-Transaktions-Log

GoldenGate-Log-Tabelle (triggerbasierte Extraktion)

GoldenGate Trails (Daten-Pumpen)

Zugriff auf Datenbank-Transaktions-Log datenbankabhängig

Extraktion aller Änderungen

Nur festgeschriebene Daten (‘Commit’) werden zum Zielsystem gesendet.


ermöglicht Filterung

flexible Architekturen


TDM – Der Replicat-Prozess

Replicat-Prozess

Zielsystem

verarbeitet extrahierte Daten Replikation in die Tabellen der Ziel-

Datenbank

Konfigurationsoptionen

Initialisierungen (Initial Loads)

Änderungssynchronisation (Change Synchronization)

Datenbank-Zugriff mit ‘Native Database Calls’ bzw. ODBC

Datenbank-Zugriff lokal oder remote

Transaktionsreihenfolge gewahrt


benötigt Informationen über Struktur der Quelltabellen

ermöglicht Fehlerbehandlung

ermöglicht Filterung und Transformation

flexible Architekturen


TDM - Trails

Trail

Temporäre Speicherung der extrahierten Datenänderungen

Folge von Files auf Sekundärspeicher

Trennung von Extract- und Replicat-Prozessen

sorgen für Fehler-Toleranz

genau 1 Extract-Prozess schreibt in 1 Trail

kann von mehreren Replicat-Prozessen gelesen werden

automatisches Anlegen und Altern

auf Quell- und/oder Zielsystem möglich

Trail-FormateUniversal Data Format (UDF)

ermöglicht Verarbeitung in heterogenen Umgebungen

proprietär (GoldenGate)

ASCII

SQL

XML

Checkpoints werden registriert


TDM – Weitere Komponenten

Checkpoints

Wiederanlaufpunkt für Extract- und Replicat-Prozesse

ermöglichen Fehler-Toleranz und Recovery

registrierten Lese- und Schreibposition eines Extract-Prozesses

Leseposition eines Replicat-Prozesses

Verwaltung in Files (Extract, Replicat) bzw. Checkpoint-Tabelle in Ziel-

Datenbank

Collector-Prozesse

Hintergrundprozess auf Zielsystem

empfängt Daten eines entfernten Extract-Prozesses (TCP/IP)

schreibt in ein lokales Trail

Start und Stop durch lokalen Manager-Prozess


TDM - Weitere Komponenten

User-Interface

Error-Logfile

Parameter-Files

Report-Files

Definitions-File

Discard-Files


TDM - Topologien


Der Einsatz von GoldenGate - TDM bei AMD


Einsatz bei AMD - Topologie


Einsatz bei AMD –Aspekte der Implementierung

Datenbankschema für neue MDS-Datenbank: DDLGEN

Inbetriebnahme ohne Downtime

Installation parallel zum Altsystem

Staging-Betrieb parallel zum Altsystem

Initialisierung der History-Tabellen aus Altsystem

NULL-Value Mapping

‘Full Updates’ für Dispatching und Reporting System (DRS)

Design für Hochverfügbarkeit


Einsatz bei AMD –Aspekte der Administration

Kommandozeilen-Interface: GGSCI

Integration in Systemstart

Autostart und Auto-Restart

Monitoring

Status: Integration in HP OpenView

Performance


Einsatz bei AMD –Aspekte der Hochverfügbarkeit

Anforderung:

Verfügbarkeit >= 99.85%

Design

Redundante Datenzentren, Systeme und Cluster

Failover-Fähigkeit

Shared Storage (SAN, NFS)

Virtuelle Hostnamen

Autostart und Auto-Restart

Monitoring

Recovery-Fähigkeit

Umgebungen

Produktion

Integrations- und Stresstest, Entwicklung, Training

Prozesse

Integrations- und Stresstest

Change Control


Einsatz bei AMD - Ergebnisse


Sonstige Aspekte


Sonstige Aspekte

Weitere Werkzeuge

LOGDUMP

REVERSE

Daten-Filterung: Selektion und Projektion

Daten-Transformation: Mapping

Eingebaute Funktionen

SQLEXEC: Externe Datenbank-Prozeduren und -Abfragen

User-Exits

Bidirektionale Replikation

Sicherheit und Verschlüsselung

Datenkompression

Triggerbasiertes Extrahieren

DDL-Synchronisation

GoldenGate Director

GoldenGate Veridata

AMD, the AMD Arrow logo and combinations thereof are trademarks of Advanced Micro Devices, Inc. HyperTransport is a licensed trademark of the HyperTransport Technology Consortium. Microsoft and Windows are registered trademarks of Microsoft Corporation in the United States and/or other jurisdiction. Other names (DB2, DB2 UDB, Oracle, GoldenGate, GoldenGate Software Inc., GoldenGate TDM, SAP, SAP/PM, MS SQL Server, Teradata, MySQL, HP OpenView) are for informational purposes only and may be trademarks of their respective owners.

©2008 Advanced Micro Devices, Inc. All rights reserved.

Source of all Graphics: AMD

Heterogene Echtzeitreplikation am Beispiel�DB2-Oracle: Der Einsatz von GoldenGate® zur Unterstützung geschäftskritischer ProzeÜbersichtAMD – �Führende Mikroprozessor-TechnologieAMD in Dresden: ProduktionAMD in DresdenDas ‘Factory Control System’ in Fab36Dispatching und Reporting - �KomponentenDispatching und Reporting - DatenflussDispatching und Reporting – Replikation vor GoldenGateAusgangssituationAlternative Replikation - AnforderungenAlternative Replikation - ZielGoldenGate® Software Inc.GoldenGate - TDMTDM - KomponentenTDM – Logische ArchitekturTDM – Der Manager-ProzessTDM – Der Extract-ProzessTDM – Der Replicat-ProzessTDM - TrailsTDM – Weitere KomponentenTDM - Weitere KomponentenTDM - TopologienEinsatz bei AMD - TopologieEinsatz bei AMD – �Aspekte der ImplementierungEinsatz bei AMD – �Aspekte der AdministrationEinsatz bei AMD – �Aspekte der HochverfügbarkeitEinsatz bei AMD - ErgebnisseSonstige Aspekte

/ColorImageDict > /JPEG2000ColorACSImageDict > /JPEG2000ColorImageDict > /AntiAliasGrayImages false /CropGrayImages true /GrayImageMinResolution 300 /GrayImageMinResolutionPolicy /OK /DownsampleGrayImages true /GrayImageDownsampleType /Bicubic /GrayImageResolution 300 /GrayImageDepth -1 /GrayImageMinDownsampleDepth 2 /GrayImageDownsampleThreshold 1.50000 /EncodeGrayImages true /GrayImageFilter /DCTEncode /AutoFilterGrayImages true /GrayImageAutoFilterStrategy /JPEG /GrayACSImageDict > /GrayImageDict > /JPEG2000GrayACSImageDict > /JPEG2000GrayImageDict > /AntiAliasMonoImages false /CropMonoImages true /MonoImageMinResolution 1200 /MonoImageMinResolutionPolicy /OK /DownsampleMonoImages true /MonoImageDownsampleType /Bicubic /MonoImageResolution 1200 /MonoImageDepth -1 /MonoImageDownsampleThreshold 1.50000 /EncodeMonoImages true /MonoImageFilter /CCITTFaxEncode /MonoImageDict > /AllowPSXObjects false /CheckCompliance [ /None ] /PDFX1aCheck false /PDFX3Check false /PDFXCompliantPDFOnly false /PDFXNoTrimBoxError true /PDFXTrimBoxToMediaBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXSetBleedBoxToMediaBox true /PDFXBleedBoxToTrimBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXOutputIntentProfile () /PDFXOutputConditionIdentifier () /PDFXOutputCondition () /PDFXRegistryName () /PDFXTrapped /False

/Description > /Namespace [ (Adobe) (Common) (1.0) ] /OtherNamespaces [ > /FormElements false /GenerateStructure true /IncludeBookmarks false /IncludeHyperlinks false /IncludeInteractive false /IncludeLayers false /IncludeProfiles true /MultimediaHandling /UseObjectSettings /Namespace [ (Adobe) (CreativeSuite) (2.0) ] /PDFXOutputIntentProfileSelector /NA /PreserveEditing true /UntaggedCMYKHandling /LeaveUntagged /UntaggedRGBHandling /LeaveUntagged /UseDocumentBleed false >> ]>> setdistillerparams> setpagedevice

Heterogene Echtzeitreplikation am Beispiel DB2-Oracle: Der...

Documents

Transcript of Heterogene Echtzeitreplikation am Beispiel DB2-Oracle: Der...