Datenbank 2Thema:Benchmarks

Mirco Barth

Gliederung

• Allgemeines über Benchmarks• TPC• TPC-A• TPC-B• TPC-C• TPC-W• APB-1

Allgemeines

• lange Zeit nur herstellerspezifische Benchmarks

• -> beschränkte Vergleichsmöglichkeit• -> Verdacht: Benchmark auf System zugeschnitten

• Konsequenz:• Transaction-Processing-Council (TPC), OLAP-Council

beginnen mit Spezifizierung von Benchmarks• Ziel: Mechanismus für Systemvergleich der über

Hersteller-, Hardwaregrenzen

Benchmark

• versucht sich Realität anzunähern durch praxisnahe Testläufe, Operationen

• da nicht auf bestimmtes Testfeld, Branche zugeschnitten, kein Ersatz von detailierten Systemevaluationen

• Spezifikation enthält Beschreibung von Aufgaben, Anforderungen, Umfeld

TPC

• beschäftigt sich mit OLTP-Benchmark• über 10 Jahre Erfahrung• TPC-Unterausschuss für Änderungen von

Kostenkalkulationsmethoden• Einheitliche Preisspezifikation abgeschlossen

TPC-A• November 1989 ausgestellt• Leistung von Update-Datenbank-Umgebungen

• Mehrere Online-Terminal-Sessions• Moderate Systeme und Anwendungsausführungszeit• Transaktions-Integrität

• Prinzip:• einzelne, einfache, updateintensive Transaktionen• reproduzierbare Arbeitseinheit• keine Skalierung möglich• für Netzwerkkonfiguration nutzbar• Metrik TPS: Transaktionen pro Sekunde

TPC-B

• 2. TPC-Benchmark, August 1990 genehmigt• kein OLTP-Benchmark -> „DB-Stresstest“• Vergleich von DB, Transaktionsverarbeitung• Geschäftskernteil DB• für gleichzeitige Transaktionen• keine menschlichen Aspekte berücksichtigt

TPC-C• 1992 genehmigt, aktuell Version 5.9• simuliert komplette IT-Umgebung,

Großhandel• Komplexer, Skalierbar• Reduziert Grenzen• Transaktionen: Eingabe, Bereitstellung,

Zahlungen, Statusüberprüfung• 5 Transaktionstypen, 9 Arten von Datensätzen

TPC-C-Modell

• Großhandel mit Lagerhäusern, Umsätzen, Bezirken

• Anforderungen:• jedes Lager 10 Bezirke, mit je 3000 Kunden• Leiter hat 5 Operationen, Transaktionen• Häufigkeitsmodellierung individueller Transaktionen• Lager mit je 100000 Artikeln• Firmenexpansion, neue Lager

TPC-W

• Transaktionaler Web E-Commerce-Benchmark• Web-Interaktionen simulieren Einzelhandel• Metrik: Web-Interaktionen pro Sekunde

APB-1 Analytic-Processing Benchmark

• von OLAP-Council gefördert• Simuliert realistische OLAP-Business-Situation• Serverbasiert• Hauptaugenmerk auf Anwortszeit• Metrik: analytical query time (AQT)• Verkaufs- und Marketinganalysesystem

APB-1

• Datenbankstruktur hat 6 Dimensionen: • Zeit, Szenario, Maßstab, 3Aggregations-Dimensionen zur

Definition der Datenbankgröße • Produkt, Kunde, Kanal

• APB-1 in 6 Schritten ausgeführt: • APB1GEN zum Anlegen der Hierarchiefiles und historischen

Daten • Datenbankinitialisierung und Laden der historischen Daten • APB1GEN zum Anlegen der inkrementellen Datenfiles • inkrementelles Laden und Vorberechnung • APB1GEN zum Anlegen der Query-Datenfiles Query-

Ausführung

Hirarchien

• Produkthierarchie: • Top• Division • Line • Family • Group • Class • Code

• Kundenhierarchie• Top • Retailer • Store

• Kanalhirachie• Top• Base