BizDataX Testdatenmanagement Konzepte

16
Testdatenmanagement Konzepte EIN PRODUKT VON EKOBIT

description

BizDataX Transformiert und Synthetisiert neue Testdaten. Entweder wird die Produktionsdatenbank zu Maskierung von Daten benutz, oder die Testdaten werden Synthetisiert und in einer nicht-Produktionsdatenbank eingespeist. Dabei werden Datenmaskierungstechniken wie Unterteilung, Redaktion (Schwärzen), Randomisierung, Generalisierung und Mischen verwendet. Die Maskierung bewahrt sowohl das Format als auch den Kontext der realen Daten, um so neue Datensätze herstellen zu können, welche realitätsnah sowie geeignet für eine Vielzahl von nichtproduzierenden Geschäftsprozessen (zum Beispiel dem Softwareentwicklungsprozess) sind. Es können elementare Maskierungstechniken kombiniert werden, so dass sie einen komplexen Maskierungsalgorithmus bilden, welcher einen Schutz für die Sicherheit Ihrer vertraulichen Daten garantiert. BizDataXsnap-in ermöglicht den Administratoren den Datenmaskierungsprozess manuell zu starten oder dessen Ausführung terminiert zu automatisieren. Die Administratoren können laufende Prozesse beobachten, den Verlauf analysieren sowie Konfigurationsparameter und Benachrichtigungseinstellungen setzen. BizDataX zeigt Leistungsstarke Performance wenn es darum geht grosse Datenmengen zu Maskieren oder zu Synthetisieren. Beispiel: BizDataX verarbeitet ca. 500-600 Millionen Records in ca. 4 Stunden.

Transcript of BizDataX Testdatenmanagement Konzepte

Page 1: BizDataX Testdatenmanagement Konzepte

Testdatenmanagement Konzepte

EIN PRODUKT VON EKOBIT

Page 2: BizDataX Testdatenmanagement Konzepte

2 WWW.BIZDATAX.COM

Kurzdarstellung

Wir erleben ein rasantes Wachstum von IT Systemen,

und damit einen signifikanten Anstieg im Volumen der

Daten in Organisationen auf der ganzen Welt. Dieser Trend

erhöht die Notwendigkeit von Qualitätskontrolle der IT-

Systeme, insbesondere in Bezug auf das Management von

Testdaten. Außerdem können wir nicht die Verantwortung

der Organisationen in Bezug auf den Datenschutz und die

Geheimhaltung von Daten ignorieren.

Der einzige Weg um die Qualität von IT Systemen sicherzustellen ist ein

ausgeprägtes Bewusstsein für Qualitätssicherung (QA) und die Anwendung

von QA und insbesondere von Software Testprozess während des gesamten

Lebenszyklus der Anwendungen. Eine der wichtigsten Testprozess Disziplinen ist

das Testdatenmanagement (TDM).

TDM führt eine Reihe von neuen Konzepten in den Testprozess ein (beispielsweise

das Konzept der beinahe realen Daten, siehe unten) auf die jedes professionelle

TDM Tool eine Antwort haben muss. Durch die jahrelange Arbeit an komplexen

Projekten für internationale Kunden, sind wir auf die Bedeutung hochwertiger

Umsetzung der Schlüsselkonzepte des TDM aufmerksam geworden und haben

beschlossen, eine Lösung zu schaffen, die sowohl unseren Kunden als auch uns

hilft. Das Ergebnis ist BizDataX, eine innovative Lösung für Testdatenmanagement.

BizDataX ermöglicht rechtzeitige Lieferung von realistischen und relevanten

Testdaten, Übereinstimmung mit Datenschutzbestimmungen und nahtlose

Integration mit gängigen Testmanagement- und Testautomatisierungstools.

Durch maßgeschneiderte und effiziente Schaffung von Testdaten, erhöht BizDataX

die Effektivität Ihres Testprozess bei gleichzeitiger Kostensenkung.

Page 3: BizDataX Testdatenmanagement Konzepte

3 WWW.BIZDATAX.COM

Einführung

Testdatenmanagement (TDM) ist ein integraler

Bestandteil des Testprozesses und unterstützt

diesen in allen seinen Phasen, indem es eine schnelle

Bereitstellung der Testdaten zu den niedrigsten

möglichen Kosten ermöglicht, wobei Sie mit öffentlichen

Datenschutzbestimmungen und denen der Industrie

konform bleiben. TDM ist eine Grundlage für die

Testautomatisierung, wodurch Testprozesseffizienz

erhöht, Risiken minimiert und die Gesamtqualität der

getesteten Anwendung und Systeme erhöht wird.

Hier die wichtigsten Konzepte einer durchdachten Testdatenmanagement Lösung:

•   Beinahe reale Daten

•   Konformität mit Datenvorschriften

•   Produktive Testdatenbereitstellung

•   Leistungsstarker Testdatenregeln Designer

•   Testdatenerzeugung durch Anonymisierung, Subsetting und synthetischen

Datenerzeugung

•   Unterstützung für eine Vielzahl von Quellen- und Zieldatenbanken

•   Unterstützung für die Datenanalyse und Äquivalenzklassen

•   Testdaten Projekt Management

•   Unterstützung für Drittanbieter-Testmanagement und

Testautomatisierungstools

•   Enterprise Funktionen (Skalierbarkeit, rollenbasierte Sicherheit ..)

•   Dokumentation- und Archivierungsfunktionen

Ziel dieses Dokuments ist es, Ihnen ein besseres Verständnis für jede dieser

Schlüsselkonzepte zu verschaffen und Informationen darüber, wie die BizDataX

Testdatenmanagement Lösung diese Konzepte umsetzt.

Page 4: BizDataX Testdatenmanagement Konzepte

4 WWW.BIZDATAX.COM

Beinahe reale Daten

Das Konzept der beinahe realen (‘near real‘) oder

ausreichend realistischen Daten beruht auf der Tatsache,

dass die Testdaten, in Bezug auf die Datenqualität und

Datensemantik, so viel wie möglich den Daten in den

Produktionsdatenbanken ähneln sollten (oder den Daten,

die erwartungsgemäß in den Szenarien der realen Welt

verwendet werden). Dies ist ein Schlüsselkonzept in einem

Testprozess, nämlich die Sicherstellung der Korrelation

zwischen der kontrollierten Testumgebung und den realen

Szenarien.

BizDataX setzt viele Datengenerierungs- und Datenanonymisierungs-

Methoden und Algorithmen ein, welche die Bereitstellung von realistischen

Daten ermöglichen. Einige von ihnen sind Listen der Wiederbeschaffungswerte,

nationale Identifikationsnummern, Generatoren von Finanzwerten, Generatoren

von Telefonnummern, E-Mails und viele andere.

EIN BIZDATAX WORKFLOW BEISPIEL

Page 5: BizDataX Testdatenmanagement Konzepte

5 WWW.BIZDATAX.COM

Konformität mit Datenvorschriften

Unter Verwendung von Produktivdaten Testdaten zu

erzeugen, ist eine häufige und oft bevorzugte Methode

der Testdatenbereitstellung. Nebst der vielen positiven

Aspekten dieser Vorgehensweise gibt es geschäftliche und

Privatsphäreninteressen, die berücksichtigt werden müssen. Eine

TDM Lösung muss mit Techniken versorgt werden, die flexible

Anonymisierung auf sensiblen Daten ermöglicht, um mit den

verschiedenen Datenschutzgesetzen konform zu gehen.

Bei der Verwendung von Algorithmen zur Erzeugung von realistischen Daten berücksichtigt

BizDataX bereits den Datenschutz. Zum Beispiel erzeugt BizDataX bei der Bereitstellung von

Kreditkartennummern diese aus einer Reihe von ungültigen Kreditkartennummern, die allen

Formatanforderungen gerecht werden, die aber weltweit nicht auf reale Personen ausgestellt

sind. BizDataX kommt bereits mit einer Reihe von vorgefertigten Algorithmen und Methoden,

wie z. B. ‘Data Shuffling‘, nutzt aber auch die .NET-Entwicklungsplattform, um eine beliebige

Anzahl von neuen, datenschutzfreundlichen Testdatengenerierungsmethoden zu erstellen.

BIZDATAX WORKFLOW – KREDITKARTE INFORMATION ERSTELLEN

Page 6: BizDataX Testdatenmanagement Konzepte

6 WWW.BIZDATAX.COM

Produktive TestdatenbereitstellungAbhängig von den Business Szenarien könnten Testdaten täglich, ja sogar stündlich benötigt

werden. In einem komplexen Umfeld von Business Anwendungen wird der Bedarf an “just-

in-time”-relevanten Testdaten sehr hoch sein. Dies kann erhebliche Kosten für Hardware und

ausgebildete Arbeitskräfte, die verantwortlich sind für die Bereitstellung von Testdaten in

Testteams, mit sich bringen.

BizDataX wird von Grund auf dafür entwickelt, möglichst schnellen Testdaten Workflow

Design und Ausführung der Testdaten Jobs zu ermöglichen. Sie können komplexe Testdaten

Szenarien mit Hilfe vom BizDataX Designer erstellen, sie in BizDataX Runtime einsetzen und

Milliarden von Testdatensätze generieren, und all das innerhalb von Stunden. Einmal erstellte

Testdaten Jobs können beliebig viele Male ausgeführt werden. Besondere Sorgfalt wird

angewendet zur Beschleunigung der Ausführung der Jobs. BizDataX Runtime Engine analysiert

Testdatengenerierung Regeln, um den optimalen Ausführungsplan zu ermitteln und die

bestmögliche Leistung mit paralleler Ausführung und Paging von großen Datenmengen zu

erreichen.

BIZDATAX DESIGNER UND RUNTIME

Designer

Runtime

ManagementConsole

Host

Host

Host

TestDatabases

Flat fileXML

Page 7: BizDataX Testdatenmanagement Konzepte

7 WWW.BIZDATAX.COM

Leistungsstarker Testdatenregeln DesignerJede TDM Lösung benötigt eine intuitive und effiziente Möglichkeit, um Regeln für die

Testdatengenerierung zu entwerfen. Hier scheitern heutzutage die meisten Lösungen.

Um alle realen Szenarien abzudecken, kann Ihr Regeln Designer nicht nur auf eine Reihe

von vordefinierten Regeln für eine bestimmte Branche oder nur Skriptsprachen festgelegt

werden, oder noch schlimmer (Ausbildungskosten) proprietäre Sprache als Erweiterungspunkt

verwenden. Sowohl die Benutzerschnittstelle (UI) als auch die Benutzererfahrung (UX) spielen

ebenfalls eine sehr wichtige Rolle bei der Auswahl der richtigen Lösung.

BizDataX Designer fügt sich in die Microsoft Visual Studio Umgebung und den Workflow

Editor als ein Add-In ein. Assistenten und visuelle Hinweise unterstützen den Prozess

der Regeldefinition. Drag-n-Drop hilft die allgemeinen Parameter festzulegen, das

Eigenschaftenfenster ist dazu da, die Details festzulegen. Die Regeln sind visuell konzipiert mit

domänenspezifischer Terminologie. Man braucht nicht über Tabellen, Views, SQL, Schleifen,

Cursor, Transaktionen und ähnliches nachdenken. BizDataX dehnt sich natürlich auf die .NET-

Plattform aus, indem es vollständige Unterstützung bietet für Programmiersprachen wie C #,

JScript usw.

Durch den wirksamen

Einsatz der Microsoft

Entwicklungsplattform,

beschleunigt BizDataX die

Workflow Entwicklung

der Testdatengenerierung,

verkürzt die

Ausbildungskurve und

verringert die Gesamtkosten

des Testdatenmanagements.

BIZDATAX DESIGNER

Page 8: BizDataX Testdatenmanagement Konzepte

8 WWW.BIZDATAX.COM

Testdatenerzeugung durch Anonymisierung, Subsetting und synthetischen Datenerzeugung BizDataX ermöglicht die Bereitstellung von Testdaten durch die Kombination

von Funktionsvielfalt der Anonymisierung (Data Masking), Subsetting und

den Fähigkeiten der synthetischen

Datenerzeugung. Wenn Produktivdaten

anonymisiert werden, wenn sie von Grund auf

erzeugt werden oder bei einer Kombination von

beidem, verwendet das System integrierte:

•   Listen der Wiederbeschaffungswerte:

Personennamen mit Land/Region und

Geschlechtsattributen, Orte, Postleitzahlen,

Straßen, Banken ...

•   Nationale Identifikationsnummer-

Generatoren (AHV, SSN... )

•   Generatoren von Finanzwerten:

Kreditkartennummern, Kontonummern, IBAN

•   Generatoren von Telefonnummern, E-Mails ...

•   ‘Data Shuffling‘ Modul

•   Vorlagen mit Platzhaltern die verwendet

werden, um Freitextfelder auszufüllen

•   Formeln zur Datumsverschiebung

•   Bedingte Konstrukte zur Behandlung von

Sonderfällen

•   und vieles mehr...

Viele alltägliche Testverfahren sind in der Lage

zu funktionieren und von der Verwendung

einer sehr kleinen Teilmenge von ursprünglich

riesigen Datenmengen zu profitieren. Kleinere

Datenbanken senken die Investitionen in

Hardware- und Software-Lizenzen, die

benötigt werden, um eine parallele Test Infrastruktur aufzubauen.

Masked data

Real data

Page 9: BizDataX Testdatenmanagement Konzepte

9 WWW.BIZDATAX.COM

Unterstützung für eine Vielzahl von Quellen-und Zieldatenbanken

In vielen TDM Szenarien ist der Zugriff auf Produktivdaten

nötig, um Testdaten zu erzeugen. Produktivdaten werden

in der Regel in vielen verschiedenen

Datenbanksystemen gespeichert, und

dadurch könnte der Zugriff auf Daten

mit irgendeiner Art von hausgemachtem,

skriptbasierten Ansatz sehr schwierig

sein. Unterstützung für verschiedene

Datenbanken ist ein Muss für eine gute

TDM-Lösung.

BizDataX kann die Verbindung zu einer Vielzahl von

Datenquellen herstellen, einschließlich relationalen und

Legacy-Datenbanken. Es kann auch eine Verbindung

zu Flat Files, Excel-Dateien, MS SQL Analyse-Services-

Projekten und XML schaffen. Eine direkte Verbindung

zu verschiedenen Datenbanksystemen wird durch die

Möglichkeit ergänzt, Daten auf eine ‘staging’ Datenbank zu

übertragen, um den Kerntestdatengenerierungsprozess

vom ETL-Prozess zu trennen.

Die daraus entstehende Testdatenbank kann in einer

Vielzahl von Datenbankformaten erstellt werden.

Außerdem wahrt BizDataX die Referenzdatenintegrität über

Datenbank- und Systemgrenzen hinweg.

EIN BIZDATAX WORKFLOW BEISPIEL MIT ZUGRIFF AUF ORACLE, DB2 UND SQL SERVER DATENBANKEN

Page 10: BizDataX Testdatenmanagement Konzepte

10 WWW.BIZDATAX.COM

Unterstützung für die Datenanalyse und ÄquivalenzklassenEine TDM-Lösung muss fähig sein, Produktivdaten zu analysieren, um

Testdatengenerierungsregeln gemäß den Geschäftsregeln genau zu definieren. Eine gründliche

Datenanalyse ist die Grundlage für den erfolgreichen und effizienten Testablauf. Es ermöglicht

die Ermittlung relevanter Daten, die benötigt werden, um Testfälle zu vervollständigen, das

spart Zeit und erhöht die Qualität des Vorgangs. Es hilft auch Testdatenmengen zu optimieren

und damit ein einfacheres Datenbankmanagement und niedrigere Hardwarekosten zu schaffen.

BizDataX kann die Verbindung zu einer Vielzahl von Datenquellen herstellen, die Datenbank

Schemata importieren und Metadaten Analyse ermöglichen. BizDataX ermöglicht auch

die Definition von Kriterien für die Ermittlung der Äquivalenzklassen. Datensatzgruppen

können analysiert werden, um spezielle Fälle zu identifizieren und eine hundertprozentige

Testfallabdeckung zu erreichen. Die Kriterien werden dann vom BizDataX Subsetting Modul

verwendet, um die

minimale Teilmenge

der entsprechenden

Originaldaten zu

extrahieren oder

von Generatoren zur

Erzeugung synthetischer

Daten, die auf bestimmte

Testszenarien abzielen.

DATENANALYSE UND ÄQUIVALENZKLASSEN

Page 11: BizDataX Testdatenmanagement Konzepte

11 WWW.BIZDATAX.COM

Testdaten Projekt Management

Da sich die Anwendung und die zugrundeliegende Datenbank

ändert, müssen auch die Testdatengenerierungsregeln, von Zeit

zu Zeit aktualisiert werden. Eine gute TDM-Lösung sollte eine

Testdatenregeln Versionierung ermöglichen, um Anwendungs-

Upgrades, Transparenz und Wiederverwendbarkeit zu

unterstützen, vor allem, wenn es um die Prüfung älterer Versionen

der gleichen Anwendung geht (was natürlich häufig vorkommt).

BizDataX integriert sich in den Software-

Entwicklungszyklus. Mit BizDataX können

Sie Änderungen in Testdaten Projekte

einchecken, genauso so wie sie jegliche

Änderung am Quellcode der Anwendung

einchecken könnten; Testdatenregeln

wären so immer auf dem neuesten

Stand und Veränderungen könnten in

Ihrem Quellcode-Verwaltungssystem

nachverfolgt werden. Die Versionierung

von Testdatenregeln arbeitet mit

Standard Technologien wie dem Microsoft

Team Foundation Server, Git, Subversion

und vielen andere Source Code

Management Lösungen.

TESTDATEN PROJEKTBAUM UND TESTDATEN JOB AUSFÜHRUNG HISTORY

Page 12: BizDataX Testdatenmanagement Konzepte

12 WWW.BIZDATAX.COM

Data labeledfor test cases

Other TM/TAtools

Test data

Unterstützung für Drittanbieter-Testmanagement und TestautomatisierungstoolsOrganisationen berichten, dass sie von 100 Minuten der manuellen

Testausführungszeit zwischen 50 und 75 für die Suche und Vorbereitung

geeigneter Testdaten aufwenden müssen. Trotzdem sind sie dann immer

noch nicht in der Lage, eine stabile Testautomatisierung zu erreichen in

Ermangelung zuverlässiger Testdatenkontrolle. Testmanagement-und

Testautomatisierungslösungen können stark von der Integration mit TDM-

Lösungen profitieren, weil sie, wenn sie effizient zusammen verwendet werden,

die Testausführungszeiten erheblich erhöhen könnten.

Zusätzlich zur Erzeugung von Testdaten, kann BizDataX zu Testdatenausgabe

für Testfälle konfiguriert werden und Daten für Testmanagement und

Testautomatisierungs-Tools liefern, so wie Microsoft Test Manager, HP Unified-

Functional Testing, Tricentis Tosca, imbus Test Bench usw.

BIZDATAX INTEGRATION SZENARIEN

Page 13: BizDataX Testdatenmanagement Konzepte

13 WWW.BIZDATAX.COM

Enterprise-Funktionen (Skalierbarkeit, rollenbasierte Sicherheit ..)Die Verarbeitung von TB großen Datenmengen in einer Enterprise Umgebung erfordert

Unterstützung für Features, wie z.B. das rollenbasierte Sicherheitsmodell, die Fähigkeit,

Testdatengenerierung Jobs auf mehrere Hosts zu skalieren, Jobausführung Statusprotokoll,

um nur einige zu nennen. Diese Funktionen haben ihren Preis und es gibt sie nicht

standardmäßig in jeder TDM-Lösung auf dem Markt.

Wie bereits im Abschnitt “Produktive Testdatenbereitstellung” erwähnt, ist die BizDataX

Runtime eine ‘Enterprise level‘ Anwendung, die rollenbasierte Sicherheit und andere Enterprise

Funktionen unterstützt und sie passt perfekt in eine komplexe IT-Landschaft.

BizDataX Runtime kann auf einem einzelnen oder auf mehreren Systemen installiert werden,

virtualisiert werden, und zentral verwaltet werden mit Industrie-Standard-Tools wie Microsoft

Management Console.

BIZDATAX RUNTIME

Page 14: BizDataX Testdatenmanagement Konzepte

14 WWW.BIZDATAX.COM

Dokumentations- , Protokollierungs- und ArchivierungsfunktionenUm datenschutzrechtlichen Bestimmungen und Unternehmensrichtlinien zu entsprechen,

muss eine TDM Lösung die Dokumentation aller Schritte innerhalb eines Testdaten Projekts

ermöglichen. Diese Dokumentation sollte externe und interne Audits ermöglichen, damit die

Regeln und Workflows zur Erzeugung von Testdaten auf einfache Weise

bestätigt werden. Darüber hinaus sollte eine TDM Lösung

alle Ausführungen von Testdatengenerierungsjobs

protokollieren, um die Transparenz und

Rückverfolgbarkeit innerhalb des Testprozesses zu

unterstützen. Sobald das Testdaten Projekt zu Ende ist,

sollte es für die Unterstützung der Erzeugung historischer

Testdaten archiviert und per Bedarf wiederhergestellt

werden.

BizDataX unterstützt die Dokumentierung eines jeden

einzelnen Schritts innerhalb des BizDataX Testdaten

Projekts auf visuelle Weise. Komplette Regelsätze

können exportiert oder ausgedruckt werden, wenn eine

Hardcopy-Version der Dokumentation erforderlich

ist. Jedes Mal, wenn ein Testdatengenerierungsjob

auf dem BizDataX Runtime ausgeführt wird,

wird ein Statusprotokoll mit allen relevanten

Protokollinformationen erstellt, einschließlich

derjenigen über den Zeitpunkt der Erstellung und

der Person, welche die Durchführung gestartet

hat. BizDataX verwendet eine Vielzahl von

Software Konfigurationsmanagement Tools, wie

der Team Foundation Server und Git-Version, um

Versionierung, Archivierung und Wiederherstellung

einer beliebigen Anzahl von BizDataX Testdaten

Projekte zu unterstützen, um historische Testdaten

neu zu erstellen. Die durch BizDataX für die

Testfälle erzeugten Testdaten werden im XML-

Format gespeichert, die transformiert und für

Dokumentationszwecke verwendet werden können

oder nach Testmanagement/Automatisierungs-Tools exportiert werden können.

BIZDATAX OPTIONEN ZUR DOKUMENTIERUNG

Page 15: BizDataX Testdatenmanagement Konzepte

15 WWW.BIZDATAX.COM

BizDataX Dienstleistungen

Es sind die Menschen und die Tools, die den Unterschied

machen!

Unser Professional Services Team wird Ihnen helfen, den Testdatenmanagement

Prozess und die BizDataX Lösung optimal zu nutzen. Sie werden Ihnen behilflich

sein bei der Aufbereitung Ihrer Testdaten Umgebung und Ihre Testdaten gemäß

Ihrer Bedürfnissen bewerten, BizDataX an Ihre Testdaten Nutzungsszenarien

anpassen und neue Testdatengenerierung Algorithmen für Ihre spezifischen

Anforderungen (z. B. branchenspezifische Datenanonymisierungsregeln)

zur Anwendung bringen. Sie werden auch Ihre Test Profis ausbilden für den

selbständigen Entwurf, Einsatz und die Durchführung von Testdatengenerierung-

Aufträgen.

Das Professional-Services-Portfolio schließt ein:

Test Data Assesment

Custom Workflow and AlgorithmsImplementation

Proof ofConcept

BizDataX SolutionInstallation

BizDataXWorkshops

Page 16: BizDataX Testdatenmanagement Konzepte

EIN PRODUKT VON EKOBIT

•   rechtzeitige Lieferung von

realistischen Testdaten

•   Übereinstimmung mit

Datenschutzbestimmungen

•   Unterstützung der Umsetzung

aller Testdaten Szenarien mit

visuellen Design-Tools

•   nahtlose Integration mit

gängigen Testmanagement- und

Testautomatisierungstools

•   Erhöhung der

Testvorgangseffizienz bei

gleichzeitiger Kostensenkung

BizDataX ist eine innovative Testdatenmanagement Lösung, welche die schnelle

und kostengünstige Bereitstellung von realistischen Testdaten ermöglicht.

BizDataX garantiert:

Rufen Sie Uns An:

+41 76 579 16 41

+385 1 6312 635

Email: [email protected]

www.BizDataX.com

Ekobit d.o.o.

Koturaška 69

10000 Zagreb, Kroatien, EU

www.ekobit.com

BizDataX Vertriebspartner DACH Region

Herr Dragan Kinkela

aminodata GmbH

Gartenstrasse 23

5400 Baden, Switzerland

www.aminodata.com