BizDataX Testdatenmanagement Konzepte

of 16 /16
Testdatenmanagement Konzepte EIN PRODUKT VON EKOBIT

Embed Size (px)

description

BizDataX Transformiert und Synthetisiert neue Testdaten. Entweder wird die Produktionsdatenbank zu Maskierung von Daten benutz, oder die Testdaten werden Synthetisiert und in einer nicht-Produktionsdatenbank eingespeist. Dabei werden Datenmaskierungstechniken wie Unterteilung, Redaktion (Schwärzen), Randomisierung, Generalisierung und Mischen verwendet. Die Maskierung bewahrt sowohl das Format als auch den Kontext der realen Daten, um so neue Datensätze herstellen zu können, welche realitätsnah sowie geeignet für eine Vielzahl von nichtproduzierenden Geschäftsprozessen (zum Beispiel dem Softwareentwicklungsprozess) sind. Es können elementare Maskierungstechniken kombiniert werden, so dass sie einen komplexen Maskierungsalgorithmus bilden, welcher einen Schutz für die Sicherheit Ihrer vertraulichen Daten garantiert. BizDataXsnap-in ermöglicht den Administratoren den Datenmaskierungsprozess manuell zu starten oder dessen Ausführung terminiert zu automatisieren. Die Administratoren können laufende Prozesse beobachten, den Verlauf analysieren sowie Konfigurationsparameter und Benachrichtigungseinstellungen setzen. BizDataX zeigt Leistungsstarke Performance wenn es darum geht grosse Datenmengen zu Maskieren oder zu Synthetisieren. Beispiel: BizDataX verarbeitet ca. 500-600 Millionen Records in ca. 4 Stunden.

Transcript of BizDataX Testdatenmanagement Konzepte

  • 1.Testdatenmanagement Konzepte EIN PRODUKT VON EKOBIT

2. 2 WWW.BIZDATAX.COM Kurzdarstellung Wir erleben ein rasantes Wachstum von IT Systemen, und damit einen signifikanten Anstieg im Volumen der Daten in Organisationen auf der ganzen Welt. Dieser Trend erhht die Notwendigkeit von Qualittskontrolle der IT- Systeme, insbesondere in Bezug auf das Management von Testdaten. Auerdem knnen wir nicht die Verantwortung der Organisationen in Bezug auf den Datenschutz und die Geheimhaltung von Daten ignorieren. Der einzige Weg um die Qualitt von IT Systemen sicherzustellen ist ein ausgeprgtes Bewusstsein fr Qualittssicherung (QA) und die Anwendung von QA und insbesondere von Software Testprozess whrend des gesamten Lebenszyklus der Anwendungen. Eine der wichtigsten Testprozess Disziplinen ist das Testdatenmanagement (TDM). TDM fhrt eine Reihe von neuen Konzepten in den Testprozess ein (beispielsweise das Konzept der beinahe realen Daten, siehe unten) auf die jedes professionelle TDM Tool eine Antwort haben muss. Durch die jahrelange Arbeit an komplexen Projekten fr internationale Kunden, sind wir auf die Bedeutung hochwertiger Umsetzung der Schlsselkonzepte des TDM aufmerksam geworden und haben beschlossen, eine Lsung zu schaffen, die sowohl unseren Kunden als auch uns hilft. Das Ergebnis ist BizDataX, eine innovative Lsung fr Testdatenmanagement. BizDataX ermglicht rechtzeitige Lieferung von realistischen und relevanten Testdaten, bereinstimmung mit Datenschutzbestimmungen und nahtlose Integration mit gngigen Testmanagement- und Testautomatisierungstools. Durch mageschneiderte und effiziente Schaffung von Testdaten, erhht BizDataX die Effektivitt Ihres Testprozess bei gleichzeitiger Kostensenkung. 3. 3 WWW.BIZDATAX.COM Einfhrung Testdatenmanagement (TDM) ist ein integraler Bestandteil des Testprozesses und untersttzt diesen in allen seinen Phasen, indem es eine schnelle Bereitstellung der Testdaten zu den niedrigsten mglichen Kosten ermglicht, wobei Sie mit ffentlichen Datenschutzbestimmungen und denen der Industrie konform bleiben. TDM ist eine Grundlage fr die Testautomatisierung, wodurch Testprozesseffizienz erhht, Risiken minimiert und die Gesamtqualitt der getesteten Anwendung und Systeme erhht wird. Hier die wichtigsten Konzepte einer durchdachten Testdatenmanagement Lsung: Beinahe reale Daten Konformitt mit Datenvorschriften Produktive Testdatenbereitstellung Leistungsstarker Testdatenregeln Designer Testdatenerzeugung durch Anonymisierung, Subsetting und synthetischen Datenerzeugung Untersttzung fr eine Vielzahl von Quellen- und Zieldatenbanken Untersttzung fr die Datenanalyse und quivalenzklassen Testdaten Projekt Management Untersttzung fr Drittanbieter-Testmanagement und Testautomatisierungstools Enterprise Funktionen (Skalierbarkeit, rollenbasierte Sicherheit ..) Dokumentation- und Archivierungsfunktionen Ziel dieses Dokuments ist es, Ihnen ein besseres Verstndnis fr jede dieser Schlsselkonzepte zu verschaffen und Informationen darber, wie die BizDataX Testdatenmanagement Lsung diese Konzepte umsetzt. 4. 4 WWW.BIZDATAX.COM Beinahe reale Daten Das Konzept der beinahe realen (near real) oder ausreichend realistischen Daten beruht auf der Tatsache, dass die Testdaten, in Bezug auf die Datenqualitt und Datensemantik, so viel wie mglich den Daten in den Produktionsdatenbanken hneln sollten (oder den Daten, die erwartungsgem in den Szenarien der realen Welt verwendet werden). Dies ist ein Schlsselkonzept in einem Testprozess, nmlich die Sicherstellung der Korrelation zwischen der kontrollierten Testumgebung und den realen Szenarien. BizDataX setzt viele Datengenerierungs- und Datenanonymisierungs- Methoden und Algorithmen ein, welche die Bereitstellung von realistischen Daten ermglichen. Einige von ihnen sind Listen der Wiederbeschaffungswerte, nationale Identifikationsnummern, Generatoren von Finanzwerten, Generatoren von Telefonnummern, E-Mails und viele andere. EIN BIZDATAX WORKFLOW BEISPIEL 5. 5 WWW.BIZDATAX.COM Konformitt mit Datenvorschriften Unter Verwendung von Produktivdaten Testdaten zu erzeugen, ist eine hufige und oft bevorzugte Methode der Testdatenbereitstellung. Nebst der vielen positiven Aspekten dieser Vorgehensweise gibt es geschftliche und Privatsphreninteressen, die bercksichtigt werden mssen. Eine TDM Lsung muss mit Techniken versorgt werden, die flexible Anonymisierung auf sensiblen Daten ermglicht, um mit den verschiedenen Datenschutzgesetzen konform zu gehen. Bei der Verwendung von Algorithmen zur Erzeugung von realistischen Daten bercksichtigt BizDataX bereits den Datenschutz. Zum Beispiel erzeugt BizDataX bei der Bereitstellung von Kreditkartennummern diese aus einer Reihe von ungltigen Kreditkartennummern, die allen Formatanforderungen gerecht werden, die aber weltweit nicht auf reale Personen ausgestellt sind. BizDataX kommt bereits mit einer Reihe von vorgefertigten Algorithmen und Methoden, wie z. B. Data Shuffling, nutzt aber auch die .NET-Entwicklungsplattform, um eine beliebige Anzahl von neuen, datenschutzfreundlichen Testdatengenerierungsmethoden zu erstellen. BIZDATAX WORKFLOW KREDITKARTE INFORMATION ERSTELLEN 6. 6 WWW.BIZDATAX.COM Produktive Testdatenbereitstellung Abhngig von den Business Szenarien knnten Testdaten tglich, ja sogar stndlich bentigt werden. In einem komplexen Umfeld von Business Anwendungen wird der Bedarf an just- in-time-relevanten Testdaten sehr hoch sein. Dies kann erhebliche Kosten fr Hardware und ausgebildete Arbeitskrfte, die verantwortlich sind fr die Bereitstellung von Testdaten in Testteams, mit sich bringen. BizDataX wird von Grund auf dafr entwickelt, mglichst schnellen Testdaten Workflow Design und Ausfhrung der Testdaten Jobs zu ermglichen. Sie knnen komplexe Testdaten Szenarien mit Hilfe vom BizDataX Designer erstellen, sie in BizDataX Runtime einsetzen und Milliarden von Testdatenstze generieren, und all das innerhalb von Stunden. Einmal erstellte Testdaten Jobs knnen beliebig viele Male ausgefhrt werden. Besondere Sorgfalt wird angewendet zur Beschleunigung der Ausfhrung der Jobs. BizDataX Runtime Engine analysiert Testdatengenerierung Regeln, um den optimalen Ausfhrungsplan zu ermitteln und die bestmgliche Leistung mit paralleler Ausfhrung und Paging von groen Datenmengen zu erreichen. BIZDATAX DESIGNER UND RUNTIME Designer Runtime Management Console Host Host Host Test Databases Flat file XML 7. 7 WWW.BIZDATAX.COM Leistungsstarker Testdatenregeln Designer Jede TDM Lsung bentigt eine intuitive und effiziente Mglichkeit, um Regeln fr die Testdatengenerierung zu entwerfen. Hier scheitern heutzutage die meisten Lsungen. Um alle realen Szenarien abzudecken, kann Ihr Regeln Designer nicht nur auf eine Reihe von vordefinierten Regeln fr eine bestimmte Branche oder nur Skriptsprachen festgelegt werden, oder noch schlimmer (Ausbildungskosten) proprietre Sprache als Erweiterungspunkt verwenden. Sowohl die Benutzerschnittstelle (UI) als auch die Benutzererfahrung (UX) spielen ebenfalls eine sehr wichtige Rolle bei der Auswahl der richtigen Lsung. BizDataX Designer fgt sich in die Microsoft Visual Studio Umgebung und den Workflow Editor als ein Add-In ein. Assistenten und visuelle Hinweise untersttzen den Prozess der Regeldefinition. Drag-n-Drop hilft die allgemeinen Parameter festzulegen, das Eigenschaftenfenster ist dazu da, die Details festzulegen. Die Regeln sind visuell konzipiert mit domnenspezifischer Terminologie. Man braucht nicht ber Tabellen, Views, SQL, Schleifen, Cursor, Transaktionen und hnliches nachdenken. BizDataX dehnt sich natrlich auf die .NET- Plattform aus, indem es vollstndige Untersttzung bietet fr Programmiersprachen wie C #, JScript usw. Durch den wirksamen Einsatz der Microsoft Entwicklungsplattform, beschleunigt BizDataX die Workflow Entwicklung der Testdatengenerierung, verkrzt die Ausbildungskurve und verringert die Gesamtkosten des Testdatenmanagements. BIZDATAX DESIGNER 8. 8 WWW.BIZDATAX.COM Testdatenerzeugung durch Anonymisierung, Subsetting und synthetischen Datenerzeugung BizDataX ermglicht die Bereitstellung von Testdaten durch die Kombination von Funktionsvielfalt der Anonymisierung (Data Masking), Subsetting und den Fhigkeiten der synthetischen Datenerzeugung. Wenn Produktivdaten anonymisiert werden, wenn sie von Grund auf erzeugt werden oder bei einer Kombination von beidem, verwendet das System integrierte: Listen der Wiederbeschaffungswerte: Personennamen mit Land/Region und Geschlechtsattributen, Orte, Postleitzahlen, Straen, Banken ... Nationale Identifikationsnummer- Generatoren (AHV, SSN... ) Generatoren von Finanzwerten: Kreditkartennummern, Kontonummern, IBAN Generatoren von Telefonnummern, E-Mails ... Data Shuffling Modul Vorlagen mit Platzhaltern die verwendet werden, um Freitextfelder auszufllen Formeln zur Datumsverschiebung Bedingte Konstrukte zur Behandlung von Sonderfllen und vieles mehr... Viele alltgliche Testverfahren sind in der Lage zu funktionieren und von der Verwendung einer sehr kleinen Teilmenge von ursprnglich riesigen Datenmengen zu profitieren. Kleinere Datenbanken senken die Investitionen in Hardware- und Software-Lizenzen, die bentigt werden, um eine parallele Test Infrastruktur aufzubauen. Masked data Real data 9. 9 WWW.BIZDATAX.COM Untersttzung fr eine Vielzahl von Quellen-und Zieldatenbanken In vielen TDM Szenarien ist der Zugriff auf Produktivdaten ntig, um Testdaten zu erzeugen. Produktivdaten werden in der Regel in vielen verschiedenen Datenbanksystemen gespeichert, und dadurch knnte der Zugriff auf Daten mit irgendeiner Art von hausgemachtem, skriptbasierten Ansatz sehr schwierig sein. Untersttzung fr verschiedene Datenbanken ist ein Muss fr eine gute TDM-Lsung. BizDataX kann die Verbindung zu einer Vielzahl von Datenquellen herstellen, einschlielich relationalen und Legacy-Datenbanken. Es kann auch eine Verbindung zu Flat Files, Excel-Dateien, MS SQL Analyse-Services- Projekten und XML schaffen. Eine direkte Verbindung zu verschiedenen Datenbanksystemen wird durch die Mglichkeit ergnzt, Daten auf eine staging Datenbank zu bertragen, um den Kerntestdatengenerierungsprozess vom ETL-Prozess zu trennen. Die daraus entstehende Testdatenbank kann in einer Vielzahl von Datenbankformaten erstellt werden. Auerdem wahrt BizDataX die Referenzdatenintegritt ber Datenbank- und Systemgrenzen hinweg. EIN BIZDATAX WORKFLOW BEISPIEL MIT ZUGRIFF AUF ORACLE, DB2 UND SQL SERVER DATENBANKEN 10. 10 WWW.BIZDATAX.COM Untersttzung fr die Datenanalyse und quivalenzklassen Eine TDM-Lsung muss fhig sein, Produktivdaten zu analysieren, um Testdatengenerierungsregeln gem den Geschftsregeln genau zu definieren. Eine grndliche Datenanalyse ist die Grundlage fr den erfolgreichen und effizienten Testablauf. Es ermglicht die Ermittlung relevanter Daten, die bentigt werden, um Testflle zu vervollstndigen, das spart Zeit und erhht die Qualitt des Vorgangs. Es hilft auch Testdatenmengen zu optimieren und damit ein einfacheres Datenbankmanagement und niedrigere Hardwarekosten zu schaffen. BizDataX kann die Verbindung zu einer Vielzahl von Datenquellen herstellen, die Datenbank Schemata importieren und Metadaten Analyse ermglichen. BizDataX ermglicht auch die Definition von Kriterien fr die Ermittlung der quivalenzklassen. Datensatzgruppen knnen analysiert werden, um spezielle Flle zu identifizieren und eine hundertprozentige Testfallabdeckung zu erreichen. Die Kriterien werden dann vom BizDataX Subsetting Modul verwendet, um die minimale Teilmenge der entsprechenden Originaldaten zu extrahieren oder von Generatoren zur Erzeugung synthetischer Daten, die auf bestimmte Testszenarien abzielen. DATENANALYSE UND QUIVALENZKLASSEN 11. 11 WWW.BIZDATAX.COM Testdaten Projekt Management Da sich die Anwendung und die zugrundeliegende Datenbank ndert, mssen auch die Testdatengenerierungsregeln, von Zeit zu Zeit aktualisiert werden. Eine gute TDM-Lsung sollte eine Testdatenregeln Versionierung ermglichen, um Anwendungs- Upgrades, Transparenz und Wiederverwendbarkeit zu untersttzen, vor allem, wenn es um die Prfung lterer Versionen der gleichen Anwendung geht (was natrlich hufig vorkommt). BizDataX integriert sich in den Software- Entwicklungszyklus. Mit BizDataX knnen Sie nderungen in Testdaten Projekte einchecken, genauso so wie sie jegliche nderung am Quellcode der Anwendung einchecken knnten; Testdatenregeln wren so immer auf dem neuesten Stand und Vernderungen knnten in Ihrem Quellcode-Verwaltungssystem nachverfolgt werden. Die Versionierung von Testdatenregeln arbeitet mit Standard Technologien wie dem Microsoft Team Foundation Server, Git, Subversion und vielen andere Source Code Management Lsungen. TESTDATEN PROJEKTBAUM UND TESTDATEN JOB AUSFHRUNG HISTORY 12. 12 WWW.BIZDATAX.COM Data labeled for test cases Other TM/TA tools Test data Untersttzung fr Drittanbieter- Testmanagement und Testautomatisierungstools Organisationen berichten, dass sie von 100 Minuten der manuellen Testausfhrungszeit zwischen 50 und 75 fr die Suche und Vorbereitung geeigneter Testdaten aufwenden mssen. Trotzdem sind sie dann immer noch nicht in der Lage, eine stabile Testautomatisierung zu erreichen in Ermangelung zuverlssiger Testdatenkontrolle. Testmanagement-und Testautomatisierungslsungen knnen stark von der Integration mit TDM- Lsungen profitieren, weil sie, wenn sie effizient zusammen verwendet werden, die Testausfhrungszeiten erheblich erhhen knnten. Zustzlich zur Erzeugung von Testdaten, kann BizDataX zu Testdatenausgabe fr Testflle konfiguriert werden und Daten fr Testmanagement und Testautomatisierungs-Tools liefern, so wie Microsoft Test Manager, HP Unified- Functional Testing, Tricentis Tosca, imbus Test Bench usw. BIZDATAX INTEGRATION SZENARIEN 13. 13 WWW.BIZDATAX.COM Enterprise-Funktionen (Skalierbarkeit, rollenbasierte Sicherheit ..) Die Verarbeitung von TB groen Datenmengen in einer Enterprise Umgebung erfordert Untersttzung fr Features, wie z.B. das rollenbasierte Sicherheitsmodell, die Fhigkeit, Testdatengenerierung Jobs auf mehrere Hosts zu skalieren, Jobausfhrung Statusprotokoll, um nur einige zu nennen. Diese Funktionen haben ihren Preis und es gibt sie nicht standardmig in jeder TDM-Lsung auf dem Markt. Wie bereits im Abschnitt Produktive Testdatenbereitstellung erwhnt, ist die BizDataX Runtime eine Enterprise level Anwendung, die rollenbasierte Sicherheit und andere Enterprise Funktionen untersttzt und sie passt perfekt in eine komplexe IT-Landschaft. BizDataX Runtime kann auf einem einzelnen oder auf mehreren Systemen installiert werden, virtualisiert werden, und zentral verwaltet werden mit Industrie-Standard-Tools wie Microsoft Management Console. BIZDATAX RUNTIME 14. 14 WWW.BIZDATAX.COM Dokumentations- , Protokollierungs- und Archivierungsfunktionen Um datenschutzrechtlichen Bestimmungen und Unternehmensrichtlinien zu entsprechen, muss eine TDM Lsung die Dokumentation aller Schritte innerhalb eines Testdaten Projekts ermglichen. Diese Dokumentation sollte externe und interne Audits ermglichen, damit die Regeln und Workflows zur Erzeugung von Testdaten auf einfache Weise besttigt werden. Darber hinaus sollte eine TDM Lsung alle Ausfhrungen von Testdatengenerierungsjobs protokollieren, um die Transparenz und Rckverfolgbarkeit innerhalb des Testprozesses zu untersttzen. Sobald das Testdaten Projekt zu Ende ist, sollte es fr die Untersttzung der Erzeugung historischer Testdaten archiviert und per Bedarf wiederhergestellt werden. BizDataX untersttzt die Dokumentierung eines jeden einzelnen Schritts innerhalb des BizDataX Testdaten Projekts auf visuelle Weise. Komplette Regelstze knnen exportiert oder ausgedruckt werden, wenn eine Hardcopy-Version der Dokumentation erforderlich ist. Jedes Mal, wenn ein Testdatengenerierungsjob auf dem BizDataX Runtime ausgefhrt wird, wird ein Statusprotokoll mit allen relevanten Protokollinformationen erstellt, einschlielich derjenigen ber den Zeitpunkt der Erstellung und der Person, welche die Durchfhrung gestartet hat. BizDataX verwendet eine Vielzahl von Software Konfigurationsmanagement Tools, wie der Team Foundation Server und Git-Version, um Versionierung, Archivierung und Wiederherstellung einer beliebigen Anzahl von BizDataX Testdaten Projekte zu untersttzen, um historische Testdaten neu zu erstellen. Die durch BizDataX fr die Testflle erzeugten Testdaten werden im XML- Format gespeichert, die transformiert und fr Dokumentationszwecke verwendet werden knnen oder nach Testmanagement/Automatisierungs-Tools exportiert werden knnen. BIZDATAX OPTIONEN ZUR DOKUMENTIERUNG 15. 15 WWW.BIZDATAX.COM BizDataX Dienstleistungen Es sind die Menschen und die Tools, die den Unterschied machen! Unser Professional Services Team wird Ihnen helfen, den Testdatenmanagement Prozess und die BizDataX Lsung optimal zu nutzen. Sie werden Ihnen behilflich sein bei der Aufbereitung Ihrer Testdaten Umgebung und Ihre Testdaten gem Ihrer Bedrfnissen bewerten, BizDataX an Ihre Testdaten Nutzungsszenarien anpassen und neue Testdatengenerierung Algorithmen fr Ihre spezifischen Anforderungen (z. B. branchenspezifische Datenanonymisierungsregeln) zur Anwendung bringen. Sie werden auch Ihre Test Profis ausbilden fr den selbstndigen Entwurf, Einsatz und die Durchfhrung von Testdatengenerierung- Auftrgen. Das Professional-Services-Portfolio schliet ein: Test Data Assesment Custom Workflow and Algorithms Implementation Proof of Concept BizDataX Solution Installation BizDataX Workshops 16. EIN PRODUKT VON EKOBIT rechtzeitige Lieferung von realistischen Testdaten bereinstimmung mit Datenschutzbestimmungen Untersttzung der Umsetzung aller Testdaten Szenarien mit visuellen Design-Tools nahtlose Integration mit gngigen Testmanagement- und Testautomatisierungstools Erhhung der Testvorgangseffizienz bei gleichzeitiger Kostensenkung BizDataX ist eine innovative Testdatenmanagement Lsung, welche die schnelle und kostengnstige Bereitstellung von realistischen Testdaten ermglicht. BizDataX garantiert: Rufen Sie Uns An: +41 76 579 16 41 +385 1 6312 635 Email: [email protected] www.BizDataX.com Ekobit d.o.o. Koturaka 69 10000 Zagreb, Kroatien, EU www.ekobit.com BizDataX Vertriebspartner DACH Region Herr Dragan Kinkela aminodata GmbH Gartenstrasse 23 5400 Baden, Switzerland www.aminodata.com