Qualitätssicherung mit Tools vonQualitätssicherung mit Tools vonMercury InteractiveMercury Interactive

Ralf Schulz

System Engineer 10. November 200010. November 2000

Führend im Web Performance Management Lösungen 65% Umsatz in 1999

Gegründet im August, 1989 IPO im Oktober 1993 - NASDAQ: MERQ Stock Splits - Feb 1999, Feb 2000

Marktführer im Testen von verteilten Applikationen 45% Marktanteil 40 weltweite Büros

1300+ Mitarbeiter weltweit 300+ engineers in R&D

5000+ Zertifizierte Third Party Consultants

Mercury Interactive: Web Infrastructure Mercury Interactive: Web Infrastructure CompanyCompany

39.554.6

76.7

121.0

187.7

$0

$40

$80

$120

$160

$200

$ Mill

ions

1995 1996 1997 1998 1999

Geschäftsbeziehung über Web Sales und Kunden Support

Aber ...

20% Operating MarginM$34.7 Profit

Custom C/S

20%

ERP

25%

MF

10%

E-business& New Tech

45%

Business Breakdown - 1999Business Breakdown - 1999

Standard-Software?Standard-Software?

Business Process Reengineering Abbildung individueller Geschäftsprozesse und

Kundenbedürfnisse Modulare Einführung Skalierbarkeit? Anbindung an vohandene Systeme

Jede SAP R/3 Installation ist individuell!

Notwendigkeit von Softwaretests

Mainframe / Host

AS/400 oder Mini

Disk Array

Database Server

Application Server

Application Server

Application Server- proprietary- SAP- BAAN- Peoplesoft- WWW- ... WWW Server

WAN Connect

Bridge / Router/ Gateway

ModemDatabase

Database

GUI Applikation /Terminal Emulation

GUI Applikation /Terminal Emulation

GUI Applikation /Terminal Emulation

Netscape /MS Internet Explorer

Laufen alle Geschäftsprozesse auch mit mehreren Benutzern gleichzeitig?

Arbeitet meine Applikation mit anderen Anwendungen fehlerfrei?

Wieviele Anwender verkraftet meine Implementierung?

Wie läuft meine Applikation auf anderer Hardware?

Läuft auch alles noch wenn ich standortübergreifend implementiere?

QS-AnforderungenQS-Anforderungen

RISIKORISIKO!

• Funktionalität

• Leistung

• Skalierbarkeit

• Interoperabilität

• Plattformwechsel

• Größenordnung Systeme

Sind alle Geschäftsprozesse richtig abgebildet?

Over-budget, Late, with Reduced

Functionality53%

Succeed16%

Failed31%

The Standish Group Study of Business-Critical Projects

Software Qualität: Wie groß ist das Problem?Software Qualität: Wie groß ist das Problem?

Wie wurde bisher getestet?Wie wurde bisher getestet?

Manuelles Testen Viele Module werden per Hand getestet

Selbst geschriebene Test-Programme Tests von spezifischen Modulen oder Funktionen

Unit Testing Viele Tests wurden gemacht, um die Funtionalität

des Codes zu überprüfen

Qualität ist, wenn das Programm läuft

Qualität = KundenzufriedenheitQualität = Kundenzufriedenheit

Ist manuelles Testen für heutige Software noch zeitgemäß ? Um hohe Qualität zu gewährleisten Um pünktlich Ergebnisse zu liefern Um konkurrenzfähig zu bleiben

Keine Zeit bestehende Komponenten zu testen Schnelle Technologieveränderungen Effizientere Entwicklungswerkzeuge

Entwicklung eines COM-Servers 1 Stunde. Test dieser Komponente 1 Tag

What Drives Testing?What Drives Testing?““Die Risiko Kurve”Die Risiko Kurve”

MF

Custom C/S

ERP

E-Business

Complexity

Bu

sin

ess

Cri

tica

lity

Bu

sin

ess

Cri

tica

lity

$ = A * Ü * t * $/t$ RisikokostenA Anzahl der UserÜ Überstunden pro Tagt Tuningzeit$/t Kosten pro Mannstunde

Warum Testautomatisierung?Warum Testautomatisierung?

Kürzere Testzeiten Schnellere QA Zyklen für jedes Release Höhere Testabdeckung Tests mit Massendaten

Mehr Testzeit für neue Module nächtliche Testläufe

Testqualität erhöhen Wiederholbarkeit Genauigkeit Effiziente Ressourcennutzung

Wann soll Testautomatisierung implementiert Wann soll Testautomatisierung implementiert werden?werden?

Testfallerstellung und -planung parallel mit Abschätzung / Inspektion Erstellung von Baseline -Tests direkt nach Abschluß der Planungsphase -

keine Notwendigkeit zu warten bis zum Ende der Umstellung

19971997 19981998 19991999 20002000

AbschätzungAbschätzung

Code InspectionCode Inspection

TestTest

WartungWartung

19971997 19981998 19991999 20002000

AbschätzungAbschätzung

WartungWartung

TestTest

Code InspectionCode Inspection

Testen in komplexen IT-UmgebungenTesten in komplexen IT-Umgebungen

Mainframe / Host

AS/400 oder Mini

Disk Array

Database Server

Application Server

Application Server

Application Server- proprietary- SAP- BAAN- Peoplesoft- WWW- ... WWW Server

WAN Connect

Bridge / Router/ Gateway

ModemDatabase

Database

GUI Applikation /Terminal Emulation

GUI Applikation /Terminal Emulation

GUI Applikation /Terminal Emulation

Netscape /MS Internet Explorer

Funktionstest

Last- und Performancetest

RegressionstestTestmanagement

WinRunner für R/3WinRunner für R/3

QuickTest Technologie Komplett visuelle TestScripterstellung (Ease-of-

Use) Speziell für Test an ERP-Anwendungen konzipiert

(Business Anwender Integration in Test-Zyklus) Unterstützung für Enterprise Application

Integration (EAI) SAP - zertifiziert

Bisherige Testwerkzeuge basieren auf TestScripts QuickTest ersetzt Scripts durch Icons und ActiveScreens Business Anwender können TestScripte durch normales

Arbeiten mit dem System erstellen

Traditional Script

QuickTestQuickTest TechnologieQuickTest Technologie

Aufzeichnung von SAP

R/3 Geschäfts-prozessen

Testaus-führung/ Testdoku-mentation

Erstellen von Scenarios

über Massendate

n

QuickTest TechnologieQuickTest TechnologieFunktionsweiseFunktionsweise

Intuitive Icons

beschreiben Benutzerinter

-aktionen

ActiveScreenTM ermöglicht

“Point & Click”

Vergleiche nach dem

Aufzeichnen

Erste Icon-basiertes SAP Testlösung Visuelle Testerstellung, Icons und ActiveScreensTM

Beschleunigte Testerstellung Einbezug der Business Anwender in den Testprozess Konservieren der Testaktivitäten durch Fachanwender

Excel Spreadsheets ermöglichen unterschiedliche Test-Szenarien Beschleunigung und Vereinfachung der Testaktivitäten Volumen- / Massentests Stammdateneingabe / -übernahme

WinRunner für R/3 - Vorteile (1)WinRunner für R/3 - Vorteile (1)

WinRunner für R/3 - Vorteile (2)WinRunner für R/3 - Vorteile (2)

Open API und Integration mit WinRunner ermöglicht einfache EAI Tests End-to-End Test der Geschäftsprozesskette

Script Wiederverwendbarkeit für Lasttests Identische Scripts für Funktionalitäts- und Perfomancetest

Zertifizierung durch SAP Nahtlose Integration mit R/3 System Enge Zusammenarbeit mit SAP stellt Unterstützung der

zukünftigen Technologien sicher

LoadRunnerLoadRunner Multi-User Test

mehrere gleichzeitige Benutzer konkurrierende Zugriffe

Last- und Performanceverhalten grafische Darstellung der Ergebnisse Antwortzeiten Skalierbarkeit Was wäre wenn ... ?

Vorteile Steuerung von einer zentralen Konsole Tausende Benutzer, wenig Hardware

RisikomanagementRisikomanagement

Sizing Benchmarking Erfahrungswerte

Build & Customizing

Erweiterungen

Interface

Produktivstart

500User

500VirtuelleUser

LR

Sicherheitsfenster

Last- und PerformancetestLast- und Performancetest

Hunderte von Usern je PCKein Unterschied zu „realen“ UsernNachbildung von Lastprofilen und Belastung des GesamtsystemsMessung von Performance und Transaktionsleistung

Database

GUI-User

GUI-User

GUI-User

Applikations-Server

Virtual-User

Analyse der ErgebnisseAnalyse der Ergebnisse

Built-in Monitore zeigen Systemperformance Built-in Monitore zeigen Systemperformance in Real-timein Real-time

Identifiziert und isoliert Systemflaschenhälse wenn sie auftreten um Problemen vorzubeugen Monitoring aller Systemkomponenten: Transactionen,

Network delays, Webserver, App.-Server, TUXEDO Servers, SNMP Geräte und Datenbanken

Web Server App. Server DatenbankNetwork

Performance Monitors

VirtualUsers

Controller

IPSpoofer testet Performanceeinfluß des IP IPSpoofer testet Performanceeinfluß des IP VerkehrsVerkehrs

ermittelt Einfluß von Firewalls, Router und Load Balancer für gesteigerte Sicherheit Emuliert hunderte von virtuellen Usern mit

unterschiedlichen IP Addressen von einer NT Machine 3-step Wizard zum Setup der Lastmachine

199.201.181.37173.84.158.189168.171.48.153155.111.189.92………………...

199.201.181.37173.84.158.189168.171.48.153155.111.189.92………………...

199.254.35.100199.254.35.100

WebServer

Load Balancer

Router

Router

Router

Router

RouterApp.

Server

Database

App. Server

Vusers

ContentCheck zeigt Fehler vom OverloadContentCheck zeigt Fehler vom Overload

Identifiziert funktionale Fehler die unter Last auftreten um Anwenderakzeptanz zu sichern Analysiert den korrekten Webseiteninhalt im Test Zeigt den aktuellen “virtual User” Dialog im Run-Time

Browser

Typische ProblemeTypische Probleme

Netzwerk-Performance Locking-Probleme Anzahl gleichzeitig abzuarbeitender Prozesse Datenbank Probleme Skalierbarkeit des Applikations-Servers Datenbank-Server Probleme Ineffiziente Benutzung von Match-Codes

Test Reality,

before Reality tests you

Mercury InteractiveMercury Interactive

Enterprise Testing SolutionsEnterprise Testing Solutions