Testnutzen und -aufwand präzise schätzen: Methoden...

CEA v6.4

Melanie Späth

ATAMI 2010

Fraunhofer Institut FIRST, Berlin

15. Januar 2010

Testnutzen und -aufwand präzise schätzen: Methoden, Kennzahlen, Erfahrungswerte

CEA v6.4 © 2009 Capgemini sd&m - All rights reservedATAMI2010 - TESTAUFWAND SCHÄTZEN.PPT

3

Unternehmensentwicklung1

Kunden

Leistungsangebot

• Prozess- und IT-Beratung• Entwicklung individueller Softwarelösungen • Implementierung und Roll-out von Standardsoftware• Systemintegration

Capgemini sd&m steht für leistungsfähige Prozess- und Software-lösungen, die die Wettbewerbsfähigkeit unserer Kunden erhöhen

Standorte

2003 2004 2005

1.475

1.035 1.120

2006

1.210

2007

1.670

2008

1 Anzahl Mitarbeiter im Geschäft inkl. Polen und zugeordnetes Team Indien

SAP Business Solutions sd&m Capgemini sd&m

1.920

Hamburg

DüsseldorfKöln/Bonn

Stuttgart

München

Zürich

Frankfurt

Nearshore

Wroclaw

Walldorf

Hannover

Farshore

Mumbai

BangaloreStandorte Capgemini sd&mWeitere Standorte der Capgemini-Gruppe

Berlin

1

9

10

14

15

22

24

Finanzdienst-leistung

Öffentlicher Bereich

5

Telco & Medien

Energie-versorgung

Industrie &Technologie

Logistik, Handel &Transport

Automobil

SonstigeDienstleister


5

Eine scheinbar harmlose Frage…

Für das neue Angebot haben wir 2100 BT an Testaufwand geschätzt.

Ist das plausibel? Woher soll ich das wissen?


6



Ist das plausibel?Raten? Würfeln?


7



Ist das plausibel? Gemeinsam bei einem Kaffee besprechen?


8



Ist das plausibel? Mit Ansätzen aus der Literatur vergleichen?


9



Ist das plausibel?Mit anderen Schätzungen vergleichen?

ohne klare Antwort


11

Was brauchen wir, um den Testaufwand präzise zu schätzen?

Top-Down

f (x)

€� Posten für die Expertenschätzung:Welche Aufgaben fließen ein?

� Kennzahlen für die einzelnen Posten aus Erfahrungswerten:Wie lange dauert Aufgabe XY?

� Berechnungshilfen:Wie kann im Projektkontext aus zugrunde liegenden Erfahrungswerten hochgerechnet werden?

� Möglichkeiten zur Plausibilisierung:Ist der durch Expertenschätzung ermittelte Testaufwand plausibel?

ΣΣΣΣ

€


12

Übersicht gebräuchlicher Schätzmethoden

Quelle: Stephan Frohnhoff, 2009: „Use Case Points 3.0“

Test Case Points

Was davon nutzt Capgemini sd&m?


13

Projekt

PI

IBSP

SP-IST

In Releases

INTREA

KON-T

UM Umsetzung

PQ

PK PT

PK-PL PK-PM

PK-CD

PK-QK PT-KM

PT-SEU

PT-TI

PK-MTG

KON

KON-A

KON-MIG

KON-DB

KON-QS

SP-ALLG

SP-THEMA

SP-QS

REA-DB

REA-MIG

REA-T

REA-QS

REA-A

INT-VBD

INT-NFKT

INT-BUGFIX

INT-SYS

INT-TVO

INT-QS

IB-ABN

IB-EIN

IB-DOK

IB-SCHUL

IB-QS

KON-ALLG

CR BERAT

SP-NACH

PN PN-EIN PN-STORTPN-REISE

PN

Capgemini sd&m Aufwandsmodell

100% = Netto70-90% PI

8-28% PI 1-9% PI9-25% UM 39-65% UM 18-40% UM

20-45% PI

2-10% PI

15-40% PI 3-10% PI

Plausibilisierung von Expertenschätzungen mit dem


14

Plausibilisierung von Expertenschätzungen mit Use Case Points 3.1

Aktoren klassifizieren

Use Casesklassifizieren

T-Faktorermitteln

M-Faktorermitteln

Aufwandberechnen

1

2

3

4

5

Aufwand =

Systemanforderungen

A-Faktor

Projekteinfluss

x

nicht funktionale Anforderungen

T-Faktor

funktionale Anforderungen

M-Faktor x PFx

Organisatorische Komplexität und Umfeld

Quelle: Stephan Frohnhoff, 2009: „Use Case Points 3.0“


15

Kann aus den vorgestellten Methoden auf den Testaufwand geschlossen werden?

Capgemini sd&m AufwandsmodellAber:

� 18% - 40% ist eine große Spanne.

� Starke Varianz zwischen den Projekten.

� Wesentlicher Test-Einflussgrößen nicht abbildbar.

UCP 3.1

� Keine Rückschlüsse aus Gesamt- auf Testaufwand möglich.

� Zu untersuchen: Auswirkung der ermittelten Einfluss-größen auf den Testaufwand.


17

Aufwandstreiber im Test

1. bezogen auf die Testarten

Nichtfunktio-nale Tests sind oft aufwändig.

� Einflussgrößen: Nichtfunktionale Anforderungen mit hohem Risiko.


18

Aufwandstreiber im Test

2. bezogen auf die Teststufen

� Wiederholung identischer Testfälle in verschiedenen Teststufen.

� Mehrfaches Testen gleicher Funktionalität (durch unterschiedliche Testfälle).

� Einflussgrößen: Güte der Gesamttest-Strategie. Abstimmung zwischen Beteiligten.


19

Aufwandstreiber im Test …

Capgemini sd&m Testprozess.Abgeleitet aus Spillner, A., Linz, T.:Basiswissen Softwaretest - Aus- und Weiterbildung zum Certified Testerdpunkt, 3. Auflage, 2005

Planung und

Design

Durchführung

Abschluss

Beginn

Ende

Steue-rung

Auswertung und Bericht

Analyse

Realisierung

Aufbau und

Wartung der

Test-infra-

struktur

3. bezogen auf den Testprozess

… in der Testdurchführung

� Durchführung der Testfälle

� Fehler-Nachtests

� Wiederholung von Testfällen

� Regressionstests


20

Aufwandstreiber im Test …

Capgemini sd&m Testprozess.Abgeleitet aus Spillner, A., Linz, T.:Basiswissen Softwaretest - Aus- und Weiterbildung zum Certified Testerdpunkt, 3. Auflage, 2005

Planung und

Design

Durchführung

Abschluss

Beginn

Ende

Steue-rung

Auswertung und Bericht

Analyse

Realisierung

Aufbau und

Wartung der

Test-infra-

struktur… in der Testdurchführung

� Durchführung der Testfälle

� Fehler-Nachtests

� Wiederholung von Testfällen

� Regressionstests

3. bezogen auf den Testprozess

… in der Testrealisierung

� Erstellung von Testfällen

� Erstellung von Testdaten

� Migration von Echtdaten

� ggf. Automatisierung der Testdurchführung

� Einflussgrößen: Fehler in der Software. Automatisierungsgrad.


21

Was brauchen wir, um den Testaufwand präzise zu schätzen?

Top-Down

f (x)

€� Posten für die Expertenschätzung:Welche Aufgaben fließen ein?

� Kennzahlen für die einzelnen Posten aus Erfahrungswerten:Wie lange dauert Aufgabe XY?

� Berechnungshilfen:Wie kann im Projektkontext aus zugrunde liegenden Erfahrungswerten hochgerechnet werden?


ΣΣΣΣ

€

Anforderung:Rechnung muss test-spezifische Einflussgrößen berücksichtigen.


23

Ein kurzer Blick auf TCP (Test Case Points)

Modell I

Testfall-Erstellung

Modell III

Manuelle Testdurchführung

Modell II

Automatisierte Skriptgenerierung

Modell IV

Automatisierte Testdurchführung

TCP-Modelle für Testprojekte:

Use Cases bestimmen

1

Testfälle bestimmen

2

TCP für Testfall-Erstellung ermitteln

3

TCP für Automati-sierung ermitteln

4

Gesamt-TCPberechnen

7

TCP für manuelle Testdurchführung erm.

5

TCP für automat. Testdurchführung erm.

6


24

Mapping TCP gegen die ermittelten Einflussgrößen

� Nichtfunktionale Anforderungen mit hohem Risiko

� Güte der Teststrategie

� Abstimmung zwischen Beteiligten

� Fehler in der Software

(�) Automatisierungsgrad

� Automatisierte Testdurchführung

� Automatisierte Testfallerstellung

� Automatisierte Testdatenerstellung

Modell I

Testfall-Erstellung

Modell III

Manuelle Testdurchführung

Modell II

Automatisierte Skriptgenerierung

Modell IV

Automatisierte Testdurchführung

TCP


26

Ausblick

�� Posten für die Expertenschätzung:Welche Aufgaben fließen ein?

! Kennzahlen für die einzelnen Posten aus Erfahrungswerten:Wie lange dauert Aufgabe XY?

(��) Berechnungshilfen:Wie kann im Projektkontext aus zugrunde liegenden Erfahrungswerten hochgerechnet werden?

ΣΣΣΣ

€

: Expertenschätzung unterstützen


27

Ausblick: Algorithmische Methode zur Plausibilisierung

Top-Down

f (x)

€



Idee:

� ähnlich zu Aufwandsschätzung mit Use Case Points

� UCP-Einflussgrößen wo möglich weiter verwenden

Nächste Schritte:

� Einflussgrößen zu Testaufwand ermitteln

� Abhängigkeiten zwischen den Einflussgrößen ermitteln

� Formeln ableiten

� Gewichtungen ermitteln

� Basis: Geschätzter und tatsächlicher Testaufwand in den Projekten (Aufwandsmodell), UCP-Daten der Projekte


28

Ausblick: Zusätzliche Plausibilisierung gegen den Testnutzen

Top-Down

f (x)

€



Idee:

� Lohnt sich der Testaufwand?

� Fehler früh finden spart Kosten

� Einfache Annahmen zu Fehlerzahlen anhand Art und Größe des Systems

Quelle: Liggesmeyer, P.: Software-Qualität: Testen, Analysieren und Verifizieren von Software Spektrum Akademischer Verlag, 2. Auflage, 2009


29

Wie werden wir dann zukünftig den Testaufwand schätzen?

Top-Down

ExpertenschätzungExpertenschätzung Algorithmische MethodeAlgorithmische Methode

Testnutzen-RechnungTestnutzen-Rechnung


31

Fragen? Diskussion!

?

!

?

!

?

!

?

!

?

!? !

?

?

!

!

?

!

?


32

Bei Fragen im Nachgang helfen wir gerne weiter:

Melanie Späth

Managing Consultant / ResearchCarl-Wery-Straße 42, 81739 München

Phone: +49 89 63812-722E-Mail: [email protected]


33

Gemeinsam. Energien freisetzen.

Testnutzen und -aufwand präzise schätzen: Methoden...

Documents

Transcript of Testnutzen und -aufwand präzise schätzen: Methoden...