Berend Semke

Juli 2014

Oberflächentests kosteneffizient automatisieren

Quellen: http://de.wikipedia.org/wiki/Effizienz http://de.wikipedia.org/wiki/Wirtschaftlichkeit

2014-07-17 Oberflächentests kosteneffizient automatisieren 2

Effizienz

2014-07-17 Oberflächentests kosteneffizient automatisieren 3

Effizienz bei Testautomatisierung

• Mögliche Strategien: • Entweder bei konstanten Kosten die Qualitätsaussagen erhöhen, • oder bei konstanter Qualitätsaussage die Kosten reduzieren.

Wirtschaftlichkeit = = Ertrag Aufwand

Qualitätsaussage Kosten

Testende-Kriterium

2014-07-17 Oberflächentests kosteneffizient automatisieren 4

Inhalt

Erfolg(-reiche Testautomatisierung)

braucht Ziele.

2014-07-17 Oberflächentests kosteneffizient automatisieren 5

Inhalt

Erfolg braucht Ziele.

Capture and Replay ist die Wurzel allen Übels.

2014-07-17 Oberflächentests kosteneffizient automatisieren 6

Inhalt

Erfolg braucht Ziele.

Capture and Replay die Wurzel allen

Übels.

Ein Hammer erschlägt jedes Problem.

2014-07-17 Oberflächentests kosteneffizient automatisieren 7

Inhalt

Erfolg braucht Ziele.

Capture and Replay die Wurzel allen

Übels.

Ein Hammer erschlägt jedes

Problem.

A fool with a tool…

Ein Hammer erschlägt jedes

Problem.

Werkzeuge brauchen Wissen.

Capture and Replay die Wurzel allen

Übels.

Erfolg braucht Ziele.

2014-07-17 Oberflächentests kosteneffizient automatisieren 8

Inhalt

Womit? Wer?

Wie? Was?

Ein Hammer erschlägt jedes

Problem.

Werkzeuge brauchen Wissen.

Capture and Replay die Wurzel allen

Übels.

Erfolg braucht Ziele.

2014-07-17 Oberflächentests kosteneffizient automatisieren 9

Erfolgssummanden faktoren

Womit? Wer?

Wie? Was?

2014-07-17 Oberflächentests kosteneffizient automatisieren 10

Was automatisiert testen?

Wer das Ziel kennt, kann entscheiden wer entscheidet, findet Ruhe wer Ruhe findet, ist sicher

wer sicher ist, kann überlegen wer überlegt, kann verbessern.

(Konfuzius)

2014-07-17 Oberflächentests kosteneffizient automatisieren 11

Was automatisiert testen?

Wer das Ziel kennt, kann entscheiden wer entscheidet, findet Ruhe wer Ruhe findet, ist sicher

wer sicher ist, kann überlegen wer überlegt, kann verbessern.

Kosten Qualitätsaussage

2014-07-17 Oberflächentests kosteneffizient automatisieren 12

Kosten

manuell automatisiert

Aufwände bei wenig Wiederholungen

Test-Spec Impl. Test

manuell automatisiert

Aufwände bei vielen Wiederholungen

Test-Spec Impl. Test

2014-07-17 Oberflächentests kosteneffizient automatisieren 13

Kosten

manuell man. (pro Test)

automatisiert aut. (pro Test)

Kosten

Wiederholungen

2014-07-17 Oberflächentests kosteneffizient automatisieren 14

Qualitätsaussage

manuell automatisiert

Test-Qualität

Wiederholungen

2014-07-17 Oberflächentests kosteneffizient automatisieren 15

Qualitätsaussage / Kosten

Viele Wiederholungen verringern nicht nur die Kosten, sie verbessern auch die relative Qualitätsaussage einer

Automatisierung

2014-07-17 Oberflächentests kosteneffizient automatisieren 17

Effizient automatisieren

Ob eine Automatisierung wirtschaftlich ist, muss für jede Anforderung individuell bewertet werden.

2014-07-17 Oberflächentests kosteneffizient automatisieren 19

Kosten / Nutzen - Einflüsse

Spezifikation Implementierung Test Test Test Test Test

Erfordert Stabilität & Frequenz

Erhöht sich durch Komplexität

• Standard-Widgets? • Statische oder berechnete Werte? • Kontrollstrukturen benötigt? • …

Konstant Auch automatisierte Oberflächentests brauchen qualitativ hochwertige Testspecs!

2014-07-17 Oberflächentests kosteneffizient automatisieren 20

Anforderungen auswählen

• Wie wähle ich die relevanten Anforderungen aus?

BYOI (Build your own index)

2014-07-17 Oberflächentests kosteneffizient automatisieren 21

Anforderungen auswählen

Zum Beispiel:

E = Ertrag / Aufwand = Ertrag / Komplexität = Auswirkung * Frequenz / Komplexität = Auswirkung * Frequenz * Stabilität / Komplexität = Auswirkung * Frequenz * Stabilität * Lösbarkeit = xa*Auswirkung * xf*Frequenz * xs*Stabilität * xl*Lösbarkeit

BYOI (Build your own index)

Ein Hammer erschlägt jedes

Problem.

Werkzeuge brauchen Wissen.

Capture and Replay die Wurzel allen

Übels.

Erfolg braucht Ziele.

2014-07-17 Oberflächentests kosteneffizient automatisieren 25

Erfolgsfaktoren

Womit? Wer?

Wie? Was?

2014-07-17 Oberflächentests kosteneffizient automatisieren 26

Wie automatisiert testen?

Es sind gerade die Inkonsequenzen des Lebens, welche die größten Konsequenzen haben.

(André Gide)

2014-07-17 Oberflächentests kosteneffizient automatisieren 27

Wie automatisiert testen?

Es sind gerade die Inkonsequenzen des Lebens, welche die größten Konsequenzen haben.

Kleine Vorteile

jetzt Große Vorteile später

Ein Hammer erschlägt jedes

Problem.

Werkzeuge brauchen Wissen.

Capture and Replay die Wurzel allen

Übels.

Erfolg braucht Ziele.

2014-07-17 Oberflächentests kosteneffizient automatisieren 31

Erfolgsfaktoren

Womit? Wer?

Wie? Was?

2014-07-17 Oberflächentests kosteneffizient automatisieren 32

Womit automatisiert testen?

Wer als Werkzeug nur einen Hammer hat, sieht in jedem Problem einen Nagel.

(Paul Watzlawick)

2014-07-17 Oberflächentests kosteneffizient automatisieren 33

Tools…

• … gibt es.

2014-07-17 Oberflächentests kosteneffizient automatisieren 34

Unterschiede der TA-Tools

• Technologie • Unterstützte Tool-Kits • Unterstützte Programmiersprachen • Objekt-Erkennung

• Integration in Tool-Chain

• Ergonomie

• Erweiterbarkeit

• Anschaffungskosten

2014-07-17 Oberflächentests kosteneffizient automatisieren 35

Objekt-Erkennung

• Technologie • Unterstützte Tool-Kits • Unterstützte Programmiersprachen

• Objekt-Erkennung • abgeleitete Widgets • verschobene Widgets

• innerhalb des Containers • in neuen Container • auf anderen Monitor

• Test auf Abwesenheit

Ein Hammer erschlägt jedes

Problem.

Werkzeuge brauchen Wissen.

Capture and Replay die Wurzel allen

Übels.

Erfolg braucht Ziele.

2014-07-17 Oberflächentests kosteneffizient automatisieren 38

Erfolgsfaktoren

Womit? Wer?

Wie? Was?

2014-07-17 Oberflächentests kosteneffizient automatisieren 39

Wer testet automatisiert?

A fool with a tool is still a fool (Grady Booch)

2014-07-17 Oberflächentests kosteneffizient automatisieren 40

Anforderungsprofil - Klassisch Test-

kenntnisse

Anforderungs- erhebung

Programmier- kenntnisse

Entwickler

Tester

RE

2014-07-17 Oberflächentests kosteneffizient automatisieren 41

Anforderungsprofil - Agil Test-

kenntnisse

Anforderungs- erhebung

Programmier- kenntnisse

Entwickler

Tester

RE

Oberflächen-test

Automatisierer

2014-07-17 Oberflächentests kosteneffizient automatisieren 42

Dem Anforderungsprofil entsprechen

• SW-Entwickler Testkenntnisse näher bringen

• Testern Programmierkenntnisse näher bringen

2014-07-17 Oberflächentests kosteneffizient automatisieren 43

Dem Anforderungsprofil entsprechen

• SW-Entwickler Testkenntnisse näher bringen • Status & Anerkennung • Fachkenntnisse Test & QM • Einfach mal Fragen!

• Testern Programmierkenntnisse näher bringen

2014-07-17 Oberflächentests kosteneffizient automatisieren 44

Dem Anforderungsprofil entsprechen

• SW-Entwickler Testkenntnisse näher bringen

• Testern Programmierkenntnisse näher bringen

• Einfach mal Fragen! • „Serious games“?

http://www.antme.net/ http://blobby.sourceforge.net/

Testautomatisierung ist Software-Entwicklung

benötigt sowohl Test- als auch SW-Entwicklungs-

Kenntnisse

Objekterkennung spart Wartungskosten

Lizenzkosten meist irrelevant

Testautomatisierung ist Software-Entwicklung

Zieldefinition: Kosten oder Qualitätsaussage

Anforderungsmanagement führt zu Test-Spec. BYOI

2014-07-17 Oberflächentests kosteneffizient automatisieren 45

Zusammenfassung

Womit? Wer?

Wie? Was?

2014-07-17 Oberflächentests kosteneffizient automatisieren 46

etamax space GmbH

Berend Semke

Frankfurter Straße 3 d

D-38122 Braunschweig

Tel +49 (0)531.866688.35

Fax +49 (0)531.866688.99

www.etamax.de

Email b.semke@etamax.de

www.xing.com/profile/Berend_Semke