Mit Performance-Modellierung Test- und Betriebskosten senken

1 #Dynatrace

Live Webinar: RETIT

Mit Performance-Modellierung Test- und Betriebskosten senken

Peter ZahrerProduktmanagerDynatrace

Dr. Andreas BrunnertCEORETIT

2 #Dynatrace

Dynatrace ist …

Gartner Magic Quadrant

3 #Dynatrace

Performancebottlenecks fixed

30 xFASTER

Csanád MELEGHHead of IT Operations

Kunden sagen …

4 #DynatraceCompuware Confidential – Do Not Duplicate

Crystal Clear Visibility

80% Back-Office Performance

Improvement 30% Faster Check-Out

Rene NEUBACHERB2C eBusiness Sr Tech

Consultant

Kunden sagen …

5 #Dynatrace

Kunden sagen …

80 % Faster Time to Market

Frank NAUMANN, Head of IT

6 #Dynatrace

Kunden sagen …

90%

faster business transactionsPatrick Progin, CEO

7 COMPANY CONFIDENTIAL – DO NOT DISTRIBUTE #Perform2015www.retit.de COMPANY CONFIDENTIAL – DO NOT DISTRIBUTE7

AgendaPerformance-Modellierung

Anwendungsbeispiele, Nutzen und Kundenszenarien

Demo

8 COMPANY CONFIDENTIAL – DO NOT DISTRIBUTE #Perform2015www.retit.de

Moderne Applikationen benötigen die Fähigkeit• … Die Performance von Anwendungen in Echtzeit zu

messen• … Performance-Metriken in Echtzeit auszuwerten• … Drill Down in einzelne Komponenten durchzuführen

Warum Performance-Modellierung?

UnternehmensanwendungHardwareSoftware

Messung Messdaten


Messung

Kapazitäts-Planung

PerformanceAnalyse

Kapazitäts-Management

Was passiert wenn …• ... man die Deployment Topology ändert• ... man auf eine andere Hardware Umgebung

migriert?• … sich die Last ändert?• … man die Anzahl der CPUs reduziert?

Warum Performance-Modellierung?


Messdaten


Performance-Modellierung – Was ist das?

Performance Modell

Ressourcen Bedarf

Software Architektur

Hardware Umgebung

Workload

Simulation

Antwortzeit

Durchsatz

Ressourcen Auslastung


Performance-Modellierung – Ein kurzer Rückblick

Queuing Theory (Erlang, ~1906)

Queuing Networks (Jackson, ~1963)

Layered Queuing Networks (Neilson / Woodside, ~1995)

Architecture-Level Performance Models (Reussner / Becker ~2009)

wt

S

λ

Arriving Jobs

DepartingJobs

Queue Service Station

1

4

CPU

HDD

Application Server

Arriving Transactions

CompletedTransactions

HTTPRequest[Z=2 s]

User{m=1200}

WebService[s=15 ms]

HTTP ServerThread{m=50}

Purchase[s=80 ms]

AppServerThread {m=25}

Browse[s=20 ms]

(y=1)

(y=0.6) (y=0.4)

User Device{m=1200}

User Device{m=1200}

HTTP Server Machine

HTTP Server Machine

AppServer Machine

{m=2}

AppServer Machine

{m=2}

Repository Model

Resource Environment

System Model

Allocation Model

Usage Model

Palla

dio

Com

pone

nt M

odel

(PCM

)


Performance-Modellierung – Wie?

Wissens-generierung

Kapazitäts-Planung

PerformanceAnalyse


PerformanceModel Repository

Messung

Modellierung

Simulierung

Messdaten

Modell-Parameter

Simulierungsergebnisse

Kapazitäts-Management


Performance-Modellierung – Wann?

OpsDev

Requirements

Desig

n

Implementation

Testing

Deploy

ment

Operations

OpsDev



OpsDev

Requirements

Desig

n

Implementation

Testing

Deploy

ment

Operations

Requirements Design Implementation Testing Deployment Operations

0

100

200

300

400

500

600

1 4.5 10 27.5 50

500

Rela

ive

cost

fact

or

(mea

n)*

Mit dem Wissen aus Performance-Modellen

Performanceprobleme schneller erkennen und diese früher und

kosteneffizienter beheben

Source: http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20100036670.pdf*The cost factor for fixing a performance-related problem is normalized in the different phases relative to the cost of fixing a defect in the requirements phase.

OpsDev



OpsDev

Requirements

Desig

n

Implementation

Testing

Deploy

ment

Operations


0

100

200

300

400

500

600

1 4.5 10 27.5 50

500

Rela

ive

cost

fact

or

(mea

n)*





Feststellung von Performance-Änderungen in jeder Version, die in

der Continuous Delivery Pipeline erzeugt wird, ohne konstenintensive

Performance-Tests durchzuführen

OpsDev



OpsDev

Requirements

Desig

n

Implementation

Testing

Deploy

ment

Operations


0

100

200

300

400

500

600

1 4.5 10 27.5 50

500

Rela

ive

cost

fact

or

(mea

n)*





Last- und Performance-Testergebnisse extrapolieren,

Anzahl der Testläufe,Aufwand, Hardware- und Lizenzkosten reduzieren




OpsDev



OpsDev

Requirements

Desig

n

Implementation

Testing

Deploy

ment

Operations


0

100

200

300

400

500

600

1 4.5 10 27.5 50

500

Rela

ive

cost

fact

or

(mea

n)*










Kapazitätsplanung mit Modellen der Application-

Binaries vereinfachen

OpsDev



OpsDev

Requirements

Desig

n

Implementation

Testing

Deploy

ment

Operations


0

100

200

300

400

500

600

1 4.5 10 27.5 50

500

Rela

ive

cost

fact

or

(mea

n)*










Kapazitätsplanung mit Modellen der Application-

Binaries vereinfachen

Richtige Kapazität für saisonal bedingte Spitzen ermitteln um Lizenz-

und operationale Kosten (z.B. die Anzahl Cloud Instanzen) zu reduzieren

OpsDev


Dynatrace kompatible RETIT Lösungen• RETIT Capacity Manager (RCM)

• Performance-Modellierungsumgebung

• Lässt sich mit jedem Dynatrace Deployment verbinden um Performance Modelle zu erstellen

• Simuliert “Was-wäre-Wenn” Szenarien:• Änderung der Hardware• Änderung des Workloads• Änderung in der Software-Architektur


Dynatrace kompatible RETIT Lösungen• RETIT Continuous Delivery (RCD)

• Plugin für Jenkins Continuous Integration (CI) Server

• Erkennt Änderungen der Performance automatisch

• Verwendet Dynatrace Daten, die in früheren Testläufen gesammelt wurden um Modelle zu erstellen

• Evaluiert die Performance für multiple Hardware-Umgebungen und Workloads


Dynatrace kompatible RETIT Lösungen

RETIT Capacity Manager

(RCM)

RETIT Continuous

Delivery (RCD)




Demo


Anwendungsbeispiel – Einsatz zur Entwurfszeit

Requirements

Desig

n

Implementation

Testing

Deploy

ment

Operations

Existierende Komponente

1


…


... N

Neues Anwendungs

- Design

Bekannte performance- relevante Aspekte inPerformance-Modellengespeichert

Struktur und Verhalten lt. Designmodell (z.B. UML)

z.B, minimale Antwortzeit – auch unter der Annahme,dass eine neue Applikationkeine Zeit konsumiert


Nutzen – Einsatz zur Entwurfszeit


0

100

200

300

400

500

600

1 4.5 1027.5

50

500

Rela

tive

cost

fact

or (m

ean)

*

Erkennen und beheben Sie Performanceprobleme in Ihrer Software Architektur früher - damit sparen Sie

enorme Kosten durch die Vermeidung des wiederholten Durchlaufens von Entwicklungsschritten!


Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations


Kundenszenario – Einsatz zur Entwurfszeit• Performance-Evaluierung in einer Service-Orientierten

Architektur (SOA)

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations

• Service-Konsumenten:• Prozessorientierte User Interfaces • Orchestriert mit einer BPM Engine

• Service-Anbieter:• Datenquellen und Anwendungsdienste

Enterprise Service Bus (ESB)

Business

Dev

Ops



Architektur (SOA)

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations



• Was passiert wenn wir einen neuen Business Prozess einführen oder optimieren?

• Können erforderliche KPIs des Business Prozesses eingehalten werden?

• Was kostet es, die Systemperformance zu steigern um die KPIs des Businessprozesses zu gewährleisten?

Business

Dev

Ops



Architektur (SOA)

Requirements

Desig

n

Implementation

Testing

Deploy

ment

Operations



Business

Dev

Ops

• Können wir die gewünschte Performance erreichen und die KPIs mit den bestehenden SLAs gewährleisten?

• Welche Services müssen zunächst optimiert werden um die Ziele des Businesses zu erreichen?

• Müssen wir die SLAs mit mehreren Service-Anbietern anpassen oder sollen wir die SLAs mit wenigen Anbietern verschärfen?



Architektur (SOA)

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations



• Wieviel Last wird ein neuer oder zusätzlicher Business Prozess erzeugen?

• Werden die bestehenden Systeme in der Lage sein, die Last zu bewältigen?

• Müssen wir unsere Kapazitäten erhöhen?• Wer bezahlt die zusätzlichen Kapazitäten?

Business

Dev

Ops



Architektur (SOA)

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations



Business

Dev

Ops

APM Data

APM Data

Business ProzessBeschreibung

SoftwareDesigns für neue Prozesse



Architektur (SOA)

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations



Business

Dev

Ops

• Wir müssen mit Provider XYZ sprechen!

• Die Systemlast wird um X% steigen!

• Es müssen X neue Server angeschafft werden.

• Die KPIs des Business Prozesses können erreicht werden. Die Kosten dafür sind ...!


Kundenszenario – Einsatz zur Entwurfszeit Modellierung steigert das Teamwork im gesamten

Software Lifecycle (Business, Dev and Ops)!

Das Management erhält detaillierte Einblicke in die Business-Prozesse. Dies erleichtert die Kommunikation mit dem IT Department.

Entwickler können Antwortzeiten für neue Businessprozesse besser abschätzen.

Der IT-Betrieb erhält frühzeitig Informationen über das Last-verhalten wenn neue Business Prozesse in Betrieb gehen.

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations


Anwendungsbeispiel – Einsatz im CI-System

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations

Auswirkungen von neuen Features oder Bug Fixes evaluieren Für unterschiedliche Hardwareumgebungen und

Lastszenarien Ohne reale Test-Systeme, rein auf Basis von Modellen

Deployment Pipeline in aContinuous Delivery Process

Model-based Performance Change Detection

Commit Stage

Automated Acceptance

Test

Manual Testing Release

Developerchecks in

Notify Developer about Performance Change


Nutzen – Einsatz im CI-System

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations

Sicherstellen, dass keine Version Performanceregressionen verursacht

Kostenersparnis, wenn Performance-Probleme früher im Entwicklungsprozess erkannt werden

Besseres Performancebewusstsein von Entwicklern durch sofortiges Feedback

Kein(e) Setup/Vorbereitung für Last/Performance Test-umgebungen für jedes Projekt

Wiederverwendung von Akzeptanz/Regression Testing Ergebnisse für die Performance-Evaluierung

Christina Brunnert

komische Formulierung


• Kunde hat 3 geschäftskritische Unternehmensanwendungen(UA) • 5 unterschiedliche Last- und Hardware Szenarien je UA

• Mit RETIT Continuous Delivery (RCD) werden die Kosten nur im Betrieb der Testumgebungen um 250.000 € p.a. gesenkt

Kundenszenario – Einsatz im CI-System

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations

UA 1

UA 3

UA 2

+ + 1 x

+ + 1 x

+ + 1 x

+ + 5 x

+ + 5 x

+ + 5 x

VS.

UA 1

UA 3

UA 2

+

+

+


Anwendungsbeispiel – Lasttest-Abdeckung erweitern

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations

Test-umgebung aufsetzen

Test-szenarien bestimmen

Tests ausführen

Ergebnisse analysieren

Unternehmensanwendung HardwareSoftware

Messen Messdaten

0,00 ms

20,00 ms

40,00 ms

60,00 ms

80,00 ms

100,00 ms

120,00 ms

140,00 ms

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

600 Users 800 Users 1000 Users

0

1

2

3

4

5

6

7

8

9

1 2 3 4 5 6 7 8 9

Diagrammtitel

Throughput

Response Time

Resource Utilization

0,00 ms

20,00 ms

40,00 ms

60,00 ms

80,00 ms

100,00 ms

120,00 ms

140,00 ms

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT


0

1

2

3

4

5

6

7

8

9

1 2 3 4 5 6 7 8 9

Diagrammtitel

Throughput

Response Time


0,00 ms

20,00 ms

40,00 ms

60,00 ms

80,00 ms

100,00 ms

120,00 ms

140,00 ms

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT


0

1

2

3

4

5

6

7

8

9

1 2 3 4 5 6 7 8 9

Diagrammtitel

Throughput

Response Time


Model erstellen und Performance für

mehrere Szenarien simulieren


Nutzen – Lasttest-Abdeckung erweitern Anzahl der Last- und Performance Tests reduzieren

Kosten sparen

Testabdeckung erhöhen

Szenarien evaluieren ohne die benötigte Hardware kaufen zu müssen

Testabdeckung erhöhen, wenn die Anzahl der Deployments steigt

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations


• Ersparnis von 8-26 Personentagen (PT) wenn umfangreiche Last-tests durch kleinere Lasttests und Simulationen ersetzt werden

• Aufwand für Lasttests (inkl. Test-Scripting, -Setup, Ausführung):• Klein: 13 PT, Mittel: 23 PT, Groß: 41 PT

Kundenszenario – Lasttest-Abdeckung erweitern

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 200

100

200

300

400

500

600

PD savings when replacing large scale tests with small scale tests and predic-tionsPD savings when replacing medium scale tests with small scale tests and predic-tions

number of performance tests

Savi

ngs i

n pe

rson

day

s (PD

)


Anwendungsbeispiel – Kapazitätsmanagement

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations


Messen Messdaten

0,00 ms

20,00 ms

40,00 ms

60,00 ms

80,00 ms

100,00 ms

120,00 ms

140,00 ms

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT


0

1

2

3

4

5

6

7

8

9

1 2 3 4 5 6 7 8 9

Diagrammtitel

Throughput

Response Time


0,00 ms

20,00 ms

40,00 ms

60,00 ms

80,00 ms

100,00 ms

120,00 ms

140,00 ms

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT


0

1

2

3

4

5

6

7

8

9

1 2 3 4 5 6 7 8 9

Diagrammtitel

Throughput

Response Time


0,00 ms

20,00 ms

40,00 ms

60,00 ms

80,00 ms

100,00 ms

120,00 ms

140,00 ms

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT

B MRT

B SRT

M MRT

M SRT

P MRT

P SRT


0

1

2

3

4

5

6

7

8

9

1 2 3 4 5 6 7 8 9

Diagrammtitel

Throughput

Response Time


Modell erzeugen auf Basis der Produktionsdaten um die Performance für künftige Szenarien zu simulieren.

Was passiert wenn wir AWS

verwenden?

Wieviel Kapazität wird benötigt, wenn wir während des Weih-nachtsgeschäftes 10x mehr

Nutzer haben?

Was passiert, wenn wir die Deployment-Topologie

verändern?


Richtiges Sizing bestimmen – nur bezahlen was benötigt wird

Keine teure Testumgebung betreiben um Änderungen zu evaluieren

Risiko reduzieren z.B. Migrationen der Hardwareumgebung (Cloud)

Zeit beim Kapazitätsmanagement sparen

Genauere Prognosen – Mit Simulationen lineare Annahmen vermeiden

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations

Nutzen – Modellbasiertes Kapazitätsmanagement


12:00 12:15 12:30 12:45 13:00 13:15 13:30 13:45 14:00 14:15 14:30 14:4510.00

20.00

30.00

40.00

50.00

60.00

70.00

80.00EPEX SPOT INTRADAY AUCTION - 2014-12-11

time

€/MWh

p i

• Smard Grid Kapazitätsplanung für mehrere Millionen Haushalte

Kundenszenario – Modellbasiertes KapManagement

maximum 15 min

Requirements

Desi

gn

Implementation

Testing

Deploym

ent

Operations




Demo


RETIT Lösungen

• Demo


RETIT Lösungen – Transaktionsfluss


• Was haben wir heute besprochen?• Performance-Modellierung…

Zusammenfassung



Zusammenfassung

Verbessert die teamübergreifende Zusammenarbeit

…durch die Integration zahlreicher Datenquellen



Zusammenfassung



Erhöht das Performance-Bewusstsein

… durch direktes Feedback während der Entwicklung



Zusammenfassung





Erweitert die Testabdeckung

… durch die Möglichkeit, mehr Workloads und Hardware-umgebungen zu testen



Zusammenfassung





Erweitert die Testabdeckung

… durch die Möglichkeit, mehr Workloads und Hardware-umgebungen zu testen

Spart Kosten

… da keine Mutmaßungen bei Kapazitätsplanungsaktivitäten mehr nötig sind


Vielen Dank!

Dr. Andreas [email protected]

Peter [email protected]

m

Mit Performance-Modellierung Test- und Betriebskosten senken

Technology

Transcript of Mit Performance-Modellierung Test- und Betriebskosten senken