Modellzentrisches System- & Testengineering als … · Keyword-basierten End-2-End...

siemens.com/answers

© Siemens AG 2015 All rights reserved.

Modellzentrisches System- & Testengineering als Schlüssel einer

Keyword-basierten End-2-End Testautomatisierung von großen

Systemen

Dr. H.-G. Langer / H. Fischer – Siemens Mobility

H. Goetz / T. Jaeger – Siemens Corporate Technology

Siemens Corporate Technology | Februar 2015

Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.

Einsatz von interdisziplinären Lösungsansätzen zur

Beherrschung der steigenden Produktkomplexität

Die zukünftigen Produkte werden definitiv in ihrer Komplexität steigen!

See: Heinz Nixdorf Institut Universität Paderborn, Fraunhofer-Institut IPT, UNITY AG, Systems Engineering in der industriellen Praxis, 2013


Testen von großen Systemen –

Beispiel ICx – die neue DB Plattform

http://www.mobility.siemens.com/mobility/global/de/fernverkehr/schienenverkehr/hochgeschwindigkeits-

intercity/icx/Seiten/icx.aspx#Technische%20Daten%20(Grundvarianten)

Weitere Details sind zu finden unter der offiziellen Webseite:

http://www.mobility.siemens.com/mobility/global/de/fernverkehr/schienenverkehr/hochgeschwindigkeits-intercity/icx/Seiten/icx.aspx




Entwicklung einer Labor-Testumgebung für

End-to-End Tests der neuen Intercity Plattform ICx

Der Aufbau umfasst eine modulare Simulations- & Testumgebung:

• Ein 12-teiliger Zug

• Einsatz von reale Steuerungen mit originaler Software und

Schaltungstechnik

• Sämtliche relevante Kommunikationsinfrastruktur

• Modellbasierte Spezifikation und Ausführung automatisierter Tests

• Stufiger Integrationsansatz (über Wagen- zur Fahrzeugintegration)

Die wesentliche Ziele sind:

• Frühzeitiger Test aller Parameter und Funktionen im Labor

• Nachweis der funktionalen E-2-E Sicht

• Korrekte Systemreaktion auf die Stimulation von Fehlverhalten

• Korrektes Laufzeitverhalten

Test-Methodik / Tools / Prozesse mit

max. Fokus auf Automatisierung und Simulation

Integration 3:

Fahren nach

betrieblichen

Anforderungen

Integration 2:

Natives Fahren

und Bremsen

Integration 1:

Inbetriebnahme

der einzelnen

Wagen bis zum

Fahrzeug

• Anforderungen

aus Normen /

Standards

• System Anf.


Motivation – Die Tunnelfahrt als ein typisches

Beispiel eines funktionalen E-2-E Tests

Beispiel Tunnelfahrt

• Unterschiedliche Wetterbedingungen:

• trocken

• Regen

• Schneefall, Eisglätte

• Unterschiedliche Geschwindigkeiten:

• konstant

• beschleunigt

• bremsend

• Variable Zuglängen und –gewichte

Testziele:

Prüfung der Ansteuerung der einzelnen Radsätze

Reaktion des Gesamtsystems bei Fehlerinjektion

Quelle: Google


Es startet mit der Detaillierung von sehr konkreten

End-2-End Testszenarien

Testszenarien entstehen durch die Analyse verschiedenster Quellen

• Quellen wie EBA-Vorschriften, Normen, Systemanforderungen,

Use Cases, Erfahrungswerte, etc.

• Für jedes Szenario werden

• Voraussetzungen bestimmt (Zugzustand, Geschwind.,etc.)

• Beteiligte Funktionen ermittelt

• Einflussfaktoren ermittelt (Bedienhandlungen, System-

zustände, Fehlereinflüsse, etc.)

• Sollreaktionen abgeleitet

Testszenarien

Szenario 1

Szenario 2

Szenario…

Voraussetzungen

Aktionen

Sollreaktion

Je Testszenario

Beteiligte Funktionen

Die Testszenarien werden auf Testbarkeit geprüft und mit konkreten Testdaten ergänzt!

• Verschiedene identifizierte Einflüsse wirken auf die Funktion ein, z.B.

• Geschwindigkeit des Fahrzeugs

• Bremszustand

• auftretende Fehler, etc.

• Der entstehende „Klassifikationsbaum“ bildet alle Faktoren ab,

die für den Test der Funktion wichtig sind

Konkretisierung des Testszenarios mit gleichzeitiger Verlinkung der Testdaten

Hohe Akzeptanz der Fachexperten beim Review dieses Ansatzes!


Modellzentrischer System- & Testengineeringsansatz

im Einklang mit den Prozessvorgaben & Simulation

Die 7 wesentlichen Erfolgsfaktoren für einen automatischen E-2-E Test bei großen Systemen

Modellzentrisches System- & Test Engineering Prozess- & Simulation Framework

End-2-End Testszenarien

Model Based System & Test Engineering

Keyword Driven Model Based

Testing

Keyword Engineering

Integrierte

Werk-

zeugkette

EN 50128 (2011)

ISO IEC 29119

Simulation der Umgebung


Einschub Modellierung – Warum überhaupt?

Vorteile des modellbasierten Ansatzes

„Design- & Entwicklungsdatenbank“ Single Source : Keine redundante Informationen

Konsistenz und Zusammenhänge

durch tooltechnische Verknüpfungen

Anforderungen Funktion/ System/ Schnittst.

Funktion System

Schnittstellen Funktion/System

Formalisierung (SysML)

• Eindeutigkeit durch SysML

• Vorteil der Prüfbarkeit

• Manuell: Visuelle Sprache

• Automatisch: Regeln

• Automatisierung (z.B. Relation Maps)

•Strukturiert und modular: Hierarchie

• Importschnittstellen (z.B. aus RE-Werkzeugen, Tabellen)

Konsis-tentes Modell

Anforderungen

Funktionen

Architektur

Schnittstellen

Beschreibungen

generiert automatisch:

Stakeholder-

bezogene Sichten/

Reports

Systemarchitekturen

Funktionsabläufe

(Wirkwege)

Schnittstellen-

tabellen u.s.w.


Zwingend notwendig : Entwicklung einer

Simulationsumgebung passend zur Testumgebung

Zielsetzung

• HiL Simulation

• Reale HW/SW der realen Steuergeräte an simulierte, fahrzeugweite / wagenspezifische

Bremsmomente, Drehzahlen, Antriebs-/ Pneumatikmomente, …

• Reale zentrale Steuerungs-SW gekoppelt an Stromlaufplansimulation

• Stromlaufplansimulation

• Relaislogik / Verriegelungen / zugweite Sicherheitsschleifen / komplexe Module / etc..

• Ankopplung der DB Netz-Infrastruktur

• Bidirektionale Kopplung zur Strecken-/Balisen-Information, Geschwindigkeit für Radarsignale, etc.

Lösungsansatz

• Zugweite Testumgebung für

die reale SW/HW

• Nachbildung von nicht

vorhandenen bzw.

untergeordneten Funktionen

• Kopplung zur Testauto-

matisierung für das

Gesamtfahrzeug

Mechanik des Fahrzeugs

Dynamik des Fahrzeugs

Stromlaufpläne

DB Netz-Infrastruktur

Simulation der

• physikalisch-techni-

sche Prozesse

• Automatisierungs- /

Zugsteuerungstechnik

• Zugsicherung

des Gesamtfahrzeuges

Fokusthemen


“Keyword Driven MBT” ist der generische Ansatz für

jede zukünftige Testautomatisierungslösung

Manual Testing

Capture-Replay

Testing

Data-Driven Testing

Keyword-Driven

Testing

Keyword-Driven

Model Based Testing

Test auto-

mation

maturity

levels

Model Based Testing (MBT) generiert aus einem Testmodell die wesentl. Testartefakte

Testdesigner

Require-

ments Test Spezifikation

Test- cases

generiert

generiert Testmodell Testautomatisierung

Test- skripte

“Keyword Driven MBT” ist der logisch nächste Schritt einer Testautomatisierung

Test Automation Layer

E-2-E Test- szenario

Sequenz aus HLKs

High Level Keyword (HLK)

Low Level Keyword (LLK)

Test

Design

Geschl. Systemfunktion

Besteht aus HLKs / LLKs Test

Engineer.

… weitere 60+ Werkzeuge, siehe unter:

https://www.testtoolreview.de/de/testing-tools/tool-liste

Modulare & parametrisierbare

Modelbausteine

Verwendung von sog “function

blocks” aus Systemfunktionen

Einzelne Aktionen

1:1 Bezug zu den

realen Signale /

Simulationen

IEC 29119/5 :

Testfälle können

als Sequenz von

(automatisierbare)

Schlüsselwörter

interpretiert werden

Test

Autom.







Modellzentrisches System- & Test Engineering als

“Single Source” für Design, Entwicklung und Test

Model Based System Eng.

Model Based Test(system) Eng.

Bereitstellung einer zentralen

Keyword Bibliothek (HLK/ LLK)

für die Modellierung im

MBT Werkzeug

Verknüpfung mit den realen/

simulierten Signale

zur Scriptcode-Generierung

Keyword Modell der

Testautomatisierung

Architekturdarstellung von

Fahrzeugaufbau

Testsystemaufbau

Spezifikation

der Komponenten

der physikalischen

Schnittstellen

der Bustopologie

Struktur-/ physik. Modell

Use Case basierte Darstellung von

zugübergreifenden Funktionen

Spezifikation

der beteiligten Aktoren

der Abläufe über Aktivitätsdiagramme

der funktionalen Schnittstellen

der verwendeten Referenzdokumente

Funktionales Modell

Synch. Schnittstelle

Import und Verlinkung

von Referenzen

Anforderungen


Die integrierte Werkzeugkette als Dreh- und

Angelpunkt aller Fragen und Artefakte

Engineering Test Design, Test Spezifikation &

Test Implementierung Test Planung &

Management (Automatische)

Testdurchführung Support Prozesse

Anforderungen

Implementierung Implementierun

Implemen-

tation

Testfallanalyse Testmodellierung

Zentrales Test

Management

Test Management

De

fec

t M

an

ag

em

en

t

• automatisch

• manuell

Labor / HIL

Integration

realer Zug

Ko

nfi

gu

rati

on

Ma

na

ge

me

nt

Test

status?

Test Spezifikation

generated

Test Report

generated

Archivierung und Release Management mittels Konfig. Mgmt.

Testmodell

korrekt?

Anford.

korrekt?

generiert

Defect Tracking

SysML Modell

Keywords

Testona

(CTE)

Testanalyse

korrekt?

Testdaten und –ablaufmodelle als interdisziplinäre Anforderungsbasis

Testautomatisierung durch Keyword-basierten Ansatz / Keyword Engineering

Vollständige Traceability ermöglicht effektive Nachweisführung / max. Dokumentengenerierung

Vereinfachtes Änderungsmanagement und Impact Analysen durch 100% Traceability

Die integrierte Toolkette ermöglicht effizientes und effektives Testen

import


Prozeßframework - DIN EN 50128 und ISO/IEC 29119

ergänzen sich ideal!

Regulatorische Anforderungen für die

Eisenbahn durch die DIN EN 50128 (2011)

• Anforderungsbasierte und strukturbasierte

Testabdeckung

• Nachverfolgbarkeit der Anforderungen zu

Testfällen und Fehlermeldungen

Auswirkungsanalyse / Rückwirkungsfreiheit

• Rechts- und revisionssichere Dokumentation

und Versionierung der Entwicklungs- und

Testdokumente

• Validierung der Testumgebung

• Lebenszyklusmodell

• Klare Definition und Abgrenzung der

Integration und Teststufen , usw.

ISO/IEC/IEEE 29119 Software Testing

• Die 29119 ist der erste weltweit gültige

Software Testing Standard auf der Ebene der

internationalen Standardisierungs-

organisationen ISO / IEC / IEEE.

• Bestandteile des Standards

• 29119-1: Konzepte und Definitionen (09/13)

• 29119-2: Testprozesse (09/13)

• 29119-3: Testdokumentation (09/13)

• 29119-4: Testtechniken (Release in 2015)

• 29119-5: Keyword- Driven Testing

(Release in 2015 / 2016)

Die EN 50128 ist „nahezu gleichzusetzen“ mit den Standards

ISO 26262-6 „Road Vehicles -Functional Safety“ Automobiltechnik

IEC 62304 / FDA (CFR) Part 820 Medizintechnik

etc.


Auszug aus ISO IEC 29119-2 Dynamic Test Process

Phase „Test Design & Implementation“


Start der

automatischen

Testdurch-

führung

Test

Engineering

Part 2

Einlesen & Zuord-

nung der Signale

zu den Keywords

im SysML Modell

Das Keyword Engineering erlaubt den frühest

möglichen Startpunkt einer Testautomatisierung

Implementierung

im Testsystem

Spezifikation und

Implementierung der

Trigger, Signale

(real, Simulation,

etc.) im Testsystem

End-2-End

Testmodellierung

Erstellen des

Testmodells im MBT

Werkzeug mittels der

erstellten Keywords.

Integration &

Verifikation der

Keywords

Vor-Integration und

Einzelabnahme der

Keywords

Test Engineering

Part 1

Anlegen des Key-

words (LLK / HLK)

im SysML Modell

als API (“Hülle”)

Keyword

Request

Trigger durch

• E-2-E Tests

• Fehlerinjektion

• Bedien-

elemente

• Post Proces-

sing Aufgaben


Lessons Learned

Die erfolgreiche Einführung, Etablierung und Pflege einer modellbasierten Toolkette und –methodik

erfordert begleitende Maßnahmen

• Consulting zur Herbeiführung der richtigen Entscheidungen

• Training der Testdesigner und Testautomatisierer

• Bildung einer Community

• Problem und Change Management übergreifend über alle Komponenten der Toolkette

• Implementierung von neuen Features bzw. funktionalen Erweiterungen innerhalb der Toolkette

für die optimale Ergänzung an die vorgegebene Prozesswelt ist essentiell

“A Fool with a Tool is still a Fool!”

• Die Rolle Testmanager muss vorhanden sein, um den Einsatz von MBT planen und beurteilen

können

• Die modellbasierten Testfälle wiederum sind zum allergrößten Teil tatsächlich automatisierbar

MBT und Testautomation synchronisiert einführen!

• Wichtig: Nicht jeder guter Testmodellierer ist gleichzeitig auch ein guter Testautomatisierer (und

umgekehrt!)

Keyword-basierter Testansatz fungiert hier definitiv als “Kleber“ zwischen den beiden Welten

Die Testmodellierung bringt einige Besonderheiten mit sich:


Lessons Learned

Modellierung lohnt sich schon ohne Generierung

• Anforderungen werden konstruktiv hinterfragt

• Probleme und Lücken werden frühzeitig durch die Modellierung aufgedeckt

• Komplexe Sachverhalte verlieren durch die Modellierung ihren „Schrecken“

Durchgeführte Reviews anhand der erstellten Testmodelle zeigen eine hohe Effizienz, aber

auch Akzeptanz der beteiligten Stakeholder!

Der Nutzen eines modellbasierten Vorgehens beginnt früh

Die Effizienz der Toolkette hängt stark davon ab, dass die einzelnen Tools flexibel miteinander zu

integrieren sind

• Der Weg der Informationen durch die Toolkette muss frühzeitig entschieden werden

• APIs und serviceorientierte Architekturen erleichtern die Integration – klarer Vorzug gegenüber

Export/Import

• Anforderungen an die Toolkette müssen ebenso ernsthaft gemanagt werden wie die an die zu

testenden Systeme

Hauptanforderung der Werkzeugkette : Integrativität


Thank you very much!

Helmut Goetz

Senior Key Expert

“Model Based Testing

of Complex Systems”

Siemens AG

Corporate Technology

CT RTC SAD TAM DE

Wladimirstr. 3

91058 Erlangen, Germany

Phone: +49 (0) 9131 7 35563

Mobile: +49 (0) 173 706 4066

E-mail: [email protected]

https://intranet.tedeso.siemens.de

mailto:[email protected]

https://intranet.tedeso.siemens.de/

Modellzentrisches System- & Testengineering als … · Keyword-basierten End-2-End...

Documents

Transcript of Modellzentrisches System- & Testengineering als … · Keyword-basierten End-2-End...