Unterstützung der Verifikation von Mess- und ...12)T… · demand or situation, the standard...

Berlin, 19.04.2012

Dr. Udo Oligschläger, BTH

Unterstützung der Verifikation von Mess- und

Automatisierungssoftware für Prüfstände der

Automobilindustrie mittels domänenspezifischer

Modellierungssprachen

prepared for:

LACTOSE Workshop

Fraunhofer FIRST

© by FEV – all rights reserved. Confidential – no passing on to third parties

Agenda/Content

Vorstellung FEV

– Die FEV Gruppe

– Der Geschäftsbereich TestSystems

Bezug zum Thema des Workshops

– Ausgangssituation

– Aufgabenstellung und Zielsetzung

Lösungsansatz

– Überblick

– Erläuterungen

Zusammenfassung und Ausblick

– Aktueller Stand

– Die nächsten Schritte

Udo Oligschläger

Unterstützung der Verifikation von Mess- und Automatisierungssoftware

für Prüfstände der Automobilindustrie, Lactose Workshop, 19.04.2012 2


Powertrain Development

Vehicle Integration and Chassis

Test Systems

Udo Oligschläger


für Prüfstände der Automobilindustrie, Lactose Workshop, 19.04.2012


FEV worldwide

… Turning innovative ideas into reality

Founded in 1978

working for major car and

engine manufacturers worldwide

2,100 employees

> 110 engine/powertraín test cells

4

Udo Oligschläger




FEV customers

… Powertrain development worldwide

5

Udo Oligschläger



http://images.google.de/imgres?imgurl=http://www.ansettspares.com/images/logos/GE_logo.gif&imgrefurl=http://www.ansettspares.com/distributorships.htm&h=450&w=450&sz=66&tbnid=UEMmQAwvf3gJ:&tbnh=124&tbnw=124&hl=de&start=3&prev=/images?q=GE+Logo&svnum=10&hl=de&lr=

http://images.google.de/imgres?imgurl=http://www.smyrillis.com/johnDeerelogo.jpg&imgrefurl=http://www.smyrillis.com/TopFrame.htm&h=256&w=394&sz=59&tbnid=MVdHKzemaiMJ:&tbnh=77&tbnw=120&hl=de&start=1&prev=/images?q=John+DeereLogo&svnum=10&hl=de&lr=

http://www.honda.de/index.html

http://www.isuzu.com/index.jsp;jsessionid=F6AF7E4E9459DE97A1515BB05D99BC86.tomcat1?nav=logo

http://www-0.nissan.de/home/index.html

http://www.toyota.de/index.asp

http://images.google.de/imgres?imgurl=http://www.azmotors.co.uk/impreza/subaruimprezaparts_files/subaru_logo.jpg&imgrefurl=http://www.azmotors.co.uk/impreza/subaruimprezaparts.htm&h=427&w=640&sz=23&tbnid=oHTgSrTO4s4J:&tbnh=90&tbnw=135&hl=de&start=6&prev=/images?q=Logo+Subaru&svnum=10&hl=de&lr=

http://www.mitsubishi-motors.de/

http://www.renault-trucks.com/home_gb.html

http://images.google.de/imgres?imgurl=http://www.uni-koblenz.de/~confluentic/images/logo_tenneco.jpg&imgrefurl=http://www.uni-koblenz.de/FB4/Institutes/IWVI/AGTroitzsch/Projects/Confluentic&h=46&w=135&sz=19&tbnid=oYsvmGb153YJ:&tbnh=29&tbnw=87&hl=de&start=8&prev=/images?q=Logo+Tenneco&svnum=10&hl=de&lr=

http://www.kspg-ag.de/index.php?lang=2

http://www.hjs.com/

http://de.wikipedia.org/w/index.php?title=Datei:Dow_Chemical_logo.svg&filetimestamp=20080721183545

http://de.wikipedia.org/w/index.php?title=Datei:BP_logo.svg&filetimestamp=20070828202704




Test Systems

Udo Oligschläger




FEV´s areas of expertise

7

Udo Oligschläger






Test Systems

Udo Oligschläger




Complete development and product range

9

End-of-line

hot test facility

Turn key installation

Off-tool

development

Start series production

SOP

Pre-series

development

First engines of manufacturing line

Prototype

development

First engines available

Concept Production

Udo Oligschläger




Testing facilities

10

Test Benches / Test Rigs

91 Test benches for calibration,

thermo-dynamic, functional

and durability testing

Fully transient test benches

with CVS

5 Power train test benches

9 Motoring test benches for

engines and components

3 Anechoic test benches

3 Transmission test benches

2 Battery test benches

Turbocharger test bench

4 Catalyst aging test benches

Optic test bench

Electric motor test bench

8 Hybrid powertrain test cells

(Transient, with battery emulation sytems)

DPF regeneration/cat aging oven

Battery emulation systems (up to 250 kW)

Hybrid & EV chassis dyno (4WD)

Udo Oligschläger




FEV’s Durability Test Center in Brehna / Leipzig

View on the engine test benches

Operating stand at

test bench for start-up,

trouble-shooting,

special measurements

11

Udo Oligschläger




FEV’s Durability Test Center in Brehna / Leipzig

Control room concept

Control of central

equipment (TGA, here:

tank farm/fuel supply)

Control panel

Video control

of outside area

Test field

manager

(TFM)

Video/audio-

control

Eventlogging

12

Udo Oligschläger




FEV’s facilities in Aachen

Transmission testing

For FWD and RWD applications:

Input: 380 kW / 900 Nm at 4,000 rpm

nmax: 9.000 rpm

Output: 2 × 315 kW / 5,000 Nm at 600 rpm

nmax: 2,700 rpm

13

Udo Oligschläger




FEV’s Business Unit TestSystems

Software based test cell equipment

TCM TestCellManager

User Station w/ Operator Interface

CAS Combustion

Analyzer

TFM TestFieldManager

Administration System

TOM TestObjectManager

Fuel Rate

FEVER Emission

Analyzer

TEM TestEnvironmentManager

Coolant Fuel Air Oil

TMM TestMediaManager

• Ventilation • Cooling tower • Gas warning • Fire detection • •

Signal

interface

Dynamo-

meter

Throttle-

actuator

14

Udo Oligschläger




FEV’s Business Unit TestSystems

Ausführung als Produkt-Familie

~ 60 functional, configurable

modules

To make a product as a

member of the product family

modules are combined and

provided with standardized

configurations

To adapt the particular product

to a customer dependent

demand or situation, the

standard configuration is

modified and/or extended by

customer dependent parts

15

TxM framework, which provides basic

services and hosts the functional modules

Udo Oligschläger




Anmerkung

Rollentausch während der Phase “Test the Test-System”

16

Udo Oligschläger



Test framework

Prüfling Prüf-

System

Prüf-

System Prüfling

FEVIS

Während der

Benutzung am

Motorprüfstand

Während des

Testens der

Systeme


Agenda/Content

Vorstellung FEV

– Die FEV Gruppe





Lösungsansatz

– Überblick

– Erläuterungen


– Aktueller Stand


Udo Oligschläger




Ausgangs-Situation

Kategorisierung der zu testenden Software

Die zu testende Software (SystemUnderTest)

enthält GUI-Anteil

ist konfigurierbar

muss Echtzeit-Anforderungen erfüllen

besteht aus Embedded-Anteil und PC-

Applikation

enthält sicherheitsgerichtete Funktion

19

Udo Oligschläger



Daraus folgt für das Thema Testing:

-> Benutzer – Simulation erforderlich

-> n Varianten des Prüflings

-> Besondere Behandlung notwendig

-> Verteilte Struktur des Prüflings

-> Hohe Testabdeckung erforderlich

© by FEV – all rights reserved. Confidential – no passing on to third parties 20

Ausführungs-Umgebung für einen Testfall

Scripts to control the test

procedure (e.g. in

C#)

Ausgangs-Situation

Die Systeme

Udo Oligschläger



Test

Automation Framework

Anregung des Prüflings und seiner Umgebung

Beobachtung des Prüflings und seiner Umgebung

Test-Adapter

Zugekaufte

Software

Inhouse

entwickelt

System under test (SUT)

Input from user

Initial configuration

Output to

user

Modified configuration

Channel

Channel

Event

Event

Function call

TimeTrigger

Log files


Ausgangs-Situation

Arbeitsweise und Prozess

Die TestCases wurden bisher von Hand in Excel-Tabellen beschrieben

– meist grobe Beschreibungen

– großer Interpretationsspielraum für den Ausführenden

Ein Teil der TestCases wird mittels manuell erstellter C#-Skripte unter Verwendung einer Spezial-Bibliothek automatisiert durchgeführt.

– strikte Trennung zwischen Adapter-Code und Code für die Logik des TestCases fehlt

– TestCases und andere Struktur-Elemente nicht immer standardisiert

Die Auswertung erfolgt über eine „manuelle“ Durchsicht der Log-Files

– Hoher Aufwand

Neben den planmäßigen Tests werden oft adhoc-Tests als Folge von Fehlermeldungen aus dem produktiven Einsatz erforderlich, um genau diesen Fehler während der Bearbeitung zu reproduzieren bzw. nachher dessen Abwesenheit sicherzustellen

21

Udo Oligschläger




Spezifikation der Testfälle

Spezifikation der Test- Sequenz

Spezifikation des Test- Orakels

Spezifikation der Inspektion

Spezifikation der Test-

Daten

Implementierung d. automatischen

Ausführung

Konfiguration des Prüflings

Implementierung der Testumgebung

Impl. der notwendigen

Adapter

Ausführungs-Ebene

Test-Spezifikations-Ebene

Planungs-Ebene

Spezifikation des Prüflings-

verhaltens

Spezifikation der Test-

Umgebung

Spezifikation der Testziele

Editor zur manuellen Erstellung

Editor zur manuellen Erstellung

Transformator/ Generator

Ziele

Überblick (1. Schritt )

Aspekte

Geführtes Spezifizieren

Formale Spezifikation

Durchgängige Kette

Verschiedene Testziele

sollen unterstützbar sein

Konfigurierbarkeit der

Prüflinge muss später

ergänzt werden können

Manuell und automatisch

generierte Testfälle sollen

gemeinsam abgearbeitet

werden können

Modell Modell

Modell-basierter Editor

zur Erstellung

Modell

Udo Oligschläger




Ziele

Framework, Editoren und Generatoren

23

MB-Editoren für Prüfling und TestCases

Geführtes Spezifizieren

„Natürliche“ Granularität der

Spezifikations-Schritte für die TestCases, d.h.

nah an der manuellen Durchführung

Personen ohne Implementierungs-Kenntnisse bzgl. des Prüflings sollen in der Lage sein Tests zu spezifizieren

MB-Testing-Framework

Offene, modell-basierte Grundlage

Anbindung von TestCase-Generatoren muß später möglich sein

Einbindung in den etablierten ContinousIntegration-Prozess

MB-Generator für Test-Ablauf

Generieren von direkt ausführbaren TestCases

Generieren der benötigten Checker, Orakel und Komparatoren

Personen ohne Programmier-Kenntnisse sollten in der Lage sein ausführbare Tests zu erzeugen

Udo Oligschläger



MB-Generator für die Testumgebung

Generieren des Adapter-Codes für

Stimulationen und Inspektionen

Erzeugen der Konfigurationen für den Prüfling und die Umgebungssimulatoren


Agenda/Content

Vorstellung FEV

– Die FEV Gruppe





Lösungsansatz

– Überblick

– Erläuterungen


– Aktueller Stand


Udo Oligschläger




Lösungsansatz

Grobe Struktur

Fragen

„Was muss ich festlegen um den Test ausführen zu können?“

– Organisation des Tests

– Reaktion im Fehlerfall

– Zeitverhalten

– Abstraktheitsgrad

25

Trennung in

Test-bezogene

Aspekte

Prüflings-bezogene

Aspekte

Udo Oligschläger



„Was muss ich vom Prüfling wissen, wenn ich einen Test

aufsetze?“

– Welche Eingangsparameter können wann und unter

welchen Randbedingungen variiert werden?

– Wie kann ich den Prüfling inspizieren, d.h. welche

Ausgangsgrößen und beobachtbaren Zustandsgrößen

gibt es?


Lösungsansatz

Beschreibung der Test-Aspekte in einem Modell

Stimulation

Einwirkung auf Eingangsgrößen des Prüflings

Kann ein einzelner Step oder eine Sequenz sein

Orakel

Spezifikation der erwarteten Reaktion des Prüflings nach einer Stimulation

Inspektion

Ermittlung des Prüflingszustands

– Ausgangsgrößen

– Interne Statusinfos

Bewertung

Logischer Vergleich von Orakel und Inspektionsergebnis

26

Test-Suite

Test-Specification

Test-Sequence

Test-Case

Test-Step

Stimulation

Orakel Inspektion

Bewertung

System-

Anforderungen

& Spezifikation

Werden

abgeleitet

aus

Konkreter Interaktion

Abstrakte Interaktion

Typen

Udo Oligschläger



Organisation

PreCondition

PostCondition


System under test

Input from user

Initial configuration

Output to

user

Modified configuration

Channel

Channel

Event

Event

Function call

Log files

Lösungsansatz

Schnittstellen am Beispiel des TxM-Moduls “LimitChecker”

Eingänge

Kanal:

– ChannelToBeChecked

Funktionsaufruf

– ActivateLimit

– DeactivateLimit

Ausgänge

Kanal:

– StateChannel

Event:

– StartOfViolation

– StopOfViolation

Interne Systemzustände

StateOfActivation (beobachtbar)

NotViolated (beobachtbar)

PreViolated

Violated (beobachtbar) Udo Oligschläger



Echtzeit-Schnittstellen

Standard-Schnittstellen


Lösungsansatz

Einsatz von DomainSpecificLanguages (DSLs)

Direkte Bestandteile

Einfacher Editor mit Basis-

ContentAssist und Basis-

Validierung wird automatisch

erstellt

Zur Spezialisierung stehen

einfache Mechanismen zur

Verfügung

Unterstützende Komponenten

Sprachen für die einfache

Erstellung von Generatoren

(Model to Text)

Sprachen zur einfachen

Erstellung von Transformatoren

(Model to Model)

28

Support to build

generators

Support to build

transformators

DSL

Validation

Editor

Scoping

Formatting ContentAssist

Outlining

Udo Oligschläger




Lösungsansatz

Aufteilung in mehrere DSLs

29

GenericTestSystem

GenericSystem

Domain,

of which SUT

is a part

SpecificSystem

SpecificTestSystem

Categories

•Input

•Output

•Component

Basic elements

Step types

Definitions

Organizational elements

Operational elements

•Attributes

•Relations

Concepts

•Properties

•Roles

•Constraints

•Relations

Description Elements

•Attributes

•Constraints

•Relations

Models to set up the

testing framework

Models to specify SUT

and environment

Model to set up the

particular test

Udo Oligschläger




Lösungsansatz

Ansatz II: Verlinkte DSLs

Einfache Pflege

Kopplung durch Referenzen

erzeugt umgehend Warnungen

im allen Editoren, sobald

Änderungen an der Basis eine

Überarbeitung der System-

oder Test-Modelle erforderlich

machen

31

GenericTestSystem

GenericSystem

Domain

SpecificSystem

SpecificTestSystem

refers to

as SUT

refers to

refers to refers to

refers to

n

ModelBasedFramework

Udo Oligschläger



Models to set up the

testing framework

Models to specify SUT

and environment

Model to set up the

particular test

1

1 1

n

refers to

as ENV

n


Erzeugung der Adapter

Für jede mögliche Interaktion

wird eine Klasse mit Methoden

generiert, die jeweils eine

Coding Area enthalten

Erläuterungen

Erzeugung des Adapter-Codes

32

Udo Oligschläger




Erläuterungen

„Guided Test Case Specification“ am Beispiel “LimitChecker”

33

Spezifikation

Angebot der möglichen

Interaktionen mit dem

Prüfling oder der

Umgebung für die

Spezifikation des Test-

Ablaufs

Udo Oligschläger




Erläuterungen


34

Spezifikation


Targets für die Stimulation

Udo Oligschläger




Erläuterungen


35

Spezifikation


Operation auf dem

ausgewählten Element des

Prüflings oder der

Umgebung

Udo Oligschläger




Agenda/Content

Vorstellung FEV

– Die FEV Gruppe





Lösungsansatz

– Überblick

– Erläuterungen


– Aktueller Stand


Udo Oligschläger




Aktueller Stand

Was wurde bisher erreicht?

Generieren und Builden der ausführbaren TestSuite

Input

– Beschreibung der Schnittstellen und Konfigurations-möglichkeiten des Prüflings

– Darauf basierend: Spezifikation des Testablaufs

Output

– Adapter, bis auf minimale „Coding Area“

– Test-Umgebung, vollständig

– Testablaufsteuerung, vollständig

37

Udo Oligschläger




Aktueller Stand

Erstes Feedback der Anwender (Tester)

Aufwand zur Erstellung der

Modelle

Beschreibung der

– Schnittstellen

– Konfigurationsmöglichkeiten

– Verhalten

Aufwand zur Implementierung u.

Pflege der Prüflingsadapter

Aufwand zur Spezifikation u.

Pflege der TestCases

Aufwand zur Bereitstellung der

Test-Umgebung

38

Wurde anfangs unterschätzt;

hängt natürlich stark davon ab, welche

weiteren Schritte auf dem Modell

basieren sollen

Skaliert direkt mit der Anzahl der

benötigten TestCases und der Komplexität

(Anzahl der TestSteps)

Fällt einmalig pro Prüfling an;

Standardisierter Aufbau wird positiv

gesehen

Udo Oligschläger





Nächste Schritte

Automatisierte Auswertung

Testen hinsichtlich anderer

Aspekte, z.B.

– Robustheit

– Einhaltung von Echtzeit-

Bedingungen

Ergänzung einer optionalen

graphischen Syntax

39

Zusammenfassung

Tester können sich auf die inhaltlichen

Themen konzentrieren statt sich mit

Implementierungsdetails der Testumgebung zu

beschäftigen

Die Standardisierung verhilft zu einer

einfacheren Interpretation der Testergebnisse

Testfälle können nun auf Basis einer

vorliegenden Schnittstellenbeschreibung zügig

definiert und zur automatisierten Ausführung

gebracht werden

Das wertvolle Wissen aus der bisherigen,

manuellen Erstellung der Prüflings-Adapter

fließt direkt in die entsprechenden Coding-

Areas der generierten Adapter ein

Udo Oligschläger



Unterstützung der Verifikation von Mess- und ...12)T… · demand or situation, the standard...

Documents

Transcript of Unterstützung der Verifikation von Mess- und ...12)T… · demand or situation, the standard...