Download - Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

Transcript
Page 1: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

130

Page 2: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

Ganzheitliche Optimierung der Produktivität

von Antriebsstrangentwicklung und –test bei Jaguar Land Rover

Holistic Powertrain Development & Test Productivity Optimisation

at Jaguar Land Rover

J. Houldcroft, T. Beattie, A. Neil, S. Ducker, J. BristowJaguar Land Rover, Whitley, United Kingdom

R. Osborne, A. Ciriello, M. WilkinsAVL UK Ltd.

A. Balcombe, A. NeyAVL Deutschland GmbH

W. GraupnerAVL List GmbH, Graz, Austria

131

Page 3: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

1 EinleitungÜber die vergangenen 4 Jahre ist das Verkaufsvolumen von JLR umüber 90% gewachsen, mit entsprechend signifikanter Einnahmestei-gerung – modellspezifische Daten der Geschäftsjahre 2012 und 2013sind in Abbildung 1 zu sehen. Dieser Erfolg ist auf ein äußerst attrak-tives Produktportfolio basierend auf der neuen Aluminium-Leicht-bauplattform sowie bereits existierendenPlattformen zurückzuführen (Abbildung 2).Als Antwort auf Druck durch Wettbewerbund Gesetzgeber optimiert JLR seinePlattformstrategie und reduziert die Fahr-zeugmassen, um Downsizing der Motorenund Möglichkeiten der Hybridisierung zunutzen. Bezogen auf den Antriebsstrangbeinhaltet das die Eigenentwicklung undEigenproduktion einer neuen Motoren-familie. Das neue UK Engine ManufacturingCentre, mit einem Investitionsvolumen vonmehr als £500m, wird noch in diesem Jahreröffnet, die ersten Motoren werden in2015 das Band verlassen. Dies wird diePläne zur Geschäftsentwicklung des Unter-nehmens unterstützen (Abbildung 3).

Direkte Folge ist ein stetig steigender Pro-duktentwicklungsaufwand zur Bereitstel-lung einer steigenden Anzahl marktspezifi-scher Derivate und der damit einhergehen-den zusätzlichen Entwicklungskomplexität.Die Herausforderung für die Pro-duktentwicklung bei JLR bestehtnun darin, diese gestiegene Ar-beitsbelastung ohne gleichsamgestiegene Ressourcen zu bewälti-gen. Als Konsequenz müssen so-wohl Entwicklung als auch Prüf-feld wesentliche Veränderun-genin der operativen Effizienz vorneh-men. JLR und AVL haben sich die-sen Themas allumfassend ange-nommen und in einer Reihe ge-meinsamer Projekte erfolgreichVerbesserungspotenziale identifi-ziert.

Dieser Beitrag repräsentiert einen generischen Rahmen für Versuchs-und Entwicklungseffizienz, zweiunterschiedlichen Methoden fol-gend, namentlich der Ansatz dervier Hebel und der Systemopti-mierungs-Ansatz. Der Ansatz dervier Hebel ermöglicht Verbes-serungen der Versuchseffizienzdurch Konzentrieren auf vier abge-grenzte Bereiche von Maßnah-men. Der Systemoptimierungs-Ansatz baut auf den vier Hebelnauf und zielt auf eine optimaleBalance zwischen den Anfor-derungen der Entwicklung undden Möglichkeiten des Prüffelds.Es werden konkrete Beispiele rele-

1 IntroductionOver the last 4 years JLR sales volumes have increased by over 90%with significant corresponding revenue growth – specific model datacomparing 12FY and 13FY sales is shown in Figure 1. A combinationof new, highly desirable vehicles launched on both new, lightweightaluminium and existing platforms has under-pinned this success (see

Figure 2). In response to competitive andlegislative pressures JLR is optimising itsplatform strategy and reducing vehicleweight to exploit engine downsizing andhybridisation opportunities. From aPowertrain perspective this includes thedevelopment of a new family of in-housedesigned and manufactured engines. Thenew UK Engine Manufacturing Centre forthese engines, an investment of more than£500m, will open later this year with thefirst engines coming off the production linein 2015. This will support the global salesexpansion plans for the company (seeFigure 3).

As a direct result, product developmentworkload is continually increasing to pro-vide increased market specific derivativeswith the associated additional calibrationcomplexity. The challenge facing JLR pro-duct development is to deliver the increasein workload without a proportional in-

crease in necessary resource.Consequently the engineering andtest organisations need to intro-duce significant changes to opera-tional efficiency. JLR and AVL haveexamined this topic in a holisticmanner and have successfullyidentified areas for improvementduring a series of joint projects.

This paper presents a generic framework of testing and develop-ment efficiency covering twodistinct methods, namely the fourlever approach and the systemoptimisation approach. The fourlever approach facilitates improve-ment in testing efficiency by con-centrating on four separate areasfor action. The system optimisa-tion approach builds on the fourlever approach by aiming to pro-vide an optimum balance betweenengineering requirements andtesting delivery. Specific examplesof relevant project work under-taken by JLR and AVL are pre-sented before the main con-clusions are drawn.

132

Abbildung 1:Land Rover Umsatzvolumen 2012/2013 nach Modell

Figure 1:Land Rover Retail Volumes 2012/2013 by Model

Abbildung 2:JLR - Investition in neue Einrichtungen und Produkttechnologie

Figure 2:JLR - Investing in New Facilities and Product Technology

Abbildung 3:Starker Wachstum von JLR in allen globalen Märkten

Figure 3:Strong Growth of JLR in All Global Markets

Page 4: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

vanter Projektarbeit, durchgeführtvon JLR und AVL, gezeigt, bevordie wesentlichen Schlussfolgerun-gen gezogen werden.

2 Konzepte für Produktivität in Entwicklung und Test

Um sowohl die Produktentwick-lung als auch das Prüffeld produk-tiver zu machen, haben JLR undAVL zunächst gemeinsam bereitsbekannte Konzepte auf ihre An-wendbarkeit hin untersucht, mitdem Ziel, die Bereiche mit derhöchsten Rentabilität zu identifi-zieren. Dieses Kapitel beschreibtdiese Konzepte als Basis für dieImplementierung.

Bevor die Ansätze der vier Hebel und der Systemoptimierung im Detail erläutert werden, eine Zusam-menfassung der Hauptmerkmale in Abbildung 4.

2.1 Anwendung des Vier-Hebel-Ansatzes

Um die Produktivität innerhalb des Prüffelds und der Entwicklung zusteigern, wurden Key Performance Indikatoren (KPIs) definiert undunter Nutzung eines analytischen Konzepts einem gewünschtenErgebnis zugeordnet. Der Vier-Hebel-Ansatz [1] ist eine bewährteMethode zur Abgrenzung unabhängiger Einflüsse auf das Endresul-tat, basierend auf Entwicklungs- und Versuchsaktivitäten. Nachfol-gend wird kurz die Gleichung beschrieben, welche die Basis für die-sen Ansatz ist, gefolgt von einem kurzen Absatz über Beobachtungenbezüglich der genannten KPIs (Abbildung 5).

2.1.1 Testing Equation und zugehörige Key Performance Indikatoren

Zur Erklärung werden die vier Faktoren der Testing Equation einzelnerklärt – von links nach rechts gemäß Abbildung 5.

• Der erste Hebel, die Auslastung,ist das klassische Maß eines Prüffelds: „Laufzeit / Zeit“. Mit anderen Worten, wie viele der 168 Stunden pro Woche waren wir in der Lage, Daten zu sam-meln?

• Der zweite Hebel, Datenqualität,erfasst den Einfluss von Daten,die nicht für den vorgesehenen Zweck geeignet sind. Der zuge-hörige KPI wird in Form des Verhältnisses „Brauchbare Da-ten / Gesamte Daten“ ausge-drückt. Jeder Messpunkt, der als fehlerhaft gilt und bereits wäh-rend des Versuchs oder danachverworfen wird, wird von der Summe aller Daten abgezogen.

2 Concepts for Productivity in Development and Test

In order to jointly explore optionsto make product development andtest more productive, JLR and AVLfirst reviewed proven concepts forapplicability in order to select theareas with the highest return oninvestment. This section describesthose concepts as a foundation forimplementation.

Before going into detail, the key features of both the four lever and

the system optimisation approaches are summarised in Figure 4.

2.1 Using the Four Lever Approach

In order to improve productivity in test and development key perfor-mance indicators (KPIs) were defined and related to the desired out-put using an analytical concept. The four lever approach [1] is aproven way to separate independent influences on the overall result,based on product test and development activity. The following sec-tion briefly describes the equation that is the foundation of thisapproach prior to a brief section on real world observations withrespect to the designated KPIs (see figure 5).

2.1.1 Testing Equation and Related Key Performance Indicators

For explanatory purposes, the four expressions that make up thetesting equation will be discussed individually - in order from left to

right in Figure 5.

• The first lever, utilisation is theclassic test facility metric:"Runtime / Time”. In otherwords, how many of the 168hours every week are we able to use for engine testing?

• The second lever, data quality,captures the influence of datathat is not fit for the intendedpurpose. The associated KPI isexpressed in the form of theratio "Good Data / Total Data”. Any measured data point that is deemed defective and is discarded either during orafter the test is deducted fromthe total data count. The remai-ning data is designated good

133

Abbildung 4:4-Hebel Ansatz & Gesamtsystemoptimierung - Zusammenfassung

Figure 4:Four-Lever Approach vs. Total System Optimisation - a Summary

Abbildung 5:Die 4 Hebel Testing Equation & Key Performance Indikatoren (KPIs)

Figure 5:The Four Lever Testing Equation & Key Performance Indicators (KPIs)

Page 5: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

JLR und AVL haben gemeinsam zu Untersuchung der Auswirkungen der Datenqualität veröffentlicht [2].

• Hebel 3 erfasst die Datenerfassungsrate. „Gesamte Daten /Laufzeit“ kann als KPI für die Versuchsmethodik angesehen wer-den. Das Ziel ist die Reduzierung der Messzyklenzeit ohne gegen-teiligen Effekt auf die Datenqualität. Dies kann die Optimierungvon Stabilisierung, Messzeiten und Messgerätesteuerung umfas-sen.

• Der vierte und letzte Hebel rechts in Abbildung 5 ist die Entwick-lungsmethodik, wobei der Faktor „Ergebnis / Brauchbare Daten” den zugehörigen KPI bildet. Dieser KPI bewertet den Entwicklungsansatz, der zur Erfüllung einer Entwicklungsaufgabeherangezogen wird. Je weniger Daten zum Erreichen eines Zielsvon definierter Güte benötigt werden, desto produktiver derkombinierte Entwicklungs- und Versuchsprozess, und umgekehrt.Das Ziel der Entwicklung ist, das Entwicklungsziel mit minimalerAnzahl von Messdaten zu erreichen.

• „Ergebnisse / Zeit” das Produkt der vier KPIs und ist ein gesamt-heitliches Maß für die Entwicklungseffektivität. Es gibt an, wieviele Entwicklungsziele innerhalb einer gewissen Zeitspanneerreicht werden konnten – das hier verwendete Beispiel ist Kali-brierresultate pro Stunde. Dies könnten jedoch auch Komponen-tenevaluierungen pro Monat oder Zertifizierungen pro Tag sein.

2.1.2 Beobachtungen in der Praxis und Lösungsstrategien

JLR und AVL haben einige Erfahrungen im Arbeiten mit dem Ansatzder vier Hebel wie in Abschnitt 2.1.1 vorgestellt. Häufig wird diePerformance der Produktentwicklung, vor allem im Versuch, mitFokus auf Auslastung bewertet, unter Vernachlässigung der drei wei-teren Hebel. Um den möglichen Nachteil zu quantifizieren, hat AVL ineiner Vielzahl von Effizienzstudien Daten gesammelt. Das Ergebnis istin Abbildung 5 zu finden, in der Low-,Average- und Top-Performer fürjede Kategorie ermittelt wurden. Die zugehörigen Werte finden sie anden jeweiligen Säulen in Abbildung 5, z.B. 9%, 20% und 48% beiUtilisation. Zusätzlich haben wir den Faktor zwischen Top- und Low-Performer ermittelt, was zu folgendem Bild führt (vgl. orange hinter-legte Werte in Abbildung 5):

• Utilisation: Faktor 5.3 zwischen Low- and Top-Performer

• Quality: Faktor 1.4 zwischen Low- and Top-Performer

• Gathering Rate: Faktor 5.0 zwischen Low- and Top-Performer

• Methodology: Faktor 2.5 zwischen Low- and Top-Performer

Da sich diese Einflüsse zum Gesamtergebnis multiplizieren, beobach-tet man einen Hebel bei Utilisation von 5.3, während die übrigen dreiHebel gemeinsam einen Hebel von 1.4 x 5.0 x 2.5 ~17 haben.Demzufolge vernachlässigt man bei alleinigem Fokus auf Utilisationeine um das mehr als dreifach höhere Hebelwirkung (5.3 gegenüber17). Die entsprechende Schlussfolgerung ist, alle 4 Hebel zu nutzenund die verbessernden Maßnahmen auf Basis ihres Return-on-Investments zu priorisieren.

In [3] wird die Auswahl von Zielen für die Auslastung diskutiert.Abbildung 6, von [3] adaptiert, zeigt den typischen Zusammenhangzwischen Wartezeit und Auslastung in der Produktentwicklung. ImFalle des Motorenversuchs,kann Wartezeit mit der Zeit gleichgesetztwerden, in der Motoren in einer Pufferzone auf einen verfügbarenPrüfstand warten. Da eine höhere Auslastung benötigt wird, folgt dieNotwendigkeit für mehr verfügbare Motoren in der Pufferzone, waszu längeren Wartezeiten führt. Mit anderen Worten, das Streben nach

data. JLR and AVL have jointly published an exploration of impli-cations of data quality in [2].

• Lever 3 captures data gathering rate. "Total Data / Runtime” canbe viewed as a KPI for the testing methodology. The objective is toreduce measurement cycle times without adversely affecting dataquality. This can involve optimisation of stabilisation, measurement times and measurement device sequencing.

• The fourth and final lever at the right of Figure 5 is developmentmethodology whilst the expression "Result / Good Data” is theassociated KPI. This KPI measures the engineering approach usedto deliver the development task. The less data that is required fora result of given quality, the higher the productivity of the combi-ned engineering and test process and vice versa. The goal for en-gineering is to deliver the required product development resultwith the minimum amount of test data.

• "Results / Time” is the product of the four KPIs and is an overallmetric of testing effectiveness. This indicates how many enginee-ring results are delivered during a given time – the example usedhere is calibrations per hour. This could also mean number of com-ponent evaluations per month or certification tests per day etc.

2.1.2 Real World Observations and Solution Strategies

JLR and AVL have extensive experience working with the four leverapproach presented in section 2.1.1. Often product development per-formance metrics, particularly in test, focus on measuring utilisationand neglect the other 3 levers. In order to quantify the potentialpenalty of this singular focus on utilisation, AVL has gathered datafrom multiple efficiency projects. The results are shown in Figure 5where low, average and top performers are indicated for each of the4 levers. The numbers are shown above the columns in Figure 5 e.g.9, 20 and 48% utilisation. In addition the range between high andlow performers was examined. This yields the following picture (seeboxed numbers in Figure 5):

• Utilisation: factor of 5.3 between high and low performer

• Quality: factor of 1.4 between high and low performer

• Gathering Rate: factor of 5.0 between high and low performer

• Methodology: factor of 2.5 between high and low performer

As these combined KPIs multiply to provide the overall measure ofeffectiveness, an observation is that utilisation has a value of 5.3,while the combined influence of the other 3 elements is 1.4 x 5.0 x2.5 ~17. Hence by focusing on the utilisation lever exclusively, largepotential gains from the other areas are neglected. The remaining 3KPIs in combination represent more than three times higher test fieldeffectiveness (5.3 versus 17). A conclusion from this result is toexploit all 4 levers concurrently and to use return on investment con-siderations to prioritise any subsequent improvement actions.

A discussion on target selection for utilisation is given in [3]. Figure6 which has been adapted from [3] shows the typical relationshipbetween waiting time and utilisation for a product development faci-lity. In the case of engine testing, waiting time can be defined as theamount of time engines are stored in a buffer area waiting for a testroom to be available. As higher utilisation is required, it follows thatmore available engines are needed in the waiting area, leading tohigher waiting times. In other words targeting too high utilisation

134

Page 6: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

einer zu hohen Auslastung (80% undmehr) kann zu erheblichen Verzö-gerungen und Kosten durch Wartezeitführen.

Abbildung 7 (ebenfalls von [3] adap-tiert) zeigt den typischen Zusammen-hang zwischen Losgröße und Kosten.Die Extremfälle sind recht eindeutig –für sehr kleine Versuchseinheiten sinddie Rüstkosten unerschwinglich, daVorbereitung und Nacharbeiten weit-estgehend unabhängig vom Versuchs-umfang sind. Die Lagerkosten bleibenverhältnismäßig klein, da die durch-schnittliche Wartezeit eines Versuchsnur sehr kurz. Für größere Einheiten,die häufig aus über der Zeit angesam-melten kleineren Tests bestehen, sinddie Lagerkosten deutlich gesteigert,und der Zusammenhang umgekehrt.Offensichtlich gibt es ein Minimumzwischen diesen beiden Extremen, dasden größten wirtschaftlichen Nutzenbringt.

Die Auswirkungen auf den Motoren-versuch sind im Wesentlichen, Aufga-ben in angemessen große Abschnittezu unterteilen um die Kosten zu mini-mieren.

Zur Unterstützung der Auswahl geeig-neter Maßnahmen für alle vier Hebel,wurde eine Entscheidungsmatrix ent-wickelt. Verbesserungsmaßnahmenwerden in 5 Kategorien eingeteilt:

1. Standardisation / Standardisierung

2. Tools & Instrumentation / Werkzeuge und Messtechnik

3. Development Methodology / Entwicklungsmethodik

4. Process / Prozesse

5. Organisation

Einige Maßnahmen und deren Effekte auf die KPIsfinden sich in Abbildung8.

JLR und AVL haben nen-nenswerte Erfahrung imAuswählen geeigneterVerbesserungsmaßnah-men. Derzeit erneuert JLRsein Prüffeld und rüstet es

(80% plus) can cause considerabledelays and cost due to waiting time

Figure 7 (also adapted from [3]) chartsthe typical relationship between batchsize and cost. The extreme cases arequite clear – for very small batches oftesting the transaction cost becomesprohibitive as preparation and post-test are predominantly independent ofthe task content. The holding (orinventory) cost will remain small asaverage waiting time for an individualtest is low. For large test batches,which are often made up of smallertests accumulated over time, the hol-ding cost is clearly increased and thesituation is reversed. Clearly there is aminimum between these two extremesthat delivers the highest economicbenefit.

The key implication for engine testing is that tasks should be split into appro-priately sized portions to minimisecost.

Through previous application support on projects, AVL has determined that avariety of improvement actions canaddress some or all of the KPIs; theseactions are classified using 5 differentcategories:

1. Standardisation

2. Tools & instrumentation

3. Development/Engineering methodology

4. Process

5. Organisation

Examples of improvementactions on the individualKPIs are summarised inFigure 8.

JLR and AVL have con-siderable experience inselecting the appropriateimprovement actions. JLRis currently in a facilityupgrade and renewalphase. Upgrade actionswere selected to act on allfour levers.

135

Abbildung 6:Hohe Auslastung führt zu Verszögerungen

Figure 6:High Utilisation Leads to Delays

Abbildung 7:Ideale Losgröße in der Produktentwicklung

Figure 7:Ideal Batch Sizes in Product Development

Abbildung 8:Beispiele für Verbesserungsmaßnahmen mit Einfluss auf KPIs

Figure 8:Selected Examples of Improvement Actions that Influence KPIs

Page 7: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

2.2 Beyond the 4 Lever Approach – A Holistic System Optimisation

The 4 lever approach is a powerful framework for improvement buthas a "blind spot” – it assumes seamless collaboration throughoutthe development process. Similarities can be drawn to a typical pro-duction facility where value is added by known, quantifiable and sim-ple operations. Engine development is often different to this ideal i.e.a development engine can present unpredictable outcomes andbehaviours during the design, testing and verification steps towardsfinal production. The upshot of this is that it can be extremely diffi-cult to define upfront, the resources and detailed processes necessa-ry to deliver an engine development program.

An example of this taken from the engine calibration world is de-scribed in [2]. The concept of a circular workflow is discussed in atypical diesel calibration task involving the statistical modelling ofkey engine responses to varying calibration parameters. In this typeof process a test plan is defined to a formal design of experiment(DOE). This test plan is then often executed on the engine test bedunder automatic operation. After the test completion the results arethen post processed and the appropriate models constructed. A com-mon outcome is that the models do not meet the standards neces-sary to support the downstream calibration requirements. Twoexamples of this are an instrumentation fault causing inaccurate testdata or inappropriate choice of DOE. Irrespective of the cause, thetest may need to be revised and the test repeated. The elements ofthis circular workflow are shown in Figure 9. The unquantifiablenature of the task commonly burdens the test facility with pre-viously unscheduled work and provides problems for program sche-

duling and delivery. This is further exacerbated bythe ever increasing ECU parameter count and num-ber of engine actuators forcing ever larger testplans.

Although this example is confined to a specific areaof engine calibration, parallels can be drawn toother engine development tasks that prove difficultto quantify the effort necessary for guaranteeddelivery.

Joint work between JLR and AVL has proved thevalue in following the process defined in Figure 10.

The numbered steps shown are explained in order:

1. Understand and quantify thedevelopment requirement. Theaim is to relate engineering pro-cess demands to testing accu-racy and productivity targets.Closely following a design forsix sigma approach, tests aredesigned to quantify the capa-bility of the system and its tole-rance to noise and control deviations.

2. The test bed and engine systemis then subjected to a stress testdesigned to highlight any issuesdue to equipment failure andoperation to specification. In

136

auf. Verbesserungsmaßnahmen wurden auf Basis aller vier Hebelgewählt.

2.2 Ergänzend zum 4 Hebel Ansatz – Eine ganzheitlich Systemoptimierung

Der Ansatz der vier Hebel stellt ein mächtiges Werkzeug zur Verbes-serung dar, hat jedoch eine Schwachstelle – die Annahme perfekterZusammenarbeit über den gesamten Entwicklungsprozess. Es beste-hen gewisse Ähnlichkeiten zu einer klassischen Produktionsanlage,wo Wertschöpfung durch bekannte, quantifizierbare und in vielenFällen einfache Operationen betrieben wird. Motorenentwicklungweicht jedoch häufig von diesem Ideal ab, so kann beispielsweise einEntwicklungsmotor während der Konstruktion, des Versuchs und derVerifikation unvorhergesehenes Verhalten zeigen. Die Folge dessenist, dass es im Vorfeld äußerst schwierig sein kann, die exaktenResources und nötigen Arbeitsabläufe zu definieren, welche zumAbschluss eines Motorenentwicklungsprogramms erforderlich seinwerden.

Ein Beispiel hierzu aus der Welt der Motorenentwicklung ist in [2]beschrieben. Das Konzept eines kreisförmigen Arbeitsablaufs wirdvor dem Hintergrund eines Dieselentwicklungsprogramms auf Basismodellbasierte Kalibrierung beschrieben. In dieser Art von Prozesswird ein Prüflauf unter Zuhilfenahme statistischer Versuchsplanung(DOE) definiert, welcher dann am Prüfstand zumeist automatisiertdurchgeführt wird. Nach Abschluss werden die Messdaten verarbei-tet und geeignete Modelle gebildet. An diesem Punkt wird nicht sel-ten festgestellt, dass die Modellgüte nicht ausreicht, um auf derenBasis die Entwicklung weiterzuführen. Zwei Beispiele aus der Vielzahlvon Gründen sind unzureichend gute Messdaten als Folge eines feh-lerhaften Messgeräts oder die Wahl eines ungeeigneten Versuchs-plans. Was auch immer die Ursache, der Versuchmuss überarbeitet und wiederholt werden. Diewesentlichen Schritte dieses Prozesses sind inAbbildung 9 zu sehen. Diese Unvorhersehbarkeitbelastet das Prüffeld mit nicht eingeplanten Um-fängen und führt zu Verzögerungen im Projektfort-schritt. Dies wird durch die stetig steigende Zahlvon Steuergeräteparametern und Aktuatoren nochweiter verschärft und erfordert immer umfangrei-chere Versuchspläne.

Obwohl dieses Beispiel auf einen bestimmten Be-reich der Motorkalibrierung beschränkt ist, könnenParallelen zu anderen Entwicklungsaufgaben, de-ren Umfang zuverlässig nur sehr schwierig zu be-nennen ist, gezogen werden.

Eine Zusammenarbeit von JLR und AVL hat den Wert des in Abbildung10 beschriebenen Verfahrens auf-gezeigt

1. Verstehe und Quantifiziere die Entwicklungsanforderung. Ziel ist, die Anforderungen des Ent-wicklungsprozesses mit der Ge-nauigkeit des Versuchs und den Produktivitätszielen ins Ver-hältnis zu setzen. In enger An-lehnung an den Design for Six Sigma Ansatz werden Tests durchgeführt, die der Ermittlung

Abbildung 9:Kreisförmiger Arbeitsablauf

Figure 9:Circular Workflow

Abbildung 10:Flussdiagramm der Gesamtsystemoptimierung

Figure 10:Flowchart for a Complete System Optimisation

Page 8: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

137

der Leistungsfähigkeit, des Signalrauschens und etwaiger Regel-abweichungen dienen.

2. Der Prüfstand und der Motor werden anschließend einem Stress-test unterzogen, um Probleme mit der Messtechnik zu erkennenund spezifizierte Grundfunktionen zu überprüfen. Ein weiteres Zieldieses Stresstests ist die Ermittlung der Referenzproduktivität desSystems. Typischerweise werden während der Schritte 1 und 2 dieKPIs für die Prüfstandsdaten und die Versuchseffizienz beobachtetund geeignete Verbesserungsmaßnahmen getroffen.

3. Die Eignungstests, wie in Schritt 1 spezifiziert, werden durchge-führt.

4. Die Daten des Eignungstests werden analysiert und die Mess-datenqualität sowie die Produktivität mit den in Schritt 1 gesetz-ten Zielen verglichen.

5. Erfüllen die Daten die Anforderungen, werden alle während derSchritte zwei und drei realisierten Verbesserungen zur weiterenVerwendung erfasst (Schritt 6a). Sollten die Daten die Anforderun-gen jedoch nicht erfüllen, sind zwei Vorgehensweisen vorgesehen(Schritt 6b). Die eine ist, den Versuchsablauf und/oder die verwen-dete Hardware zu verbessern (Schritt 7a), die zweite ist, den Ent-wicklungsprozess an die vorhandene Datenqualität anzupassen(Schritt 7b). Die zweite Option ist natürlich die einzig verfügbare,sollte die Anforderung an die Messdatenqualität nicht zu realisie-ren sein. Die Wahl der Vorgehensweise ist in aller Regel von derNotwendigkeit beeinflusst, Investitionen in das Prüffeld gegen Ver-zögerungen im Projektfortschritt und damit einhergehende Kostenabzuwiegen.

Soweit den Autoren bekannt, ist das Konzept des Abwägens vonEntwicklungsanforderungen gegen Investitionskosten auf Prüffeld-seite einzigartig.

3 Umsetzung der Vier-Hebel-Strategie

3.1 Sicherer automatisierter Betrieb eines Ottomotors

Effizienzprojekte konzentrieren sich häufig primär auf die Verbes-serung einer bestimmten Entwicklungsaufgabe. In diesen Fällen hebteine systematische Analyse der existierenden Systeme und Prozesseauf Basis mehrerer Hebel häufig Verbesserungspotenziale hervor. AufGrund des multiplikativen Charakters der interagierenden Faktoren,sind es zumeist diese Projekte, die diegrößten Verbesserungen bringen. Ab-bildung 11 ist eine Zusammenfassungder Projektziele und -workflows.

3.2 Verbesserung der Auslastung – Nutzung des Hebels 1

Abbildung 12 zeigt die durchschnitt-liche Auslastung über die Dauer desMotorcharakterisierungsprojekts. Dieswar eine erhebliche Verbesserung ge-genüber den 39% bisherige Aus-lastung. Es wird hierbei verdeutlicht,wie ein scheinbar unabhängiger Hebelwie Entwicklungsmethodik, einenanderen z.B. Auslastung beeinflussenkann. Die Verbesserung war eine direk-

addition the stress test is to determine the productivity benchmarkfor the system. Typically, during steps 1 and 2 the test room dataand testing efficiency KPIs are monitored and appropriate im-provement actions implemented.

3. The capability tests specified in step 1 are executed.

4. Data from the capability test is analysed and measurement quality and productivity is quantified and assessed versus the targets set in step 1.

5. If the data meets the requirement then any improvements made during steps two and three are recorded for future use (step 6a).In the event of the test data not meeting requirement then twocourses of action are considered (step 6b). The first is to improvetesting processes and/or testing hardware (step 7a). The second isto revise the development process to accommodate the real world test data quality (step 7b). The second option may be the only possibility where the data quality requirement is practicallyunachievable. The choice of action is often influenced by the needto balance investment in facility versus development programtiming and the associated costs.

As far as the authors are aware this concept of balancing of the deve-lopment requirement versus investment in testing is unique.

3 Implementation of the Four Lever Strategy

3.1 Safe Automated Testing of a SI Engine

Efficiency projects have often taken the form of improving a specificdevelopment task as a primary goal. In these cases a systematic ana-lysis of the pre-existing systems and processes often highlightsopportunities for improvement involving multiple efficiency levers.These types of project have high potential for improvement due tothe multiplicative behaviour of the interacting factors in the four

lever testing equation. Figure 11 con-tains a summary of the project goalsand workflow.

3.2 Utilisation – Acting on Lever 1

Figure 12 shows the utilisation average for the engine characterisa-tion project testing period. This was amarked improvement compared to theprevious facility performance of 39%.This demonstrates how a seeminglyindependent lever i.e. developmentmethodology can influence anotheri.e. utilisation. The improvement was adirect result of implementing automa-tion software, hardware and new

Abbildung 11:Projektübersicht – Fokus auf robuste Automatisierung

Figure 11:Project Overview – Focus on Robust Automation

Page 9: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

138

te Folge der Einbindung von Au-tomatisierungssoftware und neuerVersuchsprozesse. Nachdem derNachweis erbracht war, dass derMotor mit extrem geringem Risikoeiner Beschädigung automatisiertbetrieben werden konnte, wurdeder Versuch in unbemannte Zeitenausgedehnt.

3.3 Datenqualität – Arbeiten mit Hebel 2

Die Datenqualität wurde durch Evaluierung einer Stichprobe derDaten ermittelt und für zweckmä-ßig befunden. Die Abhängigkeitder Datenqualität von Stabilisie-rung und Messdauer wurde eben-so untersucht.

3.4 Datenerfassungsrate – Arbeiten mit Hebel 3

Nach Optimierung der Parameter des Automatisierungssystemskonnte, wie in Abbildung 13 zusehen, das Projektziel von 20 Sta-tionärmessungen pro Stunde über-troffen werden. Große Sorgfaltwurde auf das Erzielen des bestenKompromisses zwischen Datener-fassungsrate und Datenqualitätgelegt. Die Werte passen sehr gutzu bereits zuvor veröffentlichtenProjekten [1].

3.5 Entwicklungs- & Versuchsmethodik – Arbeiten mit dem Hebel 4

Im vorliegenden Fall bestand die Aufgabe darin, Messdaten zurMotorcharakterisierung zu sammeln. Dies beinhaltete zunächst dasdefinieren des tatsächlich operativen Bereichs des Motors und derAktuatoren und daran anschließend das Vermessen unter Anwen-dung eines vollfaktoriellen Versuchsplans geeigneter Dichte, mit des-sen Hilfe Response Surface Modelle (RSMs) generiert werden konn-ten. Diese Modelle würden dann im weiteren Verlauf der KalibrierungVerwendung finden. Dieser Art der Vermessung ist eine beinahe all-gemein übliche Vorgehensweise in der PKW Ottomotorenkalibrierungund ist eine Notwendigkeit zur korrekten Bedatung der Füllungs-erfassung und des Momentenmodells heutiger Steuergerätesoftware.Hierfür gilt es zwei Herausforderungen zu meistern. Einerseits bedarfes zum Betrieb des Motors einer gewissen Grundbedatung – waszum Beginn eines Projekt nur eingeschränkt der Fall ist, andererseitsmuss ein sicherer Betrieb des Motors auch unter den Extremeinstel-lungen gewährleistet werden können.

Insbesondere gilt dies für erfolgreichen automatisierten Betrieb, bei dem es einer Reaktion auf thermische oder verbrennungstechnischeGrenzen bedarf, bevor es zu einer Sicherheitsabschaltung des Ver-suchs kommt.

testing processes. Once it hadbeen proven that the engine couldbe tested under automatic opera-tion with an extremely low risk ofdamage, testing was extended tounmanned hours.

3.3 Data Quality – Acting on Lever 2

Data quality was determined byevaluating a sample of the dataand deemed fit for purpose. Dataquality dependence on stabilisa-tion and measurement times wasalso investigated.

3.4 Data Gathering Rate – Acting on Lever 3

After optimisation of the testingautomation system parametersthe data gathering rate exceededthe project target of 20 measure-ments per hour as shown in Figure13. Careful attention was placedon achieving the best compromisebetween steady state data qualityand rate of capture. The values arevery well aligned with similar pro-jects previously published in theliterature [1].

3.5 Development Methodology – Acting on Lever 4

In this case the engineering task was to deliver test data for enginecharacterisation. This involved defining physically correct zones ofengine operation and actuator ranges and mapping these zonesusing a full factorial experimental design ‘grid’ of an adequate den-sity so that response surface models (RSMs) could be generated.These models could then be used as part of the downstream calibra-tion generation process. This mapping task is almost universal in thepassenger car spark ignition (SI) engine calibration world and hasbecome a necessity to correctly parameterise the air flow and torquefunctions present in today’s electronic engine control software. Thistask typically presents two major obstacles that require some work-around. The first is that correct engine operation requires a signifi-cant proportion of its ECU parameters to be calibrated - clearly not areality at the start of the engine calibration process. The second isensuring safe engine operation whilst setting the extreme engineactuator levels necessary for engine characterisation.

This is especially true for successful operation of automatic testingwhen engine thermal or detonation limits need some type of reactionwithout forcing a test alarm state followed by a shutdown.

Abbildung 12:Prüfstandsauslastung

Figure 12:Test Cell Utilisation

Abbildung 13Wöchentliche Datenerfassungsrate

Figure 13: Weekly Data Collection Rate

Page 10: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

139

Als Lösung wurde in diesem Fallder Prüfstand um einen Echtzeit-regler erweitert, der eigenständigdie Kontrolle über Zündung, Lastund Luft-Kraftstoffgemisch über-nimmt. Zusätzlich wurden die fürKommunikation und Grenzwert-reaktionen genutzten Schnittstel-len hinsichtlich Geschwindigkeithardware- wie softwareseitig ver-bessert (vgl. Abbildung 14). DasFolgende beschreibt die grund-sätzliche Anwendung der Methodezur Erfassung aller notwendigenDaten bei gleichzeitig sicheremBetrieb des Versuchsmotors.

Abbildung 15 zeigt bildhaft denAblauf des Prozesses. Der Motorwird unter Verwendung desEchtzeitreglers für Zündung undLambda zunächst stabilisiert,wobei Lambda auf 1 und Verbren-nung auf Schwerpunktlage bzw.eine definierte Klopfintensität ge-regelt wird. Die Zündung wirdanschließend über einen festge-legten Bereich progressiv zurück-genommen um dann wieder inkre-mentell in Frührichtung verstelltund vermessen.

Bei höheren Drehzahlen und Las-ten erfolgt eine Anreicherung desGemischs zur Schutz von Bauteilen wie Auslasskanäle, Abgasanlageund Katalysator. Dies wird durch einen Bauteilschutzregler erreicht,der über das Gemisch so regelt, dass stets ein Mindestabstand zwi-schen gemessener und kritischer Bauteiltemperatur besteht. DieZündwinkelfrühverstellung endet, wenn entweder der angestrebteBereich vermessen ist oder die Klopfgrenze erreicht wird.

3.6 Projektergebnis nach Maßnahmen zu den vier Hebeln

Abbildung 16 fasst das Resultat des Projekts zusammen. In derTabelle werden für die jeweiligen Kernbereiche die Zielvorgaben demProjektresultat gegenübergestellt.

4 Umsetzung einer ganzheitlichen Systemoptimierung

Dieses Kapitel beinhaltet praktische An-wendungsbeispiele für einige der inKapitel 2.2 genannten Hauptprozess-schritte. Die Beispiele stammen alle auseinem Projekt über modellbasierte Ka-librierung eines PKW Dieselmotors, des-sen Inhalt es war, Daten und Modelle zurAbgas- und Verbrauchsoptimierung un-ter Beachtung spezifischer Zieleigen-schaften wie Verbrennungsgeräusch zuliefern. Eine weitere Anforderung war es,

The solution involved equippingthe test bed with real time control-lers (RTC) capable of taking inde-pendent control of spark timing,load and air fuel ratio. In additionthe test bed software and hard-ware was improved to allow thenecessary high speed electroniccommunications and limit reac-tions (see Figure 14). The follo-wing describes the fundamentaloperation of the methodologyused to obtain the necessary datawhilst remaining within the safeengine operating envelope.

Figure 15 shows a pictorial description of the process. Theengine was allowed to stabiliseunder real time control for lambdaand spark timing. The lambda setpoint was set to 1 and the sparkmaintained at MBT or specifiedlevel of knock indication. Thespark was then progressivelyretarded over a specified range.The spark was then advanced withmeasurements taken at eachincrement.

At higher speeds and loads chargeenrichment was implemented toprotect engine components suchas the exhaust ports, exhaust pipe

and catalytic convertor. This was achieved by setting lambda (usinga component protection controller) to always provide a minimummargin between the actual measured component temperature andthe limit. The spark timing was allowed to continue to advance untilthe required range had been achieved or knock limit reached.

3.6 Project Outcome after Four-Lever Activities

Figure 16 summarises the outcome of the project. As shown in thetable, the project objectives are listed together with the targets andoutcome versus target.

4 Implementation of a Holistic System Optimisation

This section includes practical examplesof some of the key process stepsdescribed in section 2.2. The examplesall stem from a project covering modelbased calibration for a passenger carDiesel engine. The engineering task wasto produce data and models to supportemissions and fuel consumption targets,subject to product attribute target cons-traints such as engine combustion noiselevel. An additional requirement was to

Abbildung 14:Prüfstandsautomatisierung – Elektronik- / Datenflussschema

Figure 14:Test Bed Automation – Electronic / Dataflow Scheme

Abbildung 15:Automatisierter Zündhaken bei sicherem Motorbetrieb

Figure 15:Automated Spark Timing Swing with Safe Engine Operation

Abbildung 16:Projektergebnis

Figure 16:Project Outcome

Page 11: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

140

Zusammenhänge zwischen Datenqua-lität und Modellqualität zur erkunden,die zur Definition von Zielgenauigkeitenim Versuch genutzt werden könnten [2].Eine Zusammenfassung der Projektzieleund Arbeitsschritte findet sich inAbbildung 17.

4.1 Spezifizierung von Ent-wicklungsanforderungen

Der übliche Startpunkt eines wie in Ab-bildung 10 dargestellten Prozesses istdie Beschreibung der Anforderungen,welche zur Erfüllung einer Entwick-lungsaufgabe an das Prüffeld gestelltwerden. Diese Anforderungen sind häu-fig zunächst schwer zu beschreiben. Imrealen Leben wird seitens der Entwicklerhäufig die Bereitstellung größerer Da-tenmengen von besserer Qualität alsGrundlage zuverlässiger Projektabwick-lung genannt. An dieser Stelle könnendie Diskussionen damit enden, dassEntwicklungsingenieure unzufrieden mitdem Service des Prüffelds sind und Prüffeldbetreiber nicht in der Lagezu quantifizieren, was zur Zufriedenheit der Kunden führt. Wie sichbei solch vielschichtigen Problemen häufig zeigt, ist es Hilfreich, dasProblem mit Hilfe eines bereits innerhalb der Organisation bekanntenProzesses-Frameworks aufzusplitten. Im vorliegenden Fall wurde dieDesign for Six Sigma Methode (DFSS) zu Grunde gelegt. Die DFSSProzessschritte werden häufig mit Definieren, Charakterisieren,Optimieren, Verifizieren (DCOV) umschrieben. Anstatt diesen Schrit-ten jedoch explizit zu folgen, wurden die einzelnen bereits vorhan-denen Prozesse und Werkzeuge einer Prüfung unterzogen und, woangebracht, verwendet, um während des Projekts aufgetreteneProbleme zu lösen.

Eine direkt aus der Definieren-Phase des DFSS abgeleitete Philo-sophie war die Verwendung eines „System“-Konzepts, bei dem derProzess zur Untersuchung mit Hilfe von Critical Inputs (X(1,n)),Critical Outputs (Y(1,n)) und Noises (N(1,n)) definiert wird, wobeiunter „System“ der komplette Prüfstand inklusive Infrastruktur,Bremse, Messtechnik und Versuchsträger zu verstehen ist. Als CriticalInputs wurden all jene Einflüsse angesehen, die über den Test defi-niert und kontrolliert wurden (z.B. Motordrehzahl, Bremsenmoment,Fluidtemperaturen). Critical Outputs sind alle für die Entwicklungs-aufgabe benötigten Messgrößen. Noises sind all jene Einflüsse, dieunkontrolliert auf das System und damit die Outputs einwirken (z.B.Luftdruck und Luftfeuchte) aber auch Regelabweichungen derCritical Inputs (z.B. Abweichungen bei der Kühlwasserregelung).

In diesem Beispiel wurden die Ziele zu Beginn von JLR in Form einerAuflistung der für die Emissionsoptimierung erforderlichenResponse-Surface-Modelle zusammen mit deren Qualitäten (z.B.Bestimmtheitsmaß, R2) festgelegt. Die geforderten Antwortgrößenwurden direkt Messkanälen und Systemantworten zugeordnet. Die inAbbildung 18 zu sehende Übersicht zur Gegenüberstellung derInputs, Störgrößen und Outputs wurde in einer Reihe von Brain-storming Sitzungen von JLR und AVL einschließlich Fachleuten ausdem Versuch und der Entwicklung erstellt. Es diente als Basis zurDefinition von Versuchen zur Feststellung der Eignung des Prüffeldshinsichtlich Messgenauigkeit.

explore links between data quality andmodel quality that could be exploited todefine testing accuracy targets [2]. Asummary of the project goals and work-flow is shown in Figure 17.

4.1 Specifying Development Requirements

A natural starting point for the processflow shown in Figure 10 is to define thedevelopment requirements of thetesting facility for a specific develop-ment task. This requirement is often dif-ficult to determine initially. Real worlddiscussions often begin with a state-ment from development personnel thatif more test data of a higher qualitywould be available then task deliverywould be assured. At this stage thediscussion can break down with deve-lopment personnel unhappy with thetesting service and testing personnel

unable to quantify what is needed to satisfy their customer. As isoften true with multifaceted problems like this, understanding can beimproved by splitting the problem into simpler steps using a knownprocess framework that is already familiar to the organisation. In thisexample, the design for six sigma methodology (DFSS) was used asa basis for this purpose. The DFSS process steps are often describedas Define, Characterise, Optimise, Verify (DCOV). Rather than followthese steps explicitly the individual supporting process tools andmethodologies were assessed and used, where appropriate, to solvethe problems presented during the study.

A philosophy lifted directly from the DFSS Define phase was the useof a ‘system’ concept whereby the process under investigation isdefined using critical inputs (X(1,n)), critical outputs (Y(1,n)) andnoises (N(1,n)) (see Figure 18). In this case, the ‘system’ was definedas the complete test room including infrastructure, dynamometer,instrumentation and engine. The critical inputs were considered to beany settings that required definition and control for the test (e.g.engine speed, brake torque, engine coolant temperature). The criti-cal outputs were assumed to be the measured quantities required fordevelopment task delivery. Noises were assumed to be any uncon-trolled quantity that could affect the critical outputs (e.g. atmos-pheric pressure and humidity) and any control errors present on cri-tical inputs (e.g. coolant temperature control deviation).

In this example the development goals were provided at the outsetby JLR in the form of a list of required response surface models forthe emissions calibration, together with model accuracy targets (e.g.coefficient of determination, R2). The required modelled quantitieswere matched directly to measurement channels and system out-puts. The system controls and noises diagram (see Figure 18) wascreated following a series of ‘brainstorming’ meetings includingtesting and development subject experts from JLR and AVL. This wasused as a basis to define tests that could be used to quantify themeasurement capability of the test facility.

Abbildung 17:Projektübersicht – Systemoptimierung

Figure 17:Project Overview – System Optimisation

Page 12: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

141

4.2 Stresstest

Der Stresstest basiert auf einer realen Entwicklungsanfor-derung, eingebunden in einenrepräsentativen Test, welcherin ständiger Wiederholungdurchgeführt wird. Die Wieder-holung zeigt, ob das Prüffeldin der Lage ist, längere Zeitenohne Störung betrieben zuwerden und ermöglicht eineBewertung der Hauptmess-größen und der Reglerperfor-mance.

Eine weitere Funktion desStresstests ist das Setzen derRichtmarke für den produkti-ven Betrieb. Wie Abbildung 19zu entnehmen ist die Richt-marke etwa 1000 Messpunktepro Woche, wohingegen ineiner frühen Phase derProblembehebung nur durch-schnittlich 300 Messpunktepro Woche erreicht wurden.Die Produktionsrichtmarkewird später dann als Mini-malanforderung für nachfol-gende Projekte genutzt. Er-fahrung zeigt folgendes Ver-halten:

1. Niedrige Produktivität zu Beginn

2. Hohe Produktivität am Ende des Stresstests. Dieses Phä-nomen findet sich in Abbil-dung 19.

3. Nachdem die Produktions-richtmarke gesetzt ist, musseine kontinuierliche Über-wachung zur Sicherstellung der Performance erfolgen.

Das dritte und letzte Ergebnis des Stresstests ist eine frühe Einschätzung der erreichbaren Mess-und Regelgüte. Abbildung 20 zeigt ein Beispiel für die Standard-abweichung der Bremsendrehzahl während des Stresstest.

4.3 Eignungstest

Während der Stresstest die grundsätzliche Systemrobustheit undHöhe der Datenproduktion ermittelt, quantifiziert der Eignungstestdie erreichbare Datenqualität. In einem Produktionsumfeld wäre diesmit der Fähigkeit einer Maschine vergleichbar, Teile mit akzeptablerVariation innerhalb enger Toleranzen zu fertigen. Studien zur Eignungkönnen die Auswirkungen bekannter Störgrößen oder unvermeidba-rer Abweichungen, verursacht durch beispielsweise einen Wechseldes Bedieners, durch Umgebungsdruck und –temperatur, erfassen.Wenn als unzureichend befunden, kann die Maschine verbessert oderausgetauscht werden, bevor die Untersuchung zur Eignung wieder-holt wird, um zu prüfen ob das gewünschte Resultat erreicht wurde.

4.2 Stress Test

The stress test is based on thereal development require-ments implemented as onetypical test and repeating thistest over and over again. Therepetition explores whetherthe test facility is capable ofrunning for prolonged periodsof time without break downand enables a basic analysisof the key measurement chan-nels and controller trackingperformance.

Another important function ofthe stress test is to establishthe "production benchmark”.As seen in Figure 33, the pro-duction benchmark for thefacility was about 1000 datapoints per week after an initi-al early period of problemresolution with only 300points per week on average.This benchmark is then usedto set the minimum require-ments for successive testing.Experience suggests the follo-wing:

1. Low productivity at theearly stages of the stresstest.

2. Higher production rates atthe end of the stress test.This phenomenon is evi-dent in Figure 19.

3. Once the productionbenchmark has been set itmust be continually moni-tored to ensure perfor-mance can be maintained.

The third and last outcome ofthe stress test is also an early

assessment of data and control quality. Figure 20 shows oneexample for the standard deviation of dynamometer speed duringthe stress test.

4.3 Capability Test

While the stress test identifies the basic system robustness and dataproduction performance level, the capability test quantifies the obtai-nable quality level. In a production environment this could corre-spond to an assessment of a machine’s ability to manufacture partsto critical dimensional tolerances with acceptable variation.Capability studies can include effects of known noises or unavoi-dable causes of variation e.g. change of machine operator, environ-mental pressures and temperatures etc. If deemed unacceptable thenthe machine can be improved or replaced before repeating the capa-bility study to check the desired outcome has been achieved.

Abbildung 18:Six Sigma Ansatz: Übersicht der System Inputs, Outputs und Störgrößen

Figure 18:Six Sigma Approach: Shortlist of System Inputs, Outputs and Noises

Abbildung 19:Datenerfassungsrate – frühe Phase

Figure 19:System Data Production Rate – Early Stage

Page 13: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

142

Im vorliegenden Fall war derZweck des Eignungstests nicht nurdas Bereitstellen von Daten zurBezifferung der vorhandenen Da-tenqualität, vorbehaltlich bekann-ter Störgrößen, sondern auch dieUntersuchung der Sensitivität derkritischen Messgrößen. Diese Er-gebnisse konnten dann benutztwerden, um dem Prüffeld Zielehinsichtlich der akzeptablen Da-tenqualität von Kanälen wieAbweichung der Kühlwassertem-peraturregelung sowie Messge-rätegenauigkeit und Wiederhol-barkeit zu setzen.

In diesem Projekt begann der Eignungstest damit, die Ergeb-nisse der Brainstorming Sessionaus Abschnitt 4.1 und existieren-des Wissens zur Erstellung einerReihe von Versuchen zu nutzen.Die Versuche wurden grob in zwei Typen unterteilt:

1.Wiederholtes Messen kritischer Größen in stabilen Drehzahl/ Dreh-moment Punkten, mit dem Ziel, eine große Menge an Daten zurErmittlung der Messungsschwanken aller kritischer Messgrößen zuerhalten.

2. Variation einzelner Größen zur Ermittlung des Einflusses bekannterund vermuteter Störgrößen auf kritische Messgrößen.

Nach dem Sammeln der Daten folgte die Auswertung der Variations-koeffizienten (COV) für alle kritischen Kanäle. Zusätzlich wurde einGradient als Maß für die Sensitivität auf Änderung einer einzelnenGröße berechnet (z.B. NOx Massenstrom in Abhängigkeit derLadeluftkühleraustrittstemperatur).

4.4 Beurteilung der Stör- und Regelgrößen

Der Eignungstest liefert eine Momentaufnahme der Datenqualität imVergleich zu den Anforderungen der Entwicklungsaufgabe. Die Be-urteilung der Störgrößen und der Regelung wird genutzt, zum Ver-ständnis von:

1) Mögliche Ursachen von Störungen mit Einfluss auf alle kritischen Messgrößen.

2) Der Grad und die relative Reihenfolge der Effekte jeder Störquelle

3) Die verbleibende Schwankung kritischer Messgrößen, die keiner bekannten Störquelle zugeordnet werden kann.

Diese Information kann für Maßnahmen zur Verbesserung der Daten-qualität genutzt werden, sollte sich die Versuchseignung als unzurei-chend zur Erfüllung der Entwicklungsanforderungen erweisen. EinigeMaßnahmen zur Verbesserung der Datenqualität sind:

• Änderung des Versuchsablaufs

• Aufwerten der Messtechnik

• Einführung neuer Prüffeldanforderungen basierend auf den Em-pfindlichkeiten der durch den Prüfstand geregelten Größen (Abbildung 21)

In this case the purpose of thecapability study was not only toprovide data to quantify theexisting data quality subject toknown noises, but to investigatethe sensitivity of the critical mea-surement channels. This datacould then be evaluated to definetesting facility quality acceptancetargets on quantities such as coo-lant temperature control deviationand measurement device accuracyand repeatability.

In this project, the capability studybegan by taking the results of thebrainstorming sessions describedin section 4.1 and using existingknowledge and engineeringjudgement to define a series oftest plans. The test plans werebroadly divided into two types:

1. Repeated measurements of critical channels taken at stabilisedmodal speed/torque points. The purpose was to provide a largeamount of data to quantify the measurement variation present onall critical measurement channels.

2. Single variation DOEs to quantify the effects of known and suspec-ted noises on critical measurement channels.

Once the test data had been obtained it was post processed to pro-duce coefficient of variation (COV) values for all critical channels. Inaddition the single variation sensitivity was quantified by calculatingthe gradient of the response (e.g. NOx mass flow rate) with respectto the variation (e.g. Intercooler charge air out temperature).

4.4 Noise and Control Evaluation

The capability test provides a snapshot of the system data qualitymeasures for comparison to the development task requirement. Thenoise and control evaluation considers the following:

1) Potential sources of noise that affect each critical measurement.

2) The degree and relative ranking of the effect of each source ofnoise.

3) The remaining critical measurement variation that cannot beaccounted for from known sources of noise.

This information can then be used for data quality improvementactions should the testing capability prove inadequate to support thedevelopment requirement. Some examples of data quality improve-ment actions are:

• Change testing processes

• Upgrade measurement devices

• Impose new facility targets based on sensitivity of test bed con-trolled quantities (see Figure 21)

Abbildung 20:Beispiel aus Stresstest – Stabilität des Bremsendrehzahlreglers

Figure 20:Stress Test Example - Dynamometer Speed Control Stability

Page 14: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

143

Der Wert jeder Verbesserungs-maßnahme wird dann durchWiederholung des Eignungstestsund Vergleich der resultierendenDatenqualität mit der vorherge-henden evaluiert. Während derPhase zur Verbesserung derDatenqualität wurden in diesemProjekt Änderungen an der Auto-matisierungskonfiguration, der Ab-gasprobenentnahme und der Test-prozeduren vorgenommen. Abbil-dungen 22 und 23 zeigen Ergeb-nisse der Eignungsuntersuchungvor und nach der Qualitätssteige-rung und belegen eine deutlicheReduktion der allgemeinen Mess-schwankungen.

Abbildung 24 zeigt für einen ein-zelnen Betriebspunkt ein typischesErgebnis der Studie zur Ermittlung,ob die Datenqualität eines Ver-suchsaufbaus den Anforderungender Entwicklung entspricht. DieVariationskoeffizienten der kriti-schen Messgrößen wurden wäh-rend der Analyse genutzt, um diestatistische Sicherheit vorherzusa-gen, dass den Anforderungen ent-sprechende Modelle gebildet wer-den können. In diesem Fall wurdegezeigt, dass die vorhergesagteModellqualität mit hoher Wahr-scheinlichkeit (95%) bei 7 von 10der kritischen Messgrößen dieAnforderungen erfüllt. 3 der kriti-schen Messgrößen wurden miteiner niedrigen Wahrscheinlichkeitzur Erfüllung der Qualitätsanfor-derungen beurteilt. Der folgendeAbschnitt beschäftigt sich mit deraus diesen Erkenntnissen abgelei-teten Vorgehensweise.

4.5 Abgleich von Versuchsbedingungen und Entwicklungs-anforderungen

In diesem Beispiel kann das Testsystem nicht alle Datenquali-tätsanforderungen erfüllen. Bei 3der Kanäle waren die Mess-schwankungen zu hoch um Datenzur Bildung von Modellen mit akzeptabler Qualität zu sammeln. EineUntersuchung der Schwankungen ergab, dass dies sowohl einerzufälligen Komponente als auch einem Drift geschuldet war. Verbes-serungsmaßnahmen das Equipment betreffend konnten nicht erwägtwerden, da der Projektauftrag das Erzielen bester Ergebnisse in be-stehender Umgebung lautete. Es wurde untersucht, inwieweit derEntwicklungsprozess zur Kompensation der Schwankungen in denTestergebnissen angepasst werden könnte.

The value of any improvementaction is then tested by repeatingthe capability test and comparingthe resultant data quality to theprevious iteration. During the dataquality improvement phase on thisproject, changes were made to thetesting automation parameterisa-tion, exhaust gas sampling probeand testing procedures. Figures22 and 23 show capability studyresults before and after data qua-lity improvement and demonstratea clear reduction in overall datavariability.

Figure 24 shows a typical outcomeof the study to determine whetherthe data quality from the testingsystem met the developmentrequirement for a particular opera-ting point. The COVs of the criticalmeasurements obtained from acapability study were used in theanalysis to predict the statisticalconfidence of producing models totarget. In this case the predictedmodel quality was shown to havea high (95%) probability of mee-ting the quality targets in 7 out of10 critical measurements. 3 of thecritical measurements were asses-sed to have a low probability thatthe model quality targets could bemet. The next section is a discus-sion of the courses of actionappropriate to this outcome.

4.5 Matching Test Realities and Engineering Requirements

In this case the test system couldnot meet all the development dataquality metrics. In practical termsthe measurement variation wastoo high on 3 of the channels to

produce data that could be used to generate models to an accep-table quality level. Analysis of the variation showed that it was madeup of both a random and a drift component. Data quality improve-ment actions involving equipment upgrades could not be consideredas the project remit was to obtain the best outcome with the existingfacility. Changes were investigated to the development process toaccommodate the data variability present in the testing results.

Abbildung 21:Sensitivität und Schwankung geregelter Größen

Figure 21:Sensitivity and Variation of Controlled Channels

Abbildung 22:Status der Datenqualität vor der Verbesserung

Figure 22:Data Quality Status Pre-Improvement

Page 15: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

144

Ein wesentlicher Teil der Messun-genauigkeiten wurde einem Drif-ten über der Zeit zugeschrieben,was zu dem Schluss führte, dasswenn die Anzahl der für einenVersuchsplan benötigten Datenreduziert werden könnte, wenigerZeit zum Auftreten eines signifi-kanten Drifts vorhanden wäre. An-passungen am DOE- und Modell-bildungsprozess bestehend auseiner Rationalisierung bestehen-der DOEs, Einführung einer Opti-mierungsprozedur im Vorfeld undeine Reduzierung der Variationenbegrenzten die maximale Größeeines einzelnen Versuchsplans zurModellbildung auf 90 Punkte. Ab-bildung 25 zeigt zusammenfas-send die Änderungen am Entwick-lungsprozess.

Modelle, die das Ergebnis des neuen DOE-Prozesses sind, zeigen eine für die Kali-brierung ausreichende Qualität. Eine wei-tere Validierung dieses Prozesses ist bei JLRim Gange, um sicher zu stellen, dass ge-genwertige Programmerfordernisse erfülltwerden.

Das Fazit des obigen Beispiels war, dass obwohl das Testsystem nicht den Quali-tätsanforderungen der Entwicklung ent-sprechen konnte, dennoch die Entwick-lungsaufgabe mit akzeptabler Qualitäterfüllt wurde. Dies wird als das wesentlich-ste Ergebnis dieses Projekts angesehen:Entwicklungsanforderungen und realeTestbedingungen können zur Optimie-rung des Gesamtergebnisses aktiv an-einander angepasst werden

Diese Aufgabe hat gezeigt, wie der Fluss in Abbildung 10 zur Optimierungder Leistung eines Gesamtsystemsgenutzt werden kann. Es wird jedochanerkannt, dass ein starres Folgen die-ses Prozesses nicht in allen Fällenzweckdienlich sein könnte.

Sollten Entwicklungsanforderungenund Testrealitäten nicht übereinstim-men, so kann der Prozess genutzt wer-den, um:

• das ideale Prüffeld zu spezifizieren,z.B. beim Definieren von Upgrades

• ein Aufweiten der Qualitätsanfor-derungen der Entwicklung zu unter-suchen

• gemeinsam auf effektive Weise Ent-wicklung und Versuch zu optimieren

As a significant portion of the datavariability was attributed to driftover time it was reasoned that ifthe number of measurementsrequired for a DOE for modelgeneration could be reduced therewould be less time availableduring testing for significant driftto occur. Changes to the DOE andmodelling process involving ratio-nalisation of the existing DOEs,introduction of an upfront optimi-sation procedure and variationreduction effectively limited themaximum size of an individualDOE for model generation to 90data points. Figure 25 contains asummary of the changes made tothe development process.

Models generated as a result ofthe new DOE process were shown to haveadequate quality to generate a calibration.Further validation of the approach is inprogress at JLR to ensure it will meet cur-rent program needs.

The conclusion from the above examplewas that although the test system couldnot meet the engineering quality require-ments, the engineering task could still bedelivered at an acceptable level of quality.This was considered to be the most signifi-cant outcome of this project: engineeringrequirements and real world testing can beactively matched to optimize the total out-put.

This exercise has shown how the flowdescribed in Figure 10 can be used tooptimize the total output of thesystem. However it is acknowledgedthat rigid adherence to the processflow may not be relevant in all cases.

If there is a mismatch between thedevelopment requirement and testingreality the process can be used to:

• Specify the ideal test facility e.g.when defining upgrades

• Investigate relaxing the engineeringtest quality requirements

• Jointly optimise engineering and testin an effective manner

Abbildung 23:Status der Datenqualität nach Verbesserung

Figure 23:Data Quality Status Post-Improvement

Abbildung 24:Wahrscheinlichkeiten zur Erfüllung der Entwicklungsanforderungen

Figure 24:Probability of Meeting the Development Requirement

Abbildung 25:Verbesserter DOE Ansatz

Figure 25:Improved DOE Approach

Page 16: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

145

4.6 Entscheidung zu Maßnahmen für permanente Verbesserung

Diese Art von Aufgabe kann eine Vielzahl von Möglichkeiten zur Ver-besserung hervorbringen. Diese reichen von Versuchs- und Entwick-lungsabläufen bis zur Prüffeldinfrastruktur und Ausstattung. Da sichAblaufänderungen in der Regel mit geringen Kosten umsetzen las-sen, haben diese das höchste Potenzial auf Rentabilität. Das in die-sem Abschnitt beschriebene Projekt war explizit darauf ausgelegt,den größtmöglichen Nutzen ohne nennenswerte Investitionen inHardware zu realisieren.

Als direktes Ergebnis des Projekts wurden folgende dauerhafte Ände-rungen am Prüffeld-/Entwicklungsprozess vorgenommen:

1. Verbesserter Daily-Check Prozess

2. Verbesserte Drehzahl-/Drehmomentreglerabstimmung

3. Einführung einer neuen Prozedur zur Freigabe von Motoren fürden Test

4. Neue DOE Methode für die Abgaskalibrierung

5. Verbesserte Datenerfassungsrate der bestehenden Systeme

6. Messdatenorientierte Zielsetzung für Regelabweichungen

7. Verbesserte Datennachbearbeitung und Datenbeurteilungskrite-rien

8. Verbesserte Stabilität und Genauigkeit der HC Emissionsmessung

9. Erstellung eines detaillierten Prüfprozesses für Software undEquipment zur Verbesserung der Versuchsstabilität und -genauig-keit.

10. Ein interdisziplinäres Team, eingebunden bei der erstmaligenPrüfstands- und Motoreinrichtung, ist jetzt gängige Praxis beiJLR.

JLR hat anschließend die gewonnenen Erkenntnisse genutzt, umeinen Plan zur Erneuerung des Prüffelds zu erstellen, der explizit aufdie Anforderungen der Produktentwicklung ausgerichtet ist. DerAnsatz hat eine Methode zur Ausrichtung und Rechtfertigung vonAusgaben bereitgestellt, sodass diese einen maximalen, bezifferba-ren Nutzen bringen.

5 Schluss• Es wurde ein generischer Rahmen für Versuchs- und Entwicklungs-

effizienz vorgestellt, der zwei verschiedene Methoden umfasst, denAnsatz der vier Hebel und den Systemoptimierungsansatz

• Der Ansatz der vier Hebel wurde mehrfach angewandt und hat er-wiesenermaßen signifikante Verbesserungen in der Prüffeldeffek-tivität gebracht.

• Systemoptimierung – das Erlangen einer optimalen Balance zwi-schen Entwicklungsanforderungen und Leistungsfähigkeit desPrüffelds ist ein mächtiges Konzept, nützlich zur Verbesserung derPrüffeldeffektivität.

• Ein kreisförmiger Workflow wurde gezeigt, abgeleitet aus einerNichtübereinstimmung von Entwicklungsanforderungen und Mög-lichkeiten des Testens. Dieses Missverhältnis führt oft zu einer ite-rativen zeitraubenden Arbeitsweise. Systemoptimierung wird alsgeeignetes Mittel empfohlen.

• Das volle Potenzial von Investitionen in das Prüffeld kann nichtohne angemessene Aufmerksamkeit auf den Entwicklungsprozess

4.6 Deciding on Permanent Improvement Actions

This type of exercise can uncover many opportunities for improve-ment. These range from testing and development procedural actionsto facility infrastructure and equipment. As the procedural changescan be typically implemented at low cost, these have the highestpotential for return on investment. The project described in this sec-tion was specifically targeted to obtain maximum benefit withoutsignificant investment in testing hardware.

The following permanent changes were made to the testfacility / engineering processes as a direct result of the project:

1. Improved daily check process

2. Improved speed / torque control setting procedure

3. Introduction of a new signoff procedure for "engine ready to test”

4. New DOE methods in emissions calibration processes

5. Improved data gathering rate for current testing systems

6. Data driven test cell control deviation target set

7. Improved data post processing and data assessment criteria

8. Improved robustness and accuracy in HC emission sampling

9. Detailed testing processes created for software and equipment toimprove testing stability and accuracy

10. A multidisciplinary team engaged on initial test bed and engineset up is now standard practice at JLR.

JLR have subsequently used the knowledge gained to specify a facility upgrade path explicitly aligned to their product developmentrequirements. The approach has provided a method of targeting andjustifying expenditure to where it will deliver the maximum, quanti-fiable benefit.

5 Conclusions• A generic framework of testing and development efficiency has

been presented, covering two distinct methods, namely the fourlever approach and the system optimisation approach.

• The 4 lever approach has been applied multiple times and has beenproven to provide significant gains in test field effectiveness.

• System optimisation – Achieving the optimal balance between theengineering test requirement and testing capability is a powerfulconcept which can be used to improve test field effectiveness.

• A circular work flow phenomenon has been presented which origi-nates from a mismatch between engineering requirements and testcapabilities. This mismatch is often explored in an iterative time-consuming way. System optimisation is proposed to be a suitableremedy.

• The full potential of investment in facility cannot be realisedwithout commensurate attention to development process, organi-sational change, training and communication between test andengineering.

Page 17: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

146

organisatorische Veränderungen,Training und Kommunikation zwi-schen Versuchs- und Entwicklungsabteilung realisiert werden.

• Die vorgestellten Philosophien können verwendet werden, um dieAusgaben für Upgrades der Prüfeinrichtung mit einem gezieltenNutzen für den Entwicklungsprozess, zu rechtfertigen.

6 DanksagungDie Autoren dieses Beitrags möchten folgenden Personen, die durchihr Engagement, Wissen und die Qualität ihrer Arbeit wesentlich zumErfolg der Arbeit beigetragen haben, ihren Dank aussprechen. Diessind (in keiner bestimmten Reihenfolge):

Jason Beeby, Noel Cassidy, Roy Vasey, Kevin Snipe - JLR

Markus Reumueller, Marie Sophie Vogels - AVL Graz

Danny Burchill, David Moore, Stuart Brown, Harry Pearson - AVL UK

7 Literatur / References[1] Conference Proceedings Wiesbaden 2011, Bellamy et al,

"Ford Dunton Powertrain Test & Development Efficiency Pilot”.

[2] SAE Technical Paper 2013-01-0351, 2013, Beattie, T.,Osborne, R., and Graupner, W.,"Engine Test Data Quality Requirements for Model BasedCalibration: A Testing and Development Efficiency Opportunity”.

[3] Harvard Business Review, May 2102, S. Thomke and D. Reinertsen,Myths of Product Development”.

• The philosophies presented can be used to justify expenditure ontest facility upgrades with a specifically targeted benefit to thedevelopment process.

6 AcknowledgementsThe Authors of this paper would like to recognize the following individuals which through their commitment, expertise and thequality of their work contributed substantially to the success of thework. These are (in no particular order):

Jason Beeby, Noel Cassidy, Roy Vasey, Kevin Snipe - JLR

Markus Reumueller, Marie Sophie Vogels - AVL Graz

Danny Burchill, David Moore, Stuart Brown, Harry Pearson - AVL UK

Page 18: Holistic Powertrain Development & Test Productivity Optimisation at Jaguar Land Rover

147