Post on 02-Sep-2019
Testen von L3 Systemen – ein Überblick über die aktuelle PEGASUS Vorgehensweise
Dr. Helmut Schittenhelm | 08. November 2017
Ausgangsproblem: Die Absicherungsfalle*
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 59
* „ Absicherung automatisiertes Fahren“, Prof. Winner, 6. FAS-Tagung, München, 29.11.2013
Wenn man das bisherige Verfahren auf hochautomatisiertes Fahren überträgt, müsste man statt 1 Mio. Kilometern 240* Mio. Kilometer fahren!
Bislang wird das Systemverhalten im Verkehr als bloßer stochastischer Prozess betrachtet. Dies entspricht dem Versuch, den Zustandsraum durch reines Fahren repräsentativ abzudecken.
Lösungsansatz
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 60
• Steigerung der Virtualisierung des Test- und Absicherungsprozesses • Zur Beherrschung des großen Testraum und Testvolumens, • zur Selektion relevanter Testszenarien.
• Iterative Ermittlung der Szenarien für die hochautomatisierte Funktion durch intelligente Vernetzung aller Testinstanzen wie Simulation, Prüfgelände und Feldtests und Abgleich mit einer zentralen Testspezifikations-Datenbank (szenariobasierter Ansatz). • Simulative Ermittlung der Funktionsgrenzen sowie dem Nachweis der Beherrschbarkeit.
Herausforderung für die Simulation:
• Realitätsnahe Modelle (Sensorik, Umgebungsdarstellung) • Verifikation und Validierung mit Prüfgelände und Feldtests Herausforderung für die Prüfmethodik: • Robuste, reproduzierbare, präzise Ausführung der Manöver • Standardisierung der Schnittstellen mit der Simulation
Arbeitsinhalte des TP 3 Testen – Methodenentwicklung für das Testen und Darstellung des Absicherungsprozesses
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 61
Detaillierung und Vervollständigung der Testszenarien aus Teilprojekt 1, inklusive technischer Güte- und Qualitätsmaße sowie Abnahmekriterien
Aufbau und Füllung der Testspezifikations-Datenbank
Festlegung und Erweiterung von Testmethoden, Schnittstellen, Werkzeugen für Simulation, Prüfgelände und für Realverkehr
Erstellung und Abstimmung industrieweit etablierter Modelle, Werkzeuge und Schnittstellen für die Simulation
Zusammenstellung des Testkatalogs und Anforderungen für Labor, Prüfgelände und Feldabsicherung
Aufbau von Referenzelementen zur praktischen Erprobung und Funktionsdemonstration
Darstellung einer exemplarischen Absicherung durch Simulation, Prüfgelände und auf der Straße
Standardisierung - Voraussetzung für Steigerung Virtualisierung
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 62
OpenSCENARIO: Für die (formale) Beschreibung des dynamischen und statischen Inhalts eines Szenarios wird OPENSCENARIO v 0.9.1 eingesetzt. Verwendung:
• Datenbank • Manöversteuerung in Simulation und Prüfgelände
OpenDRIVE: Für die (formale) Beschreibung von Straßen und Strecken wird OPENDRIVE v1.4 eingesetzt. Verwendung:
• Datenbank • Manöversteuerung in Simulation und Prüfgelände
OSI und FMU 2.0: Für die Einbindung von Sensormodellen und anderen Modulen werden FMU 2.0 und OSI verwendet als Standard für die Co-Simulation und Kommunikation genutzt.
Relevanz, …
Testspezifikations-Datenbank –Knowhow des Szenario-Ansatzes Ausgangsbasis für einen internationalen Standard
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 63
FOT/NDS mit Umgebungs-
erfassung
Realfahrt mit L3
Fahrsimulator
Fahrversuch Prüfgelände
Unfalldaten
Infrastruktur Methode Testspezifikation (Basis)
PEGASUS - Datenbank
Har
mon
isie
rung
Proz
essi
erun
g
Datenquellen
Bewertungs- kriterien
Parameter-raum
Logisches Szenario
Harmonisiert sammeln, standardisiert archivieren, vereinheitlicht auswerten, um einheitliche Testspezifikationen abzuleiten!
Standardisierte Datenbankmechanik zur Testspezifikation (Basis)
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 64
Pre-
Toolkette „Testen in der Simulation“ - Gezielte Qualifizierung des Bewährten
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 65
PEGASUS ermöglicht die Anbindung an bestehende etablierte Werkzeuge.
Ziel:
• Verwendung einer gemeinsamen Werkzeugkette zur Durchführung von Tests
• Einheitliche Schnittstellen zwischen den Werkzeugen ermöglichen ein Austauschen von Werkzeugen innerhalb der Werkzeugkette
50 57,5 65 72,5 80
Beispiel zur Vorgehensweise / Prozess in der Simulation
© PEGASUS | Halbzeitveranstaltung | 08.11.2017
Testfallsteuerung, Testraumabdeckung
66
vereinfachte Parametrierung !
Testfall- beschreibung Ergebnisdarstellung
Beispiel: Simulation des unkritischen und relevanten Szenarios
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 67
Unkritischer Fall mit Parametern: 𝑚𝑚 = 1600 kg; 𝑠𝑠 = 5 s; 𝑑𝑑𝐴𝐴 = 20 m; 𝑣𝑣 = 50 km/h; 𝑇𝑇𝑇𝑇𝐶𝐶min = 1.892 s
Absicherungsrelevanter Fall mit Parametern: 𝑚𝑚 = 2200 kg; 𝑠𝑠 = 2 s; 𝑑𝑑𝐴𝐴 = 0 m; 𝑣𝑣 = 80 km/h; 𝑇𝑇𝑇𝑇𝐶𝐶min = 0.676 s
VIDEO VIDEO
Bildung des Testraums Verknüpfung von relevanter, repräsentativer Realität und technischen Anforderungen
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 68
Relevanz
Bewertungs- kriterien
Parameter-raum
Logisches Szenario
Basis-Test spezifikation
Test
spez
ifika
tions
-Dat
enba
nk
. .
. . ..
Umfeld • Straße• Statische Objekte• Dynamische Objekte• Umweltbedingungen
Fahrzeug (VUT) • Fahrdynamik• Umfeldsensorik• Statische Kenndaten
Fahrer
Sensorik (phänomenologisch)• Radar• Lidar• Kamera• Ultraschall
Funktion (HAF, Level 3)
FuSi (26262, SOTIF)
Test- raum
Test
konz
ept
Test
spez
ifika
tions
-Dat
enba
nk
TTC, …
Interaktion Testspezifikations-Datenbank und Testinstanzen
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 69
Feldtests
Simulation (SiL, HiL, ViL, …)
69© PEGASUS | Goals and work contents of PEGASUS
Selektion log. Szenario inkl.
Eingrenzung Parameterbereich
Autom. Aus- und Bewertung
Selektion log. Szenario inkl.
Eingrenzung Parameterbereich
Prüfgelände
Identifikation kritischer
Szenarien in Messdaten
Simulation (Ermittlung kritischer konkreter Szenarien)
Versuchs-durchführung
Testkonzept und Zuordnung Testzuordnung
Verifikation
Validierung
Aus- und Bewertung
Replay2Sim (Messdaten 2
konkretes Szenario)
Relevanz
Bewertungs- kriterien
Parameter-raum
Logisches Szenario
Basis-Test spezifikation
Test
spez
ifika
tions
-Dat
enba
nk
Test
konz
ept
Selektion konkretes Szenario
und Versuchsplanung
Innovative Prüfmethoden für das reproduzierbare Testen – technologisch auf dem gleichen Niveau wie ein HAF-System
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 70
Mobiler Leitstand
Generik für Versuchsplanung
Manöverplanung als Input für Manöversteuerung
Beispielhafte Implementierung einer direkten Ansteuerung für Testbetrieb
Verifikation Simulationsergebnis mit Prüfgeländetest
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 71
Absicherungsrelevanter Fall mit Parametern: 𝑚𝑚 = 2200 kg; 𝑠𝑠 = 2 s; 𝑑𝑑𝐴𝐴 = 0 m; 𝑣𝑣 = 80 km/h; 𝑇𝑇𝑇𝑇𝐶𝐶min = 0.676 s
Prüfgelände Simulation
Absicherungsrelevanter Fall mit Parametern: 𝑚𝑚 = 2200 kg; 𝑠𝑠 = 2 s; 𝑑𝑑𝐴𝐴 = 0 m; 𝑣𝑣 = 80 km/h; 𝑇𝑇𝑇𝑇𝐶𝐶min = 0.676 s
VIDEO VIDEO
Beispielhafte Kenngrößen im Szenario „Stauende“ Reproduzierbarkeit am Beispiel „Stauende“ (Daimler Szenario)
Genauigkeit der Reproduzierbarkeit des Prüfgeländetests Neu: Ausführungsqualität des Prüfgeländes muss in relevanten Elementen der der Simulation entsprechen
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 72
Trajektorien
soll, ist – Verlauf TSV
Geschwindigkeit
soll, ist – Verlauf TSV
Max. Querabweichung des TSV beim Spurwechsel • 3,2cm +- 0,2cm
Max. Spurabweichung des TSV auf der Geraden: • 0cm +- 0,05cm
Max. Geschwindigkeitsabweichung TSV auf der Geraden: • 0,1km/h +- 0,05km/h
Max. Verzug (Zeit) des TSV beim Spurwechsel • 0,05s +- 0,3s
Verzug in der Sichtbarkeit des SCT1 für das VUT
Feldtest - Testplattform zum Test im realen Verkehrsgeschehen
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 73
© PEGASUS | Halbzeitveranstaltung | 08.11.2017 74
Teilprojekt 1
Übersicht über die Stände des Teilprojektes 3 „Testen“ Vieles wurde nicht angesprochen, alles wird gezeigt!
Datenbank
Datenverarbeitung Szenarienermittlung
Bewertung der Hochautomatisierten Fahrfunktion (inkl. Mensch)
Theoretische Anforderungsermittlung & technische Umsetzung
Testfälle
Logischer Testfallraum
Test HAF:
SimulationPrüfgelände
Realfahrt
Ermittlung CHAF/Soll
/ S undEHAF/Mensch
Testdaten
Testergebnisse
Evidenz
Sicherheits
-
aussage
Anforderungsdefition
Daten imPEGASUS-
Format
Anwendung Metriken + Zuordnung zu
logischen Szenario
LogischeSzenarien +
Parameterraum
BestimmungExposure
IntegrationBestehenskriterien
Anwendung Testkonzept
inkl. Variations- methode
Wissen:Gesetze,Normen,
Richtlinien, ...
Gesamtmethode zur Bewertung der hochautomatisierten Fahrfunktion
Risiko-ermittlung
basierend auf EHAF/S/Csoll/
CHAF
Freigabe Testauswertung Testdurchführung Testfallableitung
Techn. Anforderungen
Informationsquelle Auswertung & techn. Umsetzung Szenarien
Use Case &Bestehende
Daten/Wissen
ErweiterteDaten &Wissen
Argument
Sicherheits-argumentation
Daten / InhalteArbeitsschritt
Prozessierung
Vorverarbeitung / Rekonstruktion
Systematische Szenarien-Identifikation
UnfallFOT/NDSSimulatorSimulationTestfahrt
Daten:
21
20 19 18 17 16 15 14 13
12
10 11
9
875
63
4
1
2
13
Testkonzept und Testfallzuordnung Szenarienformate Testspezifikations-Datenbank Testfallgeneierung, Testraum- abdeckung, Reduktion Testaufwand Testinfrastruktur / Karten
10 11 12 13
14
Grundlagen fürs Testen
11 14
10 12
12
Sensorsimulationsmodelle Software-in-the-Loop Hardware-in-the-loop Prüfgelände Generik, Leitstand Tools für Prüfgelände und Realfahrt • Kollisionsvermeidung
• Infrastrukturseitige Datenerfassung
Wizzard-of-Oz-Fahrzeug Feldtestkonzept
16 17 Simulation Prüfgelände Realfahrt
18 21
15 19
20
15 16 17 18 19
20 21
Test und Absicherung
Vielen Dank für Ihre Aufmerksamkeit!