KI im Flugzeugfa4945c6-a16c-4c38-9233... · 2019-06-04 · Wie viel Mensch brauchen wir noch? KI im...

130
Wie viel Mensch brauchen wir noch? KI im Flugzeug Swiss Re CEO Get-Together 2019 Berlin, 4. April 19 Cpt. Manfred Müller Leiter Flugsicherheitsforschung Lufthansa Univ.-Dozent für Risikomanagement

Transcript of KI im Flugzeugfa4945c6-a16c-4c38-9233... · 2019-06-04 · Wie viel Mensch brauchen wir noch? KI im...

Wie viel Mensch brauchen wir noch?

KI im Flugzeug

Swiss Re CEO Get-Together 2019

Berlin, 4. April 19

Cpt. Manfred Müller

Leiter Flugsicherheitsforschung Lufthansa

Univ.-Dozent für Risikomanagement

Wie sicher muss es sein?

100%! („vision zero“)

Durchschnittliche Flugzeit pro

Totalverlust

Erste Versuche (Otto Lilienthal) 0,5 h

1900 50 h

1940 500 h

1970 (Militär) 50.000 h

2015 Passenger Jet Transport 3.000.000 h

0,5 x 10-6

Was?

Warum?

Wie?evidenzbasiert + unideologisch

Trägheitsnavigation 1980

Gewicht: >100kg

9 Wegpunkte, manuelle Eingabe erforderlich

Laser-Kreisel

Gewicht: <4kg

>1.000.000 Wegpunkte

Total Losses

HUM 60,9%

ENV 26,1%

TEC 16,3%

Kategorie Fehler MTBF

Aufgabenbezogene Fehlerwahrscheinlichkeiten und MTBFs

Prof. Bubb TU-München

Einfache und häufig durchgeführte Aufgaben bei geringem Stress.

10-3

Komplexe Aufgaben in ungewohnter Situation bei hohem Stress und / oder wenig Zeit.

Komplexe, häufig durchgeführte Aufgaben in gewohnter Situationen ohne Zeitdruck.

10-1

10-2

30 min

5 min

<30 sec

Kategorie Fehlerwahr-

scheinlichkeitMTBF

Erhöhung des

Automationsgrades

…die Unfallursache „mangelndes

Training“ hat sich vervierfacht

Vollautomatische Landung in München

Eingriffszeit 1sec

Samstag 31. Oktober 2015, Seite 24

Wissen

Menschenleere

Cockpits

Prof. Dr.-Ing. Stefan LevedagInstitutsdirektor Flugsystemtechnik

DLR Braunschweig

…in der Praxis kommt es äußerst selten

vor, dass der Pilot mit Kompass und

fliegerischem Können landen muss

Als nächstes könnte es den

Copiloten treffen. Auch ihn

ersetzen Flugassistenzsysteme,

oder die fliegerische Weiterbildung

der Flugbegleiter…

Weltweiter Airline-Verkehr~40 Mio. Flüge per anno

Wie häufig fallen alle Autopiloten aus:

…alle 2 Stunden (p ~ 10E-4)

Wie häufig muss ohne Instrumentenhilfe (ILS)

angeflogen werden?

…jede Minute (p ~ 10E-2)

…alle 1,5h in schwerem Sturm

B737, Chuuk, 28. September 2018

…50% der Ärzte werden

aufgrund von KI sehr bald

arbeitslos werden!

Zuverlässigkeit einer

KI-Diagnose <85%

Zuverlässigkeit Google-Auto(Stand 1/2016)

2 Mio. km ~50.000h ~200.000 Fahrten

272 x Technikversagen (~10E-3)

13 x rettet der Fahrer vor einem Unfall

Unfallrisiko pro Fahrt: ~6 x 10E-5

Unfallrisiko „normales“ Auto: 4 x 10E-6

Google-Auto: Risiko x 15 (bei besten Bedingungen)

β-Version

intellegere „erkennen“, „einsehen“; „verstehen“;

wörtlich „wählen zwischen …

Mustererkennung

Was ist hier los?

Was ist hier los?

Datenverarbeitung

Nordamerikanischer

Kupferkopf

Viper

Stanislaw Petrow

26. September 1983

Spiegelungen

über Montana

Datenverarbeitung

Eine Frage der Zuverlässigkeit…

Die Drohne Global Hawk fliegt völlig autonom, weicht

anderen Flugzeugen problemlos aus…

(Zuverlässigkeit <10E-4)

Was wäre, wenn alle

Verkehrsflugzeuge Drohen wären?

Ein tödlicher Unfall alle 2h

Das Spam-Problem ist in zwei Jahren

gelöst.

Bill Gates, 2004

Bis 1985 werden Roboter in der

Lage sein, alle Arbeiten zu

verrichten, die der Mensch

erldedigen kann.

Prof. Herbert Simon, Vater der KI, 1965

Autonom fliegende

Systeme

Sensorik

Motorik

Datenverarbeitung

Flugtaxi geforderte Zuverlässigkeit:

p Hull Loss:10E-6 pro Stunde

Airline-Industrie ein Hull Loss alle 4 Tage

2040: alle 2 Tage

Prof. Dr.-Ing. Florian Holzapfel

Institute of Flight System Dynamics

Ordinarius an der TUM

Wie viele Piloten braucht man im Cockpit?

…funktioniert nicht bei Start und Landung

A400M

Triebwerkskonsortium Europrop International:

MTU Aero Engines (Deutschland)

Snecma (Frankreich)

Rolls-Royce (Großbritannien)

ITP (Spanien)

9. Mai 2015 in Sevilla

Von AI programmierte Triebwerk-Steuersoftware

schaltete 3 Motoren auf Leerlauf…

DatenverarbeitungMotorik

8. August 2018

keine „angle of attack protection“

Angle of Attack Sensor

Flug Bilbao München

A321: α - vanes

Theorie: R <10e-9

5. November 2014

Sensorik

Datenverarbeitung

Air Asia Flug QZ8501 Surabaya - Singapur

28. Dezember 2014

Yaw-Damper Control Module

Yaw-Damper Control Module

Datenverarbeitung

Motorik

Unusual Attitude Recovery Training (R>10-8)

Raumfähre Buran, 1988

unbemannt über (fast) menschenleerem Gebiet (West-China)

Sicherheitsziel: SORA (specific)

Shannon - Halifax

Fernsteuerung

Limitierender Faktor:

Zuverlässigkeit der

Datenverbindung bei multiplen

Systemausfällen

Δ-Zuverlässigkeit: 10e5

Überprüfung komplexer Software

A350: >30.000 Parameter werden überwacht.

Nur die 100 (0,3%) wichtigsten Eingangsgrößen sollen

berücksichtigt werden…

Überprüfung komplexer Software

100 Eingangsparameter

ergeben

2100

Systemzustände

( 2100 = 1.27 x 1030 )

Überprüfung komplexer Software

Vision:

Verbesserte Computer können 1 Milliarde

Systemzustände pro Sekunde testen.

1 Million dieser Computer arbeiten parallel.

2018: 500 petaFLOPS/sec => <107 ZuständeOak Ridge National Laboratories, USA

Überprüfung komplexer Software

Dauer des Testlaufes

1.27 x 1030 geteilt durch 1015

ergibt

4 x 107 Jahre

40 Millionen Jahre

Es gibt keine fehlerfreie komplexe Software

Die Sicherheit autonomer Flugsysteme wird auch in

absehbarer Zukunft für Airliner nicht ausreichend

sein. Eine Zuverlässigkeit von >10e-9 ist für die

erforderlichen Sub-Systeme nicht erreichbar.

Prof. Dr.-Ing. Florian Holzapfel

Institute of Flight System Dynamics

Ordinarius an der TUM

Stufe 5: Vollautomatisierung

Stufe 4: Hochautomatisierung

Heute Stufe 4:

bedingte Automatisierung

Geschlossene Systeme

p 10e-x: Der König geht mehr als ein Feld pro Zug

offene Systeme

selbstlernende Software

nicht deterministisch!

„trial and error“

R >10e-5

Δ zum Sicherheitsziel >>10e2

Intuition (in 7% aller komplexen Situationen erforderlich)

Luftfahrttechnologie

Sicherheit

Komplexität

Highly Automated Technology

?

Sicherheit

Komplexität

Highly Automated Aircraft

TASK

Level of Automation

cruise fligt,

low complexity

approach, landing,

medium complexity

severe abnormals,

high complexity

FMS, fully managed

basic modes,

medium support

manual flight,

no support

Human Factor Research Project

Cockpitumfrage120-seitiger Fragebogen

2100 Piloten berichteten ausführlich von

ihrem letzten sicherheitskritischen Vorfall

Mehr als 3.200.000 Datensätze wurden analysiert

Human Factor Research Project

Risikokategorien

TEC Technische Probleme

OPS Operationelle Probleme

(Komplikationen)

HUM Human Error

SOC Soziale Probleme

(Teaminteraktion)

Human Factor Research Project

Human Error

4,9% aller

sicherheitskritischer

Vorfälle

IATA-Statistik >60%

Human Factor Research Project

Operationelle Probleme (Komplikationen)

Human Factor Research Project

Operationelle Probleme (Komplikationen)

+

Human Error

Human Factor Research Project

Operationelle Probleme (Komplikationen)

+

Human Error

+...suboptimale Teamarbeit

Human Factor Research Project

Operationelle Probleme (Komplikationen)

+

Human Error

+...suboptimale Teamarbeit

37,8% aller sicherheitskritischer

Vorfälle

0,7%

1,2%

4,9%

7,7%

0,9%

1,2%

2,6%

4,1%

8,3%

13,7%

1,9%

2,5%

4,0%

37,8%

9,1%

0% 10% 20% 30% 40% 50%

SOC ONLY

OPS

HUM

TEC

TEC/HUM

OPS/SOC

TEC/SOC

TEC/OPS

OPS/HUM

HUM/SOC

TEC/HUM/SOC

TEC/OPS/HUM

TEC/OPS/SOC

OPS/HUM/SOC

TEC/OPS/HUM/SOC

46.2%

30.8%

14.5%

9.1%

Frequency Distribution

by Event-Configurations

14,5%

In 48% aller Fälle

• wurden notwendige Aussagen nicht gemacht,

entsprechende Hinweise nicht gegeben,

In 48% aller Fälle

• wurden notwendige Aussagen nicht gemacht,

entsprechende Hinweise nicht gegeben,

• wurden unklare Bedenken nicht geäußert,

In 48% aller Fälle

• wurden notwendige Aussagen nicht gemacht,

entsprechende Hinweise nicht gegeben,

• wurden unklare Bedenken nicht geäußert,

• waren wichtige Aussagen unvollständig, unvoll-

kommen oder wurden überhört.

Human Factor Research Project

Suboptimale Teaminteraktion

erhöht die Anzahl von kritischen

Vorfällen um den Faktor 5

Grösste Gruppe von Vorfällen

Lion Air, Indonesien, 29. Oktober 2018

Ethiopien Airlines, Addis Ababa, 10. März 2019

Software-Bug im AOA-System:

Fehlendes AND-Gate

B737-8 MAX

MCAS Maneuvering Characteristics Augmentation System

(nicht in den Handbüchern dokumentiert)

Interaktion

Schwarmintelligenz

Schwarmintelligenz

Schwarm

Big Data

TB (Terrabit) =

1,1e12 bit

LH-Group: 1,29e13 bit /Tag

11,8 TB pro Tag

0,13% aufgezeichnet = 6TB p/a

>100 Fälle

Formel: ΔTAT >10°C in <10sec

Beherrschung von Komplexität

4. November 2010

Qantas Flight 32

fuel line

54 ECAM Warnings

4 Cockpit-Crew

EICAS Caution and Advisory Messages:

DET FIRE/OVHT 1

HYD OVHT SYS 1

BLEED 1 OVHT

BLEED HP ENG 1

BLD 1 OVHT/PRV

ENG 1 OVHT LP A

ENG 1 OVHT LP B

ENG 1 FIRE LP A

ENG 1 FIRE LP B

OVHT ENG 1 NAC

FUEL SPAR VLV 1

ENG 1 VIB

.....

mehr als 30 Warnungen

4 Piloten

Komplexe Maschinen, die

menschliche Unzulänglichkeiten

kompensieren sollten, lehren uns nun

optimale menschliche Interaktion.

Gmäeß eneir Sutide eneir elgnihcesn

Uvinisterät, ist es nchit witihcg in wlecehr

Rneflogheie die Bstachuebn in eneim

Wrot snid, das ezniige was wcthiig ist, ist

daß der estre und der leztte Bstabchue an

der ritihcegn Pstoiion snid. Der Rset knan

ein ttoaelr Bsinöldn sien, tedztorm knan

man ihn onhe Pemoblre lseen.

141 von 258 Buchstaben an falscher Stelle

These: Wenn durch Automation weniger Menschen ihr

Leben verlieren als ohne, übernimmt der Computer.

Anti-These: German Angst

Automobilinsassen bei „10e-8“: Ein Toter alle 3 Tage(150 Tote statt 1.500 pro Jahr)

Einführung: 10% autonom: Ein Toter pro Monat

Wo landen?

Welcher Anflug?

Wo Abrollen?

Schleppstange?

Welches Krankenhaus?

Welcher Arzt?

ETOPS-Mechaniker?

Fuel-Dumping?

Overweigt Landing Check?

…macht gerade Urlaub auf Island

Mobilnummer: +49 172 3485769

per SMS informiert

wird in Hvalfjardarsveit abgeholt ETA am Flughafen in 1:30h

KI über dem Nordatlantik…

Autonom nach SORA

Kosten Sicherheitsziel

10e-5

10e-6

10e-7

10e-8

Cargo

$

$$

$$$

Low cost

Airline 2.0

Premium

Airline

1 Pilot: Ausbildung erfüllt alle

gesetzlichen Vorgaben

min. 2 Piloten: nach „best practice“

ausgewählt und ausgebildet

Wie viel Mensch brauchen wir noch?

Basic Flying Skills? Systemverständnis? Airmanship?

DOCUMENTATION

TRAINING