Vorlesung im WS 2014 06. Januar 2014

Email: wahlster@cs.uni-sb.de Naturwissenschaftlich-Technische Fakultät I

Fachrichtung 6.2 Informatik Lehrstuhl für Künstliche Intelligenz

Universität des Saarlandes Campus E1 1

Postfach 15 11 50 66041 Saarbrücken

Prof. Dr. rer. nat. Dr. h.c. mult. Wolfgang Wahlster

Intelligente Fahrerassistenzsysteme

© W. Wahlster

Das Auto als fahrender Computer

Software steuert immer mehr Funktionen im Auto. Mehr als 100 Kleincomputer in einem Fahrzeug. Ein Software-Update wird zukünftig öfters vorkommen als ein Ölwechsel

© W. Wahlster

Die Gesellschafter der DFKI GmbH

Rheinland-Pfalz

Saarland

Bremen

Deutschland GmbH

© W. Wahlster

Passive Sicherheit Aktive Sicherheit

Situationserkennung rund ums Auto

Airbag Sicherheitsgurt Crash-Zelle

ESP ABS

Neue wissensbasierte Technologien

Crash Schadens-begrenzung

Unfallvermeidung durch Hilfe in riskanten Situationen

Unfallverhütung durch Vermeidung riskanter Situationen

Das Auto der Zukunft: Vermeidung gefähr- licher Situationen statt Schadensbegrenzung

Zukunft: Autos mit Umgebungsintelligenz und „Selbsterhaltungstrieb“

© W. Wahlster

Notfallassistent

Kreuzungsassistent Engstellenassistent

Geisterfahrerassistent Garagenassistent

Bremsassistent

Source: BMW

Car2X-basierte Fahrerassistenzsysteme trans- formieren das Fahrzeug in eine intelligente Umge- bung

© W. Wahlster

Fahrerassistenzfunktionen

Einparkhilfe

Erkennung des toten Winkels

Spurassistent

Adaptive Navigation

Nachtsichthilfen

Verkehrsschild- erkennung

Abstands- hilfen

© W. Wahlster

Drei Kilometer Kabel knüpfen das Bordnetz eines Autos

Leitungen : 1200 - 1500 Kontakte : 1600 - 2000 Leitungslänge max.: 3000 m

32 Kabelkanäle 30 Durchführungen 600 Steckverbinder

© W. Wahlster

Das Auto als intelligente Umgebung: Mehr als 200 Sensoren und Aktuatoren in modernen Fahrzeugen

© W. Wahlster

Radar mit großer Reichweite

Laserscanner

Stereo- kamera

Radar und Ultraschall mit kurzer Reichweite

Kamera

Autos werden immer stärker mit Umgebungssensoren aufgerüstet

© W. Wahlster

Sprache

Graphik

Gestik

Multimodale Interaktion

Im Auto mit allen Sinnen ins Internet – ohne Tastatur und Maus

Mimik Biometrie:

BlickbewegungA

Physische Aktion

© W. Wahlster

Das Auto als intelligente Umgebung

Instrumentierung des Fahrzeugs Fahrgastbezogene Instrumentierung

Fahrgastbezogene multimodale Ausgabe

• GPS • Gyrometer • Ultraschallsensor • Lasersensor • Radarsensor • Eis- / Regensensor • NFC/RFID Leser

• 4 Mikrophone • Eye-tracker • Gestikerkennung • Biosensoren • 4 Gewichtssensoren • NFC-Lesegeräte • 5 berührungsempfindliche Bildschirme

• Heads-up Display (HUD) in der Windschutzscheibe • 5 Bildschirme • LEDs • Instrumententafel • Dolby Surround Sound

© W. Wahlster

CANSpeech: Das neue DFKI-Sprachinterface für den CAN Bus

Wie warm ist es im Fahrzeug?

Bitte schließe mein Fenster

teilweise.

Öffne alle Fenster! Setze die

Temperatur auf 22 Grad!

Schalte die Sitzheizung

ein!

Mir ist kalt.

© W. Wahlster

Multimodale Sprachdialoge im Auto

© W. Wahlster

Multimodale Interaktion im Fahrzeug: Sprache in Kombination mit physischen Schnittstellen

“Fenster vorne

rechts” “Alle Fenster”

“Hintere Sitzheizung” “Lautstärke”

Sprache bestimmt die Semantik des Dreh-Drück-Bedienfeldes

Experimentelle Untersuchung zur

Bestimmung des Einflusses von

manueller vs. multimodaler Interaktion

mit den Komfortfunktionen des

Fahrzeugs auf den Grad der Ablenkung

des Fahrers. (Cao et al , IUI 2010)

0

0,2

0,4

0,6

0,8

1

1,2

1,4

1,6

manual multimodal

manuell multimodal

kognitive Last Abl

enku

ngsg

rad

des

Fahr

ers

© W. Wahlster

Twitter4Car: Kombination von Blickbewegungen und Sprache für den Zugriff auf Internet-Dienste

© W. Wahlster

Multimodale Fusion: Kombination aus Sprache und Mikrogestik

Kreisgestik Wahlgeste mit dem Zeigefinger plus Spracheingabe “Hans” = Bitte verbinde mich mit Hans.

Aktivierung einer speziellen automatischen Spracherkennungsgrammatik, die nur die Namen des Fahreradressbuches enthält , zur Verbesserung der Erkennungsleistung

.

Hans

© W. Wahlster

Die Ausrichtung des Kopfes als neue Eingabemodalität

Öffne!

Bitte öffne das vordere linke Fenster.

Was ist das?

Welches Objekt sieht man durch das vordere rechte

Fenster?

Wechselseitige Disambiguierung der Kombination aus Sprache und Kopfausrichtung

Verwendung der Eingabe einer normalen Webkamera

© W. Wahlster

Kombination von Sprache und Aktionskontext

„Schneller!“ „Schneller!

“

Interpretation und Disambiguierung von multimodalen Äußerungen: Auswahl der Scheibenwischergeschwindigkeit vs. wechseln der Tempomateinstellung

© W. Wahlster

Rollenbasierte Interaktion mehrere Fahrzeuginsassen

„Mir ist kalt. Schalte die

Heizung bitte an.“ Mehrpersonen-

interaktion rollen- basiertes

Rechtemodell

Sprecher- identifikation

und Lokalisierung

Auswahl der relevanten Zone der 4-Bereichsklimaanlage

© W. Wahlster

Mobile erweiterte Realität für Passagiere (AR in Seitenfenstern)

© W. Wahlster

Pervasive Konnektivität: Das vernetzte Auto erzeugt verschachtelte intelligente Umgebungen.

3 Typen der Konnektivi-

tät

Konnektivität zwischen Fahrzeugen und der Infrastruktur

von Straßen und der Stadt

Konnektivität innerhalb des

Fahrzeugs

Konnektivität zwischen Autos und Lebens- und Arbeitsumgebungen

© W. Wahlster

All-IP Automobil: Ein Echtzeit-Ethernet Bus und 4 Rechner statt 5 Spezialbussystemen und 70 ECUs

Firewall

© W. Wahlster

Dezentrale Car2X-Kommunikation

Drahlose ad-hoc Kommunikation X= andere Verkehrsteilnehmer

oder Verkehrsinfrastruktur

© W. Wahlster

Internet

Sichere Verbindung

UMTS/LTE

WLAN

Nahtloses Roaming zwischen Hotspots und zellulärer Mobilfunk-Kommunikation

ABC-Technologien (Always Best Connected): Stets verfügbare optimierte Internet-Konnektivität für Fahrer und Mitfahrer

WiMAX

WLAN

WLAN

© W. Wahlster

Car2X-Kommunikation: Das Auto als fahrender Sensor-Knoten, mobiler Computer und mobiler Internet-Knoten

1. Mehr Sicherheit 2. Weniger CO2 3. Bessere Effizienz 4. Bessere

Kommunikation

© W. Wahlster

Fahrerassistenz: Nach 2 km Eisbildung!

Fahrerassistenz: Achtung nicht überholen!

Gegenverkehr hinter Kurve

!

Fahrerassistenz: Fahrbahnarbeiten nach

500 Metern!

Fahrerassistenz: Fahrzeug von rechts

hat Vorfahrt!

M2M-Anwendungen: Eingebettete Systeme kommunizieren via Internet

© W. Wahlster

Lokale Gefahrenwarnung über Car2X-Kommunikation

© W. Wahlster

Informationsaustausch zwischen Fahrzeugen über drahtloses Internet

© W. Wahlster

Kreuzungsassistenz

© W. Wahlster

Geschwindigkeitsassistent für grüne Ampelphasen

© W. Wahlster

Anfahrtassistenz vor roter Ampel

© W. Wahlster

Baustellenassistenz

© W. Wahlster

Einsatzfahrzeugasssistenz

© W. Wahlster

Ampelassistent: WLAN-Kommunikation zwischen Fahrzeug und Ampelanlage

© W. Wahlster Source: BMW

Ampelassistent: Notfallbremsung basierend auf Car2X-Kommunikation

© W. Wahlster

Achtung, Aquaplaning

in 100 Meter !!!

Peer-to-Peer Austausch von Sensorischer Information

GPS: Geo- daten

GPS: Geodaten

Sensorik

Semantische Peer-to-Peer Verbindung

© W. Wahlster

Bordcomputer kommunizieren untereinander und lassen Fahrzeuge in Gefahrensituationen autonom reagieren.

Autonomes Blinken und Hupen des Motorrads zur Erhöhung der Aufmerksamkeit eines kreuzenden Autofahrers

© W. Wahlster

Das Pull-Paradigma für Car2X-Systeme

Informations- suche

Push

Pu

ll

Informations- quelle

Ad-Hoc Netz Auto Fahrer

Anfrage Information gefunden

Auffinden des anfragenden Fahrzeugs

Präsentation

Broadcast Relevanz- filter

Präsentation

Antwort

© W. Wahlster

Verwendung vonCar2X PADE des DFKI (Dissertation S. Castronovo 2013)

• 36 Präsentationsmodelle im weltweit größten Feldtest simTD

• 400 Testfahrer mit Autos von 6 Marken • 2 OEMs (VW, Opel): haben ihr Firmendesign über PADE

gelegt • Vor dem Feldtest 1 ½ Jahre Vortests auf einer Teststrecke

© W. Wahlster

Bidirektionale Car2X-Kommunikation mit IEEE 802.11p und Multi-Hop-Suche

© W. Wahlster

1

2

Intelligente Kreuzungsassistenz: Andere Autos können mit Car2X als mobile Sensoren verwendet

Als mobiler Sensor verwendetes Auto Auto fordert aus dem Netz Information über Querverkehr an

© W. Wahlster

2

1

Freie Fahrt trotz verdeckter Sicht mit Car2X

Smart hat WebCam im Netz freigeschaltett

Auto will ohne Halt in die Vorfahrtsstrasse einfahren

© W. Wahlster

BMW-Testfahrzeug des DFKI mit Car2X

© W. Wahlster

Drei Car2X-Testfelder zur experimentellen Evaluation der Car2X-Technologien des DFKI

SIM-TD Teststrecke PMC Teststrecke

lang, im Raum Frankfurt, für 400 Autos unterschiedlicher

Hersteller

mittel, im Raum Bremen für die DFKI-eigene

Elektroautoflotte

Car2Saar Teststrecke

kurz, hochentwickelt auf dem Campus der UdS

© W. Wahlster

SIM-TD: In Deutschland gab es weltweit größten Feldtest der Car2X-Technologie

Weltgrößte Datenerhebung

450 Fahrer 43.000 Fahrstunden

1.650.000 km

© W. Wahlster

Notfallassistenz aus dem SmartSenior-Projekt. Übergang zum hochautomatisierten Fahren

© W. Wahlster

1001010110111010001010011101001010110110110110001000001001001001001001001110101010010010010010001000111101001111010010011010100100100100101010100100110100100100100011001011111111011111111111101010110001000100100101001010001000100010000000000010001000100010111001111111010001001110100000000000000000000000000000000100100010010010101001010011110111100011111111110010010100101000001001111111010101111010101110100100100100010011011111010010010100001001001001001001010100100111011001101011001101011101001001001001011111100111100110101011010010010010100100100100100100000000010010010100

Android Markt App Store

Apps für das Motor-

management

Apps für die Fahrer-

assistenz

Apps für umweltfreund-liches Fahren

Apps als Intelligente

Benutzerschnitt-stellen

Das softwaredefinierte Auto: Anpassen der Fahrzeugfunktionalität durch Apps

© W. Wahlster Source: BMW

BMW Apps: Integration der neuesten Webdienste in die Fahrzeugumgebung

© W. Wahlster

SemProM: Das semantische Produktgedächtnis speichert ein Tagebuch des Fahrzeugs (Wahlster et al 2010)

Multimodale Interaktion & Browsing

Das sprechende Fahrzeug erzählt die Geschichte seines Lebens

Aktuatoren

Sensoren

Black Box Ereignisspeicher

Semantisches

Gedächtnis des Fahrzeugs

Der ‚Smart Car‘ überwacht sich selbst und seine Umgebung.

© W. Wahlster

Das digitale Fahrzeuggedächtnis SemProM unterstützt auch die Wartung: Digitale Ersatzteil- und Serviceinformationen im Fahrzeug.

Das Fahrzeug prüft Ersatzteile und Flüssigkeiten auf Kompatibilität und gewährleistet deren korrekten Einsatz. Echtheit der Ersatzteile kann so geprüft werden.

© W. Wahlster

Erfassung der Waren im PKW und Mehrwert-dienste auf der Basis der Einkaufsliste

© W. Wahlster © W. Wahlster

Einstellung der Klimaanlage hat Auswirkung auf die Fahrzeit zur Garantie

der geschlossenen Kühlkette

Zugriff auf das Produktgedächnis gekaufter Waren im PKW

© W. Wahlster

Innovationen in der Agrartechnologie: Cyber-physische Systeme ermöglichen autonome Landmaschinen

© W. Wahlster

Moderne Maschinen können orts-basiert Ernte- mengen und Feuchtigkeitsgehalt von Feldfrüchten bestimmen.

Feuchtigkeits- sensor

Durchflussmengen- sensor

© W. Wahlster

Der Machine Connector ermöglicht her-stellerübergreifenden Datenaustausch mit der Flotte

Schnittstellen für den Datenaustausch zwischen Maschine und iGreen Knoten– Kombination von ISOXML & Semantischer Annotation Maschine– Maschine, auch ohne verlässliche mobile Internet-Anbindung!

Die Schnittstellen entstehen in herstellerübergreifender Zusammenarbeit John Deere , Claas, CCI (KRONE, Grimme,…)

Vision: Alle Maschinen einer Flotte in einem synchronisierten Datenraum

MachineConnector Gateway

REST HTTP

©2013 DFKI & iGreen Consortium

© W. Wahlster

Anwendungsbeispiel: Flottenmanagement in der Ernte

de/testkunde/officecomputer Internet

de/igreen/rootserver

de/testkunde/tractor

de/deere/jdmd de/claas/clmd

WiFi

GPRS

©2013 DFKI & iGreen Consortium

© W. Wahlster

Automatisches Fahren basiert auf schnellen mobilen Netzen und präziser Sensorauswertung

© W. Wahlster

Cyber-Physische Systeme für Mobilitäts der Zukunft

Das vernetzte und wandlungsfähige Elektromobil EO des DFKI

© W. Wahlster

Soziale Mobilität: Verbindung von Netzwerken

• Verbindung von Sozialen Netzwerken mit Straßennetzwerken

Rinspeed Identiface (von Daimler MBtech) Facebookeinträge, Neuigkeiten, Carpool-Angebote

© W. Wahlster

Multimodale persuasive Intervention

• Grüne Mobilität: Verhaltensbeeinflussung des Fahrers durch belehrendes Eingreifen

• Virtuelle emotionale Charaktere überzeugen den Fahrer treibstoffsparend zu fahren

• Virtuelle Charaktere erscheinen nur, wenn es die Verkehrssituation zuläßt (Parkplatz, rote Ampel,…)

Achtung, es ist grün! Passen

Sie besser auf den Verkehr auf. Bis

später...

Wenn Sie so weiter fahren, verbrauchen

Sie mehr Benzin als gestern!

© W. Wahlster

Soziale Mobilität: Personalisierung

• Das Fahrzeug wird zu einem sozialen Partner / Handelnden

“Filmore” (Disney Pixar)

erinnere dich daran mich bald zur Inspektion zu bringen

© W. Wahlster

Intelligente Straßenbeleuchtung: Automatisches Einschalten oder Lichtkette durch E-Cars bei Näherung eines Fußgängers im Dunkeln

All-IP, Always-On E-Cars: Parkende Fahrzeuge schalten bei Bedarf das Licht an

© W. Wahlster

Intelligenter Straßenverkehr auf der Basis von C2X-Technologien

EO bietet eine Plattform für neue Mobilitätskonzepte EO unterstützt die Umsetzung neuer intelligenter Mobilitäts-konzepte. • CarSharing, Car2Go, Integration

verschiedener Verkehrsträger • Selbststeuernder Verkehr: EO

erprobt Schlüsseltechnologien • Selbstlokalisation/Navigation • Kollisionskontrolle • Car2Car Kommunikation • Car2Infrastructure Kommunikation • Einbindung von Fahrzeugen in

Intelligente Transportsysteme (IST) • Fahren mit minimalem Abstand • 0-Tote Autos • Automatisches Fahren • Echtzeitverarbeitung von BIG DATA

© W. Wahlster

Ressource Auto: Durchbruchsinnovationen

Ganzheitliche Betrachtung der Gesamtheit aller Fahrzeuge und deren Wechselwirkungen in der Automobilgesellschaft.

Das Auto der Zukunft wird Ressourcengeber (Energie, Kommunikation, Wissen, Rohstoffe) nicht wie bisher nur Ressourcennehmer !

Aktuell meist Verbesserungsinnovationen des einzelnen Autos: Sicherer, Sparsamer, Sauberer - Elektromobilität

© W. Wahlster

Ressource Energie: Autos sammeln und speichern Energie (Energie-Puffer und Kraftwerk)

Die Oberfläche hochentwickelter Autos wird durch neue photovoltaische Werkstoffe als Stromerzeuger genutzt werden.

Neue Generation von Batterien speichern über- schüssige Wind-energie in gepark-ten Autos im Sinne eines Smart Grid.

© W. Wahlster

Personalisierer

Profil des Fahrers Konfiguration

Schlüsselcode

Mehrkanal- ausgabe

Individueller Kanal

Standardsicht

Multiple Realität: Adaptive Windschutzscheibe

Multimodale Fissions-

technologie

© W. Wahlster

Diese Ausfahrt nehmen!

Multiple Realität: Personalisierte Anzeigen

© W. Wahlster

Konklusionen 1. Das Auto wird immer mehr zum mobilen Computer, Internet-

Knoten und Sensornetz. 2. Autos werden zu kognitiven und sozialen Systemen, die

untereinander kommunizieren und Unfälle ausschliessen. 3. Eine neue Generation von Elektroautos hängt ständig am

Web, vernetzt sich selbst und bietet disruptive Dienste an. 4. Auto-Piloten und Fernsteuerung werden möglich, der Fahrer

muss nur noch in außergewöhnlichen Situationen eingreifen. 5. Datenschutz und Sicherheit der Netze sind dabei essentiell lebenswichtig.

© W. Wahlster

dieser Vortrag basiert auf der Zusammenarbeit mit folgenden Mitarbeiter des DFKIs:

Dr. Christian Müller, Dr. Sandro Castronovo, Dr. Michael Feld, Angela Mahr, Rafael Math, Monika Mitrevska, Mohammad Mehdi Moniri Die Arbeiten wird durch das Bundesministerium für Bildung und Forschung (BMBF) und die Firmen BMW, Daimler, Globus, Nuance und Intel gefördert.

Danksagung

Vielen Dank für Ihre Aufmerksamkeit