Die FINCA – Eine flexible Plattform fur Ambient Intelligence

Dipl.-Inf. Christian Kleine-Cosack

28. Juni 2011

I Motivation Neue Herausforderungen

I Die FINCA Technik und Infrastruktur

I Forschung Aktuelle Projekte

Motivation

Eingebettetes System

Intelligente Umgebung

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 1

Anforderungen I

Benutzerinteraktion

I zielorientiertI intuitiv

Unterstutzung naturlicher Modalitaten

I SchrifterkennungI GestenerkennungI Spracheingabe und -ausgabeI Detektion / Lokalisierung

Infrastruktur

I Mobilitat des BenutzersI Sensorik und AktorikI SystemdynamikI Verteilte Systeme

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 2

Anforderungen II

Bedienung

Zustandsvielfalt

Homo Logicus vs. Homo Sapiens1

N

Interface- und Interaction-Design

1Alan Cooper, The Inmates Are Running the Asylum, SAMS (1999)

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 3

Herausforderungen (Software / FINCA)

Mustererkennung

I SensoraufnahmeI MerkmalsextraktionI Klassifikation

Systemintegration

I DynamikI KommunikationI Verteilte, heterogene Systeme

Interface-Entwicklung

I IntuitvI FokussiertI Benutzerorientiert!2

2Marty Cagan, Inspired: How to Create Products Customers Love, SVPG Press (2008)

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 4

Ubersicht

I Motivation Neue Herausforderungen

I Die FINCA Technik und Infrastruktur

I Forschung Aktuelle Projekte

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 5

Die FINCA— A Flexible, Intelligent Environment with Computational Augmentation —

AmI Umgebung Intelligenter Konferenzraum, Laborflache und einmobiler Roboter – Weiteres im Aufbau . . .

Fokus Perzeptionsorientierten Sensoren, nicht-intrusiven Sensorenund Basis-Infratstruktur

Integrierte Plattform Techniken zur Realisierung von naturlicher undintelligenter Mensch-Maschine-Interaktion

[↗ www.finca.irf.de]C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 6

Anwendungsbeispiel

Kollaborative Erstellung von Mind-Maps

I Kontexterkennung und automatische Steuerung der Beleuchtungssituation

I Sprach- und Gestenerkennung zur Steuerung von Geraten

I Handschrifterkennung und -klassifikation

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 7

Sensorik und Aktorik

Kameras

I 4 fest installierte Kameras (PTZ)I 1 Mobile Kamera

Mikrofone und Lautsprecher

I 16 MikrofoneI Anordnung: 2 MikrofonarraysI Stereo-Kunstkopf auf Pan-Tilt-EinheitI Stereo-Lautsprecher

Mobiler Roboter

I Odometrie, Sonar, LaserI (Mobile) Pan-Tilt-Zoom Kamera

Aktoren / Sensoren

I Klima-SensorenI Bewegungs- und Tur-SensorenI Verschiedene BenutzerschnittstellenI Kommunikation uber KNX

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 8

KNX-Bus

Historie und Aufgabe

I Herstellerunabhangiger, zertifizierter StandardI Hervorgegangen aus dem Europaischen Installationsbus

(EIB)I Beschreibt die Kopplung von Aktoren und Sensoren in

HausinstallationenI Spezifiziert ein Protokoll zur Kommunikation

⇒ Trennung von Stromversorgung und Steuerung

Technik

I 2-adriger Bus zur Spannungsversorgung und KommunikationI Top. Netz: Bereich(15)/Linie(15)/Teilnehmer(255) = 57.375 BusteilnehmerI Zugriffsverfahren CSMA/CAI Datenrate: 9.6 kBit/secI Momentan: Unverschlusselte Kommunikation

Erweiterung

I KNXnetIP, KNX IR, Powerline

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 9

KNX-Gerate

Unterschiedliche Gerate und Plattformen

I Standard-Busankoppler (BCU)BCU2 von Siemens AG

I CPU: 8 Bit-CPUI OS: MicrokernelI Speicher: EEPROM: 991 Byte,

RAM: 100 ByteI Stromverbrauch: max. 10mA / 20 mA, 24V

I Preis: 50e

I High-End SchalterPrion, Busch Jaeger Elektro

I CPU:I OS:I Speicher:I Stromverbrauch:I zusatzliche BCU, Anbindung uber I2C

I Preis: 1500e

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 10

KNX-Gerate

Unterschiedliche Gerate und Plattformen (Fortsetzung)

I Touch Panel InterfaceBusch-ComfortPanel, Busch Jaeger Elektro

I CPU:I OS:I Speicher:

I Preis: 3000e

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 11

Die Software-Infrastruktur

OSGi: Prosyst mBedded Server Equinox Edition[↗ www.prosyst.com]

UPnP: Unterstutzung durch OSGi Framework

I Verwendung: Service Discovery

KNX: Gateway fur IP basierte Dienste

I EIB-daemon [↗ www.auto.tuwien.ac.at]I USB-KNX interfaceI Calimero EIBnet/IP Tunnelling fur Java

[↗ calimero.sourceforge.net]

Applikationen:

I Allgemein: OSGi BundlesI Weitere Funktionalitat uber Remote

Computing and OSGi Proxy Bundles

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 12

Ubersicht

I Motivation Neue Herausforderungen

I Die FINCA Technik und Infrastruktur

I Forschung Aktuelle Projekte

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 13

Audio-Lokalisierung

Lokalisierung akustischer Quellen (Sprecher)

I Steered Response Power – SRP-PHAT –I Messung von Signallaufzeitunterschieden durch

generalisierte KreuzkorrelationenI Raumliche Uberlagerung aller generalisierten

KreuzkorrelationenI Maximum der resultierenden Energiefunktion ergibt

Quellenposition

Probleme

I Starker Widerhall (Stichwort Nachhallzeit)I Unbekannte QuellencharakteristikI Storgerausche: Computerlufter, Trittschall, etc.

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 14

Mindmap Verarbeitung

Problem

I Erkennen von Wortern und Strukturen in einem beliebigen Pixelhaufen

Losung

I Finden und Klassifizieren der verbundenen Komponenten mit Methoden derBildverarbeitung und des Maschinellen Lernens

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 15

Interaktive Objektlernen

Problem

I Wohin zeigt der Benutzer und welches Objekt meint er tatsachlich?

Losung

I Erkennung der Blick- und Zeigerichtung, Aufbau von Salienzkarten

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 16

Ubiquitous Interfaces

Problem

I Die Umgebungsfunktionalitat ist zu komplex, um alle Funktionen demBenutzer dar zu bieten

Losung

I Universelle, dynamische und mobile Benutzerschnittstellen

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 17

Los geht’s . . .

Institut fur Roboterforschung – Otto-Hahn-Straße 8

C. Kleine-CosackDie FINCA – Eine flexible Plattform fur Ambient Intelligence N

N

N H Motivation Die FINCA Forschung 18