1 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

Methoden der Biosignalverarbeitung

Einführung / Überblick

Vorstellung des Cognitive Systems Lab

Dipl.-Math. Michael Wand

Dipl.-Inf. Christian Herff

Prof. Dr. Tanja Schultz

Vorlesung SS 2012

2 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n –

Hir

nak

tivi

tät

Überblick

• Allgemeine Informationen

• Vorstellung der Vorlesung und des Lehrstuhls

• Angebote

• Einführung in diese Vorlesung

• Überblick über ausgewählte Biosignale

3 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Informationen zur Vorlesung

Weiterführende Vorlesung im Hauptdiplom/Bachelor/Master

• Vorkenntnisse: Erforderlich ist der Stoff der Vorlesung "Biosignale und Benutzerschnittstellen" oder "Multilinguale Mensch-Maschine-Kommunikation" oder entsprechend

• Besonders wichtig: Grundlagen der Signalverarbeitung (Fourier-Transformation etc.), Grundkenntnisse über maschinelle Lernverfahren

• Wenn es da Fragen gibt: Bitte sprechen Sie uns an

• Prüfung möglich in Kognitive Systeme und Anthropomatik

• Im Bachelor/Master-Studiengang: Teil verschiedener Module, bitte konsultieren Sie das Modulhandbuch oder fragen Sie uns

4 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Informationen zur Vorlesung

Turnus:

• Jährlich im SS, 2+0 oder 3 ECTS-Punkte

• Prüfungen ganzjährig während des Semesters, Anmeldung beim Sekretariat: helga.scherer@kit.edu

Termine:

• Wöchentlich Di 11:30 Uhr, Seminarraum 236, Geb. 50.34

DozentInnen:

• Dipl.-Math. Michael Wand

• Dipl.-Inf. Christian Herff

• Prof. Dr. Tanja Schultz

Einen inhaltlichen Überblick

• machen wir gleich

5 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Informationen zur Vorlesung

• Alle Vorlesungsunterlagen befinden sich unter

http://csl.anthropomatik.kit.edu

• Alle Folien als pdf

• Aktuelle Änderungen, Ankündigungen, Syllabus

• Gegebenenfalls zusätzliches Material (Papers)

• Grundlagen für Prüfungen:

• Vorlesungsinhalt, Folien + evtl. Tafelanschrieb

• Fragen, Probleme und Kommentare sind jederzeit während der Vorlesung willkommen, oder im persönlichen Gespräch:

• Michael Wand (michael.wand@kit.edu)

• Christian Herff (christian.herff@kit.edu)

• Tanja Schultz (tanja.schultz@kit.edu)

• Sprechstunden sind verfügbar, am besten per E-Mail anmelden

6 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Allgemeine Informationen: CSL

• Lehrstuhl für Kognitive Systeme seit 1. Juni 2007

• Karlsruher Institut für Technologie, Fakultät für Informatik

• Institut für Anthropomatik

• Neugründung des Cognitive Systems Laboratory (CSL)

• Homepage: http://csl.anthropomatik.kit.edu

• Laborgebäude Informatik 50.21, 1.OG (neben der alten Kinderklinik)

• Kontakt:

• Prof. Dr.-Ing. Tanja Schultz

tanja.schultz@kit.edu, +49 721 608 46300

• Frau Helga Scherer (Sekretariat)

helga.scherer@kit.edu, +49 721 608 46312

• Michael Wand

michael.wand@kit.edu

+49 721 608 44043

• Christian Herff

christian.herff@kit.edu

+49 721 608 46307

7 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

Technologien und Methoden:

Erkennen, Verstehen, Identifizieren

Statistische Modellierung, Klassifikation, ...

Anw

endu

ngsf

eld M

ensc

h-M

asch

ine

Inte

rakti

on

Her

asusf

ore

rder

ungen

und

Aufg

agen

:

Pro

dukti

vit

ät u

nd

Usa

bil

ity

Kommunikation des Menschen mit seiner Umwelt

im weitesten Sinn:

Sprache, Bewegung, … A

nw

endungsfeld

Men

sch-M

ensch

Kom

munik

ation

Herau

sford

erung u

nd A

ufg

aben

:

Sprach

envielfalt, k

ultu

relle Barrieren

Aufw

and u

nd K

osten

Forschung: Human-Centered Technologies

8 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Lehre am CSL

Regelmäßige Vorlesungen im Wintersemester

Alle Informationen im Web: http://csl.anthropomatik.kit.edu > Studium & Lehre

• Biosignale und Benutzerschnittstellen

• 4+0 oder 6 ECTS-Punkte, prüfbar in Kognitive Systeme und Anthropomatik

• Einführung in Erfassung und Interpretation von Biosignalen, Anwendungsbeispiele

• Design und Evaluation innovativer Benutzerschnittstellen

• 3 ECTS-Punkte

• Explizite und implizite Schnittstellen für Computersteuerung: Sprache, mentale Auslastung, Gesten + Emotionen

• Einzeltechniken und Gesamtsysteme

Alle Angaben ohne Gewähr.

9 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Lehre am CSL

Regelmäßige Vorlesungen im Sommersemester

Alle Informationen im Web: http://csl.anthropomatik.kit.edu > Studium & Lehre

• Methoden der Biosignalverarbeitung

• 2+0 oder 3 ECTS-Punkte

• Dienstags 11:30 Uhr, Geb. 50.34, SR 236

• Dieses Jahr zum zweiten Mal!

• Multilinguale Mensch-Maschine-Kommunikation

• 4+0 oder 6 ECTS-Punkte

• Dienstags + Donnerstags 14:00 Uhr

• Spracherkennung, Grundlagen und Techniken

• Kognitive Modellierung

• Donnerstags 15:45 Uhr, Raum 236, Gebäude 50.34

• Modellierung menschlicher Kognition im Kontext der Mensch-Maschine-Interaktion.

Alle Angaben ohne Gewähr.

26 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Überblick

• Allgemeine Informationen

• Vorstellung der Vorlesung und des Lehrstuhls

• Angebote

• Einführung in diese Vorlesung

• Überblick über ausgewählte Biosignale

27 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Allgemeine Information: Ziel der Veranstaltung

Ziele der Vorlesung "Methoden der Biosignalverarbeitung" • Vertiefter Einblick in die aktuelle Forschung zur Biosignalverarbeitung

• Informatisch/algorithmische Techniken mit vielerlei Anwendungen

• Signalerfassung, Artefaktreduktion, Filterung

• Umgang mit Signalüberlagerungen

• Beamforming

• Quellenseparation

• Diskriminative und andere Trainingsmethoden für maschinelle Klassifikatoren

• Entscheidungsfusion in multimodalen Systemen

Schauen wir uns doch mal einige dieser Themen an!

28 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Artefaktreduktion

• Hier sieht man ein typisches EEG-Signal...

• und was damit alles passieren kann!

• Artefakteinstreuungen sind ein großer Problem jeglicher Biosignalverarbeitung

• Wir lernen zwei wichtige Methoden der Artefaktreduktion kennen:

• Filterung

• BSS (Blind Source Separation)

29 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Filterung

• Wer die Vorlesung "Biosignale und Benutzerschnittstellen" gehört hat, kennt sie schon: Die Filterung.

• Aber warum tut ein digitales Filter (es heißt wirklich "das") das, was es tut?

• Wir werden die Methodik der Filterung, wie wir sie z.B. aus der Vorlesung BSBS kennen, wiederholen und vertiefen

• Außerdem lernen wir kennen, wie man ein digitales Filter entwirft

Filter H x[n] y[n]

Kammeyer/Kroschel, Frequenzantwort eines optimalen digitalen Filters

30 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Quellenseparation und Beamforming

• Eins unserer Hauptthemen: Quellenseparation (Source Separation)

• Wenn man heutzutage gewisse Biosignale aufnimmt (gerade die elektrischen, etwa EEG), bekommt man in der Regel ein Signal, das aus mehreren Kanälen besteht

• Was macht man mit diesen Kanälen?

• Wenn man's geschickt anstellt, kann man z.B. die Quelle eines Signals im Gehirn finden, obwohl man nur außerhalb des Schädels messen kann

• Oder man kann verschiedene, voreinander unabhängige Signale voreinander trennen

• Ganz zentral in der modernen Biosignalverarbeitung!

• Typisches Beispiel aus der Spracherkennung: Der Cocktail-Party Effekt

16-Kanal-Verstärker Recorder

Varioport ©

31 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Quellenseparation Beispiel EEG

• Ein typisches Beispiel von Quellenseparation (hier ICA).

• Das EEG-Signal ist durch Augenbewegungen gestört

• Mit ICA kann man diese als separaten Kanal extrahieren und dann die Daten ohne Augenbewegungen zurück- gewinnen

Original data ICA components

Back projected data

Removal of component 2

Quelle: Determining User State and Mental Task Demand from Electroencephalographic Data Diplomarbeit von Matthias Honal am CSL!

32 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Quellenseparation Beispiel EMG

[De Luca, 2006]

• So könnte es bei einem EMG-Signal aussehen.

• Man erkennt, dass die vier Kanäle ähnlich, aber doch nicht gleich sind.

• Man könnte sagen, sie stellen sehr ähnliche Aktivität aus verschiedenen "Blickwinkeln" dar.

• Dies gibt uns viele Möglichkeiten, optimale Algorithmen zu entwickeln!

• Einige lernen wir dann kennen.

33 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Quellenseparation

Wir werden in diesem Vorlesungsblock folgendes machen:

• Wie kann man erkennen, ob sich Quellen überlagern oder nicht, oder ob eine Trennung gelungen ist?

• Hier gibt es eine spannende Beobachtung, die auf der Gaussverteilung beruht!

• Wir werden auch noch einmal Maße der Unabhängigkeit von Daten (stochastische Unabhängigkeit, Entropie) wiederholen

• Ein kleines Beispiel: Hier wird ein aus zwei Signalquellen zusammen- gesetztes Signal gedreht und gestaucht. In den rechten Spalten sind die beiden Quellen nicht mehr unabhängig, und das erkennt man eigentlich schon mit bloßem Auge!

Ein Standardbeispiel für die lineare Überlagerung (4. und 5. Spalte) von zwei eigentlich unabhängigen Signalen (links) [Cardoso, 1998]

Fig. 3. Sample distributions of (x1, x2) when x = As for 5 different transformation matrices A, and 3 pairs of distributions for (s1, s2). From left to right: the identity transform (s1,s2), permutation of the sources (s2,s1), sign change (-s1,-s2), a /3 rotation, a ‘generic’ linear transform.

34 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Quellenseparation

Wie kann das der Computer erkennen?

• Wir werden zunächst eine einfache Maximum-Likelihood-Methode zur Quellenseparation kennenlernen

• Außerdem besprechen wir noch einen ganz anderen, sehr effizienten ICA-Algorithmus (FastICA).

[Cardoso, 1998] http://perso.telecom-paristech.fr/~cardoso/Papers.PDF/ProcIEEE.pdf

35 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Beamforming

• Zurück zu unserer Frage: Was machen wir aus einem aus mehreren Quellen kommenden Signal das beste?

• Wenn wir Signale haben, die aus verschiedenen (räumlichen) Richtungen kommen, bietet sich ein Beamforming an

• Beispiel: Sprachsignal, aber durchaus auch EEG und EMG

• Außerdem ist diese Methode in der Nachrichtentechnik sehr bedeutend

wikipedia

36 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Beamforming

• Hier ist ein einfacher Beamformer, nämlich ein Parabolspiegel. Die Grafik zeigt die Verstärkung des Eingangssignals abhängig von der Einfallsrichtung. (Ein Parabolspiegel ist ein Spiegel, dessen Oberfläche einer Parabel folgt. Er reflektiert einfallende ebene Wellen so, dass sie auf einen Punkt zulaufen)

• Beachte Ähnlichkeit Frequenzantwort eines Filters – Graphik Parabol

37 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Lernen / Entscheidungsfusion

• Wir werden auch das Thema "Maschinelles Lernen" näher betrachten.

• Nehmen wir als wichtige Anwendung die Fusion von Erkennungsergebnissen

• Beispiel: ein System erkennt Bewegung durch Beschleunigungssensoren und Kameras

38 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Lernen / Entscheidungsfusion

In diesem Beispiel gibt es eine Menge Sachen zu beachten.

• Die Quelldaten (Beschleunigung / Kamera) haben eine ganz unterschiedliche Datenrate

• ... und sind vielleicht auch nicht synchronisiert

• Die Kamera kann vielleicht einige Bereiche des Raums nicht erfassen

• ... aber andere sehr zuverlässig erkennen!

• Wie machen wir daraus ein integriertes System?

• Hiermit werden wir uns genauer befassen!

39 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Überblick

• Allgemeine Informationen

• Vorstellung der Vorlesung und des Lehrstuhls

• Angebote

• Einführung in diese Vorlesung

• Überblick über ausgewählte Biosignale

40 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Schnell-Einführung Biosignale

• Der menschliche Körper besteht aus ca. 75·1012 Zellen, davon etwa 25·109 Nervenzellen (Neuronen)

• Die Funktionsfähigkeit des menschlichen Organismus wird von lebenden Zellen und Zellverbänden gewährleistet

• Deren Aktivitäten lassen sich als physikalische Größen messen

• Diese Größen bezeichnet man als Biosignale

• Chemische und elektrische Biosignale bewerkstelligen die

• Steuerung

• Regelung

• und Informationsübertragung

• ... im menschlichen Organismus Regelkreis

Biosignale ermöglichen das geordnete Zusammenspiel im Gesamtsystem Mensch

41 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Definition Biosignale

Definition Biosignal (Lehrbuch) Biosignale sind autonome, vom lebenden Organismus erzeugte energetisch-stofflich messbare physikalische Größen

Definition Biosignal (DIN 44300) Nachrichten, die von physikalischen (ggf. chemischen) Aktionen des menschlichen Körpers ausgehen

42 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Taxonomie Biosignale

Biosignale

Mechanische Biosignale

Elektrische Biosignale

Akustische Biosignale

Chemische Biosignale

Sprache

Nichtsprachl. Artikulation

Hirn EEG

Augen EOG

Muskeln EMG

Herz EKG Bewegung

Mimik

Wärme MEG/PET

fMRI Körper-

geräusche

Thermische Biosignale

Gestik

43 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g In diesem Abschnitt

• Wir wollen kurz einige der wichtigsten Biosignale wiederholen, die wir in dieser Vorlesung betrachten

• Das sind insbesondere die elektrischen

• EEG

• EMG

• und auch das Sprachsignal (z.B. Beamforming ist gerade in der modernen Spracherkennung wichtig)

44 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal EEG: Das Nervensystem

• Der Hauptbaustein des Gehirns und des Nervensystems sind Neuronen.

• Neuronen können ganz verschiedene Formen haben, aber sie haben immer verästelte Dendriten, die Informationen aufnehmen, und ein Axon, das Informationen weiterleitet.

• Kommunikation zwischen Neuronen erfolgt ausschließlich an den Synapsen.

• Das gesamte Nervensystem teilt sich in zentralen Nervensystem (Gehirn + Rückenmark) und periphäres Nervensystem (Wege zu den einzelnen Teilen des Körpers).

45 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal EEG: Informationsweiterleitung

• In Nervenzellen erfolgt passiver Ladungstransport durch einen gewöhnlichen Ionenstrom (oben, unten links), er ist ineffizient und nur über kurze Strecken möglich.

• Aktionspotentiale sind der Hauptmechanismus der Informations-weiterleitung im Nervensystem und im Körper überhaupt.

• Sie treten insbesondere bei aktivierbaren Neuronen auf.

• Ablauf: Wenn bei einer positiven Polarisierung einer Nervenzelle eine gewisse Schwelle (ca -40 mV) überschritten wird, öffnen sich spannungsgesteuerte Ionenkanäle, und die Zelle wird stark positiv polarisiert.

46 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Aufbau des Gehirns

Wesentliche Bestandteile:

• Verlängertes Mark = Medulla oblongata

• Kleinhirn = Cerebellum

• Brücke = Pons

• Mittelhirn = Mesaencephalon

• Zwischenhirn = Diencephalon

• Endhirn = Cerebrum

Die höheren kognitiven Prozesse des Menschen finden im Endhirn statt. Für z.B. das Erleben von Emo- tionen usw. sind aber auch die anderen Hirnareale wichtig.

vorne

47 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Messung von Hirnaktivität

• Zur Messung der Hirnaktivität kommen insbesondere zwei Arten von Verfahren in frage:

• EEG (Elektroenzephalographie), auch MEG (Magnetenzephalographie)

• die bildgebenden Verfahren (***tomographie)

• Bei der EEG-Messung wird die Aktivität der Pyramidenzellen im Großhirn gemessen...

• ... sofern diese Zellen hinreichend oberflächennah sind

• ... und senkrecht zur Kopfoberfläche ausgerichtet (a)

48 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g + -

Messung von Hirnaktivität

• Gemessen werden dabei postsynaptische Potentiale!

• Die Messung ist auch nur dann möglich, wenn viele Zellen parallel ausgerichtet sind, und die Ausrichtung senkrecht zur Kopfoberfläche ist.

49 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Messung von Hirnaktivität

• Wenn man eine Frequenzanalyse des EEG durchführt, erhält man in etwa folgende Einteilung:

• Insbesondere wird der Alpha-Grundrhythmus mit dem Vorhandensein von Bewusstsein in Verbindung gebracht.

Bandname Frequenzber. Amplitude Aktivität

Alpha 8 – 13 Hz 20 – 120 V Wach, entspannt, Augen geschlossen

Beta 14 – 30 Hz 5 – 50 V Augen offen, Aufmerksamkeit

Gamma 31 – 60 Hz < 10 V Anspruchsvolle Tätigkeiten, Konzentration

Theta 4 – 7 Hz 20 – 100 V Übergang zum Schlaf, Einschlafen

Delta 0.5 – 3.5 Hz 5 – 250 V Tiefschlaf

50 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Anwendungen von EEG: Brain Computer Interfaces

• Brain-Computer-Interface (BCI): Steuerung von Maschinen mittels Gehirnaktivität

• Für Menschen mit starken motorischen Behinderungen (z.B. Prothesensteuerung, oder Kommunikationsmöglichkeit für Locked-in Patienten)

• Natürliche Schnittstelle für die Mensch-Maschine-Interaktion (z.B. kognitive Belastung)

• Forschungsinstrument, um neurologische Vorgänge zu untersuchen und zu verstehen

51 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Anwendungen von EEG: Brain Computer Interfaces

• Meist EEG, aber auch fMRT, ECoG, oder NIRS

• Beispiel: Schon durch die Vorstellung von Handlungen entstehen messbare Veränderungen der Hirnaktivität (z.B. im Motorkortex bei Vorstellung von Hand- oder Fußbewegungen)

• „Aktive“ BCI: Kontrolle von Maschinen

• „Passive“ BCI: Gehirnaktivität als Indikator für bewusste/unbewusste Vorgänge

TU Berlin (2009)

52 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Brain Computer Interfaces

• Ein klassisches BCI basiert auf zwei Mechanismen:

• Training von Klassifikatoren, die die generierten Gehirnaktivitätsmuster diskriminieren (maschinelles Lernen)

• Außerdem lernt der Benutzer, diskriminierbare Aktivität zu generieren (Lernen durch Biofeedback)

• Man bezeichnet dies auch als Koadaption: Üblicherweise passt sich der Mensch an das System an, und das System adaptiert sich an die gemessenen Signale.

Dornhege et. al (2007): Toward Brain-Computer Interfacing

53 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g EEG- Signale für BCIs

• Sensor-motorische Rhythmen (SMR)

• μ–Rhythmus: Aktivität bei ca. 10Hz im sensor-motorischen Kortex

• Desynchronisiert bei Vorstellung von Bewegungen

• Slow cortical potentials (SCPs)

• Benutzer lernt SCPs bewusst zu kontrollieren

• Ereigniskorrelierte Potentiale (EKP)

• Benutzer setzt sich einem Stimulus aus, der ein EKP auslöst

• z.B. 300ms nach akustischem oder visuellem Stimulus (P300)

• Steady-state evoked potentials (SSEPs)

• Benutzer betrachtet mit unterschiedlicher Frequenz blinkende Lichtquellen

• Aktivität im visuellen Kortex bei der Frequenz und ihren Oberschwingungen steigt

• Auch durch Vibration an Fingerspitzen entstehen SSEPs im Motorkortex

54 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Brain Computer Interfaces

• Herausforderungen für BCIs

• Hohe Dimensionalität

• Nicht-Stationarität der Signale

• Geringe Menge an Trainingsdaten

• Verrauschte Daten und Ausreißer

• Robustheit außerhalb von Laborbedingungen

• Fehlende „Ground truth“

• BCI-Analphabetismus

• State of the art

• Geringe Zahl von zu diskriminierenden Aktivitäten

• Robuste BCIs für einfache Aufgaben (z.B. Steuerung eines Mauscursors, Brain-Pong, Buchstabiersysteme)

• Erkennungsraten bis über 90% (2-Klassen) bei untrainierten Benutzern

• Geringe Kanalkapazität (ca. 0.5 bits/s)

• Starkes Forschungsinteresse

55 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g CSPs für EEG-basierte BCIs

• Eine Methode für BCIs, die wir nächstes Mal genauer behandeln: Common Spatial Patterns (CSP)

• Betrachte Sensor-motorische Rhythmen bei Bewegungsvorstellung (Beispiel: Linke Hand vs. Rechte Hand). Wie unterscheiden wir, welche Vorstellung gerade stattfindet?

• CSPs bieten einen einfachen Ansatz, solche binären Probleme anzugehen. Die Grafik unten zeigt relevante Hirnbereiche für die Vorstellung von Bewegungen der linken und rechten Hand.

56 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Beispiel: Epoc

• Epoc (Emotiv Systems)

• World’s first consumer neuro head-set

• Kommerziell verfügbares Peripheriegerät konzipiert für Computerspiele

Emotionserkennung (Aufregung, Frustration, Engagement,…)

Erkennung von Gesichtsausdrücken (Blinzeln, Lachen,…)

Steuerung (12 verschiedene Bewegungen)

• Bluetooth

• 16 Elektroden EEG/EOG/EMG

• 2 Gyroskope

• Erste Evaluierungen am CSL waren recht vielversprechend

57 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Beispiel Gaming: Mindflex

Mattel-Games-MindFlex

58 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal Muskelaktivität

• Muskelaktivität ist die Grundlage mensch- licher Bewegung.

• Wir betrachten nur die Skelettmuskeln, die willentlich gesteuert werden können.

• Die Skelettmuskeln heißen aufgrund ihrer Struktur auch quergestreifte Muskulatur.

• Die Querstreifung entsteht durch das Neben- einanderliegen von Myosinfilamenten und Aktinfilamenten.

• Wenn eine Muskelkontraktion ausgelöst wird, verschieben sich diese Filamente gegeneinander.

• Der Muskel kann aus eigener Kraft nicht wieder dekontrahieren – dazu ist ein Gegenmuskel erforderlich.

59 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Neuromuskuläre Übertragung

• Die Aktivierung einer quergestreiften Muskelfaser erfolgt durch ein einzelnes Motoneuron, z.B. im Rückenmark.

• Das Axon dieses Neurons endet in einer oder mehreren Synapsen, die an den Muskel andocken und als motorische Endplatten bezeichnet werden.

• Wenn das Motoneuron feuert, entsteht im Muskel ein Aktionspotential (MUAP, motor unit action potential), das sich entlang der Muskelfasern ausbreitet und zur Kontraktion führt.

• Dieses Potential wird durch EMG gemessen.

60 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Ansteuerung von Muskeln

• Grundsätzlich gilt: Ein Motoneuron kann viele Muskelfasern steuern (wie viele, hängt von dem Muskel ab).

• Jede Muskelfaser wird nur von einem Motoneuron innerviert.

• Als motorische Einheit (MU, motor unit) bezeichnet man ein Motoneuron + alle von ihm innervierten Muskelfasern.

61 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Ansteuerung von Muskeln

• Da ein Muskel aus vielen verschiedenen MU besteht, kann die Kontraktionsstärke durch die „Rekrutierung“ mehrerer MUs gesteuert werden, zusätzlich aber auch durch die Frequenz der Ansteuerung.

62 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Elektromyographie

• Die EMG-Messung erfolgt durch Nadel- oder Oberflächenelektroden.

• Im Bereich der Benutzerschnittstellen kommen natürlich nur Oberflächenelektroden in frage!

• Hauptproblem bei Oberflächen-EMG: Es wird eine Überlagerung vieler verschiedener Aktionspotentiale gemessen.

• Anwendungen von EMG:

• Klinisch

• Sportwissenschaften

• Benutzerschnittstellen (z.B. Prothesensteuerung)

• Am CSL: Spracherkennung, Mimik-/Emotionserkennung (gut, aber noch nicht ganz marktreif)

Das selbe Signal – einmal mit Nadelelektrode, einmal an der Oberfläche gemessen

63 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

Quelle: www.otbioelettronica.it

Methoden für EMG

• Am CSL erforschen wir derzeit die Anwendung von Elektrodenarrays für EMG.

• Ein Elektrodenarray liefert ein mehrkanaliges Bild der EMG-Aktivität.

• Hier verwenden wir u.a. Independent Component Analysis (ICA), um z.B. Rauschen zu reduzieren.

• Unten sieht man ein Signal und seine Kompo- nenten: Einige bestehen nur aus Rauschen, andere enthalten ein gutes EMG-Signal.

64 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal Sprache: Automatische Spracherkennung

I /i/ you /j/ /u/ we /v/ /e/

)(

1)|()(maxarg)|(maxarg

xPWXpWPXWP

WW

Hello

Speech Signal Capturing Signal Preprocessing

Automatic Speech Recognition

Output

I am You are We are

Acoustic Dictionary Language Model

Exam

ple

Patte

rn

t1 t2

?

t 1 t

2

t M

0 0.2 0.4 0.6 0.8 1 1.20

1000

2000

3000

4000

5000

6000

7000

8000

65 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal Sprache

• Spracherkennung: Von Spracheingabesignal nach Text

• Sprachsynthese: Von Text nach Sprachausgabesignal

• Sprachübersetzung (über Sprachengrenzen): Von Sprachsignal in Sprache L1 zu Sprachsignal in L2 = Spracherkennung + MT + Sprachsynthese

• Sprachverstehen, Zusammenfassen = Von Spracheingabesignal nach Bedeutung

• Sprachaktivität ist aber nicht nur das Was wird gesprochen Wer spricht? → SprecherIDentifizierung Welche Sprache wird gesprochen? → LanguageID Über was wird gesprochen? → TopicID Wie wird gesprochen? → EmotionID Zu wem wird gesprochen? → Focus of Attention

• Übersetzung (über Speziesgrenzen) Beispiel Delphine

66 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Information in Sprache

Speech Speech Recognition

Language Language Recognition

Speaker Speaker Recognition

Accent Recognition Accent Recognition

Words Onune baksana be adam!

Language Name TurkishTurkish

Speaker Name UmutUmut

Accent IstanbulIstanbul

: :

: :

Emotion Emotion Recognition

Emotion AngryAngry

Topic ID: Chemicals Entity Tracking: Istanbul Acoustic Scene: Bus Station Discourse Analysis: Negotiation

67 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g EMG-basiertes Silent Speech Interface

• Surface ElectroMyoGraphy (EMG)

• Nichtinvasiv (Messung an der Hautoberfläche)

• Electro (Messung elektrischer Aktivität)

• Myo (des Muskels)

• Sprache entsteht aus der Aktivität der Artikulationsmuskeln

• Die Elektroden erfassen diese Aktivität auch, wenn kein Geräusch entsteht

• Silent Speech Interface

EMG-Signal „zero zero zero“

+

–

ref

s1

s2

s2 – s1

68 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g EMG-basiertes Silent Speech Interface

Wozu könnte man ein solches Silent Speech Interface verwenden?

• Keine Störung von Umstehenden: Lautlose Kommunikation in stillen Umgebungen (Meetings, …)

• Privacy: Sichere Übermittlung vertraulicher Informationen

• Robustheit bei Umgebungsgeräuschen: Keine Störung in lauter Umgebung

• Speech Augmentation: gewöhnliche Spracherkennung kann durch EMG verbessert werden

• Hilfe für Sprachbehinderte: z.B. Laryngektomie

69 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

• Modellierung:

• Geeignete Lauteinheiten, große Vokabulare

• Kontinuierliche Sprache, Koartikulation

• Robustheit

• “Nebengeräusche” durch Kauen, Mimik, Emotion

• Umgebungsvariablen (Haut, Schweiss, Feuchtigkeit, Behaarung)

• Sprecherabhängigkeiten Adaptation

• Ganz aktuelles Thema:

• Verwendung von Elektrodenarrays

• Einige Möglichkeiten erarbeiten wir uns in dieser Vorlesung

Herausforderungen und Offene Fragen

70 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Plan der nächsten Vorlesungen

• Der Plan der nächsten Vorlesungen ist wie folgt:

1. Common Spatial Patterns – eine Vorverarbeitung, die im EEG-Bereich sehr beliebt ist

2. Filterdesign – Entwurf und Verwendung moderner Frequenzfilter

3. Blind Source Separation – ICA und weitere Algorithmen

4. Beamforming – Suche nach dem Quell der Erkenntnis

Weitere Blöcke: diskriminative Lernmethoden, Datenfusion, etc.