Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... ·...

24
Hearing The Gateway to Speech Perception

Transcript of Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... ·...

Page 1: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Hearing

The Gateway to SpeechPerception

Page 2: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Der Hörer

• Kommunikation: Übertragung von Gedanken oder Gefühlen von einem Sprecher zu ein einem Hörer.

• Bedeutungen werden den Lautmustern entnommen.

• Grundlage für die auditive Analyse bilden die Gebiete der Phonetik, der Phonologie, ebenso wie Morphologie und Syntax.

Page 3: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

www.ocw.mit.edu/OcwWeb/Electrical-Engineering-and-Computer-Science/6-542JFall-2005/Syllabus/

Page 4: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

1. Wie funktioniert „hören“?

• Das menschliche Gehörsystem analysiert Klänge anhand Frequenz- und Intensitätsänderungen (in der Zeit).

• Nicht nur Änderung in Amplitude, sondern auch in ihrer Übertragungsart (Außenohr � Mittelohr � Cochlea �

Gehörnerv � Gehirn)• Mittelohr: Druckwellen�mechan. Schwingungen (mittels

Gehörknöchelchenkette)• Transformation der Schwingungen in der im

Temporallappen liegenden Cochlea: mechanische Schwingungen� Wanderwellen

• Nervenenden der Cochlea� Nervenimpulse � Gehirn

Page 5: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Das Ohr

http://commons.wikimedia.org/wiki/Image:HumanEar.jpg

Außenohr MittelohrInnenohr

Page 6: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Wieso benötigt der Mensch zwei Ohren?

• Der Mensch benötigt zwei Ohren, um die Schallquelle zu bestimmen.

• Handelt es sich jedoch um eine gehörlose bzw. schwerhörige Person, besteht die Schwierigkeit darin, festzustellen, woher ein Geräusch/Klang kommt und wo sich somit unter Umständen weitere Personen (im Raum) befinden.

Page 7: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

2. Aus welchen Teilen besteht das Außenohr?a) Ohrmuschel

Eigenschaften: Klangfilterung; empfänglicher gegenüber Klängen auf der Vorderseite des Körpers; Richtungshören Funktion:Schutz des äußeren Gehörganges und des Trommelfells

b) Äußerer GehörgangEigenschaften:Offenes Rohr, 2,5 cm lang; Mittenfrequenz der ersten Resonanz 3.400 Hz, schließt mit dem Trommelfell ab. Funktion: Schutz der empfindlichen Teilen des Ohrs vor eindringenden Substanzen/Gegenständen (z.B. Staub, Insekten); zusätzlicher Schutz durch ‚Ohrenschmalz‘

Page 8: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

2a) Welche Schallwellen werden verstärkt, welche nicht? (welche Eigenschaften kann das Ohr somit

erfüllen?)

• Verstärkung der mittleren und hohenFrequenzbereiche eines Klanges durch den äußeren Gehörgang um ein 2-4faches.

• Empfänglicher für Klänge „vor“ dem Kopf; somit wird die Eigenschaft des Richtungshörens erfüllt.

• Wichtig für: die Wahrnehmung von (stimmlosen) Frikativen, da hier die Grundfrequenz nur ca. 2.000 Hz beträgt.

Page 9: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Das Mittelohr I

• Beginnt am Trommelfell, welches auf die Druckveränderungen (über ein weiten Frequenzumfang) reagiert.

• Das Trommelfell hat eine Größe von ca. 0,55 cm2 (aktiv) und ist fest verbunden mit der Gehörknöchelchenkette, bestehend aus Hammer, Amboss und Steigbügel.

• Vom Hammer ausgehend: Trommelfellspanner, mittels dessen Kontraktion die Spannung bzw. die Schwingungseigenschaft des Trommelfells variiert.

Page 10: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Das Mittelohr II

• Niedrige Frequenzen: Trommelfell schwingt als Ganzes mit; dagegen bei

• Höheren Frequenzen: nur bestimmte Teile des Trommelfells schwingen bei bestimmten Frequenzbereichen mit, was dem Schutz des Innenohres dient.

• Der Schalldruckpegel wird um 30 dB erhöht, da ein Ausgleich zwischen dem Trommelfell und dem flächenmäßig kleineren ovalen Fenster (0,03 cm2) hergestellt werden muss, um sowohl den Luftwiderstand sowie auch die Lymphflüssigkeit auszugleichen.

Page 11: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Das Mittelohr III• Die im Außenohr empfangenen und verstärkten

Schwingungen werden im Mittelohr übertragen und zu mechanischen Schwingungen modifiziert.

• Funktionen: a) Schalldruckverstärkungb) Luftdruckausgleich mittels der Eustachischen

Röhre, die mit dem Nasenrachenraum verbunden ist (Druck zu beiden Seiten des Trommelfells gleich).

c) Schalldämpfung, wenn ein Pegel von 85-90 dB erreicht wird (� 2 Theorien!?).

Page 12: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

3. Die Gehörknöchelchenkette – ein Hebelsystem

• Hammer: befestigt am Trommelfell

• Amboss: als „Achse“ wirkend zwischen Hammer und Steigbügel

• Steigbügel: bildet die Verbindung zum Innenohr und setzt am ovalen Fenster an.

• Insgesamt schließt sie die Lücke zwischen Trommelfell und Cochlea.

• Mittels Schwingen des Trommelfells setzt sich dieses System in „Bewegung“ und leitet die Schwingungen ins Innenohr weiter.

Page 13: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

3. Die Gehörknöchelchenkette – ein Hebelsystem

• Zwei Theorien zur Funktion des Systems: 1) Schutz des Innenohres: zu hohe Frequenzen

werden gedämpft mittels der Kontraktion eines an den Steigbügel ansetzenden Muskel (m. stapedius).

Auswirkung: der Steigbügel wird zu einer Seite „gezogen“, der Winkel zum ovalen Fenster verändert und der Druck somit reduziert.

2) Versteifung des Hebelsystems

� Intensitätsregulierung, d.h., der volle Druck wird nicht übertragen.

Page 14: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Das Innenohr I• Im Temporallappen gelegen, bestehend aus

Vestibulum und Labyrinth (Bogengänge + Cochlea, in welcher die erste Schallanalyse stattfindet)

• Cochlea ~ Schnecke, die in der Mitte durch die Basilarmembran und die Reissner‘scheMembran (Endolymphschlauch) geteilt ist.

• Oberhalb: Scala vestibuli (Vorhoftreppe), hinter ovalem Fenster gelegen.

• Unterhalb: Paukentreppe mit rundem Fenster (Druckausgleich � Überdruck in Perilymphe durch Eindrücken des ov. Fensters, dann Unterdruck durch entgegen gesetzten Vorgang).

Page 15: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Cochlea

Page 16: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Das Innenohr II

• Zwischen Vorhof- und Paukentreppe: Scala media, eigentliches Gehörorgan.

• Abgegrenzt durch die beiden Membranen, wobei auf der Basilarmembran das Cortische Organ, der eigentliche „Hörapparat“ liegt.

• Bestehend aus: Tausenden von Haarzellen, worüber sich eine gallertartige Masse befindet: Tektorialmembran.

• Es kommt zu Berührungen zwischen T- und BM � „Abknicken“ der Härchen � Stimulation (Reiztransformation : Nervenimpulse ans Gehirn)

Page 17: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Zusammenfassung

• Außenohr: Schallempfänger, Schallverstärker

• Mittelohr: mechanische Übertragung sowie Schallverstärker

• Innenohr: Reiztransformator

Page 18: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

The Acoustic Cues

Page 19: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

Überblick

• Akustische Sprachmuster

- komplex und veränderbar

• Frage, ob bestimmte Eigenschaften von größerer Bedeutung sind als andere.

• Sprachwissenschaftler: Modifikation bestimmter Parameter des Sprachsignals � Test, ob die Hörer die Effekte der Sprachwahrnehmung erkennen.

Page 20: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

1. Delattre, Liberman, Cooper and Gerstman• Produktion von Vokalen mittels des Pattern

Playback – Systems (steady-state Formanten).

• Untersuchung der unterschiedlichen Formantenfrequenzen.

• Ergebnisse: F1 und F2 sind die wichtigsten Hinweise für die Identifikation von (Vorderzungen-)Vokalen (obwohl es Überlappungen der F1- und F2-Ebenen gibt).

• F0 und F3 nur zusätzliche Eigenschaften.

• Formant zwischen F1 und F2 notwendig zur Identifikation von Hinterzungenvokalen.

Page 21: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

http://www.ling.su.se/staff/hartmut/kempln.htm

Page 22: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

• Vokale:- stimmhaft- offenes Ansatzrohr- Produktion von

Formanten- Wichtigstes Merkmal:

Formantfrequenzen

• Diphthonge:- Änderung der

Vokalqualität und somit der Formanten (F2)

- Transitionen

• Approximanten: - stimmhaft- Transitionen (schneller

als bei Diphthongen)- Änderung von F2 (und

F3)

• Nasale:- Artikulationsort- Totalverschluss- Beeinflussung

benachbarter Laute- Antiresonanzen

Page 23: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

• Plosive:- Totalverschluss

(oral+velopharyngeal)- Verschlusslösung - Änderung der

Formantfrequenz z.B. zw. Lösungsverschluss und Vokal (Modifikation des Vokaltraktes)

3) Was ist das Interessante an Plosiven?

• Verschluss – Lösung –Burst

• Erneute Formantbewegung zum nächsten Laut (Vokal)

• Frikative:- Turbulenter Luftstrom

(Friktion) - Sibilanten vs. Nicht-

Sibilanten(Differenzierung in der Frequenz)

• Affrikaten: - Kombination aus den

Eigenschaften von Plosiven und Frikativen

Page 24: Hearing - Computational Linguistics and Phoneticsskoeser/content/courses/lektueresem/RBH_Kap9... · 1. Wie funktioniert „hören“? • Das menschliche Gehörsystem analysiert Klänge

2) Was besagt das „Konzept der Normalisierung“?

• Geschlechtsspezifische Unterschiede in Vokaltrakt sowie den pharyngealen- und Resonanzräumen.

• Vokalidentifikation: es gibt keine Abgleichungsformel, um Frequenzen zu vereinheitlichen z.B. im Kontext [b-t] ist der

Vokal entweder als [ɛ] oder [I][I][I][I] realisiert.

• Vokale als „Referenzen“ für Abgleichungs –

prozess.