Seminar 24. Mai 2004

Wahrnehmunggesprochener Sprache

Wahrnehmunggesprochener Sprache

Glenn Schütze

2Seminar 24. Mai 2004

Gliederung

1. Akustisches Sprachsignal2. Sprachwahrnehmung

1. Motorische Theorie2. Kategorien3. Kontinuum (neues Paradigma)4. Experimente

3. Lauttrennung / Variation des Sprechers4. Sprachliches Vorwissen5. Weitere Modelle6. Fragen

3Seminar 24. Mai 2004

Akustisches Sprachsignal

AkustischesSprachsignal

4Seminar 24. Mai 2004

Akustisches Sprachsignal

• Beschreibung des Sprachsignals• Phoneme

• Kleinste lautliche Segmente• Bedeutungsunterscheidend, aber nicht

bedeutungstragend

• Phonetische Merkmale• Physische Bewegung des Stimmtraktes

• Als akustisches Signal• Schall des eigentlichen Signals• Zeitabhängige Frequenz- und Intensitätsmuster

5Seminar 24. Mai 2004

Akustisches Sprachsignal

• Phoneme• Zerlegung des Signals in Einheiten• Beziehen sich auf Laute, nicht Buchstaben• Bsp.:

• /b/ bedeutungsunterscheidend, trägt aber keine Semantik

• Phonem ohne Hilfe von „Frequenz“ definiert, sondern als Laut

Bier /b/ /i:/ /R/Pier /p/ /i:/ /R/Biel /b/ /i:/ /l/

6Seminar 24. Mai 2004

Akustisches Sprachsignal

• Phonetisches Merkmal• Definiert über Produktion des Lautes im

Stimmtrakt• Dadurch: Beschreibung der Phoneme• Sonorität (stimmhaft, stimmlos)

• /d/ und /f/

• Artikulationsstelle (Verschluss-, Reibelaute)• /d/ und /f/

• Differenzierung sehr viel umfangreicher als hier angegeben

7Seminar 24. Mai 2004

Akustisches Sprachsignal

• Akustisches Sprachsignal (physikalisch)• Betrachtung der Frequenz, Intensität im

zeitlichen Verlauf• Dadurch: Sprachsignalmerkmal

• Teil des akustischen Signals• Abbildung auf Phoneme

• Formant• Vokal

• Formantenansatz• Konsonant

• Abhängig von der Stellungdes Stimmtrakts

8Seminar 24. Mai 2004

Akustisches Sprachsignal

• Zusammenfassung• Akustisches Sprachsignal in Phoneme

aufgliederbar• Phoneme beschreibbar mit

Sprachsignalmerkmalen

• Problem• Zusammenhang zwischen akustischen

Sprachsignalen und gehörten Lauten• Sprachwahrnehmung

9Seminar 24. Mai 2004

Sprachwahrnehmung

Sprachwahrnehmung

10Seminar 24. Mai 2004

Sprachwahrnehmung

• Idealisierendes Modell

Sprachproduktion

Auditives System

Wahrnehmung des Sprachproduktes

Akustisches SignalPhonemeMuster von Schalldruckschwankungen mit verschiedenen Frequenzen

DekodierungReanalyse als Phonem

11Seminar 24. Mai 2004

Sprachwahrnehmung

• Problem• Es gibt keinen konstanten Zusammenhang

zwischen Phonemen und Mustern der Druckschwankungen

• Begründung• Variabilität

• Problem der Bildung von Einheiten aus dem Sprachsignalfluss

12Seminar 24. Mai 2004

Sprachwahrnehmung - Variabilität

• Variabilität• Keine 1:1 Zuordnung von Phonemen zu

Sprachsignalmerkmalen• Kontext der Phoneme verändert

Sprachsignalmerkmale

13Seminar 24. Mai 2004

Sprachwahrnehmung - Variabilität

• Wahrnehmungskonstanz

Phonem X

Akustisches Signal A

Akustisches Signal B

Akustisches Signal C

.

.

.

14Seminar 24. Mai 2004

Sprachwahrnehmung - Variabilität

• Arten der Variabilität• Individuumsabhängig• Regionsabhängig• Geschlechtsabhängig• Artikulationsabhängig

• Bsp.:„Ich gehe heute ins Kino.“

15Seminar 24. Mai 2004

Sprachwahrnehmung - Variabilität

• Problem wegen Variabilität• Bildung von Einheiten

(es gibt normalerweise keine Pausen)

16Seminar 24. Mai 2004

Sprachwahrnehmung

• Fragen• Existieren spezifische Mechanismen

für die Sprachwahrnehmung?• Abgrenzung zum allgemeinen auditiven System

• Existieren Informationen zur Trennung im Signalfluss?

• Ist sprachliches „Vorwissen“ relevant?

17Seminar 24. Mai 2004

Motorische Theorie

Motorische Theorieder

Sprachwahrnehmung

18Seminar 24. Mai 2004

Motorische Theorie

• Motorische Theorie der Sprachwahrnehmung• Nach Liberman (1967)• Postulat

• Sprache als Signalform, die erzeugt und wahrgenommen wird

• Ein spezifisches System • Hypothetisches, neuronales Netz

19Seminar 24. Mai 2004

Motorische Theorie

• Modell nach Liberman

Dekodierungsmechanismus

Phonetische Merkmale

Von den Merkmalenerzeugte Laute

Verarbeitungs-Einheit für Phoneme

Sprachsignal

Sprachwahrnehmung

Reproduktion der Aktivität im Stimmtrakt

20Seminar 24. Mai 2004

Motorische Theorie

• Sprache behandelt als etwas Besonderes

• Durch Ermittlung phonetischer Merkmale• Problem der Variabilität vermieden

• Bis hierhin: Modell

21Seminar 24. Mai 2004

Experimente zu Liberman

Experimente zu

Liberman

22Seminar 24. Mai 2004

Experimente zu Liberman

• Empirische Belege / Experimente• Kategoriale Wahrnehmung• McGurk-Effekt• Duale auditive Wahrnehmung

23Seminar 24. Mai 2004

Experimente zu Liberman

• Kategoriale Wahrnehmung• Idee

• Experiment• Phonem-Identifizierung • Phonem-Unterscheidung

SprachsignalBegrenzte Anzahl

von Wahrnehmungs-kategorien

24Seminar 24. Mai 2004

Experimente zu Liberman

• Identifizierung der Phoneme• Schrittweise Veränderung der

Vokaleinsatzzeit von /da/ zu /ta/

Nach Eimas und Corbit (1973)

25Seminar 24. Mai 2004

Experimente zu Liberman

• Unterscheidung der Phoneme• A, B, C Phoneme• Darbietung: A B C,wobei A ≠ B und

C = A oder C = B• Schlechte Unterscheidung innerhalb einer

Kategorie, sonst gut• Autoren schließen (Grundsatz der

kategoriellen Wahrnehmung)• Laute unterscheidbar nur bei vorheriger

Kategorisierung

26Seminar 24. Mai 2004

Experimente zu Liberman

• Neues Paradigma (statt Kategorie, Kontinuum)• Experiment

• Einschätzung der Laute eines Kontinuums zwischen 2 Kategorien

• Probanden konnten Grad (!) der Zugehörigkeit sehr gut einschätzen (nach Massaro, Cohen 1983)

• Obwohl Sprachwahrnehmung nicht kategorisch, auf Kommunikationsebene kategorisch

Sprachwahrnehmungs-ebene

Sprachwahrnehmungs-ebene

Kommunikations-ebene

Kommunikations-ebene

KategorischKategorisch Nicht kategorisch

27Seminar 24. Mai 2004

Experimente zu Liberman

• Nachweis der Kategorien auch bei• Geräuschen• Summen• Musik• Affen, die über keine Sprache verfügenDurch Miller, Pisoni, Zatorre, Halpern (1976-1979)

• Andere Richtung• Nicht kategorisch, sondern fortlaufend• Neues Modell nötig

28Seminar 24. Mai 2004

Experimente zu Liberman

• McGurk-Effekt• Person im Video spricht /ga-ga/• Zu Hören ist /ba-ba/• Proband nimmt wahr /da-da/

• Verbindung zwischen auditivem und visuellem System

• Existiert Sprachverarbeitungssystem

• Benutzung aller Informationen zur Analyse des Signals

29Seminar 24. Mai 2004

Experimente zu Liberman

• McGurk-Effekt bei nichtsprachlichen Signalen• Video Cellosaite wird gezupft• Ton Saite wird gestrichen• Proband sieht gestrichene Saite• Proband hört gezupfte Saite

• Effekt ist schwächer als bei Sprache• Aber: Infragestellen des spezifischen

Sprachverarbeitungsmechanismus(Saldana und Rosenblum 1993)

30Seminar 24. Mai 2004

Experimente zu Liberman

• Duale auditive Wahrnehmung

Linkes Ohr Rechtes Ohr

Zu hören:Zirpen

Zu hören:/da/

Whalen und Liberman 1987

31Seminar 24. Mai 2004

Experimente zu Liberman

• Anhänger Libermans: zwei Wahrnehmungsweisen• Sprachmodus

• Fügt alle Informationen zusammen

• Allgemeiner auditiver Modus

• Aber• Auch duale auditive Wahrnehmung bei

nichtsprachlichen Signalen• Fowler und Rosenblum (1990)

• Wissenschaftliche Debatte hält an

32Seminar 24. Mai 2004

Lauttrennung / Variationen des Sprechers

Lauttrennungund

Variationen des Sprechers

33Seminar 24. Mai 2004

Lauttrennung / Variationen des Sprechers

• Lauttrennung• Suche nach invariante

Sprachsignalmerkmalen• Analyse von 3D-Frequenzspektren

• Weisen konstante Merkmale auf

34Seminar 24. Mai 2004

Lauttrennung / Variationen des Sprechers

• Variation/Normalisierung• Ausgleich von Unterschieden der

Sprechweise verschiedener Sprecherauf der untersten Ebene der Wahrnehmung

• Insbesondere Frequenzen• Experiment mit McGurk (s.o.)

• Visuell Frau• Auditiv männliche Stimme

• Trotzdem McGurk-Effekt• Folgerung: Normalisierung findet statt

35Seminar 24. Mai 2004

Sprachliches Vorwissen

Sprachliches Vorwissen

36Seminar 24. Mai 2004

Sprachliches Vorwissen

• Bisher „Bottom Up“• Von den Lauten zum Verstehen

• Nun „Top Down“

Vorwissen

Akustisches Sprachsignal

Sprachwahrnehmung

37Seminar 24. Mai 2004

Sprachliches Vorwissen

• Wahrnehmung kontextabhängig• Einheitenbildung

• „DruckERzeugnis“ (Duden)• „I scream, you scream, everybody wants

icecream“ (Chris Barber)

• Semantik, Syntax• Experiment (Isard, Miller 1963)

• Vermischten normale, grammatisch richtige Sätze, anomale und falsche Sätze

• Hörer sprach nach (shadowing)• 89, 79, 56% jeweils richtig nachgesprochen

• Semantische, syntaktische Regeln werden für die Wahrnehmung verwendet

38Seminar 24. Mai 2004

Sprachliches Vorwissen

• Phonemergänzung• Experiment (Warren 1970)• „Legislativkörperschaften“• Husten bei /s/, jedoch keine genaue

Lokalisation, trotzdem /s/ „gehört“

• „Nun kam der Augenblick zu (x)inken“• x ist Konsonant, z.B. x = s, x = w, …• Wenn Szenenthema „Abschied“ dann winken

39Seminar 24. Mai 2004

Weitere Modelle

Weitere ModelleNicht kategorial

40Seminar 24. Mai 2004

Weitere Modelle

• Fuzzy Logical Model of Perception (FLMP)

• Prozesse machen Gebrauch von Prototypen im Langzeitgedächtnis

Auswertung

Integration

Entscheidung

Informationsquellen

Auditiv AiVisuell Vj

ai vj Psychologische Werte

sk Grad der Unterstützung

t

Rk

Transformation in psychologische Werte

Bietet Unterstützungsgradfür jede Sprachalternative k

Auswahl einer der Alternativen

41Seminar 24. Mai 2004

Weitere Modelle

• Voraussetzungen• Jede Informationsquelle wird bewertet

• Bestimmung des Grades um Alternativen einzuschränken

• Informationsquellen werden unabhängig bewertet

• Modell der Mustererkennung • (Massaro 2001)

42Seminar 24. Mai 2004

Schlussbetrachtung

Schlussbetrachtung

43Seminar 24. Mai 2004

Schlussbetrachtung

• Neue Modell werden erforscht• Alte Modelle sind teilweise unzureichend

respektive zu unkonkret

• Disput zwischen Kategoriale und „fortlaufender“ Wahrnehmung hält an

44Seminar 24. Mai 2004

Quellen

Quellen

45Seminar 24. Mai 2004

Quellen

• Wahrnehmungspsychologie• Allgemeine Grundlagen• Goldstein (1997)

• Speech Processing• Aktuelle Forschung• Zeng, F.G. (1999)

• Grundfragen der allgemeinen Sprachwissenschaft

• Kommunikationsmodell• Saussure (1931)

46Seminar 24. Mai 2004

Fragen