Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

46
Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze

Transcript of Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

Page 1: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

Seminar 24. Mai 2004

Wahrnehmunggesprochener Sprache

Wahrnehmunggesprochener Sprache

Glenn Schütze

Page 2: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

2Seminar 24. Mai 2004

Gliederung

1. Akustisches Sprachsignal2. Sprachwahrnehmung

1. Motorische Theorie2. Kategorien3. Kontinuum (neues Paradigma)4. Experimente

3. Lauttrennung / Variation des Sprechers4. Sprachliches Vorwissen5. Weitere Modelle6. Fragen

Page 3: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

3Seminar 24. Mai 2004

Akustisches Sprachsignal

AkustischesSprachsignal

Page 4: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

4Seminar 24. Mai 2004

Akustisches Sprachsignal

• Beschreibung des Sprachsignals• Phoneme

• Kleinste lautliche Segmente• Bedeutungsunterscheidend, aber nicht

bedeutungstragend

• Phonetische Merkmale• Physische Bewegung des Stimmtraktes

• Als akustisches Signal• Schall des eigentlichen Signals• Zeitabhängige Frequenz- und Intensitätsmuster

Page 5: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

5Seminar 24. Mai 2004

Akustisches Sprachsignal

• Phoneme• Zerlegung des Signals in Einheiten• Beziehen sich auf Laute, nicht Buchstaben• Bsp.:

• /b/ bedeutungsunterscheidend, trägt aber keine Semantik

• Phonem ohne Hilfe von „Frequenz“ definiert, sondern als Laut

Bier /b/ /i:/ /R/Pier /p/ /i:/ /R/Biel /b/ /i:/ /l/

Page 6: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

6Seminar 24. Mai 2004

Akustisches Sprachsignal

• Phonetisches Merkmal• Definiert über Produktion des Lautes im

Stimmtrakt• Dadurch: Beschreibung der Phoneme• Sonorität (stimmhaft, stimmlos)

• /d/ und /f/

• Artikulationsstelle (Verschluss-, Reibelaute)• /d/ und /f/

• Differenzierung sehr viel umfangreicher als hier angegeben

Page 7: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

7Seminar 24. Mai 2004

Akustisches Sprachsignal

• Akustisches Sprachsignal (physikalisch)• Betrachtung der Frequenz, Intensität im

zeitlichen Verlauf• Dadurch: Sprachsignalmerkmal

• Teil des akustischen Signals• Abbildung auf Phoneme

• Formant• Vokal

• Formantenansatz• Konsonant

• Abhängig von der Stellungdes Stimmtrakts

Page 8: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

8Seminar 24. Mai 2004

Akustisches Sprachsignal

• Zusammenfassung• Akustisches Sprachsignal in Phoneme

aufgliederbar• Phoneme beschreibbar mit

Sprachsignalmerkmalen

• Problem• Zusammenhang zwischen akustischen

Sprachsignalen und gehörten Lauten• Sprachwahrnehmung

Page 9: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

9Seminar 24. Mai 2004

Sprachwahrnehmung

Sprachwahrnehmung

Page 10: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

10Seminar 24. Mai 2004

Sprachwahrnehmung

• Idealisierendes Modell

Sprachproduktion

Auditives System

Wahrnehmung des Sprachproduktes

Akustisches SignalPhonemeMuster von Schalldruckschwankungen mit verschiedenen Frequenzen

DekodierungReanalyse als Phonem

Page 11: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

11Seminar 24. Mai 2004

Sprachwahrnehmung

• Problem• Es gibt keinen konstanten Zusammenhang

zwischen Phonemen und Mustern der Druckschwankungen

• Begründung• Variabilität

• Problem der Bildung von Einheiten aus dem Sprachsignalfluss

Page 12: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

12Seminar 24. Mai 2004

Sprachwahrnehmung - Variabilität

• Variabilität• Keine 1:1 Zuordnung von Phonemen zu

Sprachsignalmerkmalen• Kontext der Phoneme verändert

Sprachsignalmerkmale

Page 13: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

13Seminar 24. Mai 2004

Sprachwahrnehmung - Variabilität

• Wahrnehmungskonstanz

Phonem X

Akustisches Signal A

Akustisches Signal B

Akustisches Signal C

.

.

.

Page 14: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

14Seminar 24. Mai 2004

Sprachwahrnehmung - Variabilität

• Arten der Variabilität• Individuumsabhängig• Regionsabhängig• Geschlechtsabhängig• Artikulationsabhängig

• Bsp.:„Ich gehe heute ins Kino.“

Page 15: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

15Seminar 24. Mai 2004

Sprachwahrnehmung - Variabilität

• Problem wegen Variabilität• Bildung von Einheiten

(es gibt normalerweise keine Pausen)

Page 16: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

16Seminar 24. Mai 2004

Sprachwahrnehmung

• Fragen• Existieren spezifische Mechanismen

für die Sprachwahrnehmung?• Abgrenzung zum allgemeinen auditiven System

• Existieren Informationen zur Trennung im Signalfluss?

• Ist sprachliches „Vorwissen“ relevant?

Page 17: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

17Seminar 24. Mai 2004

Motorische Theorie

Motorische Theorieder

Sprachwahrnehmung

Page 18: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

18Seminar 24. Mai 2004

Motorische Theorie

• Motorische Theorie der Sprachwahrnehmung• Nach Liberman (1967)• Postulat

• Sprache als Signalform, die erzeugt und wahrgenommen wird

• Ein spezifisches System • Hypothetisches, neuronales Netz

Page 19: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

19Seminar 24. Mai 2004

Motorische Theorie

• Modell nach Liberman

Dekodierungsmechanismus

Phonetische Merkmale

Von den Merkmalenerzeugte Laute

Verarbeitungs-Einheit für Phoneme

Sprachsignal

Sprachwahrnehmung

Reproduktion der Aktivität im Stimmtrakt

Page 20: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

20Seminar 24. Mai 2004

Motorische Theorie

• Sprache behandelt als etwas Besonderes

• Durch Ermittlung phonetischer Merkmale• Problem der Variabilität vermieden

• Bis hierhin: Modell

Page 21: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

21Seminar 24. Mai 2004

Experimente zu Liberman

Experimente zu

Liberman

Page 22: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

22Seminar 24. Mai 2004

Experimente zu Liberman

• Empirische Belege / Experimente• Kategoriale Wahrnehmung• McGurk-Effekt• Duale auditive Wahrnehmung

Page 23: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

23Seminar 24. Mai 2004

Experimente zu Liberman

• Kategoriale Wahrnehmung• Idee

• Experiment• Phonem-Identifizierung • Phonem-Unterscheidung

SprachsignalBegrenzte Anzahl

von Wahrnehmungs-kategorien

Page 24: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

24Seminar 24. Mai 2004

Experimente zu Liberman

• Identifizierung der Phoneme• Schrittweise Veränderung der

Vokaleinsatzzeit von /da/ zu /ta/

Nach Eimas und Corbit (1973)

Page 25: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

25Seminar 24. Mai 2004

Experimente zu Liberman

• Unterscheidung der Phoneme• A, B, C Phoneme• Darbietung: A B C,wobei A ≠ B und

C = A oder C = B• Schlechte Unterscheidung innerhalb einer

Kategorie, sonst gut• Autoren schließen (Grundsatz der

kategoriellen Wahrnehmung)• Laute unterscheidbar nur bei vorheriger

Kategorisierung

Page 26: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

26Seminar 24. Mai 2004

Experimente zu Liberman

• Neues Paradigma (statt Kategorie, Kontinuum)• Experiment

• Einschätzung der Laute eines Kontinuums zwischen 2 Kategorien

• Probanden konnten Grad (!) der Zugehörigkeit sehr gut einschätzen (nach Massaro, Cohen 1983)

• Obwohl Sprachwahrnehmung nicht kategorisch, auf Kommunikationsebene kategorisch

Sprachwahrnehmungs-ebene

Sprachwahrnehmungs-ebene

Kommunikations-ebene

Kommunikations-ebene

KategorischKategorisch Nicht kategorisch

Page 27: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

27Seminar 24. Mai 2004

Experimente zu Liberman

• Nachweis der Kategorien auch bei• Geräuschen• Summen• Musik• Affen, die über keine Sprache verfügenDurch Miller, Pisoni, Zatorre, Halpern (1976-1979)

• Andere Richtung• Nicht kategorisch, sondern fortlaufend• Neues Modell nötig

Page 28: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

28Seminar 24. Mai 2004

Experimente zu Liberman

• McGurk-Effekt• Person im Video spricht /ga-ga/• Zu Hören ist /ba-ba/• Proband nimmt wahr /da-da/

• Verbindung zwischen auditivem und visuellem System

• Existiert Sprachverarbeitungssystem

• Benutzung aller Informationen zur Analyse des Signals

Page 29: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

29Seminar 24. Mai 2004

Experimente zu Liberman

• McGurk-Effekt bei nichtsprachlichen Signalen• Video Cellosaite wird gezupft• Ton Saite wird gestrichen• Proband sieht gestrichene Saite• Proband hört gezupfte Saite

• Effekt ist schwächer als bei Sprache• Aber: Infragestellen des spezifischen

Sprachverarbeitungsmechanismus(Saldana und Rosenblum 1993)

Page 30: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

30Seminar 24. Mai 2004

Experimente zu Liberman

• Duale auditive Wahrnehmung

Linkes Ohr Rechtes Ohr

Zu hören:Zirpen

Zu hören:/da/

Whalen und Liberman 1987

Page 31: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

31Seminar 24. Mai 2004

Experimente zu Liberman

• Anhänger Libermans: zwei Wahrnehmungsweisen• Sprachmodus

• Fügt alle Informationen zusammen

• Allgemeiner auditiver Modus

• Aber• Auch duale auditive Wahrnehmung bei

nichtsprachlichen Signalen• Fowler und Rosenblum (1990)

• Wissenschaftliche Debatte hält an

Page 32: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

32Seminar 24. Mai 2004

Lauttrennung / Variationen des Sprechers

Lauttrennungund

Variationen des Sprechers

Page 33: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

33Seminar 24. Mai 2004

Lauttrennung / Variationen des Sprechers

• Lauttrennung• Suche nach invariante

Sprachsignalmerkmalen• Analyse von 3D-Frequenzspektren

• Weisen konstante Merkmale auf

Page 34: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

34Seminar 24. Mai 2004

Lauttrennung / Variationen des Sprechers

• Variation/Normalisierung• Ausgleich von Unterschieden der

Sprechweise verschiedener Sprecherauf der untersten Ebene der Wahrnehmung

• Insbesondere Frequenzen• Experiment mit McGurk (s.o.)

• Visuell Frau• Auditiv männliche Stimme

• Trotzdem McGurk-Effekt• Folgerung: Normalisierung findet statt

Page 35: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

35Seminar 24. Mai 2004

Sprachliches Vorwissen

Sprachliches Vorwissen

Page 36: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

36Seminar 24. Mai 2004

Sprachliches Vorwissen

• Bisher „Bottom Up“• Von den Lauten zum Verstehen

• Nun „Top Down“

Vorwissen

Akustisches Sprachsignal

Sprachwahrnehmung

Page 37: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

37Seminar 24. Mai 2004

Sprachliches Vorwissen

• Wahrnehmung kontextabhängig• Einheitenbildung

• „DruckERzeugnis“ (Duden)• „I scream, you scream, everybody wants

icecream“ (Chris Barber)

• Semantik, Syntax• Experiment (Isard, Miller 1963)

• Vermischten normale, grammatisch richtige Sätze, anomale und falsche Sätze

• Hörer sprach nach (shadowing)• 89, 79, 56% jeweils richtig nachgesprochen

• Semantische, syntaktische Regeln werden für die Wahrnehmung verwendet

Page 38: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

38Seminar 24. Mai 2004

Sprachliches Vorwissen

• Phonemergänzung• Experiment (Warren 1970)• „Legislativkörperschaften“• Husten bei /s/, jedoch keine genaue

Lokalisation, trotzdem /s/ „gehört“

• „Nun kam der Augenblick zu (x)inken“• x ist Konsonant, z.B. x = s, x = w, …• Wenn Szenenthema „Abschied“ dann winken

Page 39: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

39Seminar 24. Mai 2004

Weitere Modelle

Weitere ModelleNicht kategorial

Page 40: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

40Seminar 24. Mai 2004

Weitere Modelle

• Fuzzy Logical Model of Perception (FLMP)

• Prozesse machen Gebrauch von Prototypen im Langzeitgedächtnis

Auswertung

Integration

Entscheidung

Informationsquellen

Auditiv AiVisuell Vj

ai vj Psychologische Werte

sk Grad der Unterstützung

t

Rk

Transformation in psychologische Werte

Bietet Unterstützungsgradfür jede Sprachalternative k

Auswahl einer der Alternativen

Page 41: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

41Seminar 24. Mai 2004

Weitere Modelle

• Voraussetzungen• Jede Informationsquelle wird bewertet

• Bestimmung des Grades um Alternativen einzuschränken

• Informationsquellen werden unabhängig bewertet

• Modell der Mustererkennung • (Massaro 2001)

Page 42: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

42Seminar 24. Mai 2004

Schlussbetrachtung

Schlussbetrachtung

Page 43: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

43Seminar 24. Mai 2004

Schlussbetrachtung

• Neue Modell werden erforscht• Alte Modelle sind teilweise unzureichend

respektive zu unkonkret

• Disput zwischen Kategoriale und „fortlaufender“ Wahrnehmung hält an

Page 44: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

44Seminar 24. Mai 2004

Quellen

Quellen

Page 45: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

45Seminar 24. Mai 2004

Quellen

• Wahrnehmungspsychologie• Allgemeine Grundlagen• Goldstein (1997)

• Speech Processing• Aktuelle Forschung• Zeng, F.G. (1999)

• Grundfragen der allgemeinen Sprachwissenschaft

• Kommunikationsmodell• Saussure (1931)

Page 46: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze.

46Seminar 24. Mai 2004

Fragen