K3.1 Phonetik und Phonologie II

7. Sitzung

Kategoriale Wahrnehmung,

McGurk-Effekt

2

Hörfläche

3

Der stillste Raum der Welt – Orfield Laboratories, USA

4

Wahrnehmung von Lautstärke

Lautstärke wird in dB (DeziBel) gemessen, was ein perzeptives

Korrelat von Druck (akustische Schallintensität) ist: Pascal, oder Pa

Dezibel ist eine relative Messeinheit: der jeweilige Luftdruck (in Pa)

wird immer durch einen Referenzdruck (in Pa) geteilt. Wenn man vom

menschlichen Gehör spricht, werden oft 20 μPa (der minimale

wahrnembare Schalldruck) als Referenzdruck gemessen: dBSPL (Sound

Pressure Level)

20 * log (X μPa / 20 μPa) = dBSPL

So sind auch negative Werte möglich, wie z.B. im stillsten Raum der

Welt: -9 dB

Laustärkeunterschiede werden vom auditorischen System

logarithmisch wahrgenommen

5

Tonhöhenwahrnehmung

Perzeptives Korrelat der akustischen Frequenz (Schwingungen pro

Sekunde, Hertz, Hz) ist die Tonhöhe (engl. Pitch)

Die Perzeption von Tonhöhe ist logarithmisch: der Unterschied

zwischen 100 Hz und 200 Hz ist perzeptuell anders als der zwischen

1000 Hz und 1100 Hz (obwohl der absolute Unterschied in beiden

Fällen 100 Hz ist)

Lautere Segmente werden mit einem höheren Pitch assoziiert

Das auditorische System ist gegenüber Frequenzunterschieden im

tiefen Frequenzbereich empfindlicher als im hohen, siehe Abbildung

zur Hörfläche

Tonhöhenwahrnehmung funktioniert schlecht, wenn die Dauer eines

Signals unter 25 ms ist – pitch loss

6

Auditorische Frequenzskalain Mel – Werte bis 1000 Hz annähernd linear, danach nichtlinear

7

Dauerwahrnehmung

Dauer (lang/kurz) ist das perzeptive Korrelat der physikalischen

Eigenschaft Zeit (Länge z.B. in ms)

Schnelle spektrale Änderungen unterhalb 30 ms werden nicht

analysiert

10-20 ms von einem CV Signal sind genug, damit Sprecher C als

Plosive identifizieren

8

/da/ vs /ta/ Unterscheidung als Funktion der voice onset time (VOT) Länge

9

/da/ vs /ba/ Unterscheidung als Funktion der voice onset time (VOT) Länge

10

Kategoriale Wahrnehmung /ba/ vs. /da/ vs /ga/

11

Kategoriale Wahrnehmung

12

/ba/

/da/ /ɡa/

Ideale Verläufe

der Formant-

transitionen für

/ba/, /da/ und

/ɡa/ sind

markiert.

13

Kategoriale Wahrnehmung

Es werden (fast) kontinuierliche Stimuli synthetisiert

Loci der Formanttransitionen für Artikulationsort: /ba/, /da/, /ga/

Stimmhaft (= kurze voice onset time (VOT) vs. Stimmlos (= lange voice

onset time), engl. /pa/ [pʰa] vs. /ba/ [pa]

Hörer ordnen jeden Stimulus einer der verfügbaren Kategorien zu.

Der Kategorienwechsel bei Plosiven verläuft nichtlinear, ist abrupt.

Vokale, aber, werden meistens linear wahrgenommen.

Die Voraussetzung von kategorialer Wahrnehmung ist, dass

Identifizierung gleich gut wie Diskrimination funktioniert

Kategoriengrenzen sind sprachspezifisch

14

Exkurs - Perzeption von Ton im Serbokroatischen

Pavle Ivić & Ilse Lehiste, 1972

44 synthetisierte zweisilbige Wörter „radi“ mit jeweils

unterschiedlichen f0-Verläufe

Zwei leksikalische Möglichkeiten: /râːdiː/ (fallender Akzent)- „er macht“

und /rǎːdiː/ (steigender Akzent) „mach!“

Der erste Vokal war immer 260 ms lang, der zweite immer 120 ms

25 Versuchspersonen mussten bei jedem Stimulus entscheiden, ob es

ein fallender Akzent ist oder nicht

15

Exkurs - Perzeption von Ton im Serbokroatischen

4 f0-Muster nach V1: steil fallend, fallend, flach, steigend

V1a jeweils mit V2Aa oder V2Ba kombiniert; V1b, V1c und V1d jeweils mit

V2Abcd oder V2Bcd kombiniert

16

Exkurs - Perzeption von Ton im Serbokroatischen

Anzahl fallend

wahrgenommen

Erste Silbe

fallend 183-122

Hz

Zweite Silbe flach Zweite Silbe fallend

17

Exkurs - Perzeption von Ton im Serbokroatischen

Anzahl fallend

wahrgenommen

Erste Silbe

fallend 163-141

Hz

Zweite Silbe flach Zweite Silbe fallend

18

Multimodale Wahrnehmung – McGurk effect

https://www.youtube.com/watch?v=aFPtc8BVdJk

https://www.youtube.com/watch?v=yJ81LLxfHY8

19

Multimodale Wahrnehmung

McGurk Effekt perzeptuelle Fusion multimodaler Stimuli

Visueller Stimulus: [ ??? ]

Akustischer Stimulus: [ ??? ]

Perzeption: [ ??? ]

20

Multimodale Wahrnehmung

McGurk Effekt perzeptuelle Fusion multimodaler Stimuli

Visueller Stimulus: [ ??? ]

Akustischer Stimulus: [ ??? ]

Perzeption: [ da ]

21

Multimodale Wahrnehmung

McGurk Effekt perzeptuelle Fusion multimodaler Stimuli

Visueller Stimulus: [ ga ]

Akustischer Stimulus: [ ??? ]

Perzeption: [ da ]

22

Multimodale Wahrnehmung

McGurk Effekt perzeptuelle Fusion multimodaler Stimuli

Visueller Stimulus: [ ga ]

Akustischer Stimulus: [ ba ]

Perzeption: [ da ]

Welche Erklärungsmöglichkeiten sehen Sie für den McGurk-Effekt?

Visueller Stimulus: [ ga ]

Akustischer Stimulus: [ ba ]

Perzeption: [ da ]

D.h. es wird etwas wahrgenommen, was weder akustisch noch visuell

präsentiert wurde.

Akustische Erklärung:

Betrachten wir die Formanttransitionen so kann man sehen, dass die

Transitionen für [ba] und [ga] am stärksten voneinander abweichen.

Da visuell der im Prinzip gut sichtbare cue „bilabial“ nicht zu sehen

ist, der visuelle Stimulus aber zu weiten Abstand zum akustischen cue

„velar“ hat, bleibt „alveolar“ als Kompromiss.

23

24

/ba/

/da/ /ɡa/

Ideale Verläufe

der Formant-

transitionen für

/ba/, /da/ und

/ɡa/ sind

markiert.