7. sitzung kategoriale wahrnehmung,...
TRANSCRIPT
![Page 1: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/1.jpg)
K3.1 Phonetik und Phonologie II
7. Sitzung
Kategoriale Wahrnehmung,
McGurk-Effekt
![Page 2: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/2.jpg)
2
Hörfläche
![Page 3: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/3.jpg)
3
Der stillste Raum der Welt – Orfield Laboratories, USA
![Page 4: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/4.jpg)
4
Wahrnehmung von Lautstärke
Lautstärke wird in dB (DeziBel) gemessen, was ein perzeptives
Korrelat von Druck (akustische Schallintensität) ist: Pascal, oder Pa
Dezibel ist eine relative Messeinheit: der jeweilige Luftdruck (in Pa)
wird immer durch einen Referenzdruck (in Pa) geteilt. Wenn man vom
menschlichen Gehör spricht, werden oft 20 μPa (der minimale
wahrnembare Schalldruck) als Referenzdruck gemessen: dBSPL (Sound
Pressure Level)
20 * log (X μPa / 20 μPa) = dBSPL
So sind auch negative Werte möglich, wie z.B. im stillsten Raum der
Welt: -9 dB
Laustärkeunterschiede werden vom auditorischen System
logarithmisch wahrgenommen
![Page 5: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/5.jpg)
5
Tonhöhenwahrnehmung
Perzeptives Korrelat der akustischen Frequenz (Schwingungen pro
Sekunde, Hertz, Hz) ist die Tonhöhe (engl. Pitch)
Die Perzeption von Tonhöhe ist logarithmisch: der Unterschied
zwischen 100 Hz und 200 Hz ist perzeptuell anders als der zwischen
1000 Hz und 1100 Hz (obwohl der absolute Unterschied in beiden
Fällen 100 Hz ist)
Lautere Segmente werden mit einem höheren Pitch assoziiert
Das auditorische System ist gegenüber Frequenzunterschieden im
tiefen Frequenzbereich empfindlicher als im hohen, siehe Abbildung
zur Hörfläche
Tonhöhenwahrnehmung funktioniert schlecht, wenn die Dauer eines
Signals unter 25 ms ist – pitch loss
![Page 6: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/6.jpg)
6
Auditorische Frequenzskalain Mel – Werte bis 1000 Hz annähernd linear, danach nichtlinear
![Page 7: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/7.jpg)
7
Dauerwahrnehmung
Dauer (lang/kurz) ist das perzeptive Korrelat der physikalischen
Eigenschaft Zeit (Länge z.B. in ms)
Schnelle spektrale Änderungen unterhalb 30 ms werden nicht
analysiert
10-20 ms von einem CV Signal sind genug, damit Sprecher C als
Plosive identifizieren
![Page 8: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/8.jpg)
8
/da/ vs /ta/ Unterscheidung als Funktion der voice onset time (VOT) Länge
![Page 9: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/9.jpg)
9
/da/ vs /ba/ Unterscheidung als Funktion der voice onset time (VOT) Länge
![Page 10: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/10.jpg)
10
Kategoriale Wahrnehmung /ba/ vs. /da/ vs /ga/
![Page 11: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/11.jpg)
11
Kategoriale Wahrnehmung
![Page 12: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/12.jpg)
12
/ba/
/da/ /ɡa/
Ideale Verläufe
der Formant-
transitionen für
/ba/, /da/ und
/ɡa/ sind
markiert.
![Page 13: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/13.jpg)
13
Kategoriale Wahrnehmung
Es werden (fast) kontinuierliche Stimuli synthetisiert
Loci der Formanttransitionen für Artikulationsort: /ba/, /da/, /ga/
Stimmhaft (= kurze voice onset time (VOT) vs. Stimmlos (= lange voice
onset time), engl. /pa/ [pʰa] vs. /ba/ [pa]
Hörer ordnen jeden Stimulus einer der verfügbaren Kategorien zu.
Der Kategorienwechsel bei Plosiven verläuft nichtlinear, ist abrupt.
Vokale, aber, werden meistens linear wahrgenommen.
Die Voraussetzung von kategorialer Wahrnehmung ist, dass
Identifizierung gleich gut wie Diskrimination funktioniert
Kategoriengrenzen sind sprachspezifisch
![Page 14: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/14.jpg)
14
Exkurs - Perzeption von Ton im Serbokroatischen
Pavle Ivić & Ilse Lehiste, 1972
44 synthetisierte zweisilbige Wörter „radi“ mit jeweils
unterschiedlichen f0-Verläufe
Zwei leksikalische Möglichkeiten: /râːdiː/ (fallender Akzent)- „er macht“
und /rǎːdiː/ (steigender Akzent) „mach!“
Der erste Vokal war immer 260 ms lang, der zweite immer 120 ms
25 Versuchspersonen mussten bei jedem Stimulus entscheiden, ob es
ein fallender Akzent ist oder nicht
![Page 15: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/15.jpg)
15
Exkurs - Perzeption von Ton im Serbokroatischen
4 f0-Muster nach V1: steil fallend, fallend, flach, steigend
V1a jeweils mit V2Aa oder V2Ba kombiniert; V1b, V1c und V1d jeweils mit
V2Abcd oder V2Bcd kombiniert
![Page 16: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/16.jpg)
16
Exkurs - Perzeption von Ton im Serbokroatischen
Anzahl fallend
wahrgenommen
Erste Silbe
fallend 183-122
Hz
Zweite Silbe flach Zweite Silbe fallend
![Page 17: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/17.jpg)
17
Exkurs - Perzeption von Ton im Serbokroatischen
Anzahl fallend
wahrgenommen
Erste Silbe
fallend 163-141
Hz
Zweite Silbe flach Zweite Silbe fallend
![Page 18: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/18.jpg)
18
Multimodale Wahrnehmung – McGurk effect
https://www.youtube.com/watch?v=aFPtc8BVdJk
https://www.youtube.com/watch?v=yJ81LLxfHY8
![Page 19: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/19.jpg)
19
Multimodale Wahrnehmung
McGurk Effekt perzeptuelle Fusion multimodaler Stimuli
Visueller Stimulus: [ ??? ]
Akustischer Stimulus: [ ??? ]
Perzeption: [ ??? ]
![Page 20: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/20.jpg)
20
Multimodale Wahrnehmung
McGurk Effekt perzeptuelle Fusion multimodaler Stimuli
Visueller Stimulus: [ ??? ]
Akustischer Stimulus: [ ??? ]
Perzeption: [ da ]
![Page 21: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/21.jpg)
21
Multimodale Wahrnehmung
McGurk Effekt perzeptuelle Fusion multimodaler Stimuli
Visueller Stimulus: [ ga ]
Akustischer Stimulus: [ ??? ]
Perzeption: [ da ]
![Page 22: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/22.jpg)
22
Multimodale Wahrnehmung
McGurk Effekt perzeptuelle Fusion multimodaler Stimuli
Visueller Stimulus: [ ga ]
Akustischer Stimulus: [ ba ]
Perzeption: [ da ]
![Page 23: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/23.jpg)
Welche Erklärungsmöglichkeiten sehen Sie für den McGurk-Effekt?
Visueller Stimulus: [ ga ]
Akustischer Stimulus: [ ba ]
Perzeption: [ da ]
D.h. es wird etwas wahrgenommen, was weder akustisch noch visuell
präsentiert wurde.
Akustische Erklärung:
Betrachten wir die Formanttransitionen so kann man sehen, dass die
Transitionen für [ba] und [ga] am stärksten voneinander abweichen.
Da visuell der im Prinzip gut sichtbare cue „bilabial“ nicht zu sehen
ist, der visuelle Stimulus aber zu weiten Abstand zum akustischen cue
„velar“ hat, bleibt „alveolar“ als Kompromiss.
23
![Page 24: 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effektmenzerath.phonetik.uni-frankfurt.de/teaching/K31/material7.pdf · K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung,](https://reader034.vdokument.com/reader034/viewer/2022052319/5a7a00697f8b9ab83f8d5280/html5/thumbnails/24.jpg)
24
/ba/
/da/ /ɡa/
Ideale Verläufe
der Formant-
transitionen für
/ba/, /da/ und
/ɡa/ sind
markiert.