Übersicht
DESCRIPTION
Von Spektren und Formanten Grundlagen akustischer Analyse und Manipulation Martin Meyer/Franziskus Liem 28.03.2011. Übersicht. I Theorie Das Oszillogramm Fourier Transformation, Spektrum und Spektrogramme Formanten II Praxis. Das Oszillogramm. Oszillogramme einfacher Sinussignale. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/1.jpg)
Von Spektren und FormantenGrundlagen akustischer Analyse und
Manipulation
Martin Meyer/Franziskus Liem 28.03.2011
1
![Page 2: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/2.jpg)
2
Übersicht
•I Theorie‣ Das Oszillogramm‣ Fourier Transformation, Spektrum und Spektrogramme‣ Formanten
•II Praxis
![Page 3: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/3.jpg)
3
Das Oszillogramm
•Oszillogramme einfacher Sinussignale
![Page 4: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/4.jpg)
4
Das Oszillogramm
•Oszillogramme einfacher Sinussignale
![Page 5: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/5.jpg)
5
Das Oszillogramm•2 Dimensionen
‣ x: Zeit‣ y: Auslenkung (durch Schall
entstandene Luftdruckschwankungen)
•Was kann man daraus ablesen?‣ Amplitude
- Ausschlag/Auslenkung des Signals- → Lautstärke
‣ Frequenz- Anzahl der Nulldurchgänge innerhalb einer Sekunde- bzw. 1/Periodendauer- Hertz [Hz]- → Tonhöhe
![Page 6: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/6.jpg)
6
Das Oszillogramm
![Page 7: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/7.jpg)
7
Das Oszillogramm
•Wie unterschiedlich sind die beiden Töne?
![Page 8: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/8.jpg)
8
Übersicht
•I Theorie‣ Das Oszillogramm‣ Fourier Transformation, Spektrum und Spektrogramme‣ Formanten
•II Praxis
![Page 9: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/9.jpg)
9
Fourier Transformation
•Überlagerung zweier Schwingungen → Addition zu einer neuen
www.germanistik.unibe.ch
![Page 10: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/10.jpg)
10
Fourier Transformation
•Jedes (auch noch so komplexe) periodische Signal (zB Sprache) stellt eine Addition einfacher Sinusschwingungen dar
•Die FT zerlegt ein komplexes Signal in einzelne Sinusschwingungen mit unterschiedlicher Frequenz
![Page 11: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/11.jpg)
11
Fourier Transformation
100 Hz
200Hz
Ener
gie
(Am
plitu
de)
Oszillogramm SpektrumFT
![Page 12: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/12.jpg)
12
Spektrum
•2 Dimensionen‣ Frequenz [Hz]‣ Energie - Schalldruckpegel (Sound Pressure Level - SPL) [dB/Hz]
•Dezibel - dB‣ Logarithmische Hilfseinheit‣ Faustregel: +10 dB entspricht ungefähr der doppelten Lautstärke
Schallereignis (Pa)
Referenzdruck (Pa)
![Page 13: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/13.jpg)
13
Spektrum
•Welches Signal ist lauter, höher?
![Page 14: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/14.jpg)
Spektrum
14
![Page 15: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/15.jpg)
Spektrum
440 Hz + 1000Hz =
![Page 16: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/16.jpg)
16
Spektrum
•Wie sieht das Spektrum aus?
440 1000
![Page 17: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/17.jpg)
17Meyer et al. (2006)
Spektrum
•Was kann aus einem Spektrum ablesen?‣ Verteilung der Frequenzen und ihre Intensität → Klangfarbe
Klangfarbe
Im Zeitbereich
Im Frequenzbereich
![Page 18: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/18.jpg)
18
Spektrum
•Abfallend oder Ansteigend?
![Page 19: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/19.jpg)
19
Spektrum
•Keine Aussage über Veränderungen, Trends über die Zeit•→ gut geeignet, um durchschnittliche Charakteristik eines
Signals bzw. eingeschwungene Signale darzustellen
•Sprache, Musik… sind zeitlich sehr komplexe Signale•→ Darstellung im Spektrogramm
![Page 20: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/20.jpg)
20
Spektrogramm (=Sonagramm, Sonogramm)
•3 Dimensionen‣ x: Zeit‣ y: Frequenz‣ z (Schwärzung): Energie (Intensität)
![Page 21: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/21.jpg)
21
Spektrogramm
•Was kann man daraus ablesen?‣ Verteilung der Frequenzen und ihre Intensität‣ Verlauf über die Zeit
![Page 22: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/22.jpg)
22
Spektrogramm
![Page 23: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/23.jpg)
23
Spektrogramm
•Abfallend oder Ansteigend?
![Page 24: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/24.jpg)
![Page 25: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/25.jpg)
![Page 26: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/26.jpg)
26
Zusammenfassung
Achsen Gut Ablesbar
Oszillogramm ZeitAuslenkung Lautstärke, Pausen/Segmente
Spektrum FrequenzIntensität
Gesamtcharakteristik der Frequenz/Intensität, Klangfarbe
SpektrogrammZeit
FrequenzIntensität
Frequenz- & Intensitätsverlauf über die Zeit
![Page 27: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/27.jpg)
27
Übersicht
•I Theorie‣ Das Oszillogramm‣ Fourier Transformation, Spektrum und Spektrogramme‣ Formanten
•II Praxis
![Page 28: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/28.jpg)
Das Quelle-Filter-Modell der Vokalproduktion
• Quelle-Filter-Modell– ein Filter lässt bestimmte Frequenzen passieren &
dämpft andere
28
![Page 29: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/29.jpg)
• Resonanzfrequenz– je grösser das Objekt desto tiefer fres
Rauschen Resonator gefiltertes Rauschen
Quelle Filter Output
29
![Page 30: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/30.jpg)
• Vokaltrakt als Resonator– Vokalproduktion
Stimmlippen Vokaltrakt Sprache
Quelle Filter Output
30
![Page 31: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/31.jpg)
31
Formanten Entstehung einer Lautäusserung - Quelle/Filter-Theorie
Larynx (Kehlkopf):Phonation = Erzeugung eines akustischen Signals (Schwingung der Stimmbänder mit Grundfrequenz f0) - Quellsignal→ Tonhöhe (f0), Stimmqualität (zB gepresst)
Lunge: Luftdruck→ Lautstärke
logopaedie.rwth-aachen.de
Ansatzrohr (Mund-, Nasen-, Rachenraum (Pharynx)):Artikulation = Modulation / Filterung des Quellsignals→ Ausdifferenzierung der Phoneme →Formanten
supralaryngal
laryngal
sublaryngal
Fitch (2000)
![Page 32: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/32.jpg)
• Vokaltrakt (Ansatzrohr) als Resonator
• mehrere Resonanzräume -> mehrere Resonanzfrequenzen
www.ims.uni-stuttgart.de 32
![Page 33: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/33.jpg)
• je nach Stellung der Artikulatoren unterscheiden sich die Formantfrequenzen
33
![Page 34: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/34.jpg)
34
Formanten
•Supralaryngale Artikulatoren‣ Zunge‣ Lippen‣ Gaumensegel
![Page 35: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/35.jpg)
35
Formanten
•Quellsignal: f0 & Harmonische (ganzzahlige Vielfache von f0)
•Je nach Geometrie und Stellung der Artikulatoren können bestimmte Frequenzen in Resonanz schwingen.
•Es ergeben sich Amplitudenmaxima
•→ Formanten: Konzentration akustischer Energie in einem Frequenzband
![Page 36: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/36.jpg)
36
Formanten
• Konzentration akustischer Energie in einem Frequenzband
• Im Spektrogramm sichtbar
Filter
![Page 37: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/37.jpg)
FormantenIm Spektrogramm
37
![Page 38: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/38.jpg)
38
FormantenIm Spektrogramm
Fitch (1997)
![Page 39: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/39.jpg)
•Frequenzbereiche erhöhter Intensität heissen Formanten
•Filtering by formants (bandpass filter, Vokaltrakt
Resonanzen)
• Formanten – schnelle Modifikation durch Artikulatoren (Zunge, Lippe, Gaumen, Zäpfchen)
• Formant – keinen Einfluss auf Tonhöhe, welche in der Larynx modifiziert werden.
• („Beet, Bett, beten“)
39
![Page 40: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/40.jpg)
Vokalraum
40
Englisch Deutsch
![Page 41: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/41.jpg)
41
![Page 42: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/42.jpg)
42
Übersicht
•I Theorie
•II Praxis‣ Praat‣ Darstellung akustischer Signale‣ Signalfilter - Hochpass, Tiefpass, Bandpass - Flüstern &
Delexikalisieren‣ Suprasegmentale Manipulationen - Prosodie, akustische
Geschlechtsumwandlung‣ Segmentale Manipulation - VOT‣ Signalvorverarbeitung - Normalisierung
![Page 43: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/43.jpg)
43
Praat
•Soundanalyse, -manipulation…
•Für viele Plattformen (Win, OS X, Linux…)•Gratis, offen•Viele Tutorials im Internet•Gute On- und Offline Hilfe•Stapelverarbeitung via Skripten möglich•tw. etwas gewöhnungsbedürftiges Handling
www.praat.org
![Page 44: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/44.jpg)
44Hauptfenster
Objects Befehle Ausgabefenster
![Page 45: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/45.jpg)
•Eigene Soundfiles aufnehmen
‣ Vokale & Konsonanten
‣ Einen kurzen Satz (mit viel Melodie)
‣ New -> record mono sound… -> Record -> SPRECHEN
‣ Stop -> Save to list & close
‣ Write -> Write to wav file45
![Page 46: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/46.jpg)
46
Darstellung akustischer SignaleOszillogramm
•File laden‣ Read… → Read from file → jutta.wav
•Abspielen‣ Play
•Edit‣ Abspielen mit Tabulator‣ Zoomen
‣ Intensity → Show Intensity
‣ Pitch → Show Pitch (in etwa f0) (Achtung: 2. Achse)
‣ Formant → Show Formants
![Page 47: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/47.jpg)
47
Darstellung akustischer SignaleSpektrum
•Spektrum erstellen
‣ Analyse → Spectrum → To Spectrum...
- Abspielen: Tabulator
- Frequenzbereiche markieren und abspielen
‣ Zeichnen
- Draw...
![Page 48: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/48.jpg)
48
Suprasegmentale ManipulationenAkustische Geschlechtsumwandlung
•f005.wav und m005.wav
•Synthesize → Convert → change gender…
•Formant shift ratio
•Duration factor
Lattner et al. (2005)
![Page 49: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/49.jpg)
49
Suprasegmentale ManipulationenFlattening
•Sound 1a06 → Manipulate → To Manipulation...•Manipulation 1a06 → Extract Pitch Tier•Edit
‣ Remove Points‣ Add Point
•Replace Pitch Tier•Manipulation 1a06 & PitchTier untiteled gleichzeitig
markieren‣ → Replace Pitch Tier
•Flattened soundfile erstellen‣ Manipulation 1a06‣ Play (overlapp-add)‣ Get resynthesis (overlapp-add)
‣ Sound 1a06‣ Write → Write to WAV file…
•+ weiter Melodieverläufe erstellen
![Page 50: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/50.jpg)
50
Suprasegmentale ManipulationenFlattening
Meyer et al. (2004)
![Page 51: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/51.jpg)
51
Signalfilter
•Hochpass‣ Lässt Frequenzen über einer Grenzfrequenz passieren
•Tiefpass‣ Lässt Frequenzen unter einer Grenzfrequenz passieren
•Bandpass‣ Lässt Frequenzen in einem Frequenzband passieren
•Bandstopp‣ Stoppt Frequenzen in einem Frequenzband
![Page 52: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/52.jpg)
52
SignalfilterFlüstern
•1a06.wav •Hochpassfilter anlgegen
‣ Synthesize → Filter (stop hann band)… → 0...x Hz
![Page 53: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/53.jpg)
53
SignalfilterDelexikalisieren
•Semantische Informationen zerstört, prosodische erhalten•Kontrollbedingung in Experimenten (zB: Meyer et al., 2004)
•1a06.wav•Tiefpassfilter anlgegen
‣ Synthesize → Filter (pass hann band)… → 0...x Hz
![Page 54: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/54.jpg)
54
Segmentale ManipulationenVOT•VOT – Voice Onset Time
‣ Zeit zwischen Beginn des Konsonanten und Einsatz der Stimme (Schwingung der Stimmbänder)
Frye(2007)
![Page 55: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/55.jpg)
55
Segmentale ManipulationenVOT
•Kategoriale Sprachwahrnehmung
eco.psy.ruhr-uni-bochum.de/download/Guski-Lehrbuch/Kap_7_3.html
/da/ /ta/
Phonem-Grenze = phonetic categoric boundary
![Page 56: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/56.jpg)
56
Segmentale ManipulationenVOT
‣ Pa-pa.wav
/pa/
/ba/
![Page 57: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/57.jpg)
57
SignalvorverarbeitungNormalisierung
•Zwei Unterschiedlich laute Soundfiles (jutta.wav & kind.wav)
•Normalisierung: Angleichung der Energie (→ Lautstärke)
‣ Modify → scale intesity… → zB: 70dB
‣ Kontrolle: Query → get intensity (dB)
![Page 58: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/58.jpg)
58
Darstellung akustischer SignaleOszillogramm
•Edit‣ Get Pitch/Formant Frequency...
‣ Wide-/Narrowband-Spektrogramm - Spectrum → Spectrogramm settings…- Window length: 0.005s → Wideband- Window length: 0.05s → Narrowband
- Vgl. f0 und unterste Harmonische
•Oszillogram zeichnen‣ Im Outputwindow einen eine Ebene aufspannen‣ Draw…‣ Parameter variieren‣ File → Copy to clipboard‣ Erase All
![Page 59: Übersicht](https://reader036.vdokument.com/reader036/viewer/2022062400/56815303550346895dc127f8/html5/thumbnails/59.jpg)
59
Literatur
•http://www.linguistics.ucsb.edu/faculty/gordon/106/106acousticpdf/widebandlinguistics.pdf
•http://www.logopaedie.rwth-aachen.de/personen/dozenten/bkroeger/documents/Kroeger_PhonetikSkript_2007.pdf‣http://www.phonetik.uni-muenchen.de/Lehre/Skripten/SGL/SGLHome.html
•http://www.spectrum.uni-bielefeld.de/~thies/HTHS_WiSe2005-06/formanten_in_vokaldreieck.jpg
•http://www.germanistik.unibe.ch/siebenhaar/subfolder/PhonetikPhonologie/