algorithmen in akustik und computermusik piotr majdak ...piotr.majdak.com/alg/vo/spatial1.pdf ·...

81
räumliches hören Piotr Majdak - [email protected] algorithmen in akustik und computermusik 1 Räumliches Hören Einzelnes Hörereignis: - Zuordnung der räumlichen Position - Identifikation auch außerhalb des Sichtbereichs Multiple Schallquellen: - Auditorische Szene (und deren Analyse) - Coctail-party effect (Konzentration auf eine Schallquelle) In Räumen: - Multiple Echos (Nachhall) - Komplexe perzeptive Effekte: Wahrnehmung der Schallquelle (Klang, Distanz) Wahrnehmung des Raums Interaktion Raum-Schallquelle 12.11.2017

Upload: truongdieu

Post on 19-Aug-2019

218 views

Category:

Documents


0 download

TRANSCRIPT

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

1

Räumliches Hören● Einzelnes Hörereignis:

- Zuordnung der räumlichen Position- Identifikation auch außerhalb des Sichtbereichs

● Multiple Schallquellen: - Auditorische Szene (und deren Analyse)- Coctail-party effect (Konzentration auf eine Schallquelle)

● In Räumen:- Multiple Echos (Nachhall)- Komplexe perzeptive Effekte:

Wahrnehmung der Schallquelle (Klang, Distanz) Wahrnehmung des Raums Interaktion Raum-Schallquelle 12.11.2017

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

2

Inhalte

● Grundlagen des räumlichen Hörens• Eine Schallquelle• Kein Raum (im Freifeld)

● Lokalisation über Kopfhörer● Modelle der Schallquellenlokalisation● Lokalisation über Lautsprecher● Hall, Räumlichkeit

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

3

Schallempfänger

● Schall über zwei Empfänger zugänglich: • Ausgerichtet in der Horizontalebene • Individuelle Asymmetrien in der Geometrie der Empfänger

- Richtungsabhängige Filterung des Schalls

Williams (2002)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

4

Raumebenen

● Horizontalebene• Interaurale

Horizontalebene

● Medianebene• Sagittalebenen

- Parallelverschiebungen der Medianebene

● Frontalebene• Psychoakustisch nicht relevant

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

5

Schallquelle im Freifeld

● Schallquellenposition:• Azimut:• Elevation:• Entfernung:

● Quelle-Ohr-Beziehung:• Ipsilateral:

- Schallquelle zugewandt• Kontralateral:

- Schallquelle abgewandt

r Azimut

Elevation

r

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

6

Lokalisation

● Unterschied zwischen:• Schallquellenort• Hörereignisort

● Lokalisationsfehler• Systematischer Fehler• Mean, Accuracy, Bias

● Lokalisationsunschärfe• Statistischer Fehler• Variance, Precision, Blur

Fehler

Unschärfe

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

7

Lokalisation in der Horizontalebene

ITD

● Interaurale Pegeldifferenzen- Interaural level differences (ILDs)

● Interaurale Zeitdifferencen- Interaural time differences (ITDs)

ITD ≠ 0

Links:

Rechts:

AL

AR

ILD: AL ≠ AR

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

8

Interaurale Pegeldifferenzen (ILDs)

● Akustischer Schatten beim kontralateralen Ohr

● Frequenzabhängig:• Wellenlänge größer

als der Kopf: - kein Einfluss

• Wellenlänge im Bereich des Kopfdurchmessers:

- Beugung um den Kopf• Wellenlänge kleiner als der Kopf:

- AbschattungDaniel (1998)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

9

Interaurale Pegeldifferenzen (ILDs)

Azimuth (deg)

ILD

(dB

)

Blauert (1974)

Azimuth angle (deg)

Freq

uenc

y (H

z)

Breitbandige ILD (gemessen am Dummy)

ILD (Kugelmodell)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

10

Interaurale Pegeldifferenzen (ILDs)

● Vereinfachung: ca. ab 1kHz wirksam

Williams (2002)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

11

Interaurale Pegeldifferenzen (ILDs)

Herschkowitz & Durlach (1969)

ILD

JN

D (

dB

)

Schallpegel (dB über Hörschwelle)

● Perzeptive Schwelle (just noticable diff., JND):• Im Bereich von 1 dB (Hall, 1964)

• Hängt vom Schallpegel ab (Herschkowitz & Durlach, 1969)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

12

Interaurale Pegeldifferenzen (ILDs)

● Perzeptive Schwelle (just noticable diff., JND):• Im Bereich von 1 dB (Hall, 1964)

• Hängt vom Schallpegel ab (Herschkowitz & Durlach, 1969)

• Geringe Abhängigkeit von der Frequenz oder interauraler Frequenz-verschiebung(Francart and Wouters, 2007)

Francart and Wouters (2007)

Frequenzverschiebung

ILD

JN

D (

dB

)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

13

Interaurale Pegeldifferenzen (ILDs)

● Perzeptive Schwelle (just noticable diff., JND):• Im Bereich von 1 dB (Hall, 1964)

• Hängt vom Schallpegel ab (Herschkowitz & Durlach, 1969)

• Geringe Abhängigkeit von der Frequenz oder interauraler Frequenz-verschiebung(Francart and Wouters, 2007)

• Gute Hinweise für primäre Abhängigkeit von derlateralen Schallquellenposition(Bernstein, 2004)

Francart and Wouters (2007)

ILD

JN

D (

dB

)

Frequenzverschiebung

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

14

Interaurale Laufzeitdifferenzen (ITDs)

● Einfaches Modell:ITD= T=r

csin

Begault (2001)

(Woodworth & Schlosberg, 1962)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

15

Interaurale Laufzeitdifferenzen (ITDs)

● Einfaches Modell:

● Bessere Berücksichtigung der Anthropometrie:

ITD= T=rc

sin (Woodworth & Schlosberg, 1962)

re=0.51 x10.18 x30.032r re :

Algazi et al. (2001)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

16

Interaurale Laufzeitdifferenzen (ITDs)

● Physikalischer Bereich: +/- 800 µs

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

17

Interaurale Laufzeitdifferenzen (ITDs)

● Perzeptive Schwelle:• Im Bereich von 10 µs

Zwislocki & Feldman, 1956

Frequenz (Hz)

IT

D (

µs)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

18

Physiologie der ITD-Wahrnehmung

Dietz (2010)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

19

Physiologie der ITD-Wahrnehmung

● Delay-line model (Jeffress, 1948):

Dietz (2010)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

20

Physiologie der ITD-Wahrnehmung

● Delay-line model (Jeffress, 1948):

Dietz (2010)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

21

Physiologie der ITD-Wahrnehmung

● Delay-line model (Jeffress, 1948):• Äquivalent zu Kurzzeit-Kreuzkorrelation

Dietz (2010)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

25

Interaurale Laufzeitdifferenzen (ITDs)• Perzeptive Schwelle:• Im Bereich von 10 µs• Für Sinustöne: starke

Abhängigkeit von der Frequenz

- Phasenambiguität in der - laufenden ITD - Refraktärzeit der

Neuronen

Henning (1974)

ITD (µs)

Pe

rcen

t Cor

rect

(%

)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

26

Phase Locking

● Neuronen feuern bei überschwelligen Signalen● Phase Locking: Kodierung der Signalphase

Post-Stimulus-Time Histogramm(Frequenz: 375 Hz)

Periodisches Histogramm:(Periode: 5.33ms)

Greenberg (1997)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

27

Neuronale Aktivität

● Refrakträrzeit der Neuronen: ca. 1ms

● Max. Entladerate:• Einzelnes Neuron:

- max. 1 kHz• Ensemble:

- bis 3 kHz%

der

An

zah

l der

Ent

ladu

nge

n

Zeit in us Greenberg (1997)

Periodisches Histogramm:

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

28

Interaurale Laufzeitdifferenzen (ITDs)

● Perzeptive Schwelle in komplexen Klängen:• Sinuston-ITD → ITD in der Feinstruktur• Modulation → ITD in der Einhüllenden:

- Schwelle: ca. 50 µs

ITD ENV

≠ 0

ITD FS

≠ 0

Henning (1974)

ITD (µs)

Per

cent

Co

rre

ct (

%)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

29

Interaurale Laufzeitdifferenzen (ITDs)

● Lateralisation mit ITDs:• ITD in tiefen Frequenzen (Sinuston): starker Effekt• ITD in den hohen Frequenzen (Einhüllenden): schwach

Bernstein (2001)

ITD (µs)

Wah

rgen

om

me

ne A

usl

enk

ung

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

30

Merkmale für die Lokalisationin der Horizontalebene

● ILD (breitbandig)?● ITD (breitbandig)?● Einhüllenden-ITD (hohe Frequenzen)?● Spektrale Merkmale (cues)?

- Interaurale spektrale Differenzen?- Monaurale Merkmale?

● Duplex-Theorie (Rayleigh 1907 & andere)

- Tiefe Frequenzen: ITDs- Hohe Frequenzen: ILDs

→ Gilt die Duplex-Theorie immer noch?

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

31

Duplex-Theorie RevisitedMacpherson & Middlebrooks (2002)

● ILD-Gewichtung: • 0.52 (breitband); 0.24 (tiefpass); 0.82 (hochpass)

● ITD-Gewichtung: • 0.82 (breitband); 0.88 (tiefpass); 0.24 (hochpass)• Gewichtung der Einhüllenden-ITD (breitband):

kompliziert, hängt von Onset und Modulation ab● Gewichtung der interauralen spektrallen Differenzen:

• Gleich wie breitband-ILD● Gewichtung des monauralen (ipsilat.) Spektrums:

• 0.03 (breitband); 0.03 (hochpass)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

32

Merkmale für die Lokalisationin der Horizontalebene

● ILD in hohem Frequenzbereich● ITD in tiefem Frequenzbereich● Onset-ITD und ITD in laufender Modulation● Spektrale Information nicht relevant

(weder monaural noch binaural)

● Gültig nur in der vorderen Hälfte der Horizontal-ebene! (Rayleigh 1876)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

33

Cone of Confusion

● ITD-basierende Ambiguität zw. Vorne und Hinten

● Kann mit spektralen Merkmalen aufgelöst werden

Whigthman & Kistler (1997)

Messdaten Modell

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

34

Cone of Confusion

Target Angle (Deg) Whigthman & Kistler (1997)

● Abb. links:- Flaches, konstantes

Spektrum

● Abb. rechts:- Spektrum zufällig variiert

● Ergebnis:- Mehr Vorne-Hinten-

Verwechslungen- Größerer Fehler in der

Elevation- Keine Effekte in der

Horizontalebene

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

35

Perzeptives Koordinatensystem

● Geodäsisches Koordinatensystem: Azimut & Elevation ● Horizontal-polares Koordinatensystem:

• Lateraler Winkel: binaurale Unterschiede• Polarer Winkel: spektrale Merkmale

Azimut

Elevation

Binaurale Unterschiede

Spektrale Merkmale

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

36

● Abb. links:• Spektrum: flach, konstant

● Abb. rechts:• Spektrum: zufällig variiert

● Ergebnis:• Monaurale Merkmale für:

- Vorne-Hinten-Diskrimination- Lokalisation in der Elevation

• All dies auch ohne binauraler Merkmale möglich

Monaurale Lokalisation

Target Angle (Deg) Whigthman & Kistler (1997)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

37

Spektrale Merkmale

● Außenohrübertragungsfunktionen Head-related transfer functions (HRTFs) • Beschreiben die Filterung

durch Kopf, Torso und Pinna • Abhängig von der Position

der Schallquelle • Größte räumliche Abhängig-

keit in hohen Frequenzen ● Im Zeitbereich:

• Head-related impulse responses (HRIRs)

Williams (2002)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

38

Bandbegrenzte Signale

● Abb. links:• Lokalisation mit breit-

bandingen Signalen● Abb. rechts:

• Signal ohne Energieab 5 kHz

● Ergebnis:• Breitbandige Signale

notwendig• Vorsicht: Akutstudie

Target Angle (Deg) Whigthman & Kistler (1997)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

39

Alltägliche Klänge sind breitbandig

Folgetonhorn

Reißen eines Stoffes

Babygeschrei

Hubschrauber

Eiswürfel ins Glas

Warnglocke am Bahnübergang

Whigthman & Kistler (1997)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

40

Messung der HRTFs

● Messung beim offenen Gehörgang:

Wightman & Kistler (1996) Wightman & Kistler (1996)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

41

Messung der HRTFs

● Messung beim geschlossenen Gehörgang

MØLLER et al (1995)

Probe microphone: Miniaturmikrophon:

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

42

Messung der HRTFs

● Anlage am ISF, Wien:

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

43

Messung der HRTFs

Di ,=P2 ,

P1

P3

P2

=Z ear canal

Z ear canalZ radiation

P4

P3

● Der richtungsabhängige Teil:• P

1 : Schalldruck im Zentrum, ohne Versuchsperson

• P 2 : Schalldruck am Eingang des geschlossenen Gehörgangs

● Der richtungsunabhängige Teil:

• P 3 : Schalldruck am Eingang des Gehörgangs

• P 4 : Schalldruck am Trommelfell

• Anpassung:•

• Gehörgang:MØLLER et al (1995)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

44

Messung der HRTFs

● Nach der Systemidentifikation:- S(f): Übertragungsfunktion des Gesamtsystems- E(f): Übertragungsfunktion des Equipments- H(f): HRTFs

S f =E f ⋅H f

E f =Emin f ⋅Emax f

H f = S f E f

H ' f =∣H f ∣⋅earg H f Emax f H f ⋅Emax f =S f

Emin f

hL , ,' [n] , hR , ,

' [n ]

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

45

HRIRs

● In der Horizontalebene:ETC t =10⋅logh2t

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

46

HRTFs

● In der Medianebene

Po

lar

ang

le (

deg

)

Frequency (kHz) Frequency (kHz)

Pol

ar a

ng

le (

deg

)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

47

Directional Transfer Functions (DTFs)

● Richtungsunabhängiger Teil: - Common Transfer Function (CTF)- Amplitudengang: logarithmischer Mittelwert über alle Positionen

- Phasengang: Minimumphasiges System- Enthält den Diffusanteil der HRTFs- Bei Messung mit offenem Gehörgang enthält dessen Resonanz

● Richtungsabhängiger Teil:- Directional Transfer Functions (DTFs)

C f =20N ∑

i=1

N

log∣H i f ∣

Di f =20⋅log∣H i f ∣−C f

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

48

DTFs

● Modell der HRTF: H f =C f ⋅D f

Po

lar

an

gle

(de

g)

Frequency (kHz)

Po

lar

ang

le (

deg)

Frequency (kHz)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

49

Variabilität der Messung

● Wiederholung des Messaufbaus● Intersubjektive Auswertung

Whigthman & Kistler (1996)

Whigthman & Kistler (1996)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

50

Freifeldsimulation

● Freifeld-Darbietung:

● Simulation der Freifeld-Darbietung:

● Virtuelle binaurale Akustik● Auditorische Displays

● Diskrimierbarkeit: virtuell vs. real?

HRTF R

HRTF L

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

51

Virtuelle Akustik

● Abb. links:• Lokalisation im Freifeld

● Abb. rechts:• Lokalisation mit

HRTFs

Target Angle (Deg) Whigthman & Kistler (1997)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

56

Merkmale für Schallquellenlokalisation

● Lateralisation:• Verschiebung des Hörereignisses innerhalb der

interauralen Achse• In-Kopf-Lokalisation• Merkmale: breitbandige ITDs und ILDs• Einfach ermittelbar aus der Anthropometrie

● Lokalisation:• Zuordnung einer räumlichen Position einer Schallquelle• Außer-Kopf-Lokalisation: Externalisation• Merkmale: monaurale spektrale Amplituden

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

57

Lokalisationsleistung

● In der Horizontalebene:• Darbietung im Freifeld• Weiße Rauschimpulse • Signaldauer: 100ms• 600 bis 900

Versuchspersonen

Blauert (1974)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

58

Lokalisationsleistung

Middlebrooks (1999)

● 3D-Raum: Vergleich Freifeld vs. Virtuell

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

59

Externalisation mit HRTFs

● Freifeld- vs. virtuelle Stimuli:• Mit idealen HRTFs keine Diskrimination möglich• Veränderung der HRTFs → schlechtere Externalisation

(bis zu Lateralisation!)

f in kHzHartmann (1996) Hartmann (1996)

125Hz

250Hz

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

60

Individualität der HRTFs

Algazi et al (2001)Algazi et al (2001)

● HRTFs sind höchst individuell:- Messung: 27 Personen- Azimuth: 0°, Elevation: 0°- Sortiert nach dem ersten Notch

● HRTFs hängen stark von der Anthropometrie ab

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

61

Individualität der HRTFs

● Lokalisation mit fremden Ohren?• Weniger Externalisation• Mehr Vorne-Hinten-Verwechslungen

● Effekt hängt von der HRTF-Kompatibilität ab:

Unterschiede in d. Anthropometrie → Unterschiede in den HRTFs

→ Unterschiede in Lokalisation

Middlebrooks (1999)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

62

Modellierung der HRTFs• Blauert (1974):

- Kugelmodell• Brown & Duda:

- Approximation des Kopfschatten, der ITD, Echo des Torso und der Reflexionen der Pinna

• Kistler and Wightman (1997): - Zerlegung mit der Hauptkomponentenmethode (PCA)- Statische Filter, die je nach Position versch. gewichtet werden

• Middlebrooks (1999): - Individuelle Anpassung der HRTFs durch Time-Stretching

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

63

Kugelmodell

● Kugelmodell:• Schalldruck einer Kugelwelle (ungestört):

• Nach der Beugung:

• Beugungsverhältnis:

• Lösung: Berechnung der Koeffizienten und

p0t =ℜ { p0 ej 2 f t }

pt =ℜ { p e j 2 f t}

pp0

= pp0

e j

pp0

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

64

Kugelmodell● Randwertproblem:

• für große Abstände: ungestörte Welle• für Kugeloberfläche: Normalkomponente der

Schnellevektoren verschwindet● Huygens-Fresnel'sche Prinzip:

• Zerlegung des Wellenfeldes in Kugelwellen

pp0

= 2 r

2

∑m=0

∞ 2m1Dm

Lm−cosejm−

m2

2m1Dmcosm= 4r [mN m−1/22 r

m1N m3/22 r ]

2m1Dmsin m= 4r [m1 I m22 r

−m Im2 r ]

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

65

Kugelmodell

Schalldruck am linken Ohr

IID

Blauert (1974)

Blauert (1974)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

66

Numerische Berechnung der HRTFs

● Visuelle Geometrie-Erfassung● Numerische Berechnung:

• Randelemente (BEM) (Katz, 2001; Kahana & Nelson, 2007)

• Fast-Multipole gekoppelte BEM (Kreuzer, Majdak, & Chen; 2009)

• FMM-BEM in SH (Gumerov & Duraiswami, 2010)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

67

Numerische Berechnung der HRTFs● Numerische Berechnung:

• Fast-Multipole gekoppelte Randelemente(FMM-coupled BEM)

• Mesh mit über 70.000 Knoten

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

71

Einfache Approximation der HRTFs

● Approximation des Kugelmodells:• ILD: Filter 1-ter Ordnung:

• ITD: Allpaß 1-ter Ordnung mit Gruppenlaufzeit:

sz=−20

sp=−20

mit 0=cr und =1.050.95cos 180 °

150 °

h ={−ac

cos 0≤∣∣2

ac∣∣−

2

2≤∣∣

azimut 0°

Zölzer (2002)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

72

Modellierung des Torso

● Einfaches Echo:

• Zusätzliche Abschwächung bei lateralen Positionen

t=1.2180°−

180° 1−0.00004[ −80° ⋅180°180° ]

2

Zölzer (2002)

... Azimut ... Elevation =0 ° ...60 °

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

73

Modellierung der Pinna

● Multiple Reflexionen, empirisch erfaßt:•

• Dn ist individuell anzupassen

• : Verstärkung der Reflexionen

p=An cos/2sin [Dn90 °−]Bn

pn

Zölzer (2002)

... Azimut ... Elevation

=0 ° ...90 °

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

74

Struktur: Torso-Kopf-Pinna

Zölzer (2002)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

76

Weitere Lokalisation beeinflussende Faktoren

● Visuelle Umgebung:• Visuelle Umgebung konsistent mit akustischer Information

hilft bei der Lokalisation (Majdak et al. 2010)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

77

Naive 400 800 1200 1600

0

10

20

30

40

50

Number of trials

Manual

Qua

dran

t er

rors

(%

)

NH12

NH15

NH16NH17

NH18

Weitere Lokalisation beeinflussende Faktoren

● Visuelle Umgebung:• Visuelle Umgebung konsistent mit akustischer Information

hilft bei der Lokalisation (Majdak et al. 2010)

● Erfahrung:• Training mit eigenen HRTFs

verbessert die Lokalisation (Majdak et al. 2010)

• Große Verbesserung gleich am Anfang (nach 400 Zielen)

• Langsamere Verbesserungdanach

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

78

Kopfbewegungen

● Peilbewegung helfen Vorne-Hinten-Verwechslungen aufzulösen (Perret & Noble 1997)

Blauert (1974)

Stimuluslänge: 3s Rotation: 60°

Perret & Noble (1997)

schl

echt

er

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

79

Abhängigkeit vom Alter

● Ausbildung des binauralen Systems bis zu der 2-ten Lebensdekade

● Wahrnehmung der ITD:

Prozentsatz der wahrgenommenen ITD bezogen auf die Wahr-nehmung Erwachsener

Litovsky and Ashmed (1997)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

80

Abhängigkeit vom Alter

● Durch den symmetrischen Hörverlust im Alter kaum schlechtere Lokalisation

Relative Häufigkeit des Lokalisationsfehler > 7.5°

Signal: weisses RauschenBlauert (1974)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

81

Plastizität des auditorischen Systems

Pre-test

Post-test

Hofman et al (1998)

Hofman et al (1998)

Hofman et al (1998)

● HRTF: angelernt oder “fest verdrahtet”?• Veränderung der HRTFs• Rekalibrierung des Systems möglich

(Hofman et al. 1998)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

82

Plastizität über gezieltes Training

(Walder, Laback, Majdak, 2010)

Training (Tage)

Pre-tests Post-tests

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

83

Schallquellenlokalisation

● Freifeld, eine Quelle:• Laterale Positionen:

- Relevante Merkmale: Binaural, breitbandig- Spektrale Information vernachlässigbar- Einfacher Zusammenhang mit der Anthropometrie

• Vertikale Positionen (auch Vorne/Hinten):- Relevante Merkmale: Monaurale spektrale Amplituden- Individualisierte HRTFs essentiell:

Komplexer Zusammenhang mit Anthropometrie Generische HRTFs: Problem noch nicht gelöst

- Rekalibrierung über Training möglich- Modellierung komplex

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

84

Virtuelle binaurale Akustik

● Echtzeit Filterung der Signale mit HRTFs:● HRTF: Spatially oriented format for acoustics (SOFA)

– http://sofaconventions.org● Signale (Bandbreite, Modulationen):

– https://freesound.org● Nachhall● Kongruenz mit visueller Information, Training

● Echtzeiterfassung der Position/Ausrichtung des Hörers:

● pd, Unity, OpenCV, etc...

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

85

Binaurale Hörmodelle

● Jefress (1948)● Colburn and Durlach (1978):

Stern and Trahiotis (1997)

Stern and Trahiotis (1997)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

86

Bin. Hörmodelle

● Breebaart et al. (2001):• Periphäre Verarbeitungs-

stufe- Bandpass 1-4kHz- 3-Ordnung Gammatone-

Filterbank- Gauss'sches Rauschen

bei 60 uPa- Halbwellengleichrichtung

mit LP 5-ter Ord. @ 770Hz- 5 Adaptationskreise

Breebaart et al. (2001)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

87

Binaurale Hörmodelle

● Breebart et al.(2001):• Binaurale Verarbeitung• Zentrale Verarbeitung

Breebaart et al. (2001)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

88

Hörmodelle: Toolboxes

● Auditory Modeling Toolbox (AMT)● Über 30 Modelle aus verschiedenen Kategorien

– http://amtoolbox.sourceforge.net● Demonstrationen: demo_● Experimente: exp_● Modelle, z.B.: breebaart2001_

● EarLab: bis 2006 entwickelt● Brian Hears● Two!Ears

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

89

Binaurale Kohärenz

● Veränderung des Hörereignisses mit dem Kohärenzgrad der binauralen Signale

● Anwendung: Simulation der Räumlichkeit

k ... KohärenzgradProzentangaben:

● Anteil der Hörereignisse

Signal: ● Breitbandrauschen

Blauert (1974)

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

90

Weiterführende Literatur• Jeffress L. A., (1948) “A place theory of sound localization”. J. Comp.

Physiol. Psychol. 41, 35–39 • Greenberg S. (1997) “Auditory function” in Encyclopedia of Acoustics,M.

Crocker, editor. New York: John Wiley, pp. 1301-1323. • Blauert J. (1974) “Räumliches Hören”, S. Hirzel Verlag Stuttgart • Begault D. R. & Wenzel E. M. (2001) “Direct Comparison of the

Impact of Head Tracking, Reverberation and Individualized Head-Related Transfer Functions on the Spatial Perception of Virtual Speech Source”. J. Audio Eng. Soc. 49 (10), 904-916

• Williams J. M. (2004) “Psychology 213 Sensation and Perception”, http://www.learnpsychology.com/courses/sp.html, Drexel University

• Bernstein L. R. (2001) ”Auditory Processing of Interaural Timing Information: New Insights”. J. of Neurosci. Res. 66: 1035–1046

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

91

Weiterführende Literatur• Perrett S. & Noble W. (1997) “The effect of head rotations on vertical

plane sound localization”. J. Acoust. Soc. Am. 102 (4), 2325-2332 • Møller H., Sørensen M. F., Hammershøi D. & Jensen C. B. (1995)

“Head-related transfer functions of human subjects”. J. Audio Eng. Soc.

43 (5), 300-321 • Wightman F. L. & Kistler D. J. “Headphone simulation of free-field

listening. I. Stimulus synthesis”. J. Acoust. Soc. Am. 85 (2) 858-867 • Hartman W. M. & Wittenberg A. (1996) “On the externalization of

sound images”. J. Acoust. Soc. Am. 99 (6) 3678-3688 • Algazi V. R., Duda R. O., Thompson D. M. & Avendano C. (2001)

“The CIPIC HRTF Database”. IEEE Workshop on Applications of Signal

Processing to Audio and Acoustics 2001, New Paltz, New York • Hofman H. P. M., Van Riswick J. G. A. & Van Opstal A. J. (1998)

“Relearning sound localization with new ears”, Nature Neurosci. 1 (5),

417-412

räumliches hörenPiotr Majdak - [email protected] in akustik und computermusik

92

Weiterführende Literatur• Wightman F. L. & Kistler D. L. (1997) “Factors Affecting the Relative

Salience of Sound Localization Cues” in “Binaural And Spatial Hearing in Real and Virtual Environments” edited by R. H. Gilkey and T. R. Anderson, Lawrence Erlbaum Associates.

• Stern, R. M. and Trahiotis, C. (1997) “Models of Binaural Perception” in “Binaural And Spatial Hearing in Real and Virtual Environments” edited by R. H. Gilkey and T. R. Anderson, Lawrence Erlbaum Associates.

• Breebart J. (2001) ”Binaural processing model based on contralateral inhibition. I. Model structure”. J. Acoust. Soc. Am. 110

(2)1074-1088 • Zölzer U. (2002) “DAFX – Digital Audio Effects”. John Wiley and Sons

Ltd., Chichester