grundlagen der visualisierung von geräuschen und musik · metrische skalen sone-skala,...
Post on 18-Sep-2018
212 Views
Preview:
TRANSCRIPT
Dr. Michael Haverkamp
Ford Werke GmbHKöln
mhaverka@ford.com
Grundlagen der Visualisierung vonGeräuschen und Musik
Dr. Michael Haverkamp FORD Werke GmbH Köln 2 2.11.2006
1. Einleitung
2. Verknüpfung auditiver und visueller Wahrnehmung
3. Qualia
4. Inter-modale Analogie
5. Assoziative und symbolische Elemente
6. Das "Farbe-Ton-Problem"
7. Schlußfolgerung - Ausblick
Dr. Michael Haverkamp FORD Werke GmbH Köln 3 2.11.2006
1. Einleitung
2. Verknüpfung auditiver und visueller Wahrnehmung
3. Qualia
4. Inter-modale Analogie
5. Assoziative und symbolische Elemente
6. Das "Farbe-Ton-Problem"
7. Schlußfolgerung - Ausblick
Dr. Michael Haverkamp FORD Werke GmbH Köln 4 2.11.2006
1. Einleitung
2. Verknüpfung auditiver und visueller Wahrnehmung
3. Qualia
4. Inter-modale Analogie
5. Assoziative und symbolische Elemente
6. Das "Farbe-Ton-Problem"
7. Schlußfolgerung - Ausblick
Dr. Michael Haverkamp FORD Werke GmbH Köln 5 2.11.2006
Visuelle Muster beim Hören von Geräuschen
nach Berichten Erblindeter, Wilhelm Voss, 1929
Glockentöne Tierlaute
Dr. Michael Haverkamp FORD Werke GmbH Köln 6 2.11.2006
genuine Synästhesie
intermodale Analogie
Assoziationikonische Verknüpfung
Metapher/Symbolik
bewusste Analogiebildungmathem./physikalisch
spontan,unwillkürlich,
"zwangsmäßig"
spontan,vom Kontext
beeinflusst
bewusste Zuordnung
auditiverReiz
visuelleWahrnehmung
Vorstellung
Schema inter-modaler Verknüpfungen
Dr. Michael Haverkamp FORD Werke GmbH Köln 7 2.11.2006
1. Einleitung
2. Verknüpfung auditiver und visueller Wahrnehmung
3. Qualia
4. Inter-modale Analogie
5. Assoziative und symbolische Elemente
6. Das "Farbe-Ton-Problem"
7. Schlußfolgerung - Ausblick
Dr. Michael Haverkamp FORD Werke GmbH Köln 8 2.11.2006
Qualiasubjektiver Erlebnisgehalt mentaler Zustände
qualitative Aspekte des Bewußtseins"wie es ist (sich anfühlt), Rot zu sehen"
physikalischer Reiz Reaktion, Verhalten
beschreibbarmessbar
beschreibbarmessbar
physiologischeReizverarbeitung
messbar
neuronaleAktivität
messbar
Wahrnehmungssystem
Qualiasubjektiv, nicht messbar
nur äußerst grob beschreibbar(Beschreibbarkeit verlangt Konsensbildung)
Dr. Michael Haverkamp FORD Werke GmbH Köln 9 2.11.2006
LMS
400 500 600 700
1
0,1
0,01
Wellenlänge / nm
rela
tive
Em
pfin
dlic
hkei
t
Sinneswahrnehmung : das SehenFarbrezeptoren
Dr. Michael Haverkamp FORD Werke GmbH Köln 10 2.11.2006
Farbkonstanz
Tageslicht
Trotz unterschiedlicher Färbung derBeleuchtung bleibt das Fahrzeug weiss
Glühlampe
Tageslicht gefiltert durch gelben Vorhang
Dr. Michael Haverkamp FORD Werke GmbH Köln 11 2.11.2006
Beispiel: Tonhöhensynästhesie
E F Fis G As A B H C Cis D Es Enach: Paul Dörken, 1927
Genuine Synästhesie : Farbenhören
Alexander Laszlo :Die Farblichtmusik, 1925
Fis-dur
Cis-dur
As-dur
Es-dur
B-dur
F-dur
Beispiel: Farbwahrnehmung bei Tonarten und Klängen
Dr. Michael Haverkamp FORD Werke GmbH Köln 12 2.11.2006
Visuelle Muster beim Hören von Geräuschen
nach Bildern von H. Hein, 1927
„Motorgeräuscheines Fischkutters“„leises Auto“
„Dampfertuten(3 Signale)“ „Weckerrasseln“
„Glockenton“„Glockenton
einer Wanduhr“„Glockenton einer
Kirchturmuhr“„Geräusch einer
Kaffeemühle
Dr. Michael Haverkamp FORD Werke GmbH Köln 13 2.11.2006
Klang einer Klangschale
Dr. Michael Haverkamp FORD Werke GmbH Köln 14 2.11.2006
1. Einleitung
2. Verknüpfung auditiver und visueller Wahrnehmung
3. Qualia
4. Inter-modale Analogie
5. Assoziative und symbolische Elemente
6. Das "Farbe-Ton-Problem"
7. Schlußfolgerung - Ausblick
Dr. Michael Haverkamp FORD Werke GmbH Köln 15 2.11.2006
Zuordnungsversuch
Dr. Michael Haverkamp FORD Werke GmbH Köln 16 2.11.2006
Der Begriff „Inter-modale Analogie“ bezieht sich auf die Fähigkeitdes Wahrnehmungssystems, über die Sinnesgrenzen hinweg
Korrelationen zu erkennen und zur Identifizierung vonObjekten und Atmosphären auszuwerten.
Olivier Messiaen : Oiseaux exotiques
„Analogie“ in der auditiven Wahrnehmung:
Definitionen
Der Begriff „Analogie“ bezieht sich auf die Fähigkeitdes Wahrnehmungssystems,
Korrelationen zu erkennen und zur Identifizierung vonObjekten und Atmosphären auszuwerten.
Dr. Michael Haverkamp FORD Werke GmbH Köln 17 2.11.2006
Überblick
räumliche Analogie -> landscape – soundscape
Bewegungsanalogie
Emotionale Analogie
zeitliche Analogie -> Synchronie / „Prinzip des gemeinsamen Schicksals“
Coltrane : SpiralVivaldi : Wind
inter-sensorielle Eigenschaften⇒ Intensität, Volumen, Helligkeit, Dichte, Rauigkeit
- Cross-modality matching- Analogie zur musikalischen Notation / Musikalische Graphik
Dr. Michael Haverkamp FORD Werke GmbH Köln 18 2.11.2006
“Fliederduft”Richard Wagner:Die Meistersinger von Nürnberg3. Aufzug
Analogie von Tonhöhe und Klangfarbe (Helligkeit) zum Visuellen
“Nacht-Motiv”
“Gralsmotiv”
Richard Wagner:LohengrinVorspiel
“Tag-Motiv”
Richard Wagner:Tristan und Isolde2. Aufzug
Anfangsakkord
Dr. Michael Haverkamp FORD Werke GmbH Köln 19 2.11.2006
Farbskalen zur Visualisierung von SchallphänomenenMotoren-Hochlauf – Anwendung verschiedener Farbskalen im Campbell-Diagramm
Dr. Michael Haverkamp FORD Werke GmbH Köln 20 2.11.2006
Skalentheorie
Nominalskala: Elemente benennenBremsgeräusche: Quietschen, Knarzen, Heulen
Ordinalskala: + Elemente ordnenBremsgeräusche: Quietschen bei 1,5 kHz, 4 kHz, 6 kHzlQualitätsbeurteilung: Produktionsverwerfung, Grenzfall,
ausreichend, gut, sehr gut, ausgezeichnetNotenskala: 1, 2, 3, 4, 5, 6
Intervallskala: + gleiche Abstände (Additivität)Temperaturskala in C°
Ratioskala: + Nullpunktsone-Skala, Temperaturskala in Km
etris
che
Skal
en
Dr. Michael Haverkamp FORD Werke GmbH Köln 21 2.11.2006
Subjektive Farbreihen
Typische subjektive Farbreihe nach Untersuchungen von Anschütz 1927 :häufig angewandt auf Tonhöhe, Vokale, Tageszeiten,
Entfernungsstufen, Tage der Woche, Zahlen
Farbreihe aus dem 17. Jahrhundert nach Francois d‘Aguilon, 1613 :
Dr. Michael Haverkamp FORD Werke GmbH Köln 22 2.11.2006
Verwendung von Farbskalen bei der Visualisierung vonSchallphänomenen - Beispiele
Skale zunehmender Helligkeit
Plus-Minus Skala mit Farbsymbolik
Isophonen-Skala (bei Holographie-Anwendern beliebt,die Darstellungen von fringes gewohnt sind)
Dr. Michael Haverkamp FORD Werke GmbH Köln 23 2.11.2006
Analogie zur musikalischen Notation / Bewegung
Alexander Truslit: Gestaltung undBewegung in der Musik. 1938
Dr. Michael Haverkamp FORD Werke GmbH Köln 24 2.11.2006
Analogie zwischen musikalischen Parametern und Bewegung(Eitan & Granot, 2004)
descendingmoving to the leftsupporting forcelower energyfalling or sliding
descent
ascendingmoving awayspeedingsupporting forcehigher energyrunning, walking
ascentPitch Direction
moving awaydescendinglower energyfalling or sliding
Diminuendo
approachingspeedinghigher energyrunning
CrescendoDynamics
Related Motion FeaturesMusical FeatureMusical Parameter
symmetry
asymmetry
Dr. Michael Haverkamp FORD Werke GmbH Köln 25 2.11.2006
1. Einleitung
2. Verknüpfung auditiver und visueller Wahrnehmung
3. Qualia
4. Inter-modale Analogie
5. Assoziative und symbolische Elemente
6. Das "Farbe-Ton-Problem"
7. Schlußfolgerung - Ausblick
Dr. Michael Haverkamp FORD Werke GmbH Köln 26 2.11.2006
Abgrenzung : Analogie - konkrete Assoziation
Analogie: "wulstige Formen"
a)
Beispiele aus: Hans Richter:Filmgegner von heute - Filmfreunde von morgen. 1929a) Quelle nicht genanntb) Dziga Vertov (Werthoff), "Der Mann mit der Kamera"
Assoziation: "Arbeit"
b)
Dr. Michael Haverkamp FORD Werke GmbH Köln 27 2.11.2006
1. Verknüpfung durch Identifikation multi-sensorieller Wahrnehmungsobjekte
Landschaften, Räume...
Visuelle Attribute der Schallquelle, z.B. von Musikinstrumenten
Laut- und Klangmalerei
=> im assoziatives Gedächtnis gespeichert
Konkrete Assoziation - ikonische Verknüpfung
Ikonische Repräsentation : "Was ist es ?"
Semantische Repräsentation : "Was bedeutet es ?"
2. Verknüpfung durch Identifikation des Umfeldes (Atmosphären)
Dr. Michael Haverkamp FORD Werke GmbH Köln 28 2.11.2006
Gelb: Sonne, Energie, Kraft, Wärme; "Strom ist Gelb", Ampel, Warnblinkleuchte: Achtung(früher: Zorn, Eifersucht, Neid)
Rot: "Stop", Verboten, Gefahr, negativ: Bremsleuchten, "rote Zahlen","roter Bereich" (traditionell: Liebe, aber auch: Blut, Opfer)
Grün: "Go", Erlaubt, Natur, Gesundheit, positiv: "grüner Bereich"(traditionell: Neid; christliche Kirchen: Hoffnung)
Blau: Kälte, Ruhe, Melancholie: "the blues"
Violett: (traditionell, christliche Kirchen: Buße, Passion)
Schwarz: Tod, Hoffnungslosigkeit, Nacht, Unglück; aber auch: Gewissheit:"schwarze Zahlen", "schwarz auf weiß"
Weiß: Unschuld, Klarheit: "weiße Weste"
Farbsymbolik : Beispiele
Dr. Michael Haverkamp FORD Werke GmbH Köln 29 2.11.2006
Darstellung ähnlich Phosphenen
Helligkeit -> Lautheit, Frequenz -> Höhe,Drehzahl -> wie Zeit
Hitze, Feuer -> Energie
Kraft, Leistung, Gefahr ...
genuine Synästhesie
Intermodale Analogie
konkrete Assoziation
Symbol / Metapher
Mathematisch / physikalischeZuordnung
Farbsymbolik bei der Visualisierung von Geräuschen
Dr. Michael Haverkamp FORD Werke GmbH Köln 30 2.11.2006
Farbsymbolik
Wahl der Komplementärfarbe als Kontrast zum Firmenlogo:FORD Focus ST
Dr. Michael Haverkamp FORD Werke GmbH Köln 31 2.11.2006
Stroop-Test:
ROT
GRÜN
GELB
BLAU
WEISS
SCHWARZ
WahrnehmungskonfliktGegensatz ikonische Ebene (Assoziation) ���� Symbol-Ebene
Farbmarkierung:
ROT
GRÜN
GELB
BLAU
WEISS
SCHWARZ
Nutzung von Wahrnehmungs-konflikten zur Erhöhung der Auf-
merksamkeit in der Werbung:
Dr. Michael Haverkamp FORD Werke GmbH Köln 32 2.11.2006
1. Einleitung
2. Verknüpfung auditiver und visueller Wahrnehmung
3. Qualia
4. Inter-modale Analogie
5. Assoziative und symbolische Elemente
6. Das "Farbe-Ton-Problem"
7. Schlußfolgerung - Ausblick
Dr. Michael Haverkamp FORD Werke GmbH Köln 33 2.11.2006
Farben : Olivier Messiaen
Farben eines Kirchenfensters aus „Un Vitrail et des Oiseaux “
Dr. Michael Haverkamp FORD Werke GmbH Köln 34 2.11.2006
Alexander Skrjabin : Promethée – Le Poème du Feu
AFis
Anfangssequenz : Farbakkord der Luce-Stimme
Dr. Michael Haverkamp FORD Werke GmbH Köln 35 2.11.2006
Kombination von Tönen undFarben; Beispiel
Anpassung der Farbskala an dengesamten Tonumfang
chromatische Skala (C=rot)
A.W. Rimington. Colour music (1911)
Terz
Quarte
Quinte
Kombination von Farben bezogen auf dasmusikalische Intervall; abgeleitet vom Farbenkreis
nach Ostwald
A. László: Farblichtmusik (1925)
Farbskalen in der Musik
Dr. Michael Haverkamp FORD Werke GmbH Köln 36 2.11.2006
Bildliche Darstellung musikalischer FormenExakte Transformation der Struktur
Luigi Veronesi: Chromatische Visualisierung:J.S.Bach Kontrapunkt No. 2 aus der Kunst der Fuge, 1971
Dr. Michael Haverkamp FORD Werke GmbH Köln 37 2.11.2006
Einzelton, Rauschen:
Sinuston
Rauschen terzgefiltert
Rauschen oktavgefiltert
weißes Rauschen
Impuls:
Tonhöhe hoch
Tonhöhe mittel
Tonhöhe gering
ungefiltert
harmon. Spektrum:
wenig geräuschhaft
mehr geräuschhaft
Zeichensystem (Auszug) von Rainer Wehiger für die Hörpartitur zuGyörgy Ligeti (*1923): Artikulation, elektronische Komposition, 1958
Visualisierung einer Geräuschkomposition: Ligeti - Artikulation
Die Farben wurden zunächst assoziativ gewählt, dann systematisiert:- schwarz/braune Farben bezeichnen geräuschhafte Signale- reine Farben symbolisieren Sinustöne- die Formen bilden Analogien zur Zeitstruktur
Dr. Michael Haverkamp FORD Werke GmbH Köln 38 2.11.2006
Richtung
Zeit / sec.
Frequenz
Visualisierung einer Geräuschkomposition: Ligeti - Artikulation
Dr. Michael Haverkamp FORD Werke GmbH Köln 39 2.11.2006
Krzysztof Penderecki (* 1933) : 1. Sinfonie : Glissandi
Transformation der physikalischen Klangeigenschaften
Dr. Michael Haverkamp FORD Werke GmbH Köln 40 2.11.2006
Arnold Schoenberg : "musikalischer Pointilismus"5 Orchester- Stücke op.16, Nr. 3 : "(Akkord-)Farben"
relativer Schalldruck
Frequenz / Hz
Zeit
Dr. Michael Haverkamp FORD Werke GmbH Köln 41 2.11.2006
1. Einleitung
2. Verknüpfung auditiver und visueller Wahrnehmung
3. Qualia
4. Inter-modale Analogie
5. Assoziative und symbolische Elemente
6. Das "Farbe-Ton-Problem"
7. Schlußfolgerung - Ausblick
Dr. Michael Haverkamp FORD Werke GmbH Köln 42 2.11.2006
- Parameter wählen, die gleich skaliert werden können (Skalentheorie)
- Zeitrichtung entspricht Schreibrichtung
- Analogien, Assoziation und Symbolik können parallel eingesetzt werden
- Analogien sind nicht eindeutig, unterliegen jedoch Präferenzen
- Zuordnungen sind nicht reziprok -> sondern "Einbahnstraßen"
- Asymmetrien sind möglich
Visualisierung von Geräuschen und Musik
Dr. Michael Haverkamp FORD Werke GmbH Köln 43 2.11.2006
fehlt etwas ?
Dr. Michael Haverkamp FORD Werke GmbH Köln 44 2.11.2006
Was fehlt ?
R. Wagner: Götterdämmerung, 3. Aufzug, „Brünnhildes Erwachen“
Harfen
Harfen
Violinen
Holz-/Blechbläser
V. Triller
Klangfarbe
Grundton
HarfenHarfen
ViolinenHolz-/Blechbläser V. Triller
Berücksichtigung der Gruppierung im Frequenzbereich (simultan)
Dr. Michael Haverkamp FORD Werke GmbH Köln 45 2.11.2006
Georg Philipp Telemann, 7. Fantasie für Querflöte ohne Bass, D-dur, Allegro
Objektbildung erfordert Zusammenfassung und Trennung von Elementen
Was fehlt ?
Berücksichtigung der Gruppierung im Zeitbereich (sequentiell)
Dr. Michael Haverkamp FORD Werke GmbH Köln 46 2.11.2006
Georg Philipp Telemann, 7. Fantasie für Querflöte ohne Bass, D-dur, Allegro
Was fehlt ?
Berücksichtigung der Gruppierung im Zeitbereich (sequentiell)
Dr. Michael Haverkamp FORD Werke GmbH Köln 47 2.11.2006
mhaverka@ford.com
www.michaelhaverkamp.mynetcologne.de
Vielen Dank für Ihre Aufmerksamkeit !
Dr. Michael Haverkamp FORD Werke GmbH Köln 48 2.11.2006
Seminar:
Synästhetisches Design - Theorie und Praxisder multi-sensuellen Optimierung
Haus der Technik - Essen
14. 6. 200722.11. 2007
www.michaelhaverkamp.mynetcologne.de
top related