Das Jazzomat-Projekt Klaus Frieler
Institut für Musikwissenschaft, Weimar-Jena
Gastvortrag
Musikwissenschaftliches Institut Wien
19. Januar 2017
Rechnerbasierte Musikwissenschaft • Wozu?
• Komplementiert, ergänzt und erweitert vorhandene
und eröffnet neue Analysemethoden.
• Historisch entstanden aus Korpus-basierten
Unterdisziplinen (z.B. Musikethnologie, Alte Musik
Forschung).
• Aufschwung durch Music Information Retrieval seit
den 2000er und Durchdringung des Computers.
• Schnittmenge mit Computermusik
(Komposition/Produktion von Musik.)
Rechnerbasierte Musikwissenschaft • Vorteile:
– Erleichterte Generierung und Erhebung von
großen Datenmengen (erhöhte Reliabilität).
– Notwendig zur Analyse von großen Datensätzen
(Big Data).
– Beschleunigung von Forschungsprozessen.
– Testung und Entwicklung von Modellen.
– Dinge messen, die sonst schwer zu messen sind.
Rechnerbasierte Musikwissenschaft • Nachteile (?):
– Fokus auf quantitative Methoden.
– Benötigen meist eine Vereinfachung von
Konzepten, um sie Rechner-tauglich zu machen
(kann auch ein Vorteil sein!).
– Oft hohe Einstiegshürden (Zusatzwissen
Mathematik, Informatik, Statistik, Machine
Learning, Signalverarbeitung uvm).
– „Proving the obvious“ (aber: „hindsight bias“).
Rechnerbasierte Musikwissenschaft
Musikanalyse
Statistik
Noten
Audio
Metadaten Klanganalyse
Ergebnis
Transkription
Das Jazzomat-Projekt Arbeitsschwerpunkte:
1. Aufbau einer Datenbank von ca. 450 einstimmigen
Jazzsolo-Transkriptionen (Weimar Jazz Database,
derzeit 299 Soli).
2. Entwicklung von Analyse-Tools (MeloSpySuite,
MeloSpyGUI):
• Merkmalsextraktion, Visualisierung
• Mustererkennung und -suche
• Datenimport/-export
3. Forschen, forschen, forschen …
DFG-Forschungsprojekt (12/2012 bis 4/2017)
Melodisch-rhythmische Gestaltung von Jazzimprovisationen.
Rechnerbasierte Musikanalyse einstimmiger Jazzsoli
Das Jazzomat-Projekt Forschungsbereiche & Anwendungen:
1. Jazzforschung, Jazzgeschichte, Stilanalyse.
2. Psychologie musikalischer Schaffensprozesse.
3. Musikinformatik, statistische Musikanalyse, MIR.
4. Jazzpädagogik, Jazztheorie, Didaktik des
Improvisierens. Team:
Prof. Dr. Martin Pfleiderer, Dr.-Ing. Jakob Abeßer, Dr. Klaus Frieler,
Wolf-Georg Zaddach, MA, Benjamin Burkhart, MA, Friederike Bartel,BA,
Transkripteure: Martin Breternitz, Peter Heppner, Yvette Kneisel, Benedikt Koch, Simon
Meininger, Benjamin Napravnik, Franziska Risch, Lydia Schulz, Amelie Zimmermann, Alaa
Zouiten
Projektseite: http://jazzomat.hfm-weimar.de/
Transkriptionen • Wie können valide Transkriptionen erstellt werden?
• Performanz-orientierter statt notenbasierter Ansatz.
• Sequenzen von Tonereignissen, die mit metrischen,
harmonischen u.a. Kontextinformationen annotiert
werden.
• Tonereignisse mit definiertem Onset, definierter
Tonhöhe, definierter Dauer:
en = (tn, pn, dn)
Transkriptionen • Alle psychologische Größen sind unscharf und nur
bedingt abbildbar auf physikalische Größen.
• Diese Beschreibung von Improvisationen scheint
aber hinreichend gut für die meisten Jazzstile.
• Für andere eher insuffizient.
Chet Baker
Long Ago and Far Away
Evan Parker
Improvisation #1
Transkriptionen • Diese Beschreibung ist noch zu „dünn“ für viele
Anwendungen.
• Anreicherung durch:
– Metadaten (manuell),
– harmonischer Kontext (manuell),
– metrischer Kontext (semi-automatisch),
– Phrasen (manuell),
– Midlevel-Einheiten (manuell),
– Modulationen (manuell),
– Intensitäten (automatisch).
Metadaten • Soloinformationen (Solist, Titel, Stil, Rhythm Feel,
Tempoklasse etc.),
• Kompositionsinformation (Komponist, Form,
Tonalitätstyp etc.),
• Aufnahmeinformationen (Albumtitel, LC Nr, Track
Nr., Sidemen, Jahr, MusicBrainzID etc.),
• Transkriptionsinformationen (wer, wie, wann).
Harmonischer Kontext • Harmonischer Kontext:
– als Teil der Komposition,
– als Leitfaden im Kopf der Solisten,
– realisiert durch Harmonieinstrumente,
– mit Freiheiten bei der Ausgestaltung
(Alterationen, Substitutionen, Wechselakkorde).
• Transkription der klingenden Harmonien schwierig
und zeitaufwendig.
• Lösung: Akkordfolgen aus Leadsheet.
Metrische Annotation • Performance-orientierte Transkriptionen
Notwendigkeit metrischer Annotation.
• Flex-Q Algorithmus
– Manuell getappter Beattrack.
– Metrum: Periode des Beats (extern annotiert).
– Flexibles Gitter: Finde optimales Gitter für Ereignisse
zwischen zwei Beats Metrumsannotation
Phrasen • Phrasen sind wichtige perzeptuelle und produktive
musikalische Einheiten.
• Transkripteur annotiert Phrasen.
• Probleme:
– Variabilität in der Phrasenwahrnehmung.
– Nur ein Transkripteur.
Akustische Parameter • Wichtige expressive Mittel:
– Frequenzmodulationen,
– Intensität/Lautheit,
– Intonation.
• Manuelle Annotation von Modulationen durch die
Transkripteure (Vibrato, Bend, Fall-off, Slide).
• Lautheit ist nicht manuell zu annotieren.
• Dito: Intonation.
• Lösung: Automatisierung.
Akustische Messungen • Transkriptionen als Leitfaden für f0-Tracking und
Intensitätsmessung.
• Kennzahlen der f0-Kurven: Vibratofrequenz,
Vibratohub, f0-Gradient etc.
• Erlaubt auch Intonationsmessung.
• Nachträgliche automatisierte Annotation von
Intensitäten (Lautheit).
Abeßer, J., Cano, E., Frieler, K., Pfleiderer, M., & Zaddach, W.-G. (2015). Score-informed analysis of
intonation and pitch modulation in jazz solos. In: Müller,M. & Wiering, F. (Eds.), Proceedings of the 16th
International Society for Music Information Retrieval Conference, Malaga, 2015, pp. 823–829.
Beispiel: Vibrato • Saxophonisten mehr Vibratohub als Trompeter (35
cents vs. 25 cents).
• Vibratohub nimmt mit Tonhöhe ab (r=.28***)
Weimar Jazz Database • 299 Solotranskription von 47 verschiedenen Solisten
(Coltrane (13), Rollins (12), Shorter (10), Desmond (8), Davis
(8)…), über 120.000 Tonereignisse
• Chorusse: 1 (109), 2 (83), 3 (36), 4+ (71), max: 31
• Stile: Traditional (20), Swing (52), Bebop (35), Cool (38),
Hardbop (48), Postbop (101), Free (5, Ornette Coleman)
• Rhythm Feels: Swing (222), Twobeat (21), Latin (20), Ballad
(18), Funk/Rock (14), Mixed (4),
• Tonalitätsklassen: Functional (193), Blues (57), Modal (20),
Color (20), Free (9)
• Metren: 4/4 (284), 3/4 (6), andere (6)
• Tempoklassen: Slow (28), Medium Slow (21), Medium (54),
Medium up (70), Up (126)
• Finale Version: ~450 Transkriptionen (Frühling 2017)
Features • Features sind nummerische oder symbolische
repräsentierte Eigenschaften von Melodien.
• Meist ermittelt aus Abstraktionen der melodischen
Oberfläche.
• Externe Metadaten sind auch Features.
• Möglichkeitsraum der Feature ist potenziell unbegrenzt
(Baukastensystem „feature machine“).
• Derzeit über 600 Features vordefiniert.
• Problem der Featureselektion.
Abstraktionen: Beispiele • Abs. Chromaklasse (pc)
• C=0, C#=1… Bb=10, H=11.
• Harmonische Chromaklasse (cpc):
• Grundton des umliegenden Akkordes = 0, dann wie
pc.
• Diatonische harmonische Chromaklasse (cdpc).
• Grundton = 1, Terz = 3, Quart = 4 etc., T: Tritonus,
B: kleine Terz in Dur-Akkord, >=gr. Terz in
Mollakkord, L= gr. Sept in Mollakkord, <= kl. Sept in
Durakkord.
• Halbtonintervalle (int)
Beispiel: abstraction • Ausschnitt aus Bob Bergs Solo auf „Angles“
• pc: 10 8 9 10 8 9 8 7 6 5 6 9 5 7 6 5 9 7 4 0 10
• cpc : 7 5 6 7 5 6 5 4 3 2 4 6 2 4 3 2 6 4 1 9 7
• cdpc: 5 4 T 5 4 T 4 3 B 2 3 T 2 3 B 2 T 3 2 6 5
• int: -2 1 1 -2 1 -1 -1 -1 -1 2 2 -4 2 -1 -1 4 -2 -3 -4-2
Vergleich: Miles vs. Trane John Coltrane Miles Davis
Rhythmus Schnelle Linien („Sheets of
sound“)
Rhythmisch variabler
Längere Töne & mehr Pausen
Intervalle Mehr fallende Mehr aufsteigende
Weniger Tonwiederholungen Mehr Tonwiederholungen
Größere Intervalle Kleinere Intervalle
Mehr Terzen/Arpeggien Weniger Terzen
Tonhöhe Großer Tonumfang Geringer Tonumfang
Vermeidet Terzen, mehr Blue
Notes
Midlevel Units Mehr Linien, expressive Ideen
& Fragmente
Mehr Licks, Melodien & Leer
Patterns Mehr Patterns Weniger Patterns
Keine gemeinsames Mustervokabular
Beispiel: Postbop vs. Hard/Bebop
Frieler, K., Pfleiderer, M., Abeßer, J., & Zaddach, W.-G. (2016). Chasing the Difference. Computer-
aided Comparison of Improvisation in Post-bop, Hard bop, and Bebop. In: Jazzforschung / Jazz
Research, 46.
Beispiel: So What (pc, BASS)
Frieler, K., Pfleiderer, M., & Zaddach, W.-G. (2016). Pitch class hierarchies in Miles Davis’s “So What”: Reconsidering
modal jazz improvisation with computer-based analysis tools. In: Beitragsarchiv zur Jahrestagung der Gesellschaft
für Musikforschung Halle/Saale 2015 – “Musikwissenschaft: die Teildisziplinen im Dialog”, Wolfgang Auhagen &
Wolfgang Hirschmann (Eds.), Mainz, Schott Campus
D-dorisch
Eb-dorisch?
Solo-Dramaturgie: Tonhoehenkurven
Frieler, K., Pfleiderer, M., Abeßer, J., & Zaddach, W.-G. (2016). “Telling a story”. On the dramaturgy of
monophonic jazz solos. Empirical Musicology Review, 11(1), Special Issue „Corpus Studies“
Ideenflussmodell der Improvisation
Frieler, K., Lothwesen, K.S., & Schütz, M. (in Vorbereitung). The Ideational Flow Model.
MIDLEVEL ANALYSE • Ziel: Die zugrundeliegenden „Ideen“ der Improvisatoren
auf eine mittleren Eben zu erfassen und
phänomenologisch zu beschreiben.
• Qualitatives Verfahren, inspiriert durch Inhaltsanalyse
und Grounded Theory.
• Ideenkategorien aus den Daten selbst generieren
(offene Kodierung, Verdichtung).
• Manuelle Annotation durch Transkripteure.
Frieler, K., Pfleiderer, M., Abeßer, J., & Zaddach, W.-G. (2016). Midlevel analysis of monophonic jazz
solos. A new approach to the study of improvisation. Musicae Scientiae, 20 (2). 143-162.
MIDLEVEL ANALYSE • Kontinuierliche und lückenlose Annotation des
musikalischen Geschehens.
• Keine Überlappung.
• Hierarchisches, unbalanciertes Kategoriensystem:
• 9 Hauptkategorien,
• 18 Unterkategorien,
• 39 Unter-Unterkategorien.
MLA: Kategorien • lick, lick_blues, lick_bebop: Eher kurzes melodisches
Motiv, rhythmisch und tonal divers, prägnante Gestalt.
• line: Melodische Sequenzen mit ausgeprägter
Direktionalität und rhythmisch eher einheitlich.
• line, line_tick: Klare Linien ohne Wendungen.
• line_wavy: Wellenlinien mit vielen Wendungen,
• line_interwoven: Zwei oder mehr verwobene Linien:
Aufsteigend Wellenförmig
MLA: Kategorien • rhythm: Rhythmischer Ausdruck steht im Vordergrund.
• rhythm_sr: Einzelner Ton, regelmäßiger Rhythmus.
• rhythm_si: Einzelner Ton, variierender Rhythmus.
• rhythm_mr, oscillation: Mehrere Töne, regelmäßiger
Rhythmus
• rhythm_mi: Mehrere Töne, variierender Rhythmus.
Oszillation
MLA: Kategorien • melody: Klarer melodischer Charakter, „cantabile“,
Themen-artig.
• void: Bewusstes Nicht-spielen, überlange Pausen.
• fragment: Kurze Partikel, Fehler?
• expressive: Ausdruck steht im Vordergrund,lange Töne,
„Screams“, „Honks“,
• theme: Bezug auf das Thema des Stückes.
• quote: Zitat aus einem anderen Stück.
MLA: Sonstiges • Neben den Kategorien werden auch Bezüge der
Midlevel-Einheiten (MLU) untereinander annotiert.
• Jede Phrase beginnt eine MLU, aber Phrase können
aus mehreren MLUs bestehen.
• Zusatzinformation zu Themen und Zitate.
Ideenflussmodell der Improvisation
Frieler, K., Lothwesen, K.S., & Schütz, M. (in Vorbereitung). The Ideational Flow Model.
Pattern im Jazz • Inwieweit trifft die Pattern-Hypothese zu?
• Lassen sich Patterns als Bausteine nachweisen?
• Welchen Anteil eines Solos machen Patterns aus?
• Dazu untersuchen wir exakte, realisierte Patterns.
• Exakte Patterns sind Teilfolgen (N-Gramme) aus einer
Menge von Sequenzen, die bestimmten Bedingungen
genügen.
• Die zugrundeliegenden Sequenzen sind Abstraktionen der
Tonfolgen der Soli.
Lange Patterns • Je länger ein N-Gramm desto unwahrscheinlicher ist
sein (mehrmaliges) Auftreten.
• Überzufällig häufiges Auftreten von langen N-Gramms
ist ein starkes Indiz für eingeübte Patterns.
• „Lang“ heißt hier: 12 oder mehr Töne (11 oder mehr
Intervalle).
• Maximale Länge: 30 (technisch/heuristisch bedingt).
• Systematische Suche nach langen Patterns (melpat).
Ergebnisse: Beispiele • 18-töniges int-Pattern von Bob Berg: „Angles“.
[-2, 1, 1, -2, 1, -1, -1, -1, -1, 2, 2, -4, 2, -1, -1, 4, -2]
• 17-töniges Charlie Parker int-Pattern: „Scrapple from
the Apple“ und „Billies Bounce“.
[-1, -2, -2, -2, -1, -2, -2, -1, 3, 3, 3, 2, -3, -2, 2, -3]
Zusammenfassung & Ausblick • Rechnergestützte, statistische und Korpus-basierte
Methoden in der Musikwissenschaft bieten interessante
neue Möglichkeiten.
• Quantitative Ansätze ergänzen und erhärten klassische
Ansätze.
• Die Möglichkeiten sind noch lange nicht ausgeschöpft.