![Page 1: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/1.jpg)
Neuronale Netze und Musik
von M. Serhat Cinar (AI 11030409)
Ein Referatüber die Doktorarbeit
„Lernen musikalischer Strukturen und
Stile mit neuronalen Netzen“
von Dominik Hörnel
![Page 2: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/2.jpg)
2
Übersicht
• Das Thema• Musikalische Grundlagen – Die Elemente
der Musik• Technische Grundlage – Mehrstufige
Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung
![Page 3: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/3.jpg)
3
Das Thema
„Ziel der Arbeit ist die Modellierung musikalischer Strukturen und das Aufspüren stiltypischer Merkmale aus Musikbeispielen mit Hilfe neuronaler Netze, sowie deren Anwendung auf praxisrelevante musikalische Problemstellungen:das Erfinden melodischer Umspielungen nach Art barocker Choralvariationen [...] und Jazzimprovisationen [...], die Vervollständigung von Melodiefragmenten und die Harmonisierung von Choralmelodien [...].“
![Page 4: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/4.jpg)
4
Übersicht
• Das Thema• Musikalische Grundlagen – Die
Elemente der Musik• Technische Grundlage – Mehrstufige
Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung
![Page 5: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/5.jpg)
5
Musikalische Grundlagen – Der Ton 1
Der Ton – Regelmäßige Schwingung
![Page 6: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/6.jpg)
6
Musikalische Grundlagen – Der Ton 2
Toneigenschaften
Stärke
Frequenz (Höhe)
![Page 7: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/7.jpg)
7
Musikalische Grundlagen – Die Oktave
![Page 8: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/8.jpg)
8
Musikalische Grundlagen – Das Tonsystem
Eine Oktave wird in 12 Töne unterteilt. Davon sind 7 ganze Töne (weiße Tasten) und 5 halbe Töne (schwarze Tasten).
![Page 9: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/9.jpg)
9
Musikalische Grundlagen – Das Intervall 1
Der Abstand zwischen zwei benachbarten Noten heißt Sekunde (c-d).Gleichermaßen gibt es die Terz (c-e), die Quarte (c-f), die Quinte (c-g), die Sexte (c-a),
die Septime (c-h) und die ganze Oktave (c-c‘).
![Page 10: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/10.jpg)
10
Musikalische Grundlagen – Das Intervall 2
Diese Intervallbezeichnungen sind relativ zum Grundton und der benutzten Tonleiter. Im Beispiel eben war der Grundton das c und die Tonleiter die c-Dur Tonleiter.
(c d e f g a h c)
Für den Aufbau einer Tonleiter gibt es Regeln, die auf Intervallen basieren. Für die Dur Tonleiter gilt, ausgehend von einem Grundton:
- Der Abstand zwischen erster und zweiter Note, sowie zweiter und dritter Note der Tonleiter ist eine große Sekunde (mit einem Halbton dazwischen -> c-cis-d, d-dis-e)
- Der Abstand zwischen dritter und vierter Note ist eine kleine Sekunde (ohne einen Halbton dazwischen -> e-f)
- etc.
![Page 11: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/11.jpg)
11
Musikalische Grundlagen – Das Intervall 3
Nach diesen Regeln kann eine Tonleiter mit einem anderen Grundton aufgebaut werden, z.B. die d-Dur Tonleiter.
Hier werden die gleichen Intervalle für die Dur Tonleiter auf den Grundton d angewendet, wodurch hier auch Halbtöne in der Leiter auftauchen:
- Der Abstand zwischen erster und zweiter Note, sowie zweiter und dritter Note der Tonleiter ist eine große Sekunde (mit einem Halbton dazwischen -> d-dis-e, aber auch e-f-fis)
- etc.
(d e fis g a h cis d)
![Page 12: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/12.jpg)
12
Musikalische Grundlagen – Das Intervall 4
Es gibt auch andere Tonsysteme, wie die Moll- oder die Blues-Tonleitern, deren Intervallregeln bezüglich des Grundtones etwas anders aufgebaut sind.
![Page 13: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/13.jpg)
13
Musikalische Grundlagen – Der Akkord 1
Unter Akkorden versteht man das gleichzeitige Spielen mehrerer Noten, die einen Gesamtklang erzeugen (harmonieren).
Der einfachste Akkord ist der Dreiklang. Pro Tonleiter gibt es 3 Hauptdreiklänge:
![Page 14: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/14.jpg)
14
Musikalische Grundlagen – Der Akkord 2
Erste Stufe (Tonika): Hierzu werden die erste, die dritte und die fünfte Note der Leiter gleichzeitig gespielt.Entsprechend ergibt dies für die c-Dur Tonleiter c-e-g und die d-Dur Tonleiter d-fis-a.
(c d e f g a h c)
(d e fis g a h cis d)
![Page 15: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/15.jpg)
15
Musikalische Grundlagen – Der Akkord 3
Vierte Stufe (Subdominante): Hierzu werden die vierte, die sechste und die achte Note der Leiter gleichzeitig gespielt.Für c-Dur ist dies f-a-c, für d-Dur g-h-d.
(c d e f g a h c)
(d e fis g a h cis d)
![Page 16: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/16.jpg)
16
Musikalische Grundlagen – Der Akkord 4
Fünfte Stufe (Dominante): Hierzu werden die fünfte, die siebte und die neunte Note der Tonleiter gleichzeitig gespielt.Für c-Dur ist dies g-h-d‘, für d-Dur a-cis-e‘.
(c d e f g a h c d‘)
(d e fis g a h cis d e‘)
![Page 17: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/17.jpg)
17
Aufbau eines Chorals
Choral: Chorgesang bestehend aus:- Melodie aus einzelnen Tönen einer Tonleiter- Zu jedem Melodieton eine Harmonie und einen
entsprechenden Akkord- Melodieumspielung um die Melodietöne herum
Melodie
Variation
(Umspielung+Akkorde)Harmonik
![Page 18: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/18.jpg)
18
Übergeordnete Strukturen: Motiv 1
Das Motiv ergibt sich aus dem relativen Unterschied benachbarter Melodietöne eines Taktes, vergleichbar einer „Steigung“ zwischen benachbarten Noten.
Das Motiv ist unabhängig von der zugrunde liegenden Tonleiter.
![Page 19: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/19.jpg)
19
Übergeordnete Strukturen: Motiv 2
Ein Motiv behält seine Grundstruktur, selbst wenn es gedreht oder gespiegelt wird. Man spricht von einer paradigmatischen Gruppe.
![Page 20: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/20.jpg)
20
Übergeordnete Strukturen: Motivfolgen & Harmonik
Typisch für bestimmte Komponisten sind bestimmte Folgen von Motiven und Harmonisierungen. So benutzt z.B. Bach besonders ungewöhnliche Harmoniefolgen, während Pachelbel sich eher an Standardharmonien orientiert.
Hieraus ergibt sich die Motivfolge als weitere übergeordnete Struktur.
![Page 21: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/21.jpg)
21
Musikalische Grundlagen –Strukturen: Resümee
Ein Stück wird charakterisiert durch Noten, die • einzeln gespielt werden (Melodie)• gleichzeitig gespielt werden (Harmonik)• einer zeitlichen Abfolge unterliegen (Motiv,
Motivfolgen)
Es gilt daher, geeignete Modelle mit neuronalen Netzen sowie Kodierungen für diese zu finden.
![Page 22: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/22.jpg)
22
Übersicht
• Das Thema• Musikalische Grundlagen – Die Elemente
der Musik• Technische Grundlage – Mehrstufige
Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung
![Page 23: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/23.jpg)
23
Mehrstufige Neuronale Netze 1
Um Zeitfolgen zu lernen, gibt es mehrere Möglichkeiten, als da wären Jordan oder Elman Netze, eigene Konstrukte mit Gedächtnisneuronen oder das Lernen mit Kontextfenster (aus NN1 bekannt).
Hörnel benutzt in seiner Arbeit primär Neuronale Netze mit einem festen Kontext.Um ein Lied zu Analysieren, muss, wie bereits erklärt, sowohl ein aktueller
Ausschnitt aus einem Lied sowie die übergeordnete Folge von Motiven betrachtet werden. (Blick auf Detail und Gesamt)
![Page 24: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/24.jpg)
24
Mehrstufige Neuronale Netze 2
Dies wird durch das zusammenschließen mehrerer Netze erreicht. Mehrere Netze betrachtet einen kleinen, lokalen Abschnitt der Melodie und geben ihre „Erkenntnisse“ an ein Netz weiter, dass den Gesamtzusammenhang analysiert.
![Page 25: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/25.jpg)
25
Übersicht
• Das Thema• Musikalische Grundlagen – Die Elemente
der Musik• Technische Grundlage – Mehrstufige
Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung
![Page 26: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/26.jpg)
26
Improvisation von Melodieumspielungen - Vorgaben
Improvisieren: - Normalerweise in „Echtzeit“- Linker Kontext (Vergangenheit) bezüglich Melodieumspielung bekannt (bereits
improvisiert)- Linker und rechter Kontext der Harmonik und der Melodie bekannt (Vorgabe)
Ziel:- Voraussage der nächsten Note in der Melodieumspielung
![Page 27: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/27.jpg)
27
Aufbau Melonet
• Mi aktueller Melodieton (im Subnetz steht Mi+1 für den nächsten Referenzton)
• MCi:aktuelle Motivklasse• Hi Harmonisches Feld• Ni aktueller, zu bestimmen-der Motivton der
Melodie-umspielung• zi Position innerhalb des Taktes• phri Position innerhalb der Phrase• pi Position innerhalb des Motivs
![Page 28: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/28.jpg)
28
Motivklassifikator
Zuerst werden die Umspielungen Pachelbels durch ein modifiziertes Kohonen-Netz gelernt und klassifiziert. Dieses dient schließlich als Motivklassifikator.
![Page 29: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/29.jpg)
29
Super- / Subnetz
• Das Supernetz wird auf das Lernen von abstrakten Motivfolgen trainiert und soll entscheiden, welches Motiv zu einem Melodieton, abhängig vom melodischen Kontext und den zuvor aufgetretenen Motiven, am besten passt.
• Das Subnetz erlernt die Umsetzung der Motivklassen in konkrete Umspielungstöne abhängig vom gegebenen harmonischen Kontext.
![Page 30: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/30.jpg)
30
Kodierung 1
Intervallkodierung: • Jeder Ton wird durch seinen Abstand zum
ersten Motivton (Referenzton) identifiziert und kodiert
• Unabhängig von der Tonleiter (transpositionsinvariant)
• Ergebnisse stammen immer aus der Tonleiter -> Noten „falscher“ Tonleitern können gar nicht entstehen (harmonisch invariant)
• Kodierung enthält bereits musikalisches Grundwissen
![Page 31: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/31.jpg)
31
Kodierung 2
Bsp: Im Motiv von Beethovens 5. Symphonie war das Motiv g g g d.Der Referenzton wäre somit g (erster Ton des Motivs).Der zweite Ton ist dem ersten gleich, womit der Abstand eine
Prim wäre (bei Noten-intervallen lautet der Abstand einer Note zu sich selbst Prim).
In der Kodierung würde dies dem Datensatz 010 0 1000000 entsprechen.
Das Intervall zwischen dem dritten und dem vierten Ton (g-f-e-d) beträgt vier und ist damit eine absteigende Quarte.
Die Kodierung lautet demnach 100 0 0000100.
![Page 32: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/32.jpg)
32
Improvisation von Melodieumspielungen – Ergebnis 1
![Page 33: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/33.jpg)
33
Improvisation von Melodieumspielungen – Ergebnis 2
Fehlerraten für das Beispiel (Falsche Töne, Wiederholungen etc.):• Das Netz mit 12 Motivklassen schneidet mit einer Fehlerrate von
etwa 7% am besten ab• gefolgt vom Netz mit 5 Motivklassen (8%) • und dem Netz mit 20 Motivklassen (9,5%).
Als Verbesserung schlägt Hörnel vor, ein Komitee aus mehreren Netzen mit verschiedenen Anzahlen von Motivklassen zu benutzen und jeweils den besten Motivvorschlag auszuwählen. Durch diese Verbesserung verringert sich der Fehler auf 0,9%, was einem unharmonischen Ton pro 100 Tönen entspricht.
![Page 34: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/34.jpg)
34
Jazznet Vorgaben
Jazznet soll Saxophonsolos im Stile von Charlie Parker generieren.
Jazznet basiert auf Melonet, mit folgenden Unterschieden:• Feinere rhythmische Aufteilung (Triolen als Abfolge von 8teln und 16teln)• Keine Melodievorgabe mehr, nur Harmonien• Größere Freiheit der Improvisation durch stochastische Komponente (damit gleiche Abschnitte
unterschiedlich improvisiert werden)• Statt ganzen Motiven werden nun Teilmotive benutzt (Jazz ist bewegter als Choräle)
![Page 35: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/35.jpg)
35
Jazznet Ablauf
Dem Gesamtnetz wird eine Teilphrase (ein Anfang) gegeben.
Das Referenzton-Netz sagt den nächsten Referenzton (erster Ton des nächsten Motivs) voraus.
Der Teilmotiv - Klassifikator klassifiziert die Teilphrase.
Aus diesen Informationen wird von einem weiteren Netz eine Improvisationslinie erzeugt (Vervollständigung der Noten bis zum nächsten Referenzton).
Schließlich werden Verzierungen der Improvisationslinie erzeugt.
![Page 36: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/36.jpg)
36
Improvisation von Melodieumspielungen – Ergebnis 1
Jazznet wird mit Parker Originalen sowie Jazzrule (regelbasiert) verglichen.
Der erster Vergleich ist die Improvisationsrichtung. Es wird nur die Richtung aufeinanderfolgender Töne betrachtet (+1 falls steigend, -1 falls fallend).
Die Werte werden aufsummiert.
Es zeigt sich, dass Parker hautsächlich in fallender Richtung improvisierte, was von Jazznet besser nachgeahmt wird. Dafür sind lokale Schwankungen von Jazzrule besser nachgeahmt.
![Page 37: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/37.jpg)
37
Improvisation von Melodieumspielungen – Ergebnis 2
Der zweite Vergleich ordnet alle Noten einer von drei Klassen zu:• inside (harmonieeigen), wenn der Ton im Akkord auftaucht,• leading (Leitton), wenn der Ton einen Halbton unter einem
harmonieeigenen Ton liegt,• outside (harmoniefremd), sonst
Auch diese Analyse ergab, das Jazznet dem Parker Original näher liegt, während Jazzrule zu viele Outside-Töne produziert.
![Page 38: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/38.jpg)
38
Übersicht
• Das Thema• Musikalische Grundlagen – Die Elemente
der Musik• Technische Grundlage – Mehrstufige
Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung
![Page 39: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/39.jpg)
39
Melodiekomposition – Melogenet Vorgabe
Komponieren: - Nicht in „Echtzeit“- Linker UND rechter Kontext bezüglich Melodie bekannt (Grundgerüst der Melodie wird im Voraus festgelegt)- Note kann revidiert werden (bei Improvisation nicht möglich)- Linker und rechter Kontext der Harmonik bekannt (Vorgabe)
Ziel:- Melodie, die Optimal ist
![Page 40: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/40.jpg)
40
Melodiekomposition – Melogenet Vorgehen
Hierzu wird eine Melodie erzeugt und durch genetische Algorithmen optimiert.
Schwierigkeit: Fitnessfunktion zur Bewertung der Fitness einer Melodie
Lösung: Mehrere Netze lernen Teilaspekte zu bewerten.Zur Bestimmung der Fitness wird zu einer gegebenen Melodie für jedes Netz die Differenz zwischen den durch das Netz vorhergesagten und den tatsächlich vorhandenen Elementen berechnet. Je kleiner diese Differenz ist, umso höher die Fitness der Melodie.
![Page 41: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/41.jpg)
41
Melodiekomposition – Melogenet Aufbau 1
![Page 42: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/42.jpg)
42
Melodiekomposition – Melogenet Aufbau 2
Melogenet besteht aus mehreren unabhängigen Teilnetzen.
Das Teilnetz NNMotiv lernt eine Motivklasse in Abhängigkeit von benachbarten Motivklassen und Motivfolgen zu lernen. Dabei macht es gebrauch von einem Motivklassifikator.
Das Teilnetz NNHarmonie lernt eine Harmonie aus benachbarten Harmonien, der Motivklasse und der Motivfolge.
Die Teilnetze NNReferenzton und NNMotivton bestimmen die Töne aus benachbarten Tönen, der Harmonie und der Motivklasse.
![Page 43: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/43.jpg)
43
Melodiekomposition – Melogenet Ergebnis 1
Melogenet wurde mit 32 Kinderliedern aus der Essener Liederdatenbank und mit 41 chinesischen Volksliedern im Shanxi-Stil getestet.
Zur Vervollständigung wurden jeweils zwei Anfangstakte vorgegeben.
Es zeigte sich, dass der Fitnesswert bis zu einem Wert von etwa 0,9 stetig verbesserte, danach aber trotz Fitnessverbesserung zu glatteren, weniger kreativen Melodien konvergierte. Außerdem setzten sich die Motive, die in der Trainingsmenge am häufigsten vorkamen, durch.
Durch die Ergänzung der Fitnessfunktion um eine Bewertung für die Motivabwechslungen konnte das Netz jedoch verbessert werden.
![Page 44: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/44.jpg)
44
Melodiekomposition – Melogenet Ergebnis 2
Schließlich wurde Melogenet zum bestimmen eines Stiles eingesetzt, indem Testlieder dem Shanxi-System und dem Kinderlieder-System vorgegeben wurden. Das Netz, das eine bessere Fitness lieferte, gab mit höherer Wahrscheinlichkeit an, dass die Eingabe zu seinem Stil passte.
![Page 45: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/45.jpg)
45
Übersicht
• Das Thema• Musikalische Grundlagen – Die Elemente
der Musik• Technische Grundlage – Mehrstufige
Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung
![Page 46: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/46.jpg)
46
Harmonisierung – Vorgaben
Bei der Choralharmonisierung gilt es für eine gegebene Melodie eine Harmoniefolge zu definieren, so dass begleitende Akkorde zur Melodie entstehen.
Vorgegeben ist lediglich eine Melodie (linker und rechter Kontext).
Es werden zwei Modelle vorgestellt:Harmonet und Harmogenet
![Page 47: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/47.jpg)
47
Harmonisierung – Harmonet Aufbau 1
Drei Schritte:1. Mit Choralmelodie und evtl. bereits
festgelegten Harmonien wird die nächste Harmonie festgelegt.
2. Der ermittelten Harmonie wird ein Akkord zugewiesen.
3. Achtelumspielungen hinzufügen.
![Page 48: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/48.jpg)
48
Harmonisierung – Harmonet Aufbau 2
Schritt 1:Harmonische Funktion (Tonikas, Subdominanten und Dominanten bezüglich einer Tonart). Hierzu werden drei Netze eingesetzt, die jeweils mit verschiedenen Kontextlängen arbeiten. Die Töne werden über eine harmonische Kodierung kodiert, die angibt, in welchen von 12 harmonischen Funktionen der Ton vorkommt. Das Ergebnis ist die aktuelle Harmonie. Harmonische Umkehrung (Stellung des Basstones im Akkord). Ein weiteres Netz bestimmt anhand der Kontextinformation sowie der ermittelten Harmonie die Lage des Basstones. Charakteristische Dissonanzen (ergänzte Sexten, Septimen). Ein letztes Netz fügt Töne so hinzu, dass bestimmte Akkorde, die durch die Harmonischen Funktionen nicht berücksichtigt wurden aber durch ergänzen einer Note hergestellt werden können.
![Page 49: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/49.jpg)
49
Harmonisierung – Harmonet Aufbau 3
Schritt 2:Im zweiten Schritt wird ein symbolischer Algorithmus (basierend auf Regeln) eingesetzt, um gemäß der Stimmführungsregeln und der zugrunde liegenden Harmonie einen Akkord auszuwählen. „Der fließende Verlauf der Stimmen wird durch globale Optimierung der Stimmführung unter Verwendung dynamischen Programmierens [...] gewährleistet.“
Schritt 3:Im dritten Schritt wird ein Netz trainiert, das die Umspielungen anhand der Harmonien und Melodietöne festlegt.
![Page 50: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/50.jpg)
50
Harmonisierung – Harmonet Ergebnis
„Harmonet produziert in vielen Fällen interessante und stilechte Harmonisierungen und findet auch für Nicht-Choralmelodien oft überzeugende Lösungen [...]. Trotzdem zeigen sich einige Schwächen[...]:
• Fehlerhafte/Langweilige Harmonisierung bei zu kleiner/großer Trainingsmenge
• Probleme der Bassführung durch den sequentiellen Harmonisierungsprozess
• Stilunabhängige Aussetzung• Tonale Zentren werden nicht modelliert“ Einige dieser Probleme werden im folgenden Harmogenet gelöst.
![Page 51: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/51.jpg)
51
Harmonisierung – Harmogenet Aufbau
Der Aufbau ist äquivalent zuHarmonet,lediglich Schritt 1(Harmoniebestim
mung)wird durch
genetischeAlgorithmen undweitere Teilnetzeverbessert.
Bassführung
Tonales Zentrum
Kontrolle Aussetzungen
![Page 52: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/52.jpg)
52
Harmonisierung – Ergebnisse
Mit Hilfe der tonalen Zentren und dem rechten Kontext wird die Klassifikationsgüte des Systems auf den Testdaten um 10% auf 76,9% erhöht.
![Page 53: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/53.jpg)
53
Übersicht
• Das Thema• Musikalische Grundlagen – Die Elemente
der Musik• Technische Grundlage – Mehrstufige
Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung
![Page 54: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/54.jpg)
54
Stilanalyse und Stilerkennung 1
Wie bereits bei den Shanxi- und den Kinderliedern besteht die Stilerkennung aus einem Komitee von Stilexperten, die eine Klassifikation auf einem unbekannten Lied durchführen.
Derjenige Stilexperte, der die höchste Klassifikationsgüte erreicht hat den Stil identifiziert.
Dies wird auch vergleichende Stilanalyse bezeichnet.
![Page 55: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/55.jpg)
55
Stilanalyse und Stilerkennung 2
Bsp.:Bach, Reger und
Scheidt Stilexperten.
Die Stilerkennungsratedes Bachnetzes aufReger-Choräle ist auf
diekleine Reger-Trainingsmengesowie die
Inhomogenitätder Reger-Choräle imVergleich zu denen
von Bach oder Scheidt zurück zu führen.
(Anzahl Datensätze)
![Page 56: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/56.jpg)
56
Stilanalyse und Stilerkennung 3
Bei den Tests fällt Hörnel eine Anomalie auf: Im Bach-Choral „Du Lebensfürst, Herr Christ“ ist eine Passage, die von den Stilexperten eher Scheidt als Bach zugeordnet wird. (Scheidt lebte etwa 100 Jahre vor Bach).Nach Nachforschungen stellt Hörnel fest, dass es bereits fachliche Arbeiten gibt, die darauf hinweisen, dass diese Passage Bach unspezifisch ist und dass vermutet wird, Bach habe diese Passage aus unbekannten Gründen eins zu eins von Scheidt übernommen. Einen wirklichen Beweis für diese Behauptung gibt es zwar nicht, aber der Fall demonstriert die Güte der Systeme.
![Page 57: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/57.jpg)
57
Stilanalyse und Stilerkennung 4
![Page 58: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/58.jpg)
58
Stilanalyse und Stilerkennung 5
![Page 59: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/59.jpg)
59
Stilanalyse und Stilerkennung 6
![Page 60: Neuronale Netze und Musik von M. Serhat Cinar (AI 11030409) Ein Referat über die Doktorarbeit Lernen musikalischer Strukturen und Stile mit neuronalen](https://reader036.vdokument.com/reader036/viewer/2022062512/55204d6249795902118b641e/html5/thumbnails/60.jpg)
60
Ende
Vielen Dank für euere Aufmerksamkeit.Ich hoffe, es hat euch Spaß gemacht
und ihr habt etwas gelernt ;-)