Neuronale Netze und Musik

von M. Serhat Cinar (AI 11030409)

Ein Referatüber die Doktorarbeit

„Lernen musikalischer Strukturen und

Stile mit neuronalen Netzen“

von Dominik Hörnel

2

Übersicht

• Das Thema• Musikalische Grundlagen – Die Elemente

der Musik• Technische Grundlage – Mehrstufige

Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung

3

Das Thema

„Ziel der Arbeit ist die Modellierung musikalischer Strukturen und das Aufspüren stiltypischer Merkmale aus Musikbeispielen mit Hilfe neuronaler Netze, sowie deren Anwendung auf praxisrelevante musikalische Problemstellungen:das Erfinden melodischer Umspielungen nach Art barocker Choralvariationen [...] und Jazzimprovisationen [...], die Vervollständigung von Melodiefragmenten und die Harmonisierung von Choralmelodien [...].“

4

Übersicht

• Das Thema• Musikalische Grundlagen – Die

Elemente der Musik• Technische Grundlage – Mehrstufige

Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung

5

Musikalische Grundlagen – Der Ton 1

Der Ton – Regelmäßige Schwingung

6

Musikalische Grundlagen – Der Ton 2

Toneigenschaften

Stärke

Frequenz (Höhe)

7

Musikalische Grundlagen – Die Oktave

8

Musikalische Grundlagen – Das Tonsystem

Eine Oktave wird in 12 Töne unterteilt. Davon sind 7 ganze Töne (weiße Tasten) und 5 halbe Töne (schwarze Tasten).

9

Musikalische Grundlagen – Das Intervall 1

Der Abstand zwischen zwei benachbarten Noten heißt Sekunde (c-d).Gleichermaßen gibt es die Terz (c-e), die Quarte (c-f), die Quinte (c-g), die Sexte (c-a),

die Septime (c-h) und die ganze Oktave (c-c‘).

10

Musikalische Grundlagen – Das Intervall 2

Diese Intervallbezeichnungen sind relativ zum Grundton und der benutzten Tonleiter. Im Beispiel eben war der Grundton das c und die Tonleiter die c-Dur Tonleiter.

(c d e f g a h c)

Für den Aufbau einer Tonleiter gibt es Regeln, die auf Intervallen basieren. Für die Dur Tonleiter gilt, ausgehend von einem Grundton:

- Der Abstand zwischen erster und zweiter Note, sowie zweiter und dritter Note der Tonleiter ist eine große Sekunde (mit einem Halbton dazwischen -> c-cis-d, d-dis-e)

- Der Abstand zwischen dritter und vierter Note ist eine kleine Sekunde (ohne einen Halbton dazwischen -> e-f)

- etc.

11

Musikalische Grundlagen – Das Intervall 3

Nach diesen Regeln kann eine Tonleiter mit einem anderen Grundton aufgebaut werden, z.B. die d-Dur Tonleiter.

Hier werden die gleichen Intervalle für die Dur Tonleiter auf den Grundton d angewendet, wodurch hier auch Halbtöne in der Leiter auftauchen:

- Der Abstand zwischen erster und zweiter Note, sowie zweiter und dritter Note der Tonleiter ist eine große Sekunde (mit einem Halbton dazwischen -> d-dis-e, aber auch e-f-fis)

- etc.

(d e fis g a h cis d)

12

Musikalische Grundlagen – Das Intervall 4

Es gibt auch andere Tonsysteme, wie die Moll- oder die Blues-Tonleitern, deren Intervallregeln bezüglich des Grundtones etwas anders aufgebaut sind.

13

Musikalische Grundlagen – Der Akkord 1

Unter Akkorden versteht man das gleichzeitige Spielen mehrerer Noten, die einen Gesamtklang erzeugen (harmonieren).

Der einfachste Akkord ist der Dreiklang. Pro Tonleiter gibt es 3 Hauptdreiklänge:

14

Musikalische Grundlagen – Der Akkord 2

Erste Stufe (Tonika): Hierzu werden die erste, die dritte und die fünfte Note der Leiter gleichzeitig gespielt.Entsprechend ergibt dies für die c-Dur Tonleiter c-e-g und die d-Dur Tonleiter d-fis-a.

(c d e f g a h c)

(d e fis g a h cis d)

15

Musikalische Grundlagen – Der Akkord 3

Vierte Stufe (Subdominante): Hierzu werden die vierte, die sechste und die achte Note der Leiter gleichzeitig gespielt.Für c-Dur ist dies f-a-c, für d-Dur g-h-d.

(c d e f g a h c)

(d e fis g a h cis d)

16

Musikalische Grundlagen – Der Akkord 4

Fünfte Stufe (Dominante): Hierzu werden die fünfte, die siebte und die neunte Note der Tonleiter gleichzeitig gespielt.Für c-Dur ist dies g-h-d‘, für d-Dur a-cis-e‘.

(c d e f g a h c d‘)

(d e fis g a h cis d e‘)

17

Aufbau eines Chorals

Choral: Chorgesang bestehend aus:- Melodie aus einzelnen Tönen einer Tonleiter- Zu jedem Melodieton eine Harmonie und einen

entsprechenden Akkord- Melodieumspielung um die Melodietöne herum

Melodie

Variation

(Umspielung+Akkorde)Harmonik

18

Übergeordnete Strukturen: Motiv 1

Das Motiv ergibt sich aus dem relativen Unterschied benachbarter Melodietöne eines Taktes, vergleichbar einer „Steigung“ zwischen benachbarten Noten.

Das Motiv ist unabhängig von der zugrunde liegenden Tonleiter.

19

Übergeordnete Strukturen: Motiv 2

Ein Motiv behält seine Grundstruktur, selbst wenn es gedreht oder gespiegelt wird. Man spricht von einer paradigmatischen Gruppe.

20

Übergeordnete Strukturen: Motivfolgen & Harmonik

Typisch für bestimmte Komponisten sind bestimmte Folgen von Motiven und Harmonisierungen. So benutzt z.B. Bach besonders ungewöhnliche Harmoniefolgen, während Pachelbel sich eher an Standardharmonien orientiert.

Hieraus ergibt sich die Motivfolge als weitere übergeordnete Struktur.

21

Musikalische Grundlagen –Strukturen: Resümee

Ein Stück wird charakterisiert durch Noten, die • einzeln gespielt werden (Melodie)• gleichzeitig gespielt werden (Harmonik)• einer zeitlichen Abfolge unterliegen (Motiv,

Motivfolgen)

Es gilt daher, geeignete Modelle mit neuronalen Netzen sowie Kodierungen für diese zu finden.

22

Übersicht

• Das Thema• Musikalische Grundlagen – Die Elemente

der Musik• Technische Grundlage – Mehrstufige

Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung

23

Mehrstufige Neuronale Netze 1

Um Zeitfolgen zu lernen, gibt es mehrere Möglichkeiten, als da wären Jordan oder Elman Netze, eigene Konstrukte mit Gedächtnisneuronen oder das Lernen mit Kontextfenster (aus NN1 bekannt).

Hörnel benutzt in seiner Arbeit primär Neuronale Netze mit einem festen Kontext.Um ein Lied zu Analysieren, muss, wie bereits erklärt, sowohl ein aktueller

Ausschnitt aus einem Lied sowie die übergeordnete Folge von Motiven betrachtet werden. (Blick auf Detail und Gesamt)

24

Mehrstufige Neuronale Netze 2

Dies wird durch das zusammenschließen mehrerer Netze erreicht. Mehrere Netze betrachtet einen kleinen, lokalen Abschnitt der Melodie und geben ihre „Erkenntnisse“ an ein Netz weiter, dass den Gesamtzusammenhang analysiert.

25

Übersicht

• Das Thema• Musikalische Grundlagen – Die Elemente

der Musik• Technische Grundlage – Mehrstufige

Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung

26

Improvisation von Melodieumspielungen - Vorgaben

Improvisieren: - Normalerweise in „Echtzeit“- Linker Kontext (Vergangenheit) bezüglich Melodieumspielung bekannt (bereits

improvisiert)- Linker und rechter Kontext der Harmonik und der Melodie bekannt (Vorgabe)

Ziel:- Voraussage der nächsten Note in der Melodieumspielung

27

Aufbau Melonet

• Mi aktueller Melodieton (im Subnetz steht Mi+1 für den nächsten Referenzton)

• MCi:aktuelle Motivklasse• Hi Harmonisches Feld• Ni aktueller, zu bestimmen-der Motivton der

Melodie-umspielung• zi Position innerhalb des Taktes• phri Position innerhalb der Phrase• pi Position innerhalb des Motivs

28

Motivklassifikator

Zuerst werden die Umspielungen Pachelbels durch ein modifiziertes Kohonen-Netz gelernt und klassifiziert. Dieses dient schließlich als Motivklassifikator.

29

Super- / Subnetz

• Das Supernetz wird auf das Lernen von abstrakten Motivfolgen trainiert und soll entscheiden, welches Motiv zu einem Melodieton, abhängig vom melodischen Kontext und den zuvor aufgetretenen Motiven, am besten passt.

• Das Subnetz erlernt die Umsetzung der Motivklassen in konkrete Umspielungstöne abhängig vom gegebenen harmonischen Kontext.

30

Kodierung 1

Intervallkodierung: • Jeder Ton wird durch seinen Abstand zum

ersten Motivton (Referenzton) identifiziert und kodiert

• Unabhängig von der Tonleiter (transpositionsinvariant)

• Ergebnisse stammen immer aus der Tonleiter -> Noten „falscher“ Tonleitern können gar nicht entstehen (harmonisch invariant)

• Kodierung enthält bereits musikalisches Grundwissen

31

Kodierung 2

Bsp: Im Motiv von Beethovens 5. Symphonie war das Motiv g g g d.Der Referenzton wäre somit g (erster Ton des Motivs).Der zweite Ton ist dem ersten gleich, womit der Abstand eine

Prim wäre (bei Noten-intervallen lautet der Abstand einer Note zu sich selbst Prim).

In der Kodierung würde dies dem Datensatz 010 0 1000000 entsprechen.

Das Intervall zwischen dem dritten und dem vierten Ton (g-f-e-d) beträgt vier und ist damit eine absteigende Quarte.

Die Kodierung lautet demnach 100 0 0000100.

32

Improvisation von Melodieumspielungen – Ergebnis 1

33

Improvisation von Melodieumspielungen – Ergebnis 2

Fehlerraten für das Beispiel (Falsche Töne, Wiederholungen etc.):• Das Netz mit 12 Motivklassen schneidet mit einer Fehlerrate von

etwa 7% am besten ab• gefolgt vom Netz mit 5 Motivklassen (8%) • und dem Netz mit 20 Motivklassen (9,5%).

Als Verbesserung schlägt Hörnel vor, ein Komitee aus mehreren Netzen mit verschiedenen Anzahlen von Motivklassen zu benutzen und jeweils den besten Motivvorschlag auszuwählen. Durch diese Verbesserung verringert sich der Fehler auf 0,9%, was einem unharmonischen Ton pro 100 Tönen entspricht.

34

Jazznet Vorgaben

Jazznet soll Saxophonsolos im Stile von Charlie Parker generieren.

Jazznet basiert auf Melonet, mit folgenden Unterschieden:• Feinere rhythmische Aufteilung (Triolen als Abfolge von 8teln und 16teln)• Keine Melodievorgabe mehr, nur Harmonien• Größere Freiheit der Improvisation durch stochastische Komponente (damit gleiche Abschnitte

unterschiedlich improvisiert werden)• Statt ganzen Motiven werden nun Teilmotive benutzt (Jazz ist bewegter als Choräle)

35

Jazznet Ablauf

Dem Gesamtnetz wird eine Teilphrase (ein Anfang) gegeben.

Das Referenzton-Netz sagt den nächsten Referenzton (erster Ton des nächsten Motivs) voraus.

Der Teilmotiv - Klassifikator klassifiziert die Teilphrase.

Aus diesen Informationen wird von einem weiteren Netz eine Improvisationslinie erzeugt (Vervollständigung der Noten bis zum nächsten Referenzton).

Schließlich werden Verzierungen der Improvisationslinie erzeugt.

36

Improvisation von Melodieumspielungen – Ergebnis 1

Jazznet wird mit Parker Originalen sowie Jazzrule (regelbasiert) verglichen.

Der erster Vergleich ist die Improvisationsrichtung. Es wird nur die Richtung aufeinanderfolgender Töne betrachtet (+1 falls steigend, -1 falls fallend).

Die Werte werden aufsummiert.

Es zeigt sich, dass Parker hautsächlich in fallender Richtung improvisierte, was von Jazznet besser nachgeahmt wird. Dafür sind lokale Schwankungen von Jazzrule besser nachgeahmt.

37

Improvisation von Melodieumspielungen – Ergebnis 2

Der zweite Vergleich ordnet alle Noten einer von drei Klassen zu:• inside (harmonieeigen), wenn der Ton im Akkord auftaucht,• leading (Leitton), wenn der Ton einen Halbton unter einem

harmonieeigenen Ton liegt,• outside (harmoniefremd), sonst

Auch diese Analyse ergab, das Jazznet dem Parker Original näher liegt, während Jazzrule zu viele Outside-Töne produziert.

38

Übersicht

• Das Thema• Musikalische Grundlagen – Die Elemente

der Musik• Technische Grundlage – Mehrstufige

Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung

39

Melodiekomposition – Melogenet Vorgabe

Komponieren: - Nicht in „Echtzeit“- Linker UND rechter Kontext bezüglich Melodie bekannt (Grundgerüst der Melodie wird im Voraus festgelegt)- Note kann revidiert werden (bei Improvisation nicht möglich)- Linker und rechter Kontext der Harmonik bekannt (Vorgabe)

Ziel:- Melodie, die Optimal ist

40

Melodiekomposition – Melogenet Vorgehen

Hierzu wird eine Melodie erzeugt und durch genetische Algorithmen optimiert.

Schwierigkeit: Fitnessfunktion zur Bewertung der Fitness einer Melodie

Lösung: Mehrere Netze lernen Teilaspekte zu bewerten.Zur Bestimmung der Fitness wird zu einer gegebenen Melodie für jedes Netz die Differenz zwischen den durch das Netz vorhergesagten und den tatsächlich vorhandenen Elementen berechnet. Je kleiner diese Differenz ist, umso höher die Fitness der Melodie.

41

Melodiekomposition – Melogenet Aufbau 1

42

Melodiekomposition – Melogenet Aufbau 2

Melogenet besteht aus mehreren unabhängigen Teilnetzen.

Das Teilnetz NNMotiv lernt eine Motivklasse in Abhängigkeit von benachbarten Motivklassen und Motivfolgen zu lernen. Dabei macht es gebrauch von einem Motivklassifikator.

Das Teilnetz NNHarmonie lernt eine Harmonie aus benachbarten Harmonien, der Motivklasse und der Motivfolge.

Die Teilnetze NNReferenzton und NNMotivton bestimmen die Töne aus benachbarten Tönen, der Harmonie und der Motivklasse.

43

Melodiekomposition – Melogenet Ergebnis 1

Melogenet wurde mit 32 Kinderliedern aus der Essener Liederdatenbank und mit 41 chinesischen Volksliedern im Shanxi-Stil getestet.

Zur Vervollständigung wurden jeweils zwei Anfangstakte vorgegeben.

Es zeigte sich, dass der Fitnesswert bis zu einem Wert von etwa 0,9 stetig verbesserte, danach aber trotz Fitnessverbesserung zu glatteren, weniger kreativen Melodien konvergierte. Außerdem setzten sich die Motive, die in der Trainingsmenge am häufigsten vorkamen, durch.

Durch die Ergänzung der Fitnessfunktion um eine Bewertung für die Motivabwechslungen konnte das Netz jedoch verbessert werden.

44

Melodiekomposition – Melogenet Ergebnis 2

Schließlich wurde Melogenet zum bestimmen eines Stiles eingesetzt, indem Testlieder dem Shanxi-System und dem Kinderlieder-System vorgegeben wurden. Das Netz, das eine bessere Fitness lieferte, gab mit höherer Wahrscheinlichkeit an, dass die Eingabe zu seinem Stil passte.

45

Übersicht

• Das Thema• Musikalische Grundlagen – Die Elemente

der Musik• Technische Grundlage – Mehrstufige

Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung

46

Harmonisierung – Vorgaben

Bei der Choralharmonisierung gilt es für eine gegebene Melodie eine Harmoniefolge zu definieren, so dass begleitende Akkorde zur Melodie entstehen.

Vorgegeben ist lediglich eine Melodie (linker und rechter Kontext).

Es werden zwei Modelle vorgestellt:Harmonet und Harmogenet

47

Harmonisierung – Harmonet Aufbau 1

Drei Schritte:1. Mit Choralmelodie und evtl. bereits

festgelegten Harmonien wird die nächste Harmonie festgelegt.

2. Der ermittelten Harmonie wird ein Akkord zugewiesen.

3. Achtelumspielungen hinzufügen.

48

Harmonisierung – Harmonet Aufbau 2

Schritt 1:Harmonische Funktion (Tonikas, Subdominanten und Dominanten bezüglich einer Tonart). Hierzu werden drei Netze eingesetzt, die jeweils mit verschiedenen Kontextlängen arbeiten. Die Töne werden über eine harmonische Kodierung kodiert, die angibt, in welchen von 12 harmonischen Funktionen der Ton vorkommt. Das Ergebnis ist die aktuelle Harmonie. Harmonische Umkehrung (Stellung des Basstones im Akkord). Ein weiteres Netz bestimmt anhand der Kontextinformation sowie der ermittelten Harmonie die Lage des Basstones. Charakteristische Dissonanzen (ergänzte Sexten, Septimen). Ein letztes Netz fügt Töne so hinzu, dass bestimmte Akkorde, die durch die Harmonischen Funktionen nicht berücksichtigt wurden aber durch ergänzen einer Note hergestellt werden können.

49

Harmonisierung – Harmonet Aufbau 3

Schritt 2:Im zweiten Schritt wird ein symbolischer Algorithmus (basierend auf Regeln) eingesetzt, um gemäß der Stimmführungsregeln und der zugrunde liegenden Harmonie einen Akkord auszuwählen. „Der fließende Verlauf der Stimmen wird durch globale Optimierung der Stimmführung unter Verwendung dynamischen Programmierens [...] gewährleistet.“

Schritt 3:Im dritten Schritt wird ein Netz trainiert, das die Umspielungen anhand der Harmonien und Melodietöne festlegt.

50

Harmonisierung – Harmonet Ergebnis

„Harmonet produziert in vielen Fällen interessante und stilechte Harmonisierungen und findet auch für Nicht-Choralmelodien oft überzeugende Lösungen [...]. Trotzdem zeigen sich einige Schwächen[...]:

• Fehlerhafte/Langweilige Harmonisierung bei zu kleiner/großer Trainingsmenge

• Probleme der Bassführung durch den sequentiellen Harmonisierungsprozess

• Stilunabhängige Aussetzung• Tonale Zentren werden nicht modelliert“ Einige dieser Probleme werden im folgenden Harmogenet gelöst.

51

Harmonisierung – Harmogenet Aufbau

Der Aufbau ist äquivalent zuHarmonet,lediglich Schritt 1(Harmoniebestim

mung)wird durch

genetischeAlgorithmen undweitere Teilnetzeverbessert.

Bassführung

Tonales Zentrum

Kontrolle Aussetzungen

52

Harmonisierung – Ergebnisse

Mit Hilfe der tonalen Zentren und dem rechten Kontext wird die Klassifikationsgüte des Systems auf den Testdaten um 10% auf 76,9% erhöht.

53

Übersicht

• Das Thema• Musikalische Grundlagen – Die Elemente

der Musik• Technische Grundlage – Mehrstufige

Neuronale Netze• Improvisation von Melodieumspielungen• Komposition von Melodien• Harmonisierung• Stilanalyse und Stilerkennung

54

Stilanalyse und Stilerkennung 1

Wie bereits bei den Shanxi- und den Kinderliedern besteht die Stilerkennung aus einem Komitee von Stilexperten, die eine Klassifikation auf einem unbekannten Lied durchführen.

Derjenige Stilexperte, der die höchste Klassifikationsgüte erreicht hat den Stil identifiziert.

Dies wird auch vergleichende Stilanalyse bezeichnet.

55

Stilanalyse und Stilerkennung 2

Bsp.:Bach, Reger und

Scheidt Stilexperten.

Die Stilerkennungsratedes Bachnetzes aufReger-Choräle ist auf

diekleine Reger-Trainingsmengesowie die

Inhomogenitätder Reger-Choräle imVergleich zu denen

von Bach oder Scheidt zurück zu führen.

(Anzahl Datensätze)

56

Stilanalyse und Stilerkennung 3

Bei den Tests fällt Hörnel eine Anomalie auf: Im Bach-Choral „Du Lebensfürst, Herr Christ“ ist eine Passage, die von den Stilexperten eher Scheidt als Bach zugeordnet wird. (Scheidt lebte etwa 100 Jahre vor Bach).Nach Nachforschungen stellt Hörnel fest, dass es bereits fachliche Arbeiten gibt, die darauf hinweisen, dass diese Passage Bach unspezifisch ist und dass vermutet wird, Bach habe diese Passage aus unbekannten Gründen eins zu eins von Scheidt übernommen. Einen wirklichen Beweis für diese Behauptung gibt es zwar nicht, aber der Fall demonstriert die Güte der Systeme.

57

Stilanalyse und Stilerkennung 4

58

Stilanalyse und Stilerkennung 5

59

Stilanalyse und Stilerkennung 6

60

Ende

Vielen Dank für euere Aufmerksamkeit.Ich hoffe, es hat euch Spaß gemacht

und ihr habt etwas gelernt ;-)