Studien zur Imitation vonInterpretationen klassischerKlavier-Musik durch neuronale NetzeRainer SchmollAufgabensteller: Prof. Dr. Jrgen SchmidhuberBetreuer: Dipl.-Inf. Georg Fette, Dipl.-Inf. Christian Osendorfer11.05.06DIPLOMARBEITin Informatik

bersicht - Methodik

bersicht - GliederungDatenreprsentationGrundlagen zu neuronalen NetzenDatenbeschaffungErgebnisse

1. Datenreprsentation

Ereignis-Parameter beim EVL-FormatEreignistypLngeDeltazeitNotenwertLautstrke is_first_beat_event

EDL-Berechnungbetroffene EVL-Parameter: Lnge Deltazeit LautstrkeInterpretation.evl - Notentext.evl = Unterschiede.evl

2. Grundlagen neuronaler Netze

Schematische NetzarchitekturNeuron

Eingabe-schicht

verborgeneSchicht

Ausgabe-schicht

wi1

wi2

neti

wi3

wik

f

ai

a1

a2

a3

ak

Netztraining mit Backpropagation

Fehlerberechnung

Vergleich mit erwnschter Ausgabe

Propagierung (Datenstrom)

Eingabe derTrainingsdaten

Rckpropagierung (Fehlerstrom)

Eingabe-schicht

verborgeneSchicht

Ausgabe-schicht

Rekurrente Netze mit LSTM

1.0

Input- Gate

Output- Gate

Forget- Gate

3. Datenbeschaffung

3. DatenbeschaffungMIDI-DateiCD-AufnahmenInternet-Recherchevon Handerstelltvon einem Pianisten eingespielt

Einspielen der Stcke6 Walzer mit Klaus RitzkowskyFragmente von 5 Walzern mit Hans-Jrg Paliege

Musikalische Analyse1.Motorisch bedingte oder unterbewusste VariationenVariations-Klassen:2.Notenbezogene Anschlagdynamik3.Gesamtdynamik4.Temposchwankungen

Digitalisierung des NotentextesOriginalnach OCR

Rckwrtsrechnung des Notentextes

Rckwrtsrechnung des Notentextes1.Marker setzenntige nderungen:2.Quantisieren3.Lautstrken

Tonhhe

Zeit

l1

m1

m2

m3

m4

m5

l2

l3

l4

4. Ergebnisse

beranpassungstest

Live-Berechnung mit Kindermelodien10 monophone Melodien z.B.

Spieltechnik eines Pianisten

Tonhhe

Zeit

Tonhhe

Zeit

Spieltechnik eines Pianisten

Wiederholungen lernenUnmittelbare Wiederholung im EingabestromWiederholung von EingabewertenPhrasenwiederholungen in einem MusikstckJLL

Eingaben

Ausgaben

0.5

-1

0

0

-0.5

0.5

0.5

-1

-1

-1

-1

1

-1

1

1

1

(

)

Sequenzverlauf

Netztraining mit KlavierstckenTypischer FehlerverlaufErgebnis z.B.NotentextInterpretationgelernte Interpretation

Phrasen lernen

Phrasen lernenNotentextInterpretationgelernte Interpretation

AusblickTests mit weniger komplexen DatenMehr TrainingsdatenErweiterungen der DatenreprsentationAndere MusikstileDirekter Vergleich zu anderen Lernverfahren

Ende

Diskussion