Analyse von Spektra 2

Jonathan Harrington

1. Wiederholung: Spektra in R einlesen

2. Einige grundlegende Funktionen

3. Zugriff auf Spektralwerte

4. Spektrale-Abbildungen

5. Spektrale Unterschiede in Plosiven

Zuerst zur Erinnerung…

Bei einer Fourier-Analyse werden N aufeinanderfolge digitale Werte eines Zeitsignals in N spektrale Werte umgewandelt.

Dauer in ms eines N-Punkt-Fensters: N/fskHz, wo fskHz die Abtastrate in kHz ist. zB 256 Punkte bei 10 kHz = 25.6 ms.

Das Algorithmus um die Fourier-Analyse anzuwenden ist ein FFT und dafür muss N einer Potenz 2 sein.

Von den N-spektralen Werten behalten wir diejenigen bis zur und inkl. der Faltung-Frequenz.

Das sind (N/2) + 1 spektrale Komponente zwischen 0 und fs/2 Hz mit einem Frequenzabstand von fs/N

1a. Utterance-List der kielread06 Datenbank laden

to tkassp

b. FFT Anwendung

N = 512 bedeutet eine Frequenzauflösung von 16000/512 = 31.25 Hz (bei einer Abtastrate von 16 kHz).

den Pfad eintragen, wo die spektralen Daten gespeichert werden sollen

Die Extension, mit der die spektralen Daten gespeichert werden sollen

c. Template-Datei ändern

k67*00*add to listK67MR010add to list

e. Segmentliste speichern

zB fric.txt

d. Äußerungen auswählen

f.gespeicherte Segmentliste in R einlesen…

fric = read.emusegs("H:/fric.txt")

Segmentliste

g. Spektral-Objekte in R einlesen

sp = emu.track(fric, "dft")

Spektral-Trackdatei

sp5 = dcut(sp, .5, prop=T)

Spektral-Matrix der Daten zum 50% Zeitpunkt

Spektral-Objekte

fric.l = label(fric)

Label-Vektor

sp5 Spektral-Matrix zum zeitlichen Mittelpunkt fric.l Label-Vektor

sp Spektral-Trackdatei

2. Drei grundlegende Funktionen

is.spectral() ist dies ein Spektral-Objekt?

dim() Wieviele Dimensionen?

trackfreq() Welche Frequenzen sind vorhanden?

fric Segmentliste

is.spectral(sp)

is.spectral(sp5)

[1] TRUE dim(sp) dim(sp5)

[1] 9 257

sp5 Spektral-Matrix zum zeitlichen Mittelpunkt

fric.l Label-Vektorsp Spektral-Trackdatei

9 Segmentefric.l[1] "x" "C" "C" "x" "x" "C" "C" "C" "C"

257 Spalten

weil wir einen 512 Punkt FFT angewendet haben

fric Segmentliste

Mit trackfreq() bekommt man die tatsächlichen Frequenzen:

trackfreq(sp5)0.00 31.25 62.50 93.75 125.00 156.25 187.50 218.75 250.00 …7937.50 7968.75 8000.00

Was ist der Frequenzabstand in diesem Fall zwischen den Spektralkomponenten?

16000/512 = 31.25 Hz

sp5 Spektral-Matrix zum zeitlichen Mittelpunkt

fric.l Label-Vektorsp Spektral-Trackdatei

fric Segmentliste

3. Zugriff auf die Spektralwerte

Spektrale Trackdatei/Matrizen können genau wie Trackdateien/Matrizen behandelt werden, abgesehen davon, dass sich die Werte nach dem Komma auf die Frequenzen beziehen.

zB

Spektrale Werte (zum zeitlichen Mittelpunkt) des 4en Segmentes (also alle Frequenzen)

das gleiche zwischen 1000-2000 Hz

sp5[4,1000:2000]

Spektrale Werte, Segmente 4, 5, 7 Frequenzen 2000-2500 Hz

sp5[c(4,5,7), 2000:2500]

Spektrale Werte aller Segmente 0-500 Hz:

sp5[,0:500]

sp5 Spektral-Matrix zum zeitlichen Mittelpunkt

fric.l Label-Vektorsp Spektral-Trackdatei

fric Segmentliste

Frequenzen 480 Hz und 2000 Hz Segmente 1 und 3?

sp5[c(1,3), c(480, 2000)]

Man kann auch einzelne Spektralwerte bekommen: man bekommt (wie in allen Fällen) die Werte der nächst liegenden Frequenz, zB:

Spektrale Werte aller Segmente zu 490 Hz

w = sp5[,490]

1527.5 1727.5 2217.5 887.5 1677.5 747.5 1122.5 1107.5 1927.5 19.39060 18.88820 4.13902 36.24630 27.15270 27.91090 22.86600 16.02600 24.91330

attr(,"class")[1] "numeric" "spectral"attr(,"fs")[1] 500

w

500 is die nächst liegende Frequenz an 490

trackfreq(sp5)[15:20][1] 437.50 468.75 500.00 531.25 562.50 593.75

sp5 Spektral-Matrix zum zeitlichen Mittelpunkt

fric.l Label-Vektorsp Spektral-Trackdatei

fric Segmentliste

w enthält 9 dB Werte = die Amplituden zu dieser Frequenz 490 Hz. Warum 9?

1527.5 1727.5 2217.5 887.5 1677.5 747.5 1122.5 1107.5 1927.5 19.39060 18.88820 4.13902 36.24630 27.15270 27.91090 22.86600 16.02600 24.91330

attr(,"class")[1] "numeric" "spectral"attr(,"fs")[1] 500

w

Das sind die Amplituden zu 490 Hz dieser Segmente:

fric.l

[1] "x" "C" "C" "x" "x" "C" "C" "C" "C"

sp5 Spektral-Matrix zum zeitlichen Mittelpunkt

fric.l Label-Vektorsp Spektral-Trackdatei

fric Segmentliste

1527.5 1727.5 2217.5 887.5 1677.5 747.5 1122.5 1107.5 1927.5 19.39060 18.88820 4.13902 36.24630 27.15270 27.91090 22.86600 16.02600 24.91330

attr(,"class")[1] "numeric" "spectral"attr(,"fs")[1] 500

w

Das sind die Zeiten zu denen, die Spektral-Werte vorkommen. (zum zeitlichen Mittelpunkt des jeweiligen Segmentes)

sp5 Spektral-Matrix zum zeitlichen Mittelpunkt

fric.l Label-Vektorsp Spektral-Trackdatei

fric Segmentliste

1527.5 1727.5 2217.5 887.5 1677.5 747.5 1122.5 1107.5 1927.5 19.39060 18.88820 4.13902 36.24630 27.15270 27.91090 22.86600 16.02600 24.91330

attr(,"class")[1] "numeric" "spectral"attr(,"fs")[1] 500

wsp5 Spektral-Matrix zum zeitlichen Mittelpunkt

fric.l Label-Vektorsp Spektral-Trackdatei

fric Segmentliste

fricsegment list from database: kielread06 query was: Phonetic = C | x labels start end utts1 x 1493.940 1567.440 K67MR0012 C 1710.690 1745.130 K67MR0013 C 2144.190 2283.130 K67MR0014 x 825.313 947.812 K67MR0035 x 1656.810 1694.750 K67MR0036 C 718.000 776.375 K67MR0047 C 1078.440 1164.940 K67MR0048 C 1079.810 1136.440 K67MR0069 C 1875.000 1985.690 K67MR008

zeitlicher Mittelpunkt des 5en Segmentes

plot()

4. Abbildung der Spektra

eigentlich plot.spectral() – d.h. plot() erkennt, dass es sich um spektrale Objekte handelt, und setzt dann plot.spectral() ein (ein Beispiel von Object Oriented Programming)

daher um Hilfe/Beispiele bei der Anwendung der Abbildungen von Spektra zu bekommen, help(plot.spectral), jedoch ganz einfach plot() bei der Erzeugung von Spektral-Abbildungen verwenden.

plot(sp5)

Spektra aller Segmente

Spektra im Bereich 1000-3000 Hz, + Etikettierung

plot(sp5[,1000:3000], fric.l)

Nach Etikettierung kodiert

plot(sp5, fric.l)

Spektra der Segmente 3 und 5 Frequenzbereich höher als 3500 Hz nach Farbe kodiert

plot(sp5[c(3,5), 4000:8000], fric.l[c(3,5)])

sp5 Spektral-Matrix zum zeitlichen Mittelpunkt

fric.l Label-Vektorsp Spektral-Trackdatei

fric Segmentliste

4b. Durchschnittsspektra

(ensemble-averaged spectra)

zuerst etwas zu Decibel…

Decibel-WerteDie Amplituden-Werte, die man durch tkassp bekommt sind in Decibel.

Decibel sind aber Logarithmen, und um den Durchschnitt von Logarithmen zu bekommen, müssen sie zuerst in Anti- Logarithmen (eine Potenz hoch 10) umgerechnet werden.

Diese Umrechnung in Anti-Logarithmen konvertiert die logarithmische Decibel oder Bel Skala in eine lineare Kraft Skala

Die Berechnung (Durchschnitt usw.) erfolgt dann in der Kraft-Skala.

Dann werden diese Berechnungen wieder in dB konveriert.

Logarithmische dB-Werte 60 dB 70 dB

lineare Kraft-Werte 10^6 10^7

Berechnungen durchführen

(10^6 + 10^7)/2

= 5500000

Logarithmische dB-Werte 10 * log(5500000, base=10)

[1] 67.40363

Glücklicherweise muss man nicht selbst diese Umrechnungen Decibel Kraft Decibel durchführen: dies erfolgt bei Funktionen wie plot() oder fapply() automatisch durch die Setzung des Argumentes power = T

Dec

ibel

Frequenz

Dieser Wert ist der Durchschnitt aller 'roten' Werten zur selben Frequenz

plot(sp5[,1000:1500], fric.l)plot(sp5[,1000:1500], fric.l, fun="mean", power=T)

1000 1200 1400

010

30

1000 1200 1400

1525

35

5. Analyse von Plosiven

plos.l Etikettierungen ("b", "d")plos.w Die entsprechenden Wortetikettierungenplos.lv Die Etikettierungen der danach kommenden Vokaleplos.asp Vektor der Zeiten, zu denen der Burst vorkommtplos.sam Zeitsignale von "b" "d"plos.dft Spektrale Trackdatei

Wie kann man plos.dft benutzten um (a) die Abtastrate (b) die Fensterlänge, mit der die spektralen Daten berechnet worden sind, zu bekommen?

freqint = trackfreq(plos.dft)

fs = 2 * max(freqint)

N = fs/freqint[2]

Die [b, d] Burst-Spektra sollen sich dadurch unterscheiden, dass zwischen 500-4000 Hz [d]-Spektra steigen (die Amplitude nimmt mit zunehmender Frequenz zu) während [b]-Spektra fallen. Kann dieser Unterschied in diesen Daten festgestellt werden?

plot(plos.sam[2,], type="l")

abline(v=plos.asp[2], col=2)

Das Spektrum ist über 256 Punkte berechnet worden. Wieviele ms bei fs = 16000 Hz?

16 ms

abline(v=plos.asp[2]-8, col=3)

abline(v=plos.asp[2]+8, col=3)

Hier ist das Zeitsignal fuer den zweiten Segment

Der Zeitpunkt, zu dem der Burst vorkommt…

Hier ist das Intervall, worauf der 256-Punkt FFT analysiert worden ist…

420 440 460 480 500 520

-500

00

5000

times

data

[, k

]

Wir benötigen die spektralen Werte zum Zeitpunkt vom Burst.

p5 = dcut(plos.dft, plos.asp)

plos.l Etikettierungen ("b", "d")plos.w Die entsprechenden Wortetikettierungenplos.lv Die Etikettierungen der danach kommenden Vokaleplos.asp Vektor der Zeiten, zu denen der Burst vorkommtplos.sam Zeitsignale von "b" "d"plos.dft Spektrale Trackdatei

Beweise, dass [b] Spektra steigen, [d] fallen (zwischen 500 Hz und 4000 Hz?)

plot(p5[,500:4000], plos.l, ylab="Intensitaet (dB)", xlab="Frequenz (Hz)")

plot(p5[,500:4000], plos.l, fun="mean", power=T, xlab="Frequenz (Hz)")

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB)

Frequenz (Hz)

Inte

nsita

et (

dB) b

d

500 2000 3500

-20

020

4060

Frequenz (Hz)Frequenz (Hz)

bd

500 2000 3500

2030

40

par(mfrow=c(1,2))