Aufbau, Abfrage, Analyse von Sprachdatenbanken

32
Aufbau, Abfrage, Analyse von Sprachdatenbanken Erstellun g Analyse Abfrage Digitale Zeitsignale akustisch, artikulatorisch Etikettieren Verknüpfung mit Symbolen Signalverarbeitung abgeleitete Signale (z.B. spektrale Daten) Eine Liste ausgewählter Symbole mit Zeiten Abfrage Die Signale davon Abfrage Signal e Etikettier ung Graphik Statistik Weitere Signalverarbeit ung p << 0.001 Praat, Emu Emu R

description

Aufbau, Abfrage, Analyse von Sprachdatenbanken. Erstellung. Analyse. Abfrage. Digitale Zeitsignale akustisch, artikulatorisch. Graphik. Die Signale davon. Signale. Statistik. Signalverarbeitung. abgeleitete Signale (z.B. spektrale Daten). p

Transcript of Aufbau, Abfrage, Analyse von Sprachdatenbanken

Page 1: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Aufbau, Abfrage, Analyse von Sprachdatenbanken

Erstellung AnalyseAbfrage

Digitale Zeitsignaleakustisch, artikulatorisch

Etikettieren

Verknüpfung mit Symbolen

Signalverarbeitung

abgeleitete Signale (z.B. spektrale Daten) Eine Liste

ausgewählter Symbole mit Zeiten

Abfrage

Die Signale davon

Abfrage

Sig

nal

eE

tike

ttie

run

g

Graphik

Statistik

Weitere Signalverarbeitung

p << 0.001

Praat, Emu Emu R

Page 2: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Ziele für die nächsten 2 WochenZiele für die nächsten 2 Wochen

Fünf einfache Äußerungen segmentieren und etikettieren. (Webseite, guten.zip)

Verbindungen zwischen den 3 Softwaresystemen Praat, Emu, R durch diese Daten feststellen.

Die Sprechdaten für A. Dauermessungen und VOT aufnehmen.(Webseite Aufgabe A)

Siehe auch Video Demo (Link auch in der Webseite) -> Video Tutorials -> Chapter 2

Page 3: Aufbau, Abfrage, Analyse von Sprachdatenbanken

1. Jede Äußerung mit Praat etikettieren1. Jede Äußerung mit Praat etikettieren

Page 4: Aufbau, Abfrage, Analyse von Sprachdatenbanken

2 Dieselben Daten mit Emu darstellen2 Dieselben Daten mit Emu darstellen

Page 5: Aufbau, Abfrage, Analyse von Sprachdatenbanken

3. Eine sogenannte 'Segmentliste' in R erstellen3. Eine sogenannte 'Segmentliste' in R erstellen

Read 1 recordssegment list from database: new query was: Wort!=x labels start end utts1 guten 371.64 776.06 gam001

Page 6: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Die ForschungsfragenDie Forschungsfragen

Ist die Überlappung zwischen /t/ und /d/ größer in dreisilbigen im Vergleich zu einsilbigen Wörtern?

Liegt VOT von /ʃt/ zwischen den VOT-Werten von /t/ und /d/, oder eher näher an /d/?

Page 7: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Die Forschungsfragen und DatenbankDie Forschungsfragen und Datenbank

Wie soll die Datenbank aufgebaut werden, um diese Fragen beantworten zu können?

Einige allgemeine Prinzipien

Nur so viel etikettieren, wie von den Forschungsfragen verlangt wird.

Nur Zeitgrenzen setzen, wenn erforderlich (Etikettieren ohne Zeitgrenzen zu setzen ist möglich in Emu, nicht in Praat).

Die Etikettierungen der Sprachdatenbank so konstruieren, dass die benötigten Informationen problemlos abgefragt werden können.

Das Setzen von Etikettierungsgrenzen ist teilweise arbiträr (weil Sprachlaute miteinander zeitlich überlappen). Man kann nur versuchen, konsistent zu sein

Page 8: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Die Datenbank: SignaleDie Datenbank: Signale

VOT als Segment markieren.Linke Grenze = VerschlusslösungRechte Grenze = Vokal-Onset (Periodizität)

Vielleicht werden wir VOT proportional berechnen wollen (zB VOT in /t/ ist 60% vom Verschluss + Lösung). Daher die Lösung auch als (davorkommendes Segment markieren).

Page 9: Aufbau, Abfrage, Analyse von Sprachdatenbanken

VOT in /t, d, ʃt/ muss getrennt abfragbar sein.

Wir müssen in der Abfrage zwischen 1 und 3 silbigen Wörtern differenzieren können.

Vielleicht sind einige Wörter bezüglich VOT irgendwie 'seltsam'. Wir werden daher auch die Wort-Etikettierungen markieren.

Es schadet nie, einen Sprecherkürzel zu setzen (sollten wir später alle Daten aus allen Sprechern zusammentun wollen).

Die Datenbank: EtikettierungenDie Datenbank: Etikettierungen

Page 10: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Verschluss: t oder d oder StVOT: h

Signale und EtikettierungenSignale und Etikettierungen

Page 11: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Dauer von Tanzboden bzw. jmh bzw. 3 in dieser Äußerung

EtikettierungsstrukturEtikettierungsstruktur

Bedeutet: Der Segment Tanzboden besteht aus einer Reihenfolge von t und h

Bedeutet: jmh und 3 sind Merkmale (Beschreibungen) von Tanzboden}

Tanzboden (daher auch jmh und 3) hat keine eigene Dauer: sie erbt die Dauern aus der Phonetik Ebene.

Page 12: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Emu TemplatesEmu Templates

definieren die Eigenschaften einer Datenbank.

eine Template pro Datenbank. Extension .tpl

Bitte ein Verzeichnis erzeugen (wenn noch nicht geschehen) in dem alle Templates in dieser Veranstaltung gespeichert werden sollen.

Samba-Benutzer: mkdir ~username/TEM

Windows: C:\Dokumente\TEM Mac: /usr/Desktop/TEM

Alle Verzeichnisnamen für alle Emu Aufgaben relativ 'einfach' machen. Beispiele:

nicht empfehlenswert

c:\Übungen-in-der-Phonetik\1st sem aufg\ 4\xy _5å \usw.\meine templates hier\2009

Page 13: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Emu TemplatesEmu Templates

Damit Emu die Templates (und daher die Datenbanken) findet, bitte den von Ihnen ausgewählten Pfad für die Speicherung der Templates im Configuration Editor eintragen.

Page 14: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Die zip-Datei 'VOT' Daten in ein Verzeichnis auspacken*. H: ist der Name von diesem Verzeichnis (zB wenn Sie die zip Datei in c:\meine Daten auspacken, dann ist H: c:/meine Daten)

Andere Benutzer

Die wav-Daten sind in H:/vot/signale

Samba-Benutzer

H: ist /vdata/Seminare/Dbank

H: ist ein Pfad.

Die SignaleDie Signale

*NB: Alle Verzeichnisnamen für alle Emu Aufgaben relativ 'einfach' machen...

Page 15: Aufbau, Abfrage, Analyse von Sprachdatenbanken

EtikettierungenEtikettierungen

Ein Verzeichnis erzeugen, um die Etikettierungen zu speichern*.

Windows Benutzer: C:\Dokumente\votlabs

Mac-Benutzer: /usr/Desktop/votlabs

zB Samba-Benutzer mkdir ~name/votlabs

*NB: Alle Verzeichnisnamen für alle Emu Aufgaben relativ 'einfach' machen...

Page 16: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Signale und EtikettierungenSignale und Etikettierungen

Bitte den Pfad der Signale und Etikettierungen in einem textedit/notepad usw. Fenster für cut-and-paste bereit halten – da wir sie für die Erstellung der Template-Datei brauchen werden.

NB: Samba-Benutzer. Die Signale sind in /vdata/Seminare/Dbank/Rdaten/vot/signale

Page 17: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Die SignalverarbeitungDie Signalverarbeitung

Das Ziel in diesem Fall, ist ein Signal zu bekommen, womit wir besser einschätzen können, wo die Grenze zwischen dem Frikativen und Verschluss liegt

?

Page 18: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Der Frikativ hat wesentlich mehr Energie zwischen ca. 2-9 kHz als der Verschluss.

Wir könnten daher das Signal ca. in diesem Frequenzbereich filtern (sodass alle Teile vom Signal außerhalb dieses Frequenzbereichs herausgefiltert werden) und dann die Intensität von diesem gefilterten Signal berechnen. Diese Intensität müsste dann ziemlich steil (hoffentlich!) umkippen an der Grenze zwischen diesen Lauten.

VorschlagVorschlag

Page 19: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Gefiltertes Signal und Intensität davonGefiltertes Signal und Intensität davon

Page 20: Aufbau, Abfrage, Analyse von Sprachdatenbanken

VorgangVorgang

3. wav Dateien filtern und in 1. speichern.

4. Die Intensität dieser gefilterten Dateien berechnen und auch 1. speichern

5. Die Template-Datei modifizieren, sodass nur das Spektrogramm + berechnetes Intensitäts-Signal sichtbar sind.

1. Ein Verzeichnis erzeugen (beliebiger Name): hier werden alle von den wav-Dateien abgeleiten Signale (wie die gefilterten Signale) gespeichert.

2. Verzeichnis-Name bitte notieren!

Page 21: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Berechnung von FormantenBerechnung von Formanten

Akustisch lässt sich Vokalqualität durch die ersten zwei Formanten unterscheiden.

F1

niedrig

hoch

F2hoch niedrig

i u

a

e o

Page 22: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Unser Ziel ist festzustellen, ob wir eine ähnliche Verteilung für mehrere Vokale aus einer Sprachdatenbank bekommen...

Page 23: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Zwei Sprecher, Standarddeutsch, 4 verschiedene Vokale, gelesene Sprache

Page 24: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Sprachdatenbank second herunterladen

Page 25: Aufbau, Abfrage, Analyse von Sprachdatenbanken

VorgangVorgang

1. Signalverarbeitung fuer die Formantberechnung anwenden

3.

2.

1.

4.

5.

4. Weibliche Stimmen: Nominal Frequency auf 600 Hz setzen.3. Verzeichnis auswählen (wo die Formanten gespeichet werden).

Page 26: Aufbau, Abfrage, Analyse von Sprachdatenbanken

2. Template-Datei ändern damit die Formanten in Emu sichtbar sind

VorgangVorgang

zu beachten: Der Track muss fm sein.

Page 27: Aufbau, Abfrage, Analyse von Sprachdatenbanken

3. F1 und F2 in R dem zeitlichen Mittelpunkt von jedem Vokal entnehmen

siehe formant.doc, pdf in der Webseite

VorgangVorgang

Page 28: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Wir entnehmen den Vokale Werte zum zeitlichen Mittelpunkt, weil hier der Vokal am wenigsten vom Kontext beeinflusst wird

Spektrogramm von 'drüben' mit F2 markiert

Page 29: Aufbau, Abfrage, Analyse von Sprachdatenbanken

VorgangVorgang

4. Vokale-Ellipsen in R abbilden

Page 30: Aufbau, Abfrage, Analyse von Sprachdatenbanken

5. ggf Formantfehler korrigieren

1. Formanten manuell korrigieren2. Formantfehler

VorgangVorgang

Page 31: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Sprachdatenbank: second

1-5 für den Sprecher gam durchführen.

Dann 1-5 für die Sprecherin gbr

(Beide Sprecher: Standarddeutsch)

Wie müssten sich (laut Theorie) die Formanten vom Sprecher und Sprecherin derselben Varietät unterscheiden?

VorgangVorgang

Page 32: Aufbau, Abfrage, Analyse von Sprachdatenbanken

Ein Sprecher, eine Sprecherin Standarddeutsch, gemittelte Vokale, gelesene Sätze