Canonical Text Service und Text Re-Use am Beispiel des DTA-Korpus Jochen Tiepmar Abteilung für...

of 20 /20
Canonical Text Service und Text Re-Use am Beispiel des DTA-Korpus Jochen Tiepmar Abteilung für Automatische Sprachverarbeitung Institut für Informatik Universität Leipzig [email protected]

Embed Size (px)

Transcript of Canonical Text Service und Text Re-Use am Beispiel des DTA-Korpus Jochen Tiepmar Abteilung für...

  • Folie 1
  • Canonical Text Service und Text Re-Use am Beispiel des DTA-Korpus Jochen Tiepmar Abteilung fr Automatische Sprachverarbeitung Institut fr Informatik Universitt Leipzig [email protected]
  • Folie 2
  • Grundlegendes Canonical Text Services (CTS) Protokoll fr webbasierten Textservice fr Zitation Entwickelt im Homermultitext Projekt (www.homermultitext.org), Smith et.al.2009 http://www.homermultitext.org/hmt-docs/specifications/ctsurn/ http://www.homermultitext.org/hmt-docs/specifications/cts/ Eindeutige Identifier (Unique Resource Name, URN) spezifizieren Textabschnitte (passages) Implementierungen auf Basis von Tripelstore und XML-Datenbank vorhanden, waren aber nicht fr unsere Zwecke nutzbar Diese (MySQL-basierte) Implementierung ist Teil des ESF-Projektes Bibliothek der Milliarden Wrter Der Inhalt dieser Prsentation kann auf www.urncts.de live nachvollzogen werdenwww.urncts.de Canoncal Text Services - Jochen Tiepmar 2014
  • Folie 3
  • Kanonische Zitation Shakespeare Sonette Sonett 1Sonett 35Vers 1Wort 1Wort 10Vers 5Sonett 154 Shakespeare, Sonett 1, Vers 1
  • Folie 4
  • Kanonische Zitation Dokumenteneinordung von drauen Shakespeare Sonnets english 1st edition Textabschnitt innerhalb des Dokumentes Sonnet 1 Vers 1 Kombiniert Shakespeare Sonnets english 1st edition Sonnet 1 Vers 1 CTS-URN urn:cts:demo:shakespeare.sonnets.en.1:1.1 Canoncal Text Services - Jochen Tiepmar 2014
  • Folie 5
  • Canonical Text Services (CTS) Canoncal Text Services - Jochen Tiepmar 2014 urn:cts:demo:shakespeare.sonnets.en.1:1.1 Shakespeare Sonette Sonett 1Sonett 35Vers 1Wort 1Wort 10Vers 5Sonett 154 Shak espe are Sone tte Sone tt 1 Sone tt 35 Vers 1 Wort 1 Wort 0 Vers 5 Sone tt 154 So ne tt 35 Ve rs 1 Shakes peare Sonette Sonett 154 Shakespear e Kapitel 2 Satz1Wort 410Wort 115Kapitel154 CTS From fairest creatures we desire increase,
  • Folie 6
  • Typen von Textabschnitten Einfach (Kapitel 12, Vers 2, Lied 1985, Edition, Werk) urn:cts:demo:shakespeare.sonnets.en.1:1.1 urn:cts:demo:shakespeare.sonnets.en.1: Spanne urn:cts:demo:shakespeare.sonnets.en.1:1.1-1.2 urn:cts:demo:shakespeare.sonnets.en.1:1-1.10.6 Teilabschnitt urn:cts:demo:shakespeare.sonnets.en.1:[email protected] Spanne ber Teilabschnitte urn:cts:demo:shakespeare.sonnets.en.1:[email protected]@gaudy urn:cts:demo:shakespeare.sonnets.en.1:[email protected]@gaudy[1] Canoncal Text Services - Jochen Tiepmar 2014
  • Folie 7
  • Deutsches Text Archiv in CTS 1712 Werke in je 3 Editionen -> 5136 Editionen translit, transcript, norm 321 192 031 Tokens, 2 191 023 188 Zeichen Keine Einteilung in Kapitel oder hnliches, nur Stze Tokens pro Edition Min 75 Avg 62769, Max :588181 Canoncal Text Services - Jochen Tiepmar 2014 urn:cts:dta:albertinus.landtstoertzer011615.de.translit:11 Visualisierung: Stefan Jaenickes TRAVizStefan Jaenickes TRAViz
  • Folie 8
  • Weitere Datenstze PBC Parallel Bible Corpus 831 Editionen 247292629 Tokens Perseus 3 Versionen Plaintext, XML, Updated greekLit, latinLit, (farsiLit, pdlrefwk) 407 bzw 1137 Editionen 6096120 bzw 27295030 Tokens Canoncal Text Services - Jochen Tiepmar 2014
  • Folie 9
  • Statistiken Testumgebung: - Ubuntu-Server Testsetup: - Hole Liste aller Editionen - Frage je den Abschnitt [URN_der_Edition]:1-2 ab Canoncal Text Services - Jochen Tiepmar 2014
  • Folie 10
  • DTA Statistiken Canoncal Text Services - Jochen Tiepmar 2014 5136 Editions. 334820482 Tokens. 2284090670 Characters. Durchschnittliche Abschnittslnge: 203 Characters
  • Folie 11
  • Perseus_xml Statistiken Canoncal Text Services - Jochen Tiepmar 2014 407 Editions. 6096120 Tokens. 44217523 Characters. Durchschnittliche Abschnittslnge: 26838 Characters
  • Folie 12
  • Perseus_new Statistiken Canoncal Text Services - Jochen Tiepmar 2014 1137 Editions. 27295030 Tokens. 222456065 Characters. Durchschnittliche Abschnittslnge: 28930 Characters
  • Folie 13
  • PBC Statistiken Canoncal Text Services - Jochen Tiepmar 2014 831 Editions. 247292629 Tokens. 1357136926 Characters Durchschnittliche Abschnittslnge: 352634 Characters
  • Folie 14
  • 1 Milliarde Wrter? Hat zufllig jemand ein paar Wrter brig??? Canoncal Text Services - Jochen Tiepmar 2014 CTS-InstanzAnzahl Tokens DTA334820482 PBC247292629 Perseus_new27295030 Perseus_xml6096120 Perseus_plain5525132 insg621029393
  • Folie 15
  • 1 Milliarde knstlicher Wrter 1 CTS mit 100 000 zufllig generierten Editionen 1281272600 Tokens (min. 3/edition, max. 69118/edition) Test 1) Alle Editionen auflisten 2) Konsturiere vollen Textabschnitt fr jede Edition (kein XML) Canoncal Text Services - Jochen Tiepmar 2014
  • Folie 16
  • Language Support UTF8 Canoncal Text Services - Jochen Tiepmar 2014
  • Folie 17
  • Future Work URNs als IDs hnlich CITE-Architektur http://www.homermultitext.org/hmt-docs/cite/ Nutzen der URNs als IDs fr andere Projekte Standardisierung CTS - Ausgabe als Standardformat fr GUI Unabhngigkeit von eigentlicher Textstruktur Eigenschaften der URNs Sprachkrzel in URN fr bersetzung nutzen urn:cts:demo:shakespeare.sonnets.en.1:1.1-1.2 Canoncal Text Services - Jochen Tiepmar 2014
  • Folie 18
  • Future Work Volltextsuche Canoncal Text Services - Jochen Tiepmar 2014 Shakespeare Sonette Sonett 1Sonett 35Vers 1Wort 1Wort 10Vers 5Sonett 154 Shakespeare, Sonett 1, Vers 1 Shakespeare, Sonett X,
  • Folie 19
  • Future Work Volltextsuche Rckrichtung Text ReUse, Zitatsuche, Duplikatsuche, Plagiatsuche Analyse beliebig groer Textabschnitte (Bigramm, Trigramm,) ohne zustzliche Datenaufbereitung Textspannen ber mehrere Texteinheiten (Stze, Kapitel) schwierig Canoncal Text Services - Jochen Tiepmar 2014
  • Folie 20
  • Vielen Dank Canoncal Text Services - Jochen Tiepmar 2014

Launchpaper Release 2.2 Allegro Packets · Prioritätenfeld (drei Bit), den Indikator des Canonical Formats (ein Bit) und für die VLAN-ID (zwölf Bit). Die 12 Bit zur Definition
Launchpaper Release 2.2 Allegro Packets · Prioritätenfeld (drei Bit), den Indikator des Canonical Formats (ein Bit) und für die VLAN-ID (zwölf Bit). Die 12 Bit zur Definition
-Basics- aus "Ranken mit dem Canonical Tag" - Campixx16
-Basics- aus "Ranken mit dem Canonical Tag" - Campixx16
joern@TechFak.Uni-Bielefeld · XML-Praxis XPath 2/34. XML-Dokument als Baum title date root presentation status slide text text text item item item text toc text text title ilist
[email protected] · XML-Praxis XPath 2/34. XML-Dokument als Baum title date root presentation status slide text text text item item item text toc text text title ilist
Vorbereitung und Zahlung per DTA oder ISO20022 - · PDF fileSupport-Tipps Programmversion 9.1 Kreditorenbuchhaltung Vorbereitung und Zahlung per DTA oder ISO20022 . 27.02.17 / flisch
Vorbereitung und Zahlung per DTA oder ISO20022 - · PDF fileSupport-Tipps Programmversion 9.1 Kreditorenbuchhaltung Vorbereitung und Zahlung per DTA oder ISO20022 . 27.02.17 / flisch
Modelle / Typologie - Gerhard Dirmosergerhard_dirmoser.public1.linz.at/FU/Folien_Koeln_T3.pdf · ten canonical buildings articulated as an assemblage of component elements Rem Koolhaas,
Modelle / Typologie - Gerhard Dirmosergerhard_dirmoser.public1.linz.at/FU/Folien_Koeln_T3.pdf · ten canonical buildings articulated as an assemblage of component elements Rem Koolhaas,
Liebe Freundinnen und Freunde des DTA,...kann. Stiften Sie Zukunft für das Deutsche Tagebucharchiv!“ Grundlegende Informationen und eine persönliche Beratung über die Möglichkeit
Liebe Freundinnen und Freunde des DTA,...kann. Stiften Sie Zukunft für das Deutsche Tagebucharchiv!“ Grundlegende Informationen und eine persönliche Beratung über die Möglichkeit
DTA 760 S d giugno02 - torautomatik 24 DTA 760-S.pdf• Der hydraulische Antrieb DTA 760-S für Tore mit Drehfl ügeln ist eigens für Wohnhäuser entwickelt worden. Er wird mit 2
DTA 760 S d giugno02 - torautomatik 24 DTA 760-S.pdf• Der hydraulische Antrieb DTA 760-S für Tore mit Drehfl ügeln ist eigens für Wohnhäuser entwickelt worden. Er wird mit 2
CHARAKTERISIERUNG ANTIKER KERAMIK UND IHRER ... · diffraction and differential thermal analysis (DTA) were used to determine the firing temperature of the pottery. The pottery kilns
CHARAKTERISIERUNG ANTIKER KERAMIK UND IHRER ... · diffraction and differential thermal analysis (DTA) were used to determine the firing temperature of the pottery. The pottery kilns
REALISATION D UN DTA DE L OFFRE ET DE LA DEMANDE …
REALISATION D UN DTA DE L OFFRE ET DE LA DEMANDE …
DTA Standards und Formate
DTA Standards und Formate
Technische Spezifikation elektronische Kontoinformationen€¦ · Im SWIFT-Messageteil nicht zulässige Zeichen aus dem DTA-Zeichenvorrat („&“, „*“ „$“, „%“, „Ä“,
Technische Spezifikation elektronische Kontoinformationen€¦ · Im SWIFT-Messageteil nicht zulässige Zeichen aus dem DTA-Zeichenvorrat („&“, „*“ „$“, „%“, „Ä“,
Plattform des DTA: Texte kuratieren und nachnutzen...Plattform des DTA: Texte kuratieren und nachnutzen Alexander Geyken Team: Matthias Boenig, Alexander Geyken, Susanne Haaf, Bryan
Plattform des DTA: Texte kuratieren und nachnutzen...Plattform des DTA: Texte kuratieren und nachnutzen Alexander Geyken Team: Matthias Boenig, Alexander Geyken, Susanne Haaf, Bryan
Das DTA-Basisformat zur TEI-XML-konformen Annotation ...
Das DTA-Basisformat zur TEI-XML-konformen Annotation ...
Materialien für die mündliche Prüfung zur Vorlesung: Einführung … · 860 – 900 Compilation of Prophetic hadith in canonical collections 860 – 950 The formation of legal
Materialien für die mündliche Prüfung zur Vorlesung: Einführung … · 860 – 900 Compilation of Prophetic hadith in canonical collections 860 – 950 The formation of legal
Differenz-Thermoanalyse (DTA) · 5 Anfangs- und Endtemperatur einer Stufe ermittelt werden kann. Die Temperatur des DTG-Peakmaximums entspricht der Temperatur des maximalen ...
Differenz-Thermoanalyse (DTA) · 5 Anfangs- und Endtemperatur einer Stufe ermittelt werden kann. Die Temperatur des DTG-Peakmaximums entspricht der Temperatur des maximalen ...
Vorlage1 · Web viewKapitel 5 –Überschrift 5 11 Anhang 12 Text 12 1 – Überschrift 1 Text Text Text Text 2 – Überschrift 2 Text Text 3 – Überschrift 3 Text Text Text 4
Vorlage1 · Web viewKapitel 5 –Überschrift 5 11 Anhang 12 Text 12 1 – Überschrift 1 Text Text Text Text 2 – Überschrift 2 Text Text 3 – Überschrift 3 Text Text Text 4
Canonical and non-canonical autophagy modulation in human ... · Infect Immun 2015 83:2651–2660. PMID: 25895972 Peter Crauwels, Rebecca Bohn, Meike Thomas, ... modulate LAP and
Canonical and non-canonical autophagy modulation in human ... · Infect Immun 2015 83:2651–2660. PMID: 25895972 Peter Crauwels, Rebecca Bohn, Meike Thomas, ... modulate LAP and
XPath - techfak.uni-bielefeld.dejoern/edu/xml/xmlpraxis/xml3-screen.pdfXML-Dokument als Baum title date root presentation status slide text text text item item item text toc text text
XPath - techfak.uni-bielefeld.dejoern/edu/xml/xmlpraxis/xml3-screen.pdfXML-Dokument als Baum title date root presentation status slide text text text item item item text toc text text
Homogene Aufbereitung Historischer Zeitungen: …...S. Haaf: Homogene Aufbereitung Historischer Zeitungen DTA ›Basisformat‹ • TEI-P5 Format für die semantische und typographische
Homogene Aufbereitung Historischer Zeitungen: …...S. Haaf: Homogene Aufbereitung Historischer Zeitungen DTA ›Basisformat‹ • TEI-P5 Format für die semantische und typographische
Canonical works of narratology in German codifying texts ... · 1 Anja Cornils - zusammen mit Wilhelm Schernus, Jörg Schönert und Susanne Warda: Canonical works of narratology in
Canonical works of narratology in German codifying texts ... · 1 Anja Cornils - zusammen mit Wilhelm Schernus, Jörg Schönert und Susanne Warda: Canonical works of narratology in