Zeitschrift für digitale...

Zeitschrift fuumlr digitale Geisteswissenschaften

Artikel ausSonderband 1 der ZfdG Grenzen und Moumlglichkeiten der Digital Humanities Hg von Constanze Baum undThomas Staumlcker 2015 DOI 1017175sb01

TitelraquoLosing My Religionlaquo ndash Einsatz der Videoannotationsdatenbank Pandora in der kunstgeschichtlichenAnalyse von Musikvideos

AutorinThorsten Wuumlbbena

Kontakt twuebbenadt-forumorgInstitution Deutsches Forum fuumlr Kunstgeschichte ParisGND 123312396 ORCID 0000-0001-8172-6097

AutorinEric Decker

Kontakt deckerasia-europeuni-heidelbergdeInstitution Universitaumlt HeidelbergGND 1084009560 ORCID 0000-0003-3035-2413

AutorinMatthias Arnold

Kontakt arnoldasia-europeuni-heidelbergdeInstitution Universitaumlt HeidelbergGND 1049623088 ORCID 0000-0003-0876-6177

DOI des Artikels1017175sb001_018

Nachweis im OPAC der Herzog August Bibliothek830205977

Erstveroumlffentlichung19022015

Lizenz

Sofern nicht anders angegeben

MedienlizenzenMedienrechte liegen bei den Autoren

Letzte Uumlberpruumlfung aller Verweise24052016

GND-VerschlagwortungMusikvideo | Computergestuumltztes Verfahren | Annotation |

ZitierweiseThorsten Wuumlbbena Eric Decker Matthias Arnold raquoLosing My Religionlaquo ndash Einsatz derVideoannotationsdatenbank Pandora in der kunstgeschichtlichen Analyse von Musikvideos InGrenzen und Moumlglichkeiten der Digital Humanities Hg von Constanze Baum Thomas Staumlcker 2015 (=Sonderband der Zeitschrift fuumlr digitale Geisteswissenschaften 1) PDF Format ohne Paginierung Als texthtml abrufbar unter DOI 1017175sb001_018

raquoLosing My Religionlaquo ndash Einsatz der Videoannotationsdatenbank Pandora in der kunstgeschichtlichen Analyse von Musikvideos | ZfdG-Sonderband 1 Grenzen und Moumlglichkeiten der Digital Humanities

Thorsten Wuumlbbena Eric Decker Matthias Arnold

raquoLosing My Religionlaquo ndash Einsatz der VideoannotationsdatenbankPandora in der kunstgeschichtlichen Analyse von Musikvideos

Abstracts

In dem vorliegenden Beitrag werden die Moumlglichkeiten sowie der daraus resultierendeMehrwert der Anwendung einer webbasierten Datenbank fuumlr Videoannotationen (Pandora) in der kulturwissenschaftlichen Untersuchung von Bewegtbildmaterial beleuchtet Dererste Teil beschaumlftigt sich am Beispiel eines Musikvideos konkret mit einer Anzahl vonNutzungsmoumlglichkeiten waumlhrend der anschlieszligende zweite Teil das verwendete System ineinen allgemeineren Kontext einbettet

In this paper we discuss the possibilities as well as the added value of using a web-baseddatabank for video annotation (Pandora) in cultural studies research on film The first partdemonstrates a variety of potential uses through the example of a music video and the secondpart introduces the software on a more general level

1

11 Intro

Im ersten Teil des Beitrags1 zur Nutzung der Videoannotationsplattform Pandora ndash Openmedia archive 2 im kulturwissenschaftlichen Kontext wird der Schwerpunkt auf den (mit diesemWerkzeug) zu bearbeitenden Bewegtbildinhalten ndash in diesem Fall Musikvideos ndash und den damitverbundenen Forschungsfragen liegen waumlhrend Matthias Arnold und Eric Decker von HRAder Heidelberg Research Architecture im sich daran anschlieszligenden zweiten Teil die dahinterliegenden technischen Aspekte und die globaleren Moumlglichkeiten darstellen und diskutierenwerden Zusammengenommen soll am Ende deutlich werden dass durch die Verzahnungder Informationstechnologie mit der Fachwissenschaft ein Mehrwert erreicht werden kannder durch analoge Moumlglichkeiten nicht haumltte erzielt werden koumlnnen ndash sozusagen ein geradezuidealtypisches Modell aus dem Gebiet der Digital Humanities

12 Das Musikvideo als Forschungsgegenstand

1 Autor dieses Teils ist Thorsten Wuumlbbena2 Pandora ist eine Online-Applikation die es ndash kurz gesagt ndash mehreren Nutzern gleichzeitig erlaubt freigewaumlhlte Abschnitte eines Videos mit unterschiedlichen Arten von Annotationen (Layer oder Spuren)zu versehen Durch diese Annotationen ist es moumlglich sowohl einzelne Sequenzen als auch saumlmtlicheSzenen zu einer Thematik direkt uumlber eine URL zu referenzieren Jede Spur enthaumllt zeitreferenzierteAnnotationen eines bestimmten Typs und neben Text koumlnnen auch georeferenzierte Ortsinformationen undBilder hinzugefuumlgt werden Mit seiner integrierten Rechteverwaltung erlaubt es das System Filme gezieltbestimmten Nutzergruppen zugaumlnglich zu machen oder Filme samt Annotationen frei zugaumlnglich zu machen


Zahlreiche Musikvideos weisen uumlber ihren genuinen Zweck als Werbetraumlger hinauseinen aumlsthetischen Mehrwert auf der eine eingehendere bildwissenschaftliche Betrachtungherausfordert und aufzeigt dass sich in diesem Bereich eine eigene Kunstform entwickelthat Die kuumlnstlerischen Ausdrucksmoumlglichkeiten die hier durch die flexible Verknuumlpfung vonText Bild und Musik vorhanden sind eroumlffnen Szenarien in denen Text und Musik nicht nureinen kurzen Schwall von heterogenen Bildern zusammenhalten vielmehr wird ein komplexerDiskurs auf drei Ebenen gestaltet Das Musikvideo als visuelles Produkt referenziert dabeiauch immer wieder auf rsaquoverwandtelsaquo Medien (Kino- und Fernsehfilm) aber auch auf Werke derbildenden Kunst andere Kommunikations- und Unterhaltungsformen und auf sich selbst

Und obgleich das Thema des Musikvideos inzwischen eine verstaumlrkte Aufmerksamkeitinnerhalb von Disziplinen wie der Film- Musik- und Medienwissenschaft sowie derKunstgeschichte erfahren hat3 fehlt es in der wissenschaftlichen Bearbeitung des Themasimmer noch an einer Auswahl adaumlquater Werkzeuge zur Unterstuumltzung der Analyse desUntersuchungsgegenstandes und der Praumlsentation der Ergebnisse4

In der Vergangenheit habe ich gemeinsam mit Henry Keazor zu zeigen versucht dass einefruchtbare Betrachtung des Musikvideos nur durch den Blick auf die drei oben erwaumlhntenEbenen sinnvoll ist5 Ausgehend von dieser Vorgehensweise war das Ansinnen stets dieinternen und externen Bezuumlge einzelner Clips herauszuarbeiten und zu analysieren wobeibis dato zu bedauern war dass nicht in staumlrkerem Maszlige im Medium selbst gearbeitet werdenkonnte sondern jeweils schon bereits zu Beginn ndash in der Phase der Beobachtungen ndash auf dieUumlbertragung in eine Textform zuruumlckgegriffen werden musste Text Musik und Bild musstendabei getrennt verhandelt werden und in der Kategorie rsaquoBildlsaquo konnte nur mit Standbilderngearbeitet werden

13 Losing My Religon

Am Beispiel des Clips zu REMrsquos Losing My Religion 6 der 1991 vom Regisseur TarsemSingh7 umgesetzt wurde soll nun erlaumlutert und zugleich dargestellt ndash bzw in diesem Rahmen

3 Vgl dazu die Bibliografien in Keazor Wuumlbbena 2010 sowie die Tatsache dass auf dem Kunsthistorikertag2013 in Greifswald dem Musikvideo eine eigene Sektion gewidmet wurde (die Vortraumlge der Sektionerscheinen in Keazor 2014)4 Erwaumlhnenswert ist an dieser Stelle einzig der Versuch der an Universitaumlt Basel im Bereichder Medienwissenschaften zwischen April 2008 und Juni 2011 unternommen wurde einAnalyseinstrumentarium zur Interpretation von Inszenierungsformen in Musikvideos zu entwickeln DasErgebnis traVIs (Musikzentriertes Transkriptionsprogramm fuumlr audiovisuelle Medienprodukte) wurdeim Februar 2013 an der Universitaumlt Basel im Rahmen eines Workshops vorgestellt und getestet Hierbeierwiesen sich bei allen neuen Moumlglichkeiten schnell die Grenzen von traVIs Wie es die Beibezeichnung schonandeutet ist das Instrument musikzentriert dh die Parameter von Bild und Text kommen eindeutig zukurz ndash in letzter Instanz werden sie der Musik doch wieder untergeordnet wodurch die eigentlich anvisierteGegenstandsangemessenheit verfehlt wird Denn in Musikvideos kommen laufende Bilder gesungenerund vorgetragener Text gleichberechtigt zum Zug Ein weiterer Nachteil ist zudem dass das Programm dazufuumlhrt dass dem temporalen Verlauf der Clips (bzw genauer der ihnen zugrundeliegenden Musik) zu starkgefolgt wird so dass der Uumlberblick uumlber die Gesamtstruktur des Musikvideos verloren geht was bei demWorkshop immer wieder deutlich wurde Damit ist umso ersichtlicher welches groszliges Desiderat auf diesemGebiet weiterhin existiert5 Vgl hierzu besonders Keazor Wuumlbbena 20116 Von dem 1991 veroumlffentlichen Album Out of Time7 Nachdem der 1962 in Indien geborene zukuumlnftige Regisseur ein im Himalaya gelegenes Internat besuchthatte zog er in die Vereinigten Staaten um an der Harvard Business School auf einen Master of Business


eher angedeutet ndash werden wie stark eine Videoannotationssoftware wie das frei verfuumlgbarePandora als webbasiertes Werkzeug in der kunsthistorischen Medienanalyse unterstuumltzendeingesetzt werden kann8

Es ist im Nachhinein schwer zu sagen inwieweit sich der Erfolg des Songs seinerPraumlsentation in Clip-Form verdankt doch allein der Umstand dass der Clip nicht nur imErscheinungsjahr Aussichten auf einen Grammy hatte sondern auch fuumlr gleich acht MTV VideoMusic Awards nominiert war (sechs der Trophaumlen erhielt das Video dann auch darunter inden Kategorien rsaquoVideo of the Yearlsaquo rsaquoBreakthrough Videolsaquo und rsaquoBest Direction in a Videolsaquo) zeigtdass man den Anteil der visuellen Interpretation am Erfolg des Stuumlcks keinesfalls unterschaumltzendarf ndash zumal das Video den Liedtext in eine Richtung hin interpretiert die zwar von Texterund Leadsaumlnger Michel Stipe moumlglicherweise mitgedacht (vgl auch die Liedzeile raquoChoosingmy confessionslaquo) doch keinesfalls ausschlieszliglich intendiert gewesen ist und es ist ebendiese Deutung die dem Song den (weite Verbreitung sichernden) Stempel des Skandals undder Anruumlchigkeit aufdruumlckt Denn die Titelzeile raquoLosing my religionlaquo ist als Hinweis daraufverstanden worden dass der Protagonist des Textes seinen Glauben verliert Tatsaumlchlich aberhat Stipe damit eine vergessene Redewendung aus den Suumldstaaten der USA aufgegriffen diesoviel bedeutet wie rsaquodie Fassung zu verlierenlsaquo9

Wie die vielen Houmlrer nach ihm (und diese dann moumlglicherweise bereits im Gefolgeseiner visuellen Interpretation) konzentriert sich Regisseur Tarsem Singh bei der Konzeptionseines Videos auf die mit den Reizworten raquoreligionlaquo und raquoconfessionslaquo angedeutete Sphaumlredes Glaubens und der Froumlmmigkeit Und um diese sowie den im Songtitel angedeutetenVerlust derselben auszugestalten legt er dem Clip eine Dramaturgie zugrunde in der esletztendlich um die Durchdringung zweier Ebenen geht Das ist zum einen die religioumlse Sphaumlrerepraumlsentiert durch Szenerien welche dem hinduistischen wie dem christlichen Bilderkosmosentlehnt sind und in letzterem Fall auf Werke der bildenden Kunst des 17 und 20 Jahrhundertsrekurrieren namentlich auf Schoumlpfungen des Fotografenduos Pierre et Gilles und desBarockmalers Caravaggio Ihnen gegenuumlber gestellt werden nach dem ersten Viertel desVideos und mit Beginn der zweiten Strophe die unter ihnen auf der Erde lebenden Menschendie in ihrer fahlen Farbigkeit den starken Hell-Dunkel-Kontrasten und den robusten eheraumlrmlich und archaisch anmutenden Typen an Gemaumllde der Caravaggio-Schule erinnern diehier gleichwohl nie detailgetreu umgesetzt werden sondern lediglich einzelne Details liefern(wie zB den aus Caravaggios raquoBerufung des Heiligen Matthaumluslaquo bekannten diagonal die Szenedurchziehenden Lichtstrahl

Administration hin zu studieren Doch schon bald beschloss er lieber das Fach rsaquoFilmlsaquo zu belegen und schriebsich daher am renommierten Art Center College of Design in Pasadena ein Singh entwickelte sodann seinenoft als opulent und dynamisch bezeichneten visuellen Stil so ua in dem Video zu Suzanne Vegas Song Tiredof Sleeping Seinen Durchbruch erzielte er jedoch mit dem hier vorgestellten Musikvideo8 Dass an dieser Stelle und im Folgenden kein Verweis auf den Videoclip (oder Teile davon) in derVideoannotationssoftware auf dem Server der HRA zu finden ist liegt an der momentan vorherrschendengroszligen rechtlichen Unsicherheit in Bezug auf die Online-Bereitstellung von Bildmaterial (statisch oderbewegt) so dass der Serverbetreiber sich in diesem Fall keinem Risiko aussetzen wollte Deutlich wird darandass trotz der bereitstehenden Optionen von freien Online-Werkzeugen eine Einschraumlnkung der Nutzung fuumlrbestimmte Themen der Forschung besteht da letztlich die Frage der Moumlglichkeit der Verfuumlgbarmachung desContents entscheidet9 Vgl dazu Bruder 2004 S 85


14 Pandora

Wie sehen die Moumlglichkeiten des Umgangs mit dem Musikvideo nun in derAnnotationssoftware aus (vgl Abbildung 1)10

Abb 1 Startseite von Pandora Screenshot erstellt am 17062015 copy HRA CC-Lizenz 0

Da dieses Musikvideo eine mannigfaltige Anzahl von nachgehenswerten Referenzenbeinhaltet muumlssen an dieser Stelle einige wenige Beispiele ausreichen Es soll dabei versuchtwerden die Moumlglichkeiten der Software aus Anwendersicht dicht an den Inhalten zubeleuchten ndash bei diesem Vorgehen moumlge man die teils eher deskriptive Art verzeihen11

Der Leadsaumlnger von REM Michael Stipe erscheint von Anfang an immer wieder mitriesigen Engelsfluumlgeln was sich sodann leitmotivisch durch das ganze Video zieht (Abbildungen2a-d)

Abb 2a-d Stills aus dem Clip Losing My Religion ndash Saumlnger Michael Stipe mit Fluumlgeln und weitere Szenen

(beispielhaft) mit dem Motiv der Engelsfluumlgel in der Editor-Ansicht von Pandora jeweils mit dem Tag

rsaquoEngelsfluumlgellsaquo versehen (vgl im rechten Bereich den Punkt rsaquoKeywordslsaquo) Quelle HRA Warner Bros erstellt

am 12102014

10 Auch an dieser Stelle noch einmal deutlich der Hinweis auf die unbefriedigende Loumlsung mitFilmstills arbeiten zu muumlssen Ein Vorgehen welches ja gerade durch den Einsatz der webbasiertenVideoannotationssoftware uumlberwunden werden sollte aber hier wegen der rechtlichen Bedenken derServerbetreiber notwendig ist11 Mehr zur inhaltlichen Auseinandersetzung in Keazor Wuumlbbena 2011 passim


Abb 2b

Abb 2c

Abb 2d

Eine dieser Szenen stellt ein Gemaumllde des Barockmalers Caravaggio mit dem in seinerVerzuumlckung von einem Engel gehaltenen Heiligen Franziskus nach der hier im Clip allerdingsdurch einen zweiten aumllteren Himmelsboten ersetzt wird (vgl Abbildung 3 und Abbildung 4)12

12 Open Source-Bilddatenbanksoftware der Firma Coneda UG einer Ausgruumlndung des KunstgeschichtlichenInstituts der Goethe-Universitaumlt Frankfurt Der Link an dieser Stelle in Pandora fuumlhrt in die Installation desFrankfurter Kunstgeschichtlichen Instituts


Abb 3 Link aus Pandora zum Bilddatenbanksystem ConedaKOR Quelle HRA KGI (FrankfurtMain) Warner

Bros erstellt am 12102014

Abb 4 Entitaumltsansicht in ConedaKOR Michelangelo Merisi da Caravaggio Verzuumlckung des heiligen Franziskus

um 1595 Hartford Wadsworth Atheneum Museum of Art Quelle KGI (FrankfurtMain) Web Gallery of Art

erstellt am 12102014

In dem Moment wo der alte Engel versehentlich zur Erde herabstuumlrzt und der andereEngel nach ihm zu greifen versucht zitiert Singh ein weiteres Gemaumllde Caravaggios (Die siebenWerke der Barmherzigkeit) in dem ebenfalls praumlgnant das Motiv eines zur Erde hinabgerecktenEngels-Armes erscheint (Abbildung 5)

Abb 5 Interner Link bzw Einbettung Michelangelo Merisi da Caravaggio Die sieben Werke der Barmherzigkeit

1607 Neapel Chiesa del Pio Monte della Misericordia Quelle HRA KGI (FrankfurtMain) Web Gallery of Art

Warner Bros erstellt am 12102014

Wenn der aumlltere gefallene Engel auf der Erde sodann auf neugierige argwoumlhnische undgrausame Weise von den Menschen untersucht wird spielt Singh wiederum auf ein BildCaravaggios (Der unglaumlubige Thomas) an (Abbildung 6)


Abb 6 Link bzw Einbettung Michelangelo Merisi da Caravaggio Der unglaumlubige Thomas 1603 Potsdam

Bildergalerie Schloss Sanssouci Quelle HRA KGI (FrankfurtMain) Web Gallery of Art Warner Bros erstellt

am 12102014

Die solcherart nachgestellten oder zitierten Gemaumllde werden dabei zuweilen in einerpoppig-bunten und kitschig-schrillen Aumlsthetik praumlsentiert die sich an den Werken einesfranzoumlsischen Kuumlnstlerpaars des Fotografen Pierre (Commoy) und des Malers Gilles(Blanchard)13 orientiert deren Heiliger Sebastian dann auch in einer Einstellung des Clips zitiertwird (Abbildung 7)

Abb 7 Einbettung Pierre amp Gilles St Sebastian 1987 Quelle HRA KGI (FrankfurtMain) Art Forum Warner


Abgerundet wird das Personal des Videos durch Maumlnner die zum einen fuumlr dieBeleuchtung zustaumlndig zu sein scheinen zugleich jedoch ndash als eine eiserne Fluumlgel-Skulpturherstellende Schmiede ndash als Vertreter der (russisch-kommunistischen) Arbeiterklasseausgewiesen werden die dem Jenseitsbezug der Religion das erdverhaftete Vertrauen in dietechnischen Faumlhigkeiten des Menschen gegenuumlberstellen (Abbildung 8a und Abbildung 8b)

13 Vgl zum Werk Marcadeacute Cameron 1997


Abb 8a-b Interner Bezug durch Tagging verdeutlicht durch eine farbige Kennzeichnung auf der unteren

Timeline (in diesem Fall rsaquoArbeiterlsaquo) Quelle HRA Warner Bros erstellt am 12102014

Abb 8b

Der Bezug zu Russland wird ebenfalls in Form des Kostuumlms und der Choreographie vonStipe hergestellt Sie sind beide an Aufnahmen vom Auftritt des beruumlhmten Taumlnzers VaslavNijinsky in dem von Claude Debussy geschriebenen Ballett Jeux aus dem Jahre 1913 angelehnt(Abbildung 9a und Abbildung 9b)

Abb 9a-b Einbettung Abbildungen des Tanzes von V Nijinsky zu Jeux Quelle HRA KGI (FrankfurtMain)



Abb 9b

Allein die hier aufgezeigten Bezuumlge (die zB noch um den Verweis auf die 1968 erschieneneKurzgeschichte Ein sehr alter Mann mit riesengroszligen Fluumlgeln des kolumbianischen SchriftstellersGabriel Garciacutea Maacuterquez zu ergaumlnzen waumlre aus der das Motiv des zur Erde gestuumlrzten und dortvon Menschen misshandelten Engels stammt) machen deutlich welche Vielfalt an Verweisenund Zitaten in einen Clip wie demjenigen Singhs eingewoben sein kann

Im Jahr 2000 hat Tarsem Singh diese im Musikvideo entwickelte Bilderwelt dann auch inseinem Kinodebuumlt The Cell unterzubringen versucht und so begegnet man dort den bereitsbekannten Motiven und Vorbildern die zuweilen sogar zu identisch anmutenden Szenarienzusammengefuumlhrt werden ndash fast scheint es als seien einzelne Szenen in der Kulisse des REM-Videos gedreht worden (vgl Abbildung 10a und Abbildung 10b)

Abb 10a-b Interner Link zur korrespondierenden Filmszene aus The Cell 2000 (Director Tarsem Singh)

Quelle HRA KGI (FrankfurtMain) Warner Bros New Line Cinema (theatrical) Warner Home Video (DVD)


Abb 10b


15 Vorteile

Wo liegen aber nun die Vorteile in der Bearbeitung des Materials mit einer ndash und imSpeziellen ndash mit dieser Videoannotationssoftware

Fuumlr webbasierte Systeme gilt allgemein ndash nach wie vor erwaumlhnenswert ndash die zeit- undortsunabhaumlngige Verfuumlgbarkeit der Inhalte Fuumlr die kollaborative Bearbeitung bei verteiltenForscher- und Studierendengruppen ist dies ein basaler aber wichtiger Faktor

Wenn ein Clip mit der Annotationssoftware bearbeitet ist (was aber natuumlrlich nie alsrsaquoabgeschlossenlsaquo betrachtet werden kann) und er fuumlr eine spaumltere Weiterbearbeitung untereinem neuen Aspekt angesehen wird dann sind die Referenzen an der entsprechendenStelle im Clip zu finden ohne dass die entscheidenden Passagen wieder aus einem Textzusammengesucht werden muumlssen

Dadurch ist auch fuumlr Nichtkenner ein exploratives Sehen des Clips moumlglich da sie anden entscheidenden Punkten auf die Bezuumlge hingewiesen werden nach denen sie nichtrecherchieren konnten weil sie schlicht nichts davon wussten

Daneben ist sicherlich aber das Arbeiten im Clip selbst der wichtigste Punktwissenschaftlicher Auseinandersetzung Die Bezuumlge zu bewegten Einheiten zuFilmausschnitten und nicht nur zu Stills setzen zu koumlnnen entspricht dem Medium und bietetdie Moumlglichkeit sozusagen rsaquoin Film zu denkenlsaquo und zu arbeiten

16 Things-To-Do

Bei der Beschaumlftigung mit Pandora konnten eine Reihe von Punkten identifiziertwerden um die das System noch erweitert werden muss um Musikvideos in ihremmedienuumlbergreifenden Kontext befriedigend analysieren zu koumlnnen

Als Beispiele seien hier nur die folgenden genannt

1 Die direkte Gegenuumlberstellung mehrerer unterschiedlicher Videos2 Die Anpassbarkeit der Benutzeroberflaumlche an unterschiedliche Analysesituationen3 Die Moumlglichkeit der Annotation reiner Audiodaten ohne Bild

Wie eingangs gezeigt stellt sich dieser Forschungsbereich durch seine enge Verbindungvon Bild- Text- und MusikAudio-Schichten bisher im Hinblick auf Informationsverwaltungund Visualisierung des komplexen Bezugsystems als Problemfall dar und es erweist sich alsGluumlcksfall dass im Rahmen des Heidelberger DFG-Projekts Zur aumlsthetischen Umsetzung vonMusikvideos im Kontext von Handhelds (Laufzeit 2011ndash13) ein moumlglicher Weg aufgezeigtwerden konnte gemeinsam mit den Kollegen vom Heidelberg Research Architecture anaumlhnlichen Fragestellungen zu arbeiten


2

21 Digital Humanities am Heidelberger Exzellenzcluster

Die Heidelberg Research Architecture kurz HRA ist die Digital Humanities Unit amExzellenzcluster Asien und Europa im Globalen Kontext der Universitaumlt Heidelberg ZumKerngeschaumlft der HRA gehoumlrt die Entwicklung des modularen Metadatenframeworks TambotiEs ermoumlglicht das gemeinsame Sammeln Organisieren und Annotieren von digitalisiertemForschungsmaterial (Text Bild Video Audio) Das System erlaubt das Teilen der Daten undMetadaten innerhalb von Gruppen von Forschungsgruppen bis hin zu einer weltweitenVeroumlffentlichung Dabei setzt die HRA auf eine Kombination hochdeskriptiver internationalerMetadatenstandards (derzeit MODS TEI und VRA Core) mit einem hohen Anteil kontrolliertermultilingualer Vokabulare (wie die Getty Thesauri oder das Virtual International AuthorityFile) und einer modularen Systemarchitektur die das nachhaltige Erfassen und Annotierenmultilingualer Metadaten nach wissenschaftlichen Standards erlaubt

Tamboti ist fuumlr eine Kooperation auf Universitaumltsebene und daruumlber hinaus ausgelegtwobei Kooperationen im Sinne einer gemeinsam nutzbaren Infrastruktur verstanden wird MitTamboti entwickelt die HRA eine auf dem XML-Datenbanksystem eXist-db basierende OpenSource-Loumlsung Tamboti ist als Application fuumlr eXist-db weltweit frei nutz- und erweiterbar DieHRA arbeitet derzeit an zusaumltzlichen Applikationen (Bildmodul Ziziphus und das Wiki-Modul)die Tamboti um weitere Funktionsbereiche modular erweitern

Eine groumlszligere Nutzergruppe im Exzellenzcluster setzt in der Forschung auf die Arbeit anund mit visuellen Medien daher liegt hier ein Schwerpunkt der Entwicklungen der HRA Dabeiwurde bereits waumlhrend der ersten Foumlrderphase des Exzellenzclusters auf die Kombinationvorhandener Softwareloumlsungen mit Eigenentwicklungen gesetzt

22 Videoannotationsdatenbank Pandora

Im Bereich der kollaborativen Videoannotation hat die HRA bereits in der erstenFoumlrderphase des Exzellenzclusters (2007ndash2012) in mehreren Projekten Erfahrungensammeln koumlnnen Nach einer Bedarfsanalyse und Tests unterschiedlicher frei zugaumlnglicherSoftwareloumlsungen zur Videoannotation fiel die Wahl auf padma die von einem freienEntwicklerteam14 als Open Source-Plattform entwickelt wird und jetzt in der uumlberarbeiteten

14 Die Pandora-Software wurde urspruumlnglich im Rahmen des Padma (Public Access Digital MediaArchive) Projekts federfuumlhrend von Jan Gerber Sebastian Luumltgert und Sanjay Bhangar entwickelt Padmawurde von einer Gruppe von Organisationen aus Indien und Deutschland ins Leben gerufen CAMP(Mumbai) Alternative Law Forum (Bangalore) und 0x2620 (Berlin) Des Weiteren waren Majlis und Pointof View aus Mumbai mit beteiligt Ausgestattet mit einer Anschubfinanzierung des niederlaumlndischenHumanistisch Instituut voor Ontwikkelingssamenwerking (HIVOS) konnte eine erste Version derVideoannotationsdatenbank entwickelt werden Der weitere Ausbau wird seit 2010 durch die Unterstuumltzungder Bohen Foundation und Foundation for Arts Initiatives ermoumlglicht Vgl About Padma About 0xDB unddie faqs der Pandora Webseite


Pandora-Version in Heidelberg installiert ist15 Eine Reihe anderer Projekte setzen auchPandora ein darunter 0xDB Padma und Indiancinema16

Ausschlaggebend fuumlr die Wahl von padma war dass sie es damals als einzige unsbekannte Software erlaubte beliebige Sequenzen innerhalb eines Videos mit mehrerenNutzern gleichzeitig zu annotieren Zudem verfuumlgt sie uumlber eine ausreichende Nutzer- undRechteverwaltung und kann mit ihrer einfachen Handhabung mehrerer unterschiedlicherAnnotationsspuren uumlberzeugen Der Funktionsumfang ist in der Zwischenzeit auchvorangetrieben durch gezielte Investitionen der HRA deutlich gewachsen und in die ebenfallsals Open Source-Software veroumlffentlichte Nachfolgeversion Pandora eingeflossen So wurdenbeispielsweise eine LDAP-Authentifizierung integriert sowie mehrsprachige Audio- undAnnotationsspuren implementiert Zeitbasierte Annotationen koumlnnen im srt und JSON Formatim- und exportiert werden Das erlaubt es zum Beispiel Audiotranskriptionen in Tools wieSpeedtrans 17 anzufertigen und dann in Pandora zu importieren

Fuumlr Annotationen stehen in Pandora unterschiedliche Spuren oder Layer zur VerfuumlgungSo koumlnnen beispielsweise Annotationen vom Typ rsaquoSubtitlelsaquo direkt in den Film eingeblendetoder Annotationen vom Typ rsaquoLocationlsaquo auf einem Karteninterface dargestellt werden Es wirdfestgehalten welcher Nutzer oder welche Nutzerin wann welche Annotationen hinzugefuumlgthat und es ist moumlglich die Anzeige von Annotationen nach Autor bzw Autorin zu filtern ndash eineFunktion die sich nicht nur waumlhrend des Einsatzes im Unterricht bewaumlhrt hat

In den Annotationen ist es grundsaumltzlich moumlglich Markup zu verwenden Die bereitsunterstuumltzten HTML5-Tags erlauben Textformatierungen sowie das Einfuumlgen von Hyperlinksund eroumlffnen auch die interessante Option Bilder direkt in Annotationen einzubinden (vgldie Beispiele im ersten Teil) Da saumlmtliche Annotationen mit URLs versehen sind lassen sichbequem Szenen in einem oder mehreren Filmen verlinken Ebenso koumlnnen Verweise aufeinzelne Annotationen von externen Websites gesetzt werden Dank der Moumlglichkeit auchSuchen uumlber eine URL auszuloumlsen koumlnnen Anwender beispielsweise saumlmtliche Stellen im Filmaufrufen die mit demselben Keyword annotiert wurden18

Mit dem im Frontend fuumlr jede Annotation bereitgestellten embed code koumlnnen daruumlberhinaus ohne groszligen Aufwand Filme oder rsaquoFilmschnipsellsaquo in andere Webseiten eingebundenwerden Am Exzellenzcluster wird diese Funktion beispielsweise im Open Access e-Journal19

bereits eingesetzt Ein derzeit noch eher ungewohnt anmutender Einsatzbereich ist dasEinbetten von Videos in Annotationen So erlaubt der HyperImage Nachfolger Yenda dieNutzung von HTML5-Tags an verschiedenen Stellen Damit koumlnnen in Bildannotationen nichtnur Texte und zusaumltzliche Bilder sondern auch Videos aus Pandora eingebettet werden

15 HRA Videoannotationsdatenbank16 Vgl Demo auf Pandora17 Eine Firefox Erweiterung die fuumlr den Einsatz mit padma entwickelt wurde18 Beispiel19 Vgl Transcultural Studies


Die Nutzung von embed codes ist nur eine Moumlglichkeit aus anderen Webseiten heraus aufDaten in Pandora zuzugreifen Per API stellt Pandora eine ganze Reihe von Funktionen fuumlrdie Anbindung an andere Webapplikationen zur Verfuumlgung

23 Einsatz am Exzellenzcluster Asienund Europa ndash Global Politics on Screen

Im akademischen Bereich wird die Software am Exzellenzcluster Asien und Europaseit 2010 in unterschiedlichen Projekten und Fachbereichen in Forschung und Lehreeingesetzt Zusaumltzlich zu dem in diesem Artikel ausfuumlhrlich beschriebenen Projekt sei nochdas oumlffentlich zugaumlngliche Global Politics on Screen-Projekt von Madeleine Herren-Oesch et alerwaumlhnt20 In diesem Projekt wurde von einer Gruppe von Studierenden und Wissenschaftlerndes Historischen Seminars und des Exzellenzclusters Filmmaterial zu einer Mission desVoumllkerbunds untersucht Erst waumlhrend des Projekts wurde immer klarer dass es sich dabei umeine fruumlhe Version eines japanischen Propagandafilms handelt Der von der South ManchurianRailway Company (SMR) zu Beginn der 1930er produzierte Film begleitet die sogenannte LordLytton Mission des Voumllkerbundes bei ihrer Untersuchung des Einmarsches der japanischenStreitkraumlfte in die Mandschurei Das dabei entstandene Filmmaterial war fuumlr die Vorfuumlhrung inBotschaftskreisen in Europa gedacht Der Stummfilm wurde fuumlr die Vorfuumlhrung mit Texttafelnin unterschiedlichen Landessprachen aufbereitet

Die im Rahmen des Heidelberger Projekts vorgenommene Untersuchung des Filmskonzentriert sich auf eine vermutlich unveroumlffentlichte Version mit englischen Texttafeln dieeine fruumlhe Fassung des Filmmaterials mit dem Charakter eines Rohschnitts zeigt Bei der erstenDurchsicht des Filmmaterials waren noch vielen Fragen offen Es war lediglich klar dass essich um ein filmisches Dokument zur Lord Lytton Mission handelte Sowohl Auftraggeber alsauch das anvisierte Zielpublikum waren zunaumlchst nicht bekannt Mit Hilfe von Pandora konntedie HRA dem Projekt ein Werkzeug an die Hand geben diesen und anderen offenen Fragennachzugehen

In der ersten Arbeitsphase wurde Pandora genutzt um subjektive Auffaumllligkeitenund Besonderheiten im Film zu finden zu markieren und zu kommentieren In dennaumlchsten Phasen hat sich dann das Team Schritt fuumlr Schritt dem Film immer staumlrker undsystematisch angenaumlhert So wurden saumlmtliche englische Texttafeln transkribiert unddann nach Querverweisen zu Dokumenten in Archiven gesucht Im Japan Center for AsianHistorical Records wurden mehrere Dokumente mit unterschiedlichen Sprachversionen und inunterschiedlicher Reihenfolge der Texttafeln gefunden

Da es sich um einen Stummfilm handelt wurde saumlmtlichem geschriebenen Text im Filmschnell dieselbe Aufmerksamkeit zu Teil wie den Texttafeln Im Film gezeigte Schriftzuumlge aufBannern Hinweisschildern oder aumlhnlichem wurden transkribiert und wo noumltig ins Englischeuumlbersetzt Dabei hat es sich als sehr vorteilhaft herausgestellt dass Uumlbersetzungen sofort bei

20 Global Politics on Screen A Japanese Film on the Lytton Commission in 1932


Eingabe in die Datenbank fuumlr alle Projektmitglieder zur Verfuumlgung standen Die Banner diean vielen Stellen im Film den Weg der Kommission begleiten wirken im Film oft wie Untertiteldie sich je nach verwendeter Sprache an ein unterschiedliches Publikum wenden Oft stelltsich die Frage ob die Kommission das Publikum vor Ort oder das Publikum vor der Leinwandangesprochen werden soll

Durch das Transkribieren wurde den Projektteilnehmern die sonst wenig mit Stummfilmenin Beruumlhrung gekommen waren der Stellenwert von geschriebenem Text im Stummfilmdeutlich vor Augen gefuumlhrt Hinweise die man ohne die gezielte Verschriftlichung mit denheutigen Sehgewohnheiten vielleicht einfach uumlbersehen haumltte wurden so relevant Als Beispielsei hier eine Szene in einem Hafen (vermutlich Dairen) angefuumlhrt In einem Kameraschwenkwird gezeigt wie ein Schiff entladen wird Dabei ist beilaumlufig fuumlr ca 3 Sekunden ein Schild dasden Hersteller des Krans identifiziert zu sehen Zeit genug um fuumlr einen zeitgenoumlssischenBetrachter aus europaumlischen Diplomatenkreisen zu bemerken dass es sich um einen Krander Demag AG aus Duisburg handelt Der Ruumlckschluss dass Japan mit der Besetzung derMandschurei auch fuumlr Sicherheit und Stabilitaumlt von Groszligkunden deutscher Unternehmen sorgtbleibt den informierten Betrachtern uumlberlassen

Im weiteren Verlauf des Projekts wurden noch zusaumltzliche Annotationsebenen verwendetMit den Annotationen vom Typ rsaquoLocationlsaquo konnten die gezeigten Schauplaumltze im Filmnachgezeichnet werden und mit Karten aus dem Kommissionsreport verglichen werden (vglAbbildung 11 )

Abb 11 Gegenuumlberstellung eines Kartenausschnitts aus dem Kommissionsbericht und eines Screenshots

der Location Annotationsspur in Pandora Quelle Route Maps Itineraries of the Commission in the Far

East (League of Nations (ed) Appeal by the Chinese Government Report of the Commission of Enquiry

Appendix Maps No 13 and 14 Geneva League of Nations 1932)

Zur thematischen Aufarbeitung wurden haumlufig wiederkehrende Argumentationsmusterund Themen des Films mit Keywords versehen Eines der uumlbergeordneten Ziele des Filmesist es beispielsweise den Einmarsch japanischer Truppen in die Mandschurei zu legitimierenEin Legitimationsgrund der immer wieder aufgefuumlhrt wird ist die Zerstoumlrung wichtigerEisenbahnbruumlcken durch Anschlaumlge sogenannter rsaquoSoldier-Banditslsaquo Heute geht man davonaus dass die Anschlaumlge inszeniert waren um einen Einmarsch vor der Weltoumlffentlichkeit zurechtfertigen

Ebenfalls mit Keywords versehen wurden die Auftritte bestimmter Kommissionsmitgliederim Film Dabei wurden lediglich die Auftritte von Lord Lytton und des deutschen Abgesandte


Heinrich Schnee uumlber die gesamte Laumlnge des Films transkribiert Das manuelle Suchenund Markieren hat sich jedoch als sehr zeitaufwaumlndig und nur bedingt aussagekraumlftigherausgestellt Um tatsaumlchlich sinnvolle und quantitativ belegbare Aussagen daruumlber machenzu koumlnnen wer wann wie oft und mit wem zusammen gezeigt wird waumlre eine kompletteErfassung aller Gruppenmitglieder noumltig Der dazu noumltige Aufwand stand im Rahmen desProjektbudgets aber in keinem vernuumlnftigen Verhaumlltnis zum moumlglichen Erkenntnisgewinn Hierwaumlre eine (semi-)automatisierte Loumlsung wuumlnschenswert

24 Recherchen ndash Verfuumlgbare Videoannotationssysteme

Im November 2013 und April 2014 wurde eine groumlszligere ergebnisoffene Rechercheder aktuell verfuumlgbaren Anwendungen im Bereich Videodatenbanken und -annotationdurchgefuumlhrt Ziel war es einen genaueren Uumlberblick uumlber den Stand der Entwicklungenauf diesem Gebiet zu erhalten Daruumlber hinaus sollte auch gepruumlft werden ob neuereoder eventuell fuumlr den Einsatz am Exzellenzcluster besser geeignete Loumlsungen entwickeltwurden um gegebenenfalls darauf umzusteigen Die Recherche gestaltete sich schwierigerals erwartet Die Informationen waren weit verstreut und nur wenige Zusammenstellungenvon Tools fuumlr Videoanalyse oder Videoannotation bis dato veroumlffentlicht (vgl Liste von Video-Annotationssystemen)

Vielversprechend schienen die Eintraumlge in der rsaquoDigital Research Toolslsaquo (DIRT) Datenbank desProject Bamboo doch waren sie leider nur bedingt hilfreich Zum einen waren viele Eintraumlgeveraltet und die Liste sehr unvollstaumlndig Auch war es zwar moumlglich die Eintraumlge nach Tagszu browsen doch schon eine kombinierte Suche beispielsweise nach rsaquovideolsaquo und rsaquoannotationlsaquowar nicht moumlglich Die 24 Eintraumlge beim Tag rsaquovideolsaquo waren sehr divers und enthielten selbstBilddatenbanken (Flickr) oder Screen recording Tools (Screenr) Nur 6 Eintraumlge in rsaquovideolsaquo warenauch mit rsaquoannotationlsaquo getagged (Advene Annotatorrsquos Workbench ELAN Project Pad VertovVideoANT) Daruumlber hinaus waren die Eintraumlge zwar annotiert die Inhalte aber meist denSelbstdarstellungen der Webseiten entnommen21

Um die Verlaumlsslichkeit der Informationen und deren Potential als Entscheidungshilfeauf der Suche nach einer geeigneten Software war es auf der rsaquoVideolsaquo-Seite der rsaquoAnnotationsat Harvardlsaquo besser bestellt Die dort veroumlffentlichte Liste war zwar mit 18 Eintraumlgen auchuumlberschaubar und die Inhalte stammen aus dem Jahr 2010 aber die Zusammenstellung warinhaltlich deutlich fokussierter und die Anmerkungen oft nicht einfach nur woumlrtlich von derWebsite kopiert22

Interessant war auch festzustellen dass das Thema Annotation auch bei OnlineGuides ausgelassen wurde so beispielsweise zu beobachten beim ansonsten vorbildlichzusammengestellten rsaquoActivists Guide to Archiving Videolsaquo23

21 Im Internet Archive kann noch ein Snapshot vom 2 Oktober 2013 eingesehen werden22 Annotations at Harvard ndash Video Annotations Harvard Annotation Project 201023 Activists Guide to Archiving Video Version 10 (Juli 2013)


Auflistungen in den Buchpublikationen waren hingegen inhaltlich sehr eng gefasst undbeschraumlnkten sich auf wenige Tools aus den Bereichen qualitativer Datenanalyse (QDA) bzwBroadcast Video Auch lag der Zeitpunkt der Zusammenstellung meist mehrere Jahre vor demPublikationsdatum Die folgende Liste zeigt eine Auswahl veroumlffentlichter Zusammenstellungenvon Video-Annotationssystemen

- Jost et al 2013 Christofer Jost et al Computergestuumltzte Analyse von audiovisuellenMedienprodukten (= Qualitative Sozialforschung 22) Springer Fachmedien Wiesbaden2013 [online]- Linked TV Evlampios Apostolidis et al State of The Art and Requirements Analysis forHypervideo LinkedTV - Television Linked To The Web 30 September 2012 [online]- Bamboo Bamboo DiRT Digital Research Tools [2013] [online]- Dasiopoulou et al 2011 Stamatia Dasiopoulou et al rsaquoA Survey of Semantic Imageand Video Annotation Toolslsaquo In Knowledge-Driven Multimedia Information Extraction andOntology Evolution Edited by Georgios Paliouras Constantine D Spyropoulos GeorgeTsatsaronis (= Lecture Notes in Computer Science 6050] Springer Berlin and Heidelberg2011 S 196ndash239 [online]- Harvard Annotations at Harvard ndash Video Video Annotation Tools [2010] [online]- UCLA-KB UCLA Knowledgebase ndash Video annotation tools [2009] [online]

Neben der Verstreutheit der Informationen wurde waumlhrend der Recherchen sehrschnell deutlich dass Analyse und Annotation von Videos in sehr vielen Bereichen und mitsehr unterschiedlichen Zielsetzungen eingesetzt werden So gibt es Anwendungen24 diebesonders fuumlr linguistische Analysen konzipiert sind beispielsweise das vom Max PlanckInstitute for Psycholinguistics in Nijmegen entwickelte ELAN Dann gibt es Anwendungendie sich auf die in groszligen Fernsehanstalten anfallenden bzw dort archivierten Materialienspezialisieren wie beispielsweise die Entwicklungen innerhalb des FP7 Projektes LinkedTVWieder andere Systeme konzentrieren sich auf den Bereich E-Learning oder sind als Streaming-Plattformen oder Archivportale konzipiert Daruumlber hinaus gibt es Loumlsungen die besondersdie Musikanalyse von Filmen unterstuumltzen wie das bereits erwaumlhnte in Basel entwickeltetrAVis25 oder sich auf Perfomances spezialisieren wie der innerhalb des European CollectedLibrary of Performing Arts (ECLAP) entwickelte MyStoryPlayer Noch andere Loumlsungen zielenauf die Erstellung interaktiver Narrationen ab sind Teil von Softwarepaketen zur qualitativenDatenanalyse werden in der Lehre eingesetzt oder dienen der Erstellung von UntertitelnDie folgende Auflistung zeigt Beispiele fuumlr Videoanalyse- und -annotationsloumlsungen inverschiedenen Anwendungsbereichen26

- Linguistische Analyse ELAN ANVIL EXMARaLDA- Medienanstalten Archive LinkedTV MediaGlobe- E-Learning Vortragsportale Catool AAVOpencast Matterhorn Alexander Street- Streaming Plattformen Archivportale Kaltura AV Portal

24 Die Links zu den hier aufgefuumlhrten Projekten und Softwareloumlsungen finden sich zusammen mitweiterfuumlhrenden Informationen in einem vom Autor zusammengestellten frei verfuumlgbaren Google Docs-Dokument Overview Video Annotation Tools25Vgl Abschnitt 12 Fuszlignote 426 Vgl Overview Video Annotation Tools


- Musik Performance trAVis MyStoryPlayer- Video Mediathread Pandora- Interactive storytelling Klynt HyperImage- Subtitling Speedtrans DotSub- Service based analysis Semex Videana

Alle Tools bieten im weiteren Sinne Annotationen an Viele fanden dabei auch elegante -aber eben doch bereichsspezifische Loumlsungen Keins deckt alle Bereiche ab

Es schien daher sinnvoll die Ergebnisse der eigenen Recherchen zu systematisierenund einer breiteren Community zur Einsicht und Ergaumlnzung zur Verfuumlgung zu stellenDaruumlber hinaus sollten in der Zusammenstellung auch inhaltliche Kriterien erfasst werdendie es Lesern erleichtern auf der Suche nach einer fuumlr sie geeigneten Software eigeneEntscheidungen zu treffen Dazu wurde auch erfasst ob ein Tool noch aktiv entwickelt wirdob der Sourcecode veroumlffentlicht wurde und ob es frei benutzbar ist Weiterhin war fuumlr unsrelevant ob es sich um ein online Tool handelt es kollaborativ nutzbar ist und ob es potentiellin andere Datenbanken integriert werden kann Es wurden auch (sehr grobe) Kategorienvergeben um die jeweilige rsaquoZielgruppelsaquo festzuhalten beispielsweise rsaquofilmstudieslsaquo rsaquolinguisticlsaquooder rsaquovideo platformlsaquo Schlieszliglich wurde auch erfasst welche Personen oder Institutionen dieEntwickler sind und ein kurzer Beschreibungstext aus den online Informationen entnommenIn den etwa fuumlnf Monaten unterschiedlich intensiver Recherchen kamen so knapp 60 Eintraumlgezusammen Das Dokument ist auf Google Docs veroumlffentlicht und kann von jedem Nutzereingesehen ergaumlnzt und bearbeitet werden27

25 Anforderungen an einzukuumlnftiges Videoannotationssystem

Bei den Recherchen kamen auch Ressourcen zum Vorschein in denen Anforderungenfuumlr Videoannotationssysteme formuliert werden Hier sind insbesondere die im Rahmen desHarvard Annotation Projektes zusammengestellten rsaquoRequirements of a Video AnnotationSystemlsaquo28 zu erwaumlhnen (Abbildung 11) die auch den Interessen und Zielen am HeidelbergerExzellenzcluster Asien und Europa sehr nahe kommen aber in der Praxis in dieser Art noch inkeiner Software verfuumlgbar sind

27 Link zum Dokument28 Requirements of a Video Annotation System Harvard Annotation Project 2010


Abb 12 Requirements of a Video Annotation System Quelle Harvard Annotation Project 2010 Mit

freundlicher Genehmigung

Ein solches Annotationssystem sollte lokal oder online verfuumlgbar sein und auf offeneDatenstandards setzen Dabei sollte das Interface erlauben Videos insgesamt oder in Teilenzu annotieren und Bilder oder andere Videos neben der Visualisierung der Soundspur alsOverlays moumlglich sowie gesprochener Text automatisch als rsaquobaseline annotationlsaquo verfuumlgbarsein Auszligerdem sollten Marker im Bild gesetzt werden koumlnnen und ihr Aussehen anpassbarsein wobei einfache geometrische Flaumlchen Linien und Polygone ebenso erwuumlnscht waumlrenwie kurze in Farbe Fuumlllung Strichstaumlrke usw anpassbare und moumlglichst mit der Zoomstufemitskalierende Text-Tags29

Viele dieser Anforderungen stimmen mit den Wuumlnschen der Nutzer am ExzellenzclusterAsien und Europa uumlberein Waumlhrend die Videoannotationen durch die Funktionalitaumlten inPandora gut abgedeckt sind ist besonders spannend wie nah viele der weiterfuumlhrendenPunkte den bereits im Moment verfuumlgbaren Features der ebenfalls im Cluster eingesetztenvirtuellen Forschungs- und Publikationsumgebung HyperImage und dessen durchsemantische Annotationen erweiterten Nachfolgers Yenda kommen30 Zwar sind diese Toolsim Moment noch auf Still Images beschraumlnkt aber die Einbeziehung von Bewegtbildern in dievielfaumlltigen Annotationsmoumlglichkeiten ist moumlglich und koumlnnte gemeinsam mit interessiertenKooperationspartnern entwickelt werden

Ein Bericht uumlber den Weg der Technischen Informationsbibliothek (TIB) von einerBedarfsanalyse hin zum im Fruumlhjahr 2014 gemeinsam mit dem Hasso-Plattner-Institutfuumlr Softwaresystemtechnik an der Universitaumlt Potsdam (HPI) eroumlffneten AV-Portal einerwebbasierten Plattform fuumlr audiovisuelle Medien wurde von Margret Plank auf der LIBERKonferenz 2012 vorgestellt und auf dem LIBER-Blog veroumlffentlicht31

29 Vgl Requirements of a Video Annotation System Harvard Annotation Project 201030 Offizielle Website des Open-Source-Projekts HyperImage ndash Eine virtuelle Forschungs- undPublikationsumgebung fuumlr den Bilddiskurs Yenda ndash Picture Knowledge Open-Source semantische virtuelleForschungsumgebung der bitGilde IT Solutions UG31 Plank 2012 (Der Blogbeitrag war leider im Oktober 2014 online nicht mehr erreichbar) Vgl auch Plank Weichert 2014


Das AV-Portal ist allerdings nicht fuumlr den Einsatz im Forschungsalltag vonGeisteswissenschaftlern konzipiert sondern raquooptimiert den Zugang zu und dieNutzung von wissenschaftlichen Filmen aus Technik und Naturwissenschaften wie zBComputeranimationen Vorlesungs- und Konferenzaufzeichnungenlaquo32 Die in diesen Serviceintegrierten Features wie automatische Sprach- und Texterkennung sowie Anreicherung mitsemantischen Informationen sind jedoch auch fuumlr die Nutzung uumlber die Naturwissenschaftenhinaus spannend und uumlberaus vielversprechend

26 Einbindung von Videoannotationen in Tamboti

Um die in der Datenbank enthaltenen Annotationen der Wissenschaftler uumlber daszentrale Suchinterface in Tamboti verfuumlgbar zu machen wurde als rsaquoProof-of-conceptlsaquo bereitseine Anbindung der Metadaten implementiert Dabei werden die Metadaten aus derentsprechenden srt-Spur als ltrelatedItemgt in den MODS Eintrag des Videos integriert DerInhalt der Annotation wird im Subelement ltnotegt und die Zeitspanne in ltpartgt ausgegebenDies ist eine Loumlsung die fuumlr Objektmetadaten inklusive Untertiteln noch sinnvoll erscheint beigleichzeitigem mapping von Nutzerannotationen nach MODS aber zu einer Uumlberfrachtung desEintrags fuumlhrt Hier ist in Zukunft eine Trennung von Objektmetadaten (MODS) und Annotation(OADM)33 angestrebt

Abb 13 Schematische Darstellung der Notation von Annotationen in MODS copy Arnold 2015 CC-Lizenz 0

32 Erlaumluterungen zum AV-Portal der TIB Hannover33 Open Annotation Data Model Das Datenmodell wurde im Rahmen der Open Annotation Collaborationentwickelt Zum Einsatz von OADM bei der Annotation von Multimedia Objekten und fuumlr einen Vergleich mitanderen Annotationsmodellen vgl Haslhofer et al 2014 passim


Abb 14 Beispiel einer Annotation in MODS Screenshot erstellt am 30102014 copy HRA CC-Lizenz 0

Abb 15 Anzeige von Video Annotationen in einem Tamboti Datensatz Screenshot erstellt am 30102014 copy

HRA CC-Lizenz 0

Dank dieser Erweiterung des Metadatenframeworks ist es moumlglich in Tamboti parallel inMetadaten und Annotationen von Videos Bildern Texten und bibliographischen Datensaumltzenzu suchen


Abb 16 Eine Tamboti-Suche nach rsaquoKrishnalsaquo ergibt Treffer in verschiedenen Medien und Datenformaten

Bildmetadaten (VRA Core 4) bibliographische Daten (MODS) Videoannotationen (related items in MODS)

Textannotationen (TEI) Screenshot erstellt am 30102014 copy Arnold CC-Lizenz 0

27 Ausblick

Es gibt noch eine ganze Reihe von Features die fuumlr unterschiedliche Anwendungsszenarienin Forschung und Lehre wuumlnschenswert erscheinen34 Diese sind natuumlrlich nicht auf denEinsatz in der (digitalen) Kunstgeschichte oder die Geschichtswissenschaft beschraumlnktsondern auf viele Bereiche der geisteswissenschaftlichen Forschung anwendbar ob dasnun das (semi-)automatische Erkennen und Verfolgen von Gesichtern Gegenstaumlnden bzwMustern im Film oder Standardisierungen bei den Metadaten und Annotationen betrifft35 DasGeschaumlftsmodell das hinter Pandora steht macht es sehr wahrscheinlich dass diese undandere Features implementiert werden koumlnnen da die Kosten nicht von einer Institution odereinem Projekt alleine getragen werden muumlssen

Was die Weiterentwicklung im Rahmen des Exzellenzclusters angeht so stehen dieEinbindung kontrollierter Vokabulare fuumlr Schlagworte und Personen sowie die dynamischeAnbindung an das Metadatenframework Tamboti auf der Agenda Ebenso soll beimDatenaustausch zwischen Videoobjekt-Metadaten (zB als MODS Repraumlsentation) undNutzerannotationen (im Open Data Annotation Model) unterschieden werden auch um eineUumlberfrachtung der Objektmetadaten zu vermeiden

28 Nachtrag

Die Vorstellung des Projekts und der Austausch mit den Kollegen auf der DHd 2014 inPassau erwies sich als uumlberaus fruchtbar Fabian Cremer beschrieb das Projekt in seinem DHd-Blogbeitrag als raquoidealtypischlaquo und raquonicht nur leichtgaumlngiger sondern auch nachhaltigerlaquo36

Anfang Juni 2014 organisierte die Heidelberg Research Architecture einen Round TableAnnotation von digitalen Medien im Heidelberger Karl Jaspers Centre mit Teilnehmernverschiedener Fachdisziplinen aus Berlin Darmstadt Essen Heidelberg und Rom 37 EinFolgeworkshop fand im Fruumlhjahr 2015 unter Federfuumlhrung des DARIAH-DE Cluster 6 ResearchAnnotations statt38Daruumlber hinaus wurde die im Artikel vorgestellte Zusammenstellung vonVideoannotationstools in die im Rahmen des DARIAH-DE Cluster 6 erarbeitete Liste vonAnnotationstools eingearbeitet Diese soll auch an das DIRT-Verzeichnis weitergegeben unddamit einem noch breiteren Nutzerkreis verfuumlgbar gemacht werden

34 Fuumlr einen Einblick in den Bereich Lehre vgl Lemon et al 2013 passim35 Alles Themen die derzeit Gegenstand von Forschungsprojekten oder in Websites wie dem AV Portal bereitsverfuumlgbar sind Vgl Nixon Troncy 2014 S 11ndash15 und 18ff36 Cremer 201437 Borek Reiche 201438Programm [online]


Bibliographische AngabenActivists Guide to Archiving Video Version 10 (July 2013) [online] [Nachweis im GBV]

Annotations at Harvard ndash Video Annotations Harvard Annotation Project 2010 [online]

Matthias Arnold Overview Video Annotation Tools [online]

Luise Borek Ruth Reiche Round Table rsaquoAnnotation von digitalen Medienlsaquo In DHd-Blog vom 29 Juli 2014 [online]

Frank Bruder Pop-Splits ndash Die besten Songs aller Zeiten und ihre Geschichte Berlin 2004 [Nachweis im GBV]

Fabian Cremer Erfolg und Emergenz in den Digital Humanities ndash ein Tagungseindrucksausschnitt In DHd-Blog vom 29 Maumlrz2014 [online]

Gabriel Garciacutea Maacuterquez Ein sehr alter Mann mit riesengroszligen Fluumlgeln (Un senor muy viejo con unas alas enormes) In GabrielGarciacutea Maacuterquez Laubsturm FrankfurtMain 2004 [Nachweis im GBV]

Global Politics on Screen A Japanese Film on the Lytton Commission in 1932 [online]

Bernhard Haslhofer Robert Sanderson Rainer Simon Herbert van de Sompel Open Annotations on Multimedia WebResources In Multimedia Tools and Applications 70 (2014) H 2 S 847ndash867 doi101007s11042-012-1098-9 [Nachweis imGBV]

Henry Keazor Thorsten Wuumlbbena Video thrills the Radio Star Musikvideos Geschichte Themen Analysen 3 AuflageBielefeld 2011 (zuerst 2005) [Nachweis im GBV]

Kunstgeschichte Musikvideo und Bildwissenschaften Eine Einfuumlhrung Come ride with me through the veins of history Hgvon Henry Keazor Berlin 2014 [online]

Narelle Lemon Meg Colasante Karen Corneille Kathy Douglas Video Annotation for Collaborative Connections to LearningCase Studies from an Australian Higher Education Context In Increasing Student Engagement and Retention Using MultimediaTechnologies Video Annotation Multimedia Applications Videoconferencing and Transmedia Storytelling Hg von Laura AWankel Patrick Blessinger 2013 S 181ndash214 (= Cutting-Edge Technologies in Higher Education 6 Part F) [Nachweis im GBV]

Bernard Marcadeacute Dan Cameron Pierre et Gilles ndash The Complete Works 1976ndash1996 Koumlln 1997 [Nachweis im GBV]

Lyndon Nixon Raphael Troncy Survey of Semantic Media Annotation Tools ndash towards New Media Applications with LinkedMedia Paper presented at the Linked Media Workshop European Semantic Web Conference am 25 Mai 2014 [online]

Margret Plank A Portal for Scientific Audiovisual Media Analysing User Needs In LIBER 3 Oktober 2012 [online]

Margret Plank Steffen Weichert Donrsquot Forget the Users ndash Developing a Portal for Audiovisual Media with a User-CentredApproach In IFLA WLIC 2014 Libraries Citizens Societies Confluence for Knowledge (Session 139 - Audiovisual andMultimedia with Information Technology) Lyon 16ndash22 August 2014 [online]

Rewind ndash Play ndash Fast Forward The Past Present and Future of the Music Video Hg von Henry Keazor Thorsten WuumlbbenaBielefeld 2010 [online]

Abbildungslegenden und -nachweiseAbb 1 Startseite von Pandora Screenshot erstellt am 17062015 copy HRA CC-Lizenz 0

Abb 2 (a-d) Stills aus dem Clip Losing My Religion ndash Saumlnger Michael Stipe mit Fluumlgeln und weitere Szenen (beispielhaft) mit demMotiv der Engelsfluumlgel in der Editor-Ansicht von Pandora jeweils mit dem Tag rsaquoEngelsfluumlgellsaquo versehen (vgl im rechten Bereichden Punkt rsaquoKeywordslsaquo) Quelle HRA Warner Bros erstellt am 12102014

Abb 3 Link aus Pandora zum Bilddatenbanksystem ConedaKOR Quelle HRA KGI (FrankfurtMain) Warner Bros erstellt am12102014

Abb 4 Entitaumltsansicht in ConedaKOR Michelangelo Merisi da Caravaggio Verzuumlckung des heiligen Franziskus um 1595Hartford Wadsworth Atheneum Museum of Art Quelle KGI (FrankfurtMain) Web Gallery of Art erstellt am 12102014

Abb 5 Interner Link bzw Einbettung Michelangelo Merisi da Caravaggio Die sieben Werke der Barmherzigkeit 1607 NeapelChiesa del Pio Monte della Misericordia Quelle HRA KGI (FrankfurtMain) Web Gallery of Art Warner Bros erstellt am12102014

Abb 6 Link bzw Einbettung Michelangelo Merisi da Caravaggio Der unglaumlubige Thomas 1603 Potsdam Bildergalerie SchlossSanssouci Quelle HRA KGI (FrankfurtMain) Web Gallery of Art Warner Bros erstellt am 12102014

Abb 7 Einbettung Pierre amp Gilles St Sebastian 1987 Quelle HRA KGI (FrankfurtMain) Art Forum Warner Bros erstellt am12102014


Abb 8 Interner Bezug durch Tagging verdeutlicht durch eine farbige Kennzeichnung auf der unteren Timeline (in diesem FallrsaquoArbeiterlsaquo) Quelle HRA Warner Bros erstellt am 12102014

Abb 9 Einbettung Abbildungen des Tanzes von V Nijinsky zu Jeux Quelle HRA KGI (FrankfurtMain) Warner Bros erstellt am12102014

Abb 10 Interner Link zur korrespondierenden Filmszene aus The Cell 2000 (Director Tarsem Singh) Quelle HRA KGI(FrankfurtMain) Warner Bros New Line Cinema (theatrical) Warner Home Video (DVD) erstellt am 12102014

Abb 11 Gegenuumlberstellung eines Kartenausschnitts aus dem Kommissionsbericht und eines Screenshots der LocationAnnotationsspur in Pandora Quelle Route Maps Itineraries of the Commission in the Far East (League of Nations (ed)Appeal by the Chinese Government Report of the Commission of Enquiry Appendix Maps No 13 and 14 Geneva League ofNations 1932)

Abb 12 Requirements of a Video Annotation System Quelle Harvard Annotation Project 2010 Mit freundlicherGenehmigung



Abb 15 Anzeige von Video Annotationen in einem Tamboti Datensatz Screenshot erstellt am 30102014 copy HRA CC-Lizenz 0

Abb 16 Eine Tamboti-Suche nach rsaquoKrishnalsaquo ergibt Treffer in verschiedenen Medien und Datenformaten Bildmetadaten (VRACore 4) bibliographische Daten (MODS) Videoannotationen (related items in MODS) Textannotationen (TEI) Screenshoterstellt am 30102014 copy Arnold CC-Lizenz 0

1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2



23 Einsatz am Exzellenzcluster Asien und Europa ndash Global Politics on Screen


25 Anforderungen an ein zukuumlnftiges Videoannotationssystem


27 Ausblick

28 Nachtrag

Bibliographische Angaben

Abbildungslegenden und -nachweise


Thorsten Wuumlbbena Eric Decker Matthias Arnold

raquoLosing My Religionlaquo ndash Einsatz der VideoannotationsdatenbankPandora in der kunstgeschichtlichen Analyse von Musikvideos

Abstracts

In dem vorliegenden Beitrag werden die Moumlglichkeiten sowie der daraus resultierendeMehrwert der Anwendung einer webbasierten Datenbank fuumlr Videoannotationen (Pandora) in der kulturwissenschaftlichen Untersuchung von Bewegtbildmaterial beleuchtet Dererste Teil beschaumlftigt sich am Beispiel eines Musikvideos konkret mit einer Anzahl vonNutzungsmoumlglichkeiten waumlhrend der anschlieszligende zweite Teil das verwendete System ineinen allgemeineren Kontext einbettet

In this paper we discuss the possibilities as well as the added value of using a web-baseddatabank for video annotation (Pandora) in cultural studies research on film The first partdemonstrates a variety of potential uses through the example of a music video and the secondpart introduces the software on a more general level

1

11 Intro

Im ersten Teil des Beitrags1 zur Nutzung der Videoannotationsplattform Pandora ndash Openmedia archive 2 im kulturwissenschaftlichen Kontext wird der Schwerpunkt auf den (mit diesemWerkzeug) zu bearbeitenden Bewegtbildinhalten ndash in diesem Fall Musikvideos ndash und den damitverbundenen Forschungsfragen liegen waumlhrend Matthias Arnold und Eric Decker von HRAder Heidelberg Research Architecture im sich daran anschlieszligenden zweiten Teil die dahinterliegenden technischen Aspekte und die globaleren Moumlglichkeiten darstellen und diskutierenwerden Zusammengenommen soll am Ende deutlich werden dass durch die Verzahnungder Informationstechnologie mit der Fachwissenschaft ein Mehrwert erreicht werden kannder durch analoge Moumlglichkeiten nicht haumltte erzielt werden koumlnnen ndash sozusagen ein geradezuidealtypisches Modell aus dem Gebiet der Digital Humanities


1 Autor dieses Teils ist Thorsten Wuumlbbena2 Pandora ist eine Online-Applikation die es ndash kurz gesagt ndash mehreren Nutzern gleichzeitig erlaubt freigewaumlhlte Abschnitte eines Videos mit unterschiedlichen Arten von Annotationen (Layer oder Spuren)zu versehen Durch diese Annotationen ist es moumlglich sowohl einzelne Sequenzen als auch saumlmtlicheSzenen zu einer Thematik direkt uumlber eine URL zu referenzieren Jede Spur enthaumllt zeitreferenzierteAnnotationen eines bestimmten Typs und neben Text koumlnnen auch georeferenzierte Ortsinformationen undBilder hinzugefuumlgt werden Mit seiner integrierten Rechteverwaltung erlaubt es das System Filme gezieltbestimmten Nutzergruppen zugaumlnglich zu machen oder Filme samt Annotationen frei zugaumlnglich zu machen














14 Pandora








am 12102014



Abb 2b

Abb 2c

Abb 2d

















am 12102014









Abb 8b





Abb 9b






Abb 10b


15 Vorteile






16 Things-To-Do






2







































































HRA CC-Lizenz 0






27 Ausblick



28 Nachtrag







































1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2







27 Ausblick

28 Nachtrag
















14 Pandora








am 12102014



Abb 2b

Abb 2c

Abb 2d

















am 12102014









Abb 8b





Abb 9b






Abb 10b


15 Vorteile






16 Things-To-Do






2







































































HRA CC-Lizenz 0






27 Ausblick



28 Nachtrag







































1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2







27 Ausblick

28 Nachtrag




Abb 2b

Abb 2c

Abb 2d

















am 12102014









Abb 8b





Abb 9b






Abb 10b


15 Vorteile






16 Things-To-Do






2







































































HRA CC-Lizenz 0






27 Ausblick



28 Nachtrag







































1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2







27 Ausblick

28 Nachtrag

















am 12102014









Abb 8b





Abb 9b






Abb 10b


15 Vorteile






16 Things-To-Do






2







































































HRA CC-Lizenz 0






27 Ausblick



28 Nachtrag







































1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2







27 Ausblick

28 Nachtrag






Abb 8b





Abb 9b






Abb 10b


15 Vorteile






16 Things-To-Do






2







































































HRA CC-Lizenz 0






27 Ausblick



28 Nachtrag







































1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2







27 Ausblick

28 Nachtrag




Abb 9b






Abb 10b


15 Vorteile






16 Things-To-Do






2







































































HRA CC-Lizenz 0






27 Ausblick



28 Nachtrag







































1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2







27 Ausblick

28 Nachtrag




15 Vorteile






16 Things-To-Do






2







































































HRA CC-Lizenz 0






27 Ausblick



28 Nachtrag







































1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2







27 Ausblick

28 Nachtrag




2







































































HRA CC-Lizenz 0






27 Ausblick



28 Nachtrag







































1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2







27 Ausblick

28 Nachtrag


































































HRA CC-Lizenz 0






27 Ausblick



28 Nachtrag







































1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2







27 Ausblick

28 Nachtrag







27 Ausblick



28 Nachtrag







































1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2







27 Ausblick

28 Nachtrag






































1

11 Intro



14 Pandora

15 Vorteile

16 Things-To-Do

2







27 Ausblick

28 Nachtrag



Zeitschrift für digitale...

Documents

Transcript of Zeitschrift für digitale...