HAUPTBEITRAG

https://doi.org/10.1007/s00287-020-01297-wInformatik Spektrum (2020) 43:425–435

Immersives verteiltes Robotic Co-working

Der Festakt zum Informatik-Jubiläum 2019mit Mixed-Reality-Fallstudie

Ronny Seiger1 · Uwe Aßmann2,3 · Dominik Grzelak2,3 · Mikhail Belov2 · Paul Riedel2 · Ariel Podlubne2,3 ·Wanqi Zhao2 · Jens Kerber4 · Jonas Mohr5 · Fabio Espinosa5 · Tim Schwartz5

Online publiziert: 2. September 2020© Der/die Autor(en) 2020

ZusammenfassungIm zukünftigen taktilen Internet wachsen die physische und virtuelle Welt auch über mehrere Standorte hinweg immerweiter zusammen. Robotic Co-working – das gemeinsame Kollaborieren von Robotern und Menschen – gewinnt dabeizunehmend im Kontext des Internet der Dinge (IoT) und cyber-physischer Systeme (CPS) an Bedeutung. Mit dieserArbeit präsentieren wir eine Fallstudie, die anlässlich des 50-jährigen Jubiläums des Informatikstudiums in Deutschlanddurchgeführt wurde. In dieser arbeiten Menschen und Roboter über mehrere Standorte verteilt in einer virtuellen Co-Wor-king-Zelle zusammen, um einen „physischen und virtuellen Informatik-Deutschland-Campus 2069“ zu konstruieren. UnterNutzung von Sensorik, Aktuatorik und Software wird der cyber-physische Campus, von einem Workflow gesteuert, schritt-weise errichtet. Mithilfe einer Mixed-Reality-Anwendung kann dieser Prozess immersiv, d.h. eintauchbar und interaktiv,unabhängig von einem konkreten Standort erlebt werden.

Einleitung

2019 wurde die Informatik in Deutschland 50 Jahre alt. Esist also Zeit zurückzuschauen, unsere Disziplin zu reflek-tieren und gleichzeitig ihre Zukunft zu überdenken. Meh-

� Ronny Seigerronny.seiger@unisg.ch

Uwe Aßmannuwe.assmann@tu-dresden.de

Dominik Grzelakdominik.grzelak@tu-dresden.de

Mikhail Belovmikhail.belov@tu-dresden.de

Paul Riedelpaul.riedel@tu-dresden.de

Ariel Podlubneariel.podlubne@tu-dresden.de

Wanqi Zhaowanqi.zhao@tu-dresden.de

Jens Kerberkerber@mpi-inf.mpg.de

Jonas Mohrjonas.mohr@dfki.de

rere zu diesem wichtigen Ereignis gehörige Jubiläen wur-den gefeiert. Dieser Beitrag berichtet über den Festtag zum50-jährigen Jubiläum der Informatikstudiengänge, der am19.06.2019 von mehreren deutschen Informatikfakultätenund dem BMBF (Bundesministerium für Bildung und For-

Fabio Espinosafabio.espinosa@dfki.de

Tim Schwartztim.schwartz@dfki.de

1 Institute of Computer Science, Universität St.Gallen,Rosenbergstraße 30, 9000 St.Gallen, Schweiz

2 Fakultät Informatik, Technische Universität Dresden,Dresden, Deutschland

3 Zentrum für taktiles Internet mitMensch-Maschine-Interaktion (CeTI),Nöthnitzer Str. 46, 01187 Dresden, Deutschland

4 Kompetenzzentrum Informatik Saarland (KIS), Saarbrücken,Deutschland

5 Saarland Informatics Campus, Deutsches Forschungszentrumfür Künstliche Intelligenz (DFKI), 66123 Saarbrücken,Deutschland

K

426 Informatik Spektrum (2020) 43:425–435

schung) zusammen begangen wurde, sowie über den dabeidurchgeführten verteilten Festakt, der weit in die Zukunftweist.

Wir alle können jeden Tag in unserem Alltag und unsererArbeitswelt sehen, dass die Informatik die Welt in den letz-ten 50 Jahren stark verändert hat. Während vor 50 Jahrenhauptsächlich die Konstruktion und Nutzung von Informati-onssystemen im Vordergrund stand, lassen sich heute, dankzunehmender Miniaturisierung, Mikroprozessoren, Senso-ren und Aktuatoren in Maschinen und Alltagsgegenständeeinbetten und immer komplexere, ubiquitäre Anwendun-gen realisieren (Internet der Dinge – IoT). Informatik spieltheute dabei eine immer wichtigere Rolle, da mit Softwaresogar Rückkopplungen zwischen der physischen und virtu-ellen Welt ermöglicht werden (cyber-physische Systeme –CPS) [1].

Um die Leistungsfähigkeit und zukünftige Chancen derKonzepte und Technologien der Informatik zu demonstrie-ren, wurde zum 50-jährigen Jubiläum der Informatikstu-diengänge in Deutschland im Juni 2019 ein gemeinsamerFestakt gestaltet, untermalt durch eine Fallstudie mit ver-teiltem Mixed-Reality Robotic Co-working [2]. Mit diesemprototypischen CPS, einer prozessgetriebenen, verteiltenCo-Working-Zelle, ist ein erster Schritt zu einer immersi-ven, d.h. in die entfernte Umgebung eintauchender, ver-teilter Mensch-Roboter-Kollaboration gelungen (Human-Robot-Collectives [3], Hybride Teams [4]).

Der im Folgenden beschriebene Demonstrator vereintKonzepte und Technologien aus den Bereichen IoT/CPS,Robotik, Softwaretechnik, verteilte Systeme und MixedReality, um einen „virtuellen Deutschland-Campus der In-formatik 2069“ durch die Interaktion von Menschen undRobotern an mehreren Standorten verteilt gemeinsam ent-stehen zu lassen. Nachfolgend werden, nach einem kurzengeschichtlichen Abriss zu 50 Jahren Studiengänge Infor-matik (Abschn. 2), das konkrete Co-Working-Szenario(Abschn. 3), der zugehörige Mensch-Roboter-Co-Working-Workflow (Abschn. 4), die Architektur der verteilten Co-Working-Zelle (Abschn. 5) und die hierfür entwickelteMixed-Reality-Anwendung (Abschn. 6) näher beschrie-ben. Doch zunächst mehr zum Anlass des Festaktes, derGeschichte der Informatikstudiengänge (Abschn. 2).

50 Jahre Studiengänge Informatik

Im Jahre 1969 starteten mehrere Universitäten in Deutsch-land, sowohl imWesten als auch im Osten, ihre Studiengän-ge zum Thema Informatik (im Osten damals noch „Infor-mationsverarbeitung“ genannt) [5]. Fünf dieser Early Birdsfeierten im 19. Juni 2019 dieses 50-jährige Jubiläum mitdem BMBF zusammen: die Technische Universität Dres-den, die Technische Universität München, die Universität

Karlsruhe, die Universität des Saarlandes sowie die Techni-sche Universität Darmstadt. Mit einem Vortragsprogramm,das sowohl zentrale, in alle Standorte ausgestrahlte Vorträgeals auch dezentrale Teile enthielt, wurde in allen Standortengefeiert. Von den Videomitschnitten der Veranstaltung wur-de ein Youtube-Kanal gefüllt [6].

Die den Autoren bekannten historischen Daten lautenwie folgt [5]. Am 01.10.1969 begannen die UniversitätKarlsruhe, die Technische Universität München, die Techni-sche Universität Darmstadt und die Universität Saarbrückenihre Informatikprogramme; sowie die Technische Univer-sität Dresden den Studiengang Informationsverarbeitung.Diese Gründungswelle war zwei Förderprogrammen zu ver-danken:

� Im Westen lief das Überregionale ForschungsprogrammInformatik (ÜRF), das 110 Professuren imWesten instal-lierte [5, 7] (Bundesministerium Forschung und Techno-logie, Start 1968, Leitung Prof. R. Piloty aus Darmstadt,ab 1971 Prof. G. Goos aus Karlsruhe).

� Im Osten wurde der Beschluss vomMinisterrat der DDR,03. Juli 1964, „Programm zur Entwicklung, Einführungund Durchsetzung der maschinellen Datenverarbeitungin der DDR in den Jahren 1964 bis 1970“ umgesetzt(SAPMO-BArch, DY 30/J IV 2/2/936, Bl. 37-160).

Da das BMBF intensiv in die Entwicklung involviert ist,begrüßte Staatssekretär C. Luft den Festakt. Bundeskanzle-rin A. Merkel sandte den Informatikern der Republik ein Vi-deogrußwort, das auf dem speziell eingerichteten Youtube-Channel verfügbar ist [8]. Der sächsische MinisterpräsidentM. Kretschmer übernahm die Schirmherrschaft des Festta-ges in Dresden, sowie die Wissenschaftsministerin von Ba-den-Württemberg, T. Bauer, in Karlsruhe. Weitere Teilneh-mer des Festaktes waren in Dresden Kanzler A. Handschuh,in München TU Vizepräsident Prof. G. Müller, Dekan Prof.H.-J. Bungartz, Prodekan Prof. M. Bichler, in Karlsruhe De-kan Prof. B. Beckert und der Roboter ARMAR-VI, in Saar-brücken Universitätspräsident Prof. M.J. Schmitt und De-kan Prof. S. Hack, sowie in Darmstadt Dekan Prof. F. Wolfund Prof. M. Fischlin [9]. Die folgenden Festvorträge wur-den gehalten:

� Prof. H. Federrath mit einem Grußwort der Gesellschaftfür Informatik (GI) [10]

� Prof. S. Haddadin (TU München) [11]� Prof. G. Myers (TU Dresden, MPI CBG Dresden) [12]� Prof. M Waidner (TU Darmstadt) [13]� Prof. G. Goos (KIT) [7]� Prof. S. Nusser (TU München) [14]� Prof. P. Slusallek (Uni Saarland) [15].

Die einzelnen Standorte waren durch ein verteiltes Vi-deokonferenzsystem live miteinander verbunden („Informa-tik verbindet Menschen“). Sie agierten zusammen durch

K

Informatik Spektrum (2020) 43:425–435 427

eine verteilte Co-Working-Zelle („Informatik wirkt fern“)und fanden in einem verteilten Workflow dabei zusammen(„Informatik steuert die Welt“). Die ganze Szene konnteauch in Mixed Reality erlebt werden („Informatik erweitertunseren Horizont“).

Co-Working-Szenario des symbolischencyber-physischen Informatik-CampusDeutschland 2069

Am Festakt zum 50-jährigen Jubiläum der Informatikstu-diengänge, einem Szenario des Mensch-Roboter-Co-Wor-king, waren insgesamt sechs Standorte in Deutschland be-teiligt. Sie bildeten im Demonstrator eine virtuelle Co-Wor-king-Zelle, um einen symbolischen „Informatik-Deutsch-land-Campus 2069“ zusammenzusetzen, sowohl in der vir-tuellen als auch physischen Welt, also einen „cyber-physi-

Abb. 1 Akteure in den verteiltenStandorten der Co-Working-Zel-le

Dresden

Berlin

Karlsruhe München

Saarbrücken

DarmstadtVirtuelle Co-Working-Zelle

Abb. 2 a Komponenten einesCube-it; b Cube-it für einenStandort

schen“ Campus. Die Robotikzelle bestand aus sechs Sub-zellen für die individuellen Standorte, Eingabeplätze, dieden globalen Co-Working-Workflow weiterschalten. Dabeiwaren in drei dieser Zellen Roboter vorhanden, die Aktio-nen der menschlichen Akteure synchronisiert nachgeahmthaben (Ausgabeplätze). In drei Subzellen gab es ausschließ-lich Eingabeplätze. Abb. 1 illustriert das Szenario.

Die Personen, die an einem Eingabeplatz arbeiten, nut-zen eine modulare Sensorbox (sog. Cube-it [16]) als Inter-aktionsgerät. Diese Cube-its beinhalten einen NFC(„NearField Communication“)-Leser, LEDs zur Statusanzeige, einWifi-Modul sowie einen Mikroprozessor und entsprechendemobile Stromversorgung. Abb. 2a zeigt die einzelnen Kom-ponenten eines Cube-its und Abb. 2b zeigt einen zusam-mengebauten Cube-it. Die sensitiven Roboterarme (Mo-dell: Franka Emika Panda [17]) interagieren mit Cube-itsin abgewandelter Konfiguration ohne NFC-Leser (Roboter-Cube-its).

K

428 Informatik Spektrum (2020) 43:425–435

Abb. 3 Co-Worker an den sechs verteilten Standorten in Deutschland

Die Personen der Eingabeplätze nutzen den ihren Stand-ort repräsentierenden Cube-it und setzen ihn auf eine sche-matisch abgebildete Deutschlandkarte auf einen Tisch („in-telligente“ Karte eines Eingabeplatzes der Co-Working-Zel-le). Die Karte des Eingabeplatzes ist mit einem NFC-Tagam entsprechenden Standort präpariert, um das Aufsetzendes Cube-it registrieren zu können. Dieses Ereignis vor Ortschaltet den globalen Workflow der Robotikzelle weiter,indem der nächste Standort zu einem Grußwort und Einga-beaktion aufgerufen wird. Das Aufsetzen des Cube-it aufdie Deutschlandkarte wurde als Eingabeereignis des Work-flows ausgewählt, weil die Beteiligung eines Standorts amFestakt durch eine einfache symbolische Handlung darge-stellt werden sollte. Unter den Co-Workern befanden sichzur offiziellen Demonstration die Vertreter aus Politik undWissenschaft (siehe Abb. 3):

� Staatssekretär Christian Luft In Berlin,� Ministerpräsident Michael Kretschmer in Dresden,� Prof. Ralf Reussner in Karlsruhe,� Universitätspräsident Prof. Manfred Schmitt in Saar-

brücken,� Universitätsvizepräsident Prof. Gerhard Müller in Mün-

chen,� Studiendekan des Fachbereichs Informatik Prof. Marc

Fischlin in Darmstadt,

sowie der Roboter ARMAR-VI am Standort Karlsruhe. Al-le beteiligten Personen und ihre Einbindung in den globalen

Workflow der Zelle waren live in allen Hörsälen der Stand-orte zu sehen (siehe Abb. 3).

Die verteilte Co-Working-Zelle besitzt nicht nur Einga-beplätze, sondern auch Ausgabeplätze. Dazu sind in meh-reren Standorten (Dresden, München, Saarbrücken) Robo-terarme auf einem dedizierten Tisch aufgebaut, auf wel-chem ebenfalls eine Deutschlandkarte angebracht ist („in-telligente“ Karte des Ausgabeplatzes). Weiterhin sind hiersechs, die Standorte repräsentierende Cube-its aufgestellt,die nacheinander durch den Roboter auf die entsprechen-den Punkte auf der Karte transportiert und abgestellt werdensollen. Abb. 4 zeigt diesen Aufbau der Ausgabeplätze derRoboterzelle.

Abb. 4 Aufbau des Ausgabeplatzes der Co-Roboterzelle

K

Informatik Spektrum (2020) 43:425–435 429

Abb. 5 Gesamter Co-Working-Workflow

Im Co-Working-Szenario setzen letztendlich diemenschlichen Co-Worker nacheinander am jeweiligenStandort den Cube-it auf den entsprechenden Punkt auf derDeutschlandkarte. Diese Aktion wird an allen Standortenmit einem verfügbaren Roboterarm wiederholt. Der Reigenbegann in Dresden, setzte sich über München, Karlsruhe,Darmstadt, Saarbrücken fort bis zum BMBF in Berlin. Ineiner Mixed-Reality-Anwendung können Interessierte anden Standorten den schrittweisen Aufbau des virtuellenInformatik-Campus auf der Deutschlandkarte betrachten.Es ist wichtig zu bemerken, dass der Workflow, einmal vonDresden aus gestartet, automatisch abläuft; die Co-Wor-ker des Workflow schalten ihn weiter, wobei die Roboterder Ausgabeplätze das gesamte „Puzzle“ des „virtuellenund physischen Informatik-Campus Deutschland 2069“ aufihrer jeweiligen Deutschlandkarte Stück um Stück zusam-mensetzen. Ein Video zur Illustration des Gesamtablaufsdes Demonstrators ist unter [9] zu finden.

Mensch-Roboter-Co-Working-Workflow

Bei dem gemeinsamen durchgeführten Prozess handelt essich um einen cyber-physischen Workflow [18], in dem inder virtuellen als auch physischen Welt agiert wird, um denvirtuellen und physischen Informatik-Deutschland-Campus2069 schrittweise aus einzelnen Bausteinen zu errichten.

Die Cube-its repräsentieren hier die physischen Standorte.Abb. 5 zeigt den Gesamtworkflow für die Errichtung desDeutschland-Informatik-Campus 2069 als BPMN 2.0-Mo-dell. In Dresden wird die Gesamtausführung des Prozesseskoordiniert. Nach dem Start des Prozesses wird der Sub-prozess für das Platzieren der Cube-its in Dresden ausge-führt und gewartet, bis alle Roboter die Cube-its der Aus-gabeplätze platziert haben. Diese Subprozesse werden inder Sequenz München, Karlsruhe, Saarbrücken, Darmstadtund Berlin gestartet und ausgeführt. Nachdem die Plat-zierung in Berlin abgeschlossen ist, werden in Dresdenüber die Mixed-Reality-Anwendung alle Cube-its des cy-ber-physischen Informatik-Campus durch einen Nutzer miteiner Geste im Mixed-Reality-Raum aktiviert, d.h., zumLeuchten gebracht (siehe Abschn. 6). Anschließend begin-nen gleichzeitig alle LEDs in den Cube-its zu blinken undein Festfeuerwerk wird in der Mixed-Reality-Brille gestar-tet. Der Co-Working-Prozess ist danach beendet.

Der spezifische Subprozess für den aktiven Standort inVerbindung mit den Aktivitäten der Roboter ist in Abb. 6dargestellt. Nach einem Startereignis, gefolgt vom Auf-leuchten der LEDs im Cube-it am aktiven Standort be-ginnt der menschliche Akteur damit, den Cube-it auf diepräparierte Deutschlandkarte an der entsprechenden Stelleabzustellen. Der NFC-Sensor im Cube-it registriert diesesPlatzieren und eine Nachricht wird an alle Roboter an denStandorten geschickt. Diese Nachricht beinhaltet das er-

K

430 Informatik Spektrum (2020) 43:425–435

Abb. 6 Subprozess am aktiven Standort und den Robotern

kannte Platzieren und den aktiven Standort. Anschließendwird überprüft, ob der aktive Standort über einen Roboterverfügt. Falls dem so ist, wird der Roboter instruiert, denCube-it für den aktiven Standort auf der zweiten Deutsch-landkarte zu platzieren. Falls dem nicht so ist, wird der Sub-prozess beendet. An den anderen Standorten mit Roboternwird die Nachricht über das erfolgreiche Platzieren durchden menschlichen Co-Worker empfangen und der Cube-itfür den in der Nachricht enthaltenen aktiven Standort eben-falls durch die Roboter platziert. Der zentrale Koordina-tor wartet auf Nachrichten von allen involvierten Roboternüber das erfolgreiche Platzieren des Cube-it für den aktivenStandort und aktiviert anschließend den Subprozess für dennächsten Standort.

Das Platzieren der Cube-its durch die Roboter erfolgtüber das Abspielen von vorher angelernten Bewegungskur-ven, um feste Positionen anzufahren. Es findet an dieserStelle keine automatische Erkennung der Cube-its statt. Er-eignisse aus den jeweiligen verteilten Subprozessen wer-den genutzt, um den globalen Workflow an diskreten Stel-len zu synchronisieren, z.B. durch Events vom NFC-Le-ser und Statusnachrichten der einzelnen Roboter. Auch beiunterschiedlichen Geschwindigkeiten der Roboterbewegun-

gen wartet der Koordinator auf die Bestätigung aller Robo-ter darüber, dass das Platzieren eines Cube-it abgeschlossenist, um dann mit dem Ausführen des globalen Workflowsfortzufahren.

Architektur der Verteilten Co-Working-Zelle

Die der verteilten Co-Working-Zelle unterliegende System-architektur ist in Abb. 7 dargestellt. Grundsätzlich gibt eseinen koordinierenden Cloud Server sowie dedizierte Con-troller für den Roboter und die Cube-its. Diese sind entspre-chend der verfügbaren Hardware an den Standorten (mitoder ohne Roboter) instanziiert. Die Kommunikation zwi-schen Standorten und dem Cloud Server erfolgt nachrich-tenbasiert mithilfe des RabbitMQ Message Brokers [19].Nachrichten sind im JSON-Format beschrieben.

Alle Standorte sind mit dem zentralen RabbitMQ Serverin der Cloud verbunden. Der Koordinator Service führt denCo-Working-Workflow aus, sendet entsprechende Befehls-nachrichten an den Broker und empfängt Statusmeldungenvon Robotern und Cube-its.

K

Informatik Spektrum (2020) 43:425–435 431

Cloud Server

RabbitMQ Server

Koordinator Service (Workflow Engine)

Standort mit RoboterStandort ohne Roboter

Robot Controller

Mixed-Reality-App

Cube-it Controller

LokalerRabbitMQ

Server

Gelenk-posi�onen

Gelenkposi�onen

Cube-it Controller

Mixed-Reality-App

Status/Sensor EventsBefehle

Status / Befehle (aus DD) Status

Abb. 7 Architektur und Nachrichtenfluss in der verteilten Co-Working-Zelle

An jedem Standort ist ein Cube-it-Controller für dieSteuerung von einem oder mehreren Cube-its verantwort-lich. Der Cube-it-Controller empfängt lokale Events vomNFC-Leser und sendet diese an den Cloud Server. In Gegen-richtung empfängt er Nachrichten bzw. Befehle vom CloudServer und aktiviert die Cube-its entsprechend (LEDs blin-ken).

An Standorten mit Robotern ist zusätzlich ein entspre-chender Robot Controller im Einsatz, um die Roboter zusteuern. Zum einen werden hier Befehle zur Aktivierungder entsprechenden, im Vorfeld angelernten Roboterwork-flows vom Cloud Server empfangen; zum anderen sen-det der Robot Controller Nachrichten bezüglich des Sta-tus der Roboterworkflows an den Koordinator. Weiterhinist an diesen Standorten ein zusätzlicher lokaler RabbitMQServer angebunden, der die aktuellen Positionen der Gelen-ke des lokalen Roboterarms vom Robot Controller an dieMixed-Reality-Anwendung weiterleitet. Die Mixed-Reali-ty-Anwendung (MR-App) zeigt eine Animation der Arm-bewegung in der virtuellen Szene entsprechend der Gelenk-positionen des lokalen Roboters. Um diese Bewegungenauch in den Mixed-Reality-Anwendungen an Standortenohne Roboter nachvollziehen zu können, werden die Ge-lenkpositionen vom Dresdner Roboter als Master ebenfallsan den RabbitMQ Server in der Cloud geschickt, der die-se an die lokalen Mixed-Reality-Anwendungen weiterleitet.Durch die Nutzung eines zusätzlichen lokalen RabbitMQ-Servers lassen sich Latenzen bei der Datenübertragung ver-meiden und die Positionen der lokalen Robotergelenke na-hezu in Echtzeit synchronisiert cyber-physisch in der MR-App anzeigen.

Die im nächsten Abschnitt beschriebene MR-App emp-fängt, neben den Gelenkpositionen, Nachrichten bezüglichdes Status der Workflowausführung vom globalen Server,um die Szene in der Mixed Reality zu synchronisieren undeinzelne Elemente zu animieren, z.B. den aktuell aktivenStandort. Zum Ende des Co-Working-Workflows werdenüber die MR-App in Dresden als Master alle Cube-its vir-tuell und physisch aktiviert. Hierfür werden entsprechen-

de Befehlsnachrichten aus der MR-App über den globa-len Message Broker an die Cube-it-Controller und anderenMR-Apps verteilt.

Immersives Co-Working durch Mixed Reality

Das umgesetzte verteilte Co-Working-Szenario wurdedurch eine Mixed-Reality-Anwendung ergänzt, um denFestakt immersiv und interaktiv erlebbar für alle interessier-ten Teilnehmer zu gestalten. Hierfür wurde eine spezielleAnwendung für die Microsoft® HoloLens™ (1. Genera-tion) Mixed-Reality-Brille entwickelt, die die physischeWelt durch Hologramme an festen Punkten in der Umge-bung cyber-physisch überlagern kann. Die MR-App aufden an den Standorten verfügbaren HoloLenses verbindetsich mit dem globalen RabbitMQ Message Broker fürStatus- und Roboterdaten und ggf. auch mit dem lokalenNachrichtenserver für lokale Roboterdaten.

In der Mixed-Reality-Szene werden die physischen Cu-be-it-Würfel mit virtuellen Gebäuden für die jeweiligenStandorte überlagert. Ein virtuelles Modell des Roboter-arms wird ebenfalls eingeblendet, entweder repräsentativfür den Dresdner Roboterarm an Standorten ohne Robo-ter oder den vorhandenen Roboterarm überlagernd. Hierfürmuss zu Beginn die Szene in der MR-App je HoloLenskonfiguriert werden. Zunächst wird der Standort des Ho-loLens-Trägers ausgewählt (siehe Abb. 8a). Anschließendwerden der virtuelle Roboterarm, die virtuelle Deutschland-karte und die Gebäude für die Standorte über den physi-schen Äquivalenten auf den präparierten Tischen platziert(siehe Abb. 8b).

Während der Ausführung des Co-Working-Workflowswerden die Roboterdaten und Statusevents genutzt, um dieGelenkbewegungen des virtuellen Roboters in der MR-Szene entsprechend der physischen Bewegungen zu ani-mieren. Die Roboterdaten werden ebenfalls verwendet, umdie durch den Roboter bewegten Cube-its entsprechendmit standortspezifischen virtuellen Gebäuden zu überla-

K

432 Informatik Spektrum (2020) 43:425–435

Abb. 8 Setup der Szene in Mixed Reality

Abb. 9 Liveansichten aus der Mixed-Reality-App und Videokonferenz in Dresden

Abb. 10 Teilnehmer an der Fernarbeitsdemo in Saarbrücken

gern, vom Aufnehmen des Cube-its von der präpariertenFläche auf dem Tisch bis zum Absetzen an der entspre-chenden Stelle auf der Deutschlandkarte. Abb. 9a zeigteinen Liveausschnitt aus der aktiven Mixed-Reality-Co-Working-Szene, in welcher der physische Roboterarm, einaufgenommener Cube-it und bereits abgestellte Cube-itsentsprechend durch Gebäudehologramme überlagert zu se-hen sind. Abb. 9b zeigt einen weiteren Liveausschnitt sowie

die Teilnehmer aus den Standorten in einer Videokonfe-renz. In diesem Setup konnten die Zuschauer in Dresdenohne HoloLens den Aufbau des symbolischen Informatik-Campus vor Ort sowie in der Videokonferenz, der rea-len Welt als auch Mixed Reality verfolgen. Abb. 10 zeigtbeispielhaft die Akteure in Saarbrücken.

Um den Co-Working-Workflow abzuschließen, werdennach erfolgreichem Platzieren aller Cube-its die virtuellen

K

Informatik Spektrum (2020) 43:425–435 433

Abb. 11 Finale Aktivierung der Cube-its in virtueller und physischer Welt in Dresden

Abb. 12 Feuerwerk in der MR-App nach erfolgreichem Abschluss desCo-Working-Workflows

Gebäude nacheinander entsprechend der Co-Working-Se-quenz in der MR-App durch einen HoloLens-Träger mit ei-ner durch die Brille erkannten Geste aktiviert. Hierzu müs-sen die Gebäude jeweils einzeln anvisiert und anschließendeine Air-Tap-Geste („Luftklick“ mit Daumen und Zeige-finger) durchgeführt werden. Ein erfolgreiches „Klicken“wird durch Einfärben des virtuellen Gebäudes signalisiert.Gleichzeitig werden auch die physischen LEDs in den ent-sprechenden Cube-its an allen Standorten aktiviert. Die Ge-bäude werden nach Aktivierung durch eine virtuelle Liniezu einem zusammenhängenden Campus miteinander ver-bunden. Abb. 11a zeigt einen entsprechenden Ausschnittaus der Mixed-Reality-Szene mit hervorgehobenen, ver-bundenen virtuellen Gebäuden. Abb. 11b zeigt die Akti-vierungsgeste und bereits aktivierte Cube-its während derVorführung in Dresden. Nach Aktivierung aller Cube-its inphysischer und virtueller Welt startet ein Feuerwerk in denMR-Apps an allen Standorten (siehe Abb. 12).

Durch die Erweiterung der Co-Working-Demo um dieMR-App können die Aktionen der Roboter an verschiede-nen Standorten (Zellen) sowie die Zustände von IoT-Gerä-ten einfach visualisiert und immersiv erlebbar gemacht wer-den. Auch ohne Roboter an einem Standort können Träger

der HoloLens den schrittweisen Fortschritt des Co-Wor-king-Workflows und die individuellen Roboterbewegungenan einem anderen Standort nachvollziehen sowie diese mitder physischen Umgebung am eigenen Standort in Ver-bindung bringen. Durch die Interaktion mit den virtuellenKomponenten in der Mixed-Reality-Szene konnte ebenfallseine (cyber-physische) Rückkopplung in die physische Weltverteilt an alle Standorte geschaffen werden, indem entspre-chend die LEDs in den Cube-its nacheinander durch dieGeste in der Mixed Reality aktiviert wurden.

Zusammenfassung

Mit der geschilderten Fallstudie im Rahmen des Festtagesdes 50-jährigen Jubiläums der Informatikstudiengänge inDeutschland wurde ein Prototyp zu immersivem, verteiltenRobotic Co-working erfolgreich konzipiert und umgesetzt.Es wurde mit 6 Standorten verteilt ein symbolischer, cyber-physischer „Deutschland-Informatik-Campus 2069“ durchMenschen und Roboter zusammengesetzt. Die Fallstudietangiert hierbei zahlreiche aktuelle Teilgebiete der Informa-tik, unter anderem Robotik, Software-Engineering, verteilteSysteme und Mensch-Maschine/Computer-Interaktion. Siezeigt, welche Veränderungen unserer Lebens- und Arbeits-welt man durch die Informatik in den nächsten 50 Jahrenerwarten kann.

Im Workflow-gestützten Co-Working-Szenario inter-agieren Menschen und Roboter kollaborativ in der physi-schen und virtuellen Welt mittels Sensorik und Aktuatorik.Die verteilte Systemarchitektur und Software schaffen da-bei die cyber-physische Brücke und Rückkopplung, diezusätzlich durch eine Mixed-Reality-Anwendung erweitertwird. Diese MR-App macht die verteilte Co-Working-Zelleauch an Standorten ohne Roboter immersiv erlebbar. Dashier prototypisch umgesetzte Szenario stellt einen erstenwichtigen Schritt in Richtung Realisierung der Vision des

K

434 Informatik Spektrum (2020) 43:425–435

taktilen Internets dar [3]. Mit dem Demonstrator gelanges uns, zahlreiche neue Herausforderungen hinsichtlichSystemarchitektur, verteilter cyber-physischer Workflowsund Echtzeitkollaboration zwischen Menschen und Ma-schinen zu identifizieren, die als Grundlage für laufendeForschungsarbeiten dienen, unter anderem im Exzellenz-cluster CeTI [20], aber auch im größeren Rahmen [21].

Danksagung Wir bedanken uns bei allen Beteiligten, insbesonderebei Ministerpräsident Michael Kretschmer (Sachsen) für die Übernah-me der Schirmherrschaft für die Veranstaltung [22], bei Bundeskanz-lerin Dr. Angela Merkel für ihr Grußwort [8], StS Christian Luft undDr. Michael Weber vom BMBF [6], sowie bei Dr. Handschuh, Kanzlerder TU Dresden, für die Unterstützung [22]. Unser besonderer Dankfür die intensive Mitarbeit gilt den Dekanen Prof. Hans-Joachim Bun-gartz (TU München), Prof. Sebastian Hack (U Saarland), Prof. RalfReussner (U Karlsruhe), Prof. Felix Wolf, Prof. Marc Fischlin (TUDarmstadt), die mit ihren Stäben, Mitarbeiterinnen und Mitarbeitern andem gemeinsamen Festakt mitgewirkt haben. Ganz besonderer Dankgilt dabei den Professuren und ihren Mitarbeiterinnen und MitarbeiternProf. Sami Haddadin, Lars Johannsmeier und Jan Harder in München(Munich School of Robotics), Prof. Asfour und Lukas Kaul in Karlsru-he (U Karlsruhe), sowie Ian Bierlich in Darmstadt (TU Darmstadt), diean der technischen Gestaltung des Festakts beteiligt waren. Wir dan-ken weiterhin unseren Kollegen in Dresden, Silvia Kapplusch, StefanPflüger, Christiane Leonhardi, Michael Kluge, Julian Catoni, Chris-toph Fleck, Gerald Goepfert und Franziska Hannß, die uns technischund organisatorisch bei der Umsetzung der Demo und des Festakts un-terstützt haben.

Förderung Gefördert durch die Deutsche Forschungsgemeinschaft(DFG) im Rahmen der Exzellenzstrategie des Bundes und der Länder– EXC 2050/1 – Projektnummer 390696704 – als Exzellenzcluster„Centre for Tactile Internet with Human-in-the-Loop“ (CeTI) derTechnischen Universität Dresden unter Beteiligung der TechnischenUniversität München, sowie durch den Europäischen Sozialfonds(ESF) und das Land Sachsen unter der Projektnummer 100268299(Projekt „CyPhyMan“).

Funding Open access funding provided by University of St.Gallen

Open Access Dieser Artikel wird unter der Creative Commons Na-mensnennung 4.0 International Lizenz veröffentlicht, welche die Nut-zung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe injeglichem Medium und Format erlaubt, sofern Sie den/die ursprüng-lichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Linkzur Creative Commons Lizenz beifügen und angeben, ob Änderungenvorgenommen wurden.

Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterialunterliegen ebenfalls der genannten Creative Commons Lizenz, sofernsich aus der Abbildungslegende nichts anderes ergibt. Sofern das be-treffende Material nicht unter der genannten Creative Commons Lizenzsteht und die betreffende Handlung nicht nach gesetzlichen Vorschrif-ten erlaubt ist, ist für die oben aufgeführten Weiterverwendungen desMaterials die Einwilligung des jeweiligen Rechteinhabers einzuholen.

Weitere Details zur Lizenz entnehmen Sie bitte der Lizenzinformationauf http://creativecommons.org/licenses/by/4.0/deed.de.

Literatur

1. Broy M (2011) Cyber-physical systems: Innovation durch soft-wareintensive eingebettete Systeme. Springer, Heidelberg, Berlin,New York

2. Technische Universität Dresden (2019) Festtage – 50 Jahre uni-versitäre Informatikausbildung in Dresden. https://festtage.inf.tu-dresden.de/deutschlandfesttag. Zugegriffen: 18. Juni 2020 (https://festtage.inf.tu-dresden.de/)

3. Haddadin S, Johannsmeier L, Ledezma FD (2018) Tactile ro-bots as a central embodiment of the tactile Internet. Proc IEEE107(2):471–487

4. Moniri MM, Valcarcel FAE, Merkel D, Schuffert W, Schwartz T(2016). Hybrid team interaction in the mixed reality continuum. InProceedings of the 22nd ACM Conference on Virtual Reality Soft-ware and Technology (pp 335–336), November

5. Pieper C (2008) Das „Überregionale Forschungsprogramm In-formatik“ (ÜRF). Ein Beitrag zur Etablierung des StudienfachsInformatik an den Hochschulen der Bundesrepublik Deutschland(1970er und 1980er Jahre). Technikgeschichte. https://doi.org/10.5771/0040-117X-2008-1

6. Technische Universität Dresden (2019) 50 Jahre Informatik-ausbildung. Youtube-Kanal. https://www.youtube.com/channel/UCEihwF6lgHIiJjOiRFczTtA/videos. Zugegriffen: 18. Juni 2020

7. Goos G (2019) Anfänge der Informatikausbildung in Deutschland.https://www.youtube.com/watch?v=AuCojU1SCZs. Zugegriffen:02.09.2020

8. Merkel A (2019) Grußwort zum Festtag zu 50 Jahren Informati-kausbildung. https://www.youtube.com/watch?v=gpXNZRg8B3s.Zugegriffen: 02.09.2020

9. Technische Universität Dresden et al (2019) Deutschlandcampusder Informatik 2069 – Demo einer kollaborativen und verteiltenRoboterarbeit. https://www.youtube.com/watch?v=xdVLXTFtaJY.Zugegriffen: 02.09.2020

10. Federrath H (2019) Ein Grußwort der Gesellschaft für Informa-tik (GI) zum Festtag zu 50 Jahren Informatikausbildung (GI).https://www.youtube.com/watch?v=iFARvfE9Vag. Zugegriffen:02.09.2020

11. Haddadin S (2019) Robotik und Künstliche Intelligenz. TU Mün-chen. https://www.youtube.com/watch?v=sYpwNq7Bsl0. Zuge-griffen: 02.09.2020

12. Myers G (2019) The role of computer science in the biologicalsciences: past, present, future. TU Dresden, MPI CPG Dresden.https://www.youtube.com/watch?v=QCUdpHdcVx0. Zugegriffen:02.09.2020

13. Waidner M (2019) IT-Sicherheit von Anfang an mitdenken – dieBedeutung der IT-Sicherheit im Informatikstudium. TU Darmstadt.https://www.youtube.com/watch?v=BdmPteO_Td8. Zugegriffen:02.09.2020

14. Nusser S (2019) Democratizing AI with the cloud. TU München.https://www.youtube.com/watch?v=cjVdRQZwY6A. Zugegriffen:02.09.2020

15. Slusallek P (2019) Wie hilft Künstliche Intelligenz die Welt zuverstehen?. Universität des Saarlands. https://www.youtube.com/watch?v=k0PIEJWWDeY. Zugegriffen: 02.09.2020

16. Grzelak D, Mai C, Schöne R, Falkenberg J, Aßmann U (2020) Asoftware toolkit for complex sensor systems in fog environments.In sensor systems simulations. Springer, Cham, S 253–282

17. Franka Emika (2020) Der Franka Emika Roboter. https://www.franka.de/de/. Zugegriffen: 18. Juni 2020

18. Seiger R (2018) Self-managed Workflows for Cyber-physicalSystems. Dissertation, Qucosa, Technische Universität Dresden.https://nbn-resolving.org/urn:nbn:de:bsz:14-qucosa2-323153. Zu-gegriffen: 02.09.2020

19. Pivotal (2020) RabbitMQ. https://www.rabbitmq.com/. Zugegrif-fen: 18. Juni 2020

20. Technische Universität Dresden (2019) Centre for tactile inter-net with human-in-the-loop, cluster of excellence at TU Dresden.https://www.ceti.one/. Zugegriffen: 18. Juni 2020

K

Informatik Spektrum (2020) 43:425–435 435

21. Ganschar O, Gerlach S, Hämmerle M, Krause T, Schlund SS (2013)In: Spath D (Hrsg) Produktionsarbeit der Zukunft-Industrie 4.0, Bd.150. Fraunhofer Verlag, Stuttgart

22. Kanzler Dr. Andreas Handschuh, Ministerpräsident MichaelKretschmer. Grußwort zum Festtag zu 50 Jahren Informatik-

ausbildung. https://www.youtube.com/watch?v=9XBHmh9upUs.Zugegriffen: 02.09.2020

K