HAUPTBEITRAG / PROJIZIERTE BENUTZUNGSSCHNITTSTELLEN }

Projizierte tischbasierteBenutzungsschnittstellen

Christian Winkler · Enrico Rukzio

Projektoren haben seit jeher die Probleme kleinerBildschirme gelöst, indem sie Inhalte auf größe-ren Flächen einem größeren Publikum zeitgleichzur Präsentation oder Kollaboration zugänglichgemacht haben. Mit dem Einzug mobiler Com-puter, erst recht in Form von Smartphones, mitDisplays, die so klein sind, dass sie selbst für denprivaten Gebrauch oft nicht ausreichen, haben sichdie Grundprobleme von statischen zu mobilen Ein-satzorten verlagert. Und so ist es nur logisch, dasssich in den letzten Jahren eine breite Vielfalt vonmobilen Projektoren entwickelt hat. Unter diesenfinden sich kleine tragbare Modelle wie auch so-genannte Pico-Projektoren, die von der Größe vonSmartphones bis zu kleinen integrierbaren Modu-len in der Größe von z. B. 2 × 2 × 2,5 cm reichen.Diese batteriebetriebenen Modelle unterstützen biszu 100 Lumen Helligkeit – zum Vergleich, typischeRaumprojektoren bieten um die 2500 Lumen Hel-ligkeit – und bieten damit Projektionen mit einerBilddiagonalen von ca. 50′′ bei einem typischem Ab-stand von 1,5 m unter schwacher Raumbeleuchtung(vgl. [1]). Diese kleinen Projektionsmodule werdenauch direkt in Geräte wie Smartphones (z. B. dasSamsung Galaxy Beam) und Digitalkameras (z. B.Nikon Coolpix S1100PJ) verbaut, ohne deren Größenennenswert zu erhöhen. Das von den Herstel-lern hauptsächlich angepriesene Nutzungsszenario,Medien wie Fotos oder Videos einer Gruppe vonPersonen zu präsentieren, unterscheidet sich aber,abgesehen von der hinzu gewonnenen Mobilität, nurwenig von dem klassischer Projektoren.

Das Forschungsgebiet der ,,persönlichen mo-bilen Projektion“ beschäftigt sich damit, wieProjektionen über das Präsentationsszenario hin-aus unsere persönlichen Geräte erweitern oder

deren Displays sogar ersetzen können. Hierbeiergibt sich eine Vielzahl von offenen wissenschaft-lichen Fragestellungen insbesondere hinsichtlichder entsprechenden Gerätekonzepte, der zugrundeliegenden Interaktionsparadigmen, der elementarenInteraktionsmetaphern und der entsprechenden An-wendungskonzepte. Ein Beispiel ist die Erweiterungeines Smartphones, das während des Telefonats mitdem Telefon am Ohr eine interaktive Projektion aufeiner nahegelegenen Oberfläche anzeigen kann, umso auch während des Gesprächs den Zugriff auf Te-lefoninhalte zu ermöglichen und diese sogar mitdem Gesprächspartner zu teilen (s. Abb. 2, [4]).Einen umfassenden Überblick über den aktuellenStand der Forschung gibt der Artikel ,,A ResearchOverview of Mobile Projected User Interfaces“ indiesem Heft. Sicher ist bereits jetzt, dass die Inter-aktion mit projizierten Benutzungsschnittstellen imVergleich zu herkömmlichen berührungssensitivenBildschirmen ganz neue Herausforderungen birgtund neue Interaktionskonzepte erfordert (siehe denÜberblicksartikel von Rukzio et al. [1]).

Während sich viele spezielle Anwendungsfällefür mobile Projektion finden lassen, erforscht unsereGruppe ,,alltagsrelevante“ und ,,allgegenwärtige“mobile Projektion. In diesem Kontext haben wir z. B.untersucht, wie gut sich existierende mobile Appli-kationen wie Kartenanwendungen, Webbrowseroder Spiele auf der Projektion entweder über be-rührungsbasierte Kontrollen auf dem Smartphone

DOI 10.1007/s00287-014-0803-7© Springer-Verlag Berlin Heidelberg 2014

Christian Winkler · Enrico RukzioUniversität Ulm,James-Franck-Ring, 89081 UlmE-Mail: {christian.winkler, enrico.rukzio}@uni-ulm.de

{ PROJIZIERTE BENUTZUNGSSCHNITTSTELLEN

Abb. 1 Für bestimmte Anwendungen (z. B. Spiele) eignet sich dieZeige-Interaktion (rechts) wesentlich besser als die gegenwärtighäufig vorzufindende Touchpad-Interaktion (links) (s. [3])

oder aber über direkte Zeigegesten bedienen las-sen. Dabei haben wir festgestellt, dass die Fehlerratezwar geringer ist, wenn man das Smartphone alsTouchpad benutzt, dass Benutzerfreundlichkeit undInteraktionsgeschwindigkeit aber bei einigen An-wendungen durch direkte Zeigegesten gesteigertwerden können. Besonders gut funktioniert dabei, indem Bereich hinter dem Projektionsgerät zu agieren,da hierbei der interagierende Arm an den Körperangelehnt werden kann (s. Abb. 1 rechts, [3]).

Für viele andere Anwendungen ist die freihän-dige Interaktion allerdings ungeeignet, weil dashaptische Feedback, das eine berührbare Oberflächebieten kann, fehlt. In den folgenden Forschungs-arbeiten haben wir uns deshalb auf projizierteTischoberflächen in der direkten Umgebung desGerätes konzentriert, welche der Benutzer leichtphysisch erreichen kann.

Interactive Phone CallMit dem bereits erwähnten Gerätekonzept ,,Interac-tive Phone Call“ (Abb. 2, [4]) adressieren wir eine

Abb. 2 Beim Interactive Phone Call [4] projiziert das am Ohr gehaltene Handy eine interaktive Oberfläche, welche das Aufrufen undTeilen persönlicher Daten während eines Gesprächs ermöglicht (links). Die Anwendung unterstützt das Teilen und Annotieren vonu. a. Bildern und Kalender- und Kartenausschnitten (rechts)

weit verbreitete Problematik während des Telefonie-rens mit dem Mobiltelefon. Das Telefon befindet sicham Ohr und steht während des Gesprächs kaumfür die Interaktion zur Verfügung. Dabei befin-det man sich doch gerade durch das Telefonat ineinem vergleichsweise intimen Rahmen mit demGesprächspartner, der sehr gut zum Austausch vonInformationen geeignet ist. Unser Prototyp erwei-tert deswegen ein Smartphone durch einen um 90◦gedrehten Laser Pico-Projektor, dessen Projektionungeachtet der Entfernung zur Projektionsoberflä-che immer scharf dargestellt wird. Die Projektionzeigt eine interaktive Touchoberfläche, deren linkeSeite ähnlich eines Desktops aufgebaut ist undunabhängig eines Telefongesprächs den komfor-tablen Zugriff auf die persönlichen Telefoninhalteermöglicht. Ähnlich der Interaktion auf interaktivenTischen können Bilder z. B. durch Multitouch-Gesten bequem vergrößert und rotiert werden.Während eines Gesprächs können die Teilnehmereine gemeinsame Austauschsitzung starten. Dar-aufhin zeigt der rechte Bereich einen gemeinsamenArbeitsplatz an, in dem Objekte wie Bilder, Kontakte,Folien, Karten- und Kalenderansichten aus dem per-sönlichen Bereich hineingezogen werden können. Indem gemeinsamen Bereich können Objekte in Echt-zeit bewegt, verändert oder mit einem Stiftwerkzeugannotiert werden, um so synchrone non-verbaleKommunikation zu ermöglichen. Abhängig von derKopierschutzeinstellung der Objekte, können dieseauch von anderen Teilnehmern in ihre persönlichenBereiche kopiert werden.

Die interaktive Oberfläche ist in einem itera-tiven User Centered Design Prozess entstanden,

Abb. 3 Das Penbook kombiniert ein Multitouch-Tablet mit einem auf Papier projizierten Display, welches präzise und flexible(hinsichtlich Farbe, Strichstärke, Undo) Stifteingaben ermöglicht und das bei fast gleichbleibender Gerätegröße

in dem Funktionalität und Aussehen der Oberflä-che mehrmals mithilfe von Papier-Prototypen inkleinen Nutzerstudien evaluiert wurden. In einerabschließenden Benutzerstudie haben wir das Gerä-tekonzept gegen eine ähnliche Anwendung ,,ScreenSharing“ verglichen, welche den Austausch von In-formationen über das Teilen des gesamten mobilenBildschirms ermöglicht. Die Auswertung der Studiehat zum einen ergeben, dass Benutzer die Möglich-keit des digitalen Informationsaustausches währendeines Telefonates sehr begrüßen. Zum anderen ver-bessern die Konzepte des Interactive Phone Call diePrivatsphäre des Benutzers beim Datenaustausch ge-genüber der ,,Screen Sharing“-Anwendung um 121 %durch den geteilten privaten und öffentlichen Be-reich und um weitere 17 % dank der durch die großeProjektionsfläche verbesserten Übersichtlichkeit.

PenbookNotebooks sind lange Zeit unerlässliche Begleiter fürmobiles Arbeiten gewesen – nur ihrem Namen sindsie wohl nie richtig gerecht geworden. Auch die Ein-führung von Smartphones und Tablet-PCs konntenichts daran ändern, dass handschriftliche Notizensich noch immer am flexibelsten mit Papier undStift anfertigen lassen. Dieses Problem lässt sich z. B.sehr gut im medizinischen Umfeld beobachten, woallen digitalen Entwicklungen zum Trotz, viele Pro-zesse immer noch papierbasiert bleiben. Um digitaleund analoge Welt stärker zu verknüpfen, haben wirmit dem Penbook [5] einen Pico-Projektor in einenTablet-Computer integriert. Das Tablet projiziertein zweites Display direkt vor das aufrecht stehendeGerät auf die Innerseite der aufgeklappten Geräte-hülle (Abb. 3). Die Innenseite des Deckels besteht

aus echtem Papier (mit nahezu unsichtbarem Anoto-Muster), mithilfe dessen der dazugehörige Stiftfeststellen kann, wo auf dem Papier er sich befindet.Statt, wie üblich, mit Tinte zu schreiben, schreibtder Benutzer allerdings mit dem vom Projektor ge-nerierten Licht. Dadurch können z. B. Formulareausgefüllt werden oder Freihand-Annotationenmit beliebigen Farben oder Strichstärken durch-geführt werden. Anders als echte Tinte auf Papierkann die ,,Lichttinte“ auch schnell korrigiert oderder gesamte Papierbereich gescrollt werden. Aufdiese Weise verbindet das Penbook ein Multitouch-Display mit einem traditionellen Schreibblock, ohneauf dessen Haptik und Präzision verzichten zu müs-sen. In [5] zeigen wir auf, wie dieses Gerät vieleimmer noch existierende Barrieren zwischen ana-logen und digitalen Welten, z. B. in Krankenhäusern,überwinden kann. So wird der Arzt z. B. bei derAnamnese unterstützt, indem er simple Diagno-sen per Checkboxen auf dem Tablet anklicken undkomplexe Inhalte wie z. B. präzise Annotationen aufOrganschemata digital auf Papier vornehmen kann.Die Organschemata werden dazu ebenfalls auf dasPapier projiziert. Patienten können das Penbookzum Ausfüllen von komplexen Fragebögen nutzen,z. B. vor Operationen, und erhalten zu kompliziertenFragen durch ein Antippen des entsprechenden In-fosymbols mit dem Stift zusätzliche Erläuterungenauf dem Tablet-Bildschirm.

Zudem ist das Penbook auch in alltäglichenAnwendungsfällen einsetzbar, z. B. kann sich einBenutzer während eines Vortrags zu auf dem Tabletangezeigten Folien im unteren Display detaillierteNotizen machen. Bei einer Internetrecherche hilftdas Penbook, über zu Webseiten oder Produkten

{ PROJIZIERTE BENUTZUNGSSCHNITTSTELLEN

Abb. 4 Das ,,SurfacePhone“ projiziert über einen ausklappbaren Spiegel ein verhältnismäßig großes Display direkt hinter dasSmartphone. Es unterstützt Touch-Interaktion, indem Finger-Positionen von der eingebauten Smartphone-Kamera und Finger-Touches (leicht und stark) vom eingebauten Beschleunigungssensor erfasst und korreliert werden (links). Ferner werden Gesten unddas automatische Vereinen von Projektionen mehrerer Geräte zum Austausch von Inhalten wie z. B. Bildern (rechts) unterstützt

Abb. 5 Die Nutzungsmöglichkeiten des SurfacePhones reichen von Einbenutzer-Szenarien (links) bis hin zu Mehrbenutzerszenarienmit mehreren Geräten (rechts)

verknüpften Notizen am Ende der Recherche diebesuchten Webseiten oder Produkte anhand der No-tizen noch einmal aufzurufen. In einer Vorstudiefanden wir heraus, dass neun von zehn Teilneh-mern sowohl das Gerätekonzept sehr gut finden, alsauch die Haptik der Stifteingabe. Letzte wurde auchdeutlich besser bewertet als digitale Stifteingabe aufBildschirmen.

SurfacePhoneDarauf aufbauend untersuchen wir mit dem Surface-Phone, wie Telefone für die Zukunft an Displaygrößezunehmen können, ohne dabei äußerlich wach-sen zu müssen. Das SurfacePhone projiziert eineberührungsempfindliche Oberfläche direkt hintersich und unterstützt dadurch neue Interaktionen inEin- und Mehrbenutzerszenarien (s. Abb. 4, [2]). InEinbenutzer-Szenarien kann z. B. ein Task-Managerauf der Projektion angezeigt werden, um schnellzwischen Anwendungen zu wechseln oder übereingehende Nachrichten im peripheren Sichtfeldinformiert zu bleiben (Abb. 5 links). In Mehrbenut-zerszenarien können mit einem Gerät z. B. Fotospräsentiert oder Spiele gespielt werden, welche einprivates und ein öffentliches Display benötigen, z. B.BlackJack, bei dem der Bankspieler das private Tele-

fondisplay benutzt und ein oder mehrere Mitspielerdie öffentliche Projektion zur Interaktion benutzen(Abb. 5 zweite von links). Sind mehrere Geräte vor-handen, können deren Projektionen miteinanderverschmolzen werden, um dynamisch ein größeresgemeinsames Display zu erzeugen, welches mit derAnzahl der Teilnehmer skaliert (s. Abb. 5 rechts).Dieses kann zur gemeinsamen Manipulation vonDaten oder deren Austausch benutzt werden. DasTouch-Tracking auf der Projektion geschieht übereine Mischung aus Computer Vision zur Bestim-mung der Finger-Positionen und inertiale Messungder Tischvibration zur Erkennung von leichten undstarken Fingerberührungen.

Benutzerstudien mit einem vorläufigenKonzeptprototypen (Abb. 4 rechts) und einem rea-listischen Prototypen (Abb. 4 links) haben gezeigt,dass die Benutzer enorme Vorteile in dem Gerä-tekonzept sehen, sowohl für die Verwendung miteinem Gerät als auch mit mehreren Geräten. Dietechnische Exploration mit dem realistischen Proto-typen hat gezeigt, dass die Position und Berührungdes Fingers in über 80 %, die korrekte Unterschei-dung der Berührungsstärke in über 70 % und diemeisten Gesten in über 80 % der Fälle bereits kor-rekt erkannt werden können. Durch zusätzliche

Hardware und von den Studienteilnehmern vor-geschlagene Verbesserungen des Systems könnte dieErkennung noch deutlich verbessert werden.

Zusammenfassung und AusblickMobile Projektion birgt ein großes Potenzial fürkünftige mobile Geräte, da es die Erzeugung ver-hältnismäßig großer mobiler Displays aus kleinenGeräten ermöglicht. Zudem ermöglicht die Pro-jektion durch ihre öffentliche Sichtbarkeit neueMehrbenutzerszenarien mit mobilen Geräten, wiez. B. beim SurfacePhone. In Zukunft werden wir invielen Anwendungsszenarien auf physische Displayseventuell ganz verzichten können und über kleine,an unserem Körper getragene Projektoren, interak-tive Displays ad-hoc dahin projizieren, wo und wannwir sie brauchen, wie z. B. im AMP-D Konzept [6].

DanksagungDie diskutierten Arbeiten wurden größtenteilsinnerhalb der DFG Emmy Noether – Nachwuchs-

gruppe ,,Entwicklung von Interaktionstechniken,Konzepten und Werkzeugen für mobile Interak-tionen mit ubiquitären Benutzungsschnittstellen“durchgeführt.

Literatur1. Rukzio E, Holleis P, Gellersen H (2012) Personal projectors for pervasive compu-

ting. IEEE Pervasive Comput 11(2):30–372. Winkler C, Löchtefeld M, Krüger A, Rukzio E (2014) SurfacePhone: A Mobile Pro-

jection Device for Single- and Multiuser Everywhere Tabletop Interaction. Procee-dings of the 2014 ACM International Conference on Human Factors in ComputingSystems (CHI 2014). ACM

3. Winkler C, Pfeuffer K, Rukzio E (2012) Investigating Mid-Air Pointing Interactionfor Projector Phones. Proceedings of the 2012 ACM International Conference onInteractive Tabletops and Surfaces (ITS 2012). ACM, pp 85–94

4. Winkler C, Reinartz C, Nowacka D, Rukzio E (2011) Interactive Phone Call: Syn-chronous Remote Collaboration and Projected Interactive Surfaces. Proceedingsof the 2011 ACM International Conference on Interactive Tabletops and Surfaces(ITS 2011). ACM, pp 61–70

5. Winkler C, Seifert J, Reinartz C, Krahmer P, Rukzio E (2013) Penbook: BringingPen+Paper Interaction to a Tablet Device to Facilitate Paper-based Workflows inthe Hospital Domain. Proceedings of the 2013 ACM International Conference onInteractive Tabletops and Surfaces (ITS 2013). ACM, pp 283–286

6. Winkler C, Seifert J, Dobbelstein D, Rukzio E (2014) Pervasive Information throughConstant Personal Projection: The Ambient Mobile Pervasive Display (AMP-D).Proceedings of the 2014 ACM International Conference on Human Factors inComputing Systems (CHI 2014). ACM