Ubiquitous Computing(Ubiquitäre Informationstechnologien)Vorlesung im WS 06/07
Christian DeckerUniversität KarlsruheInstitut für TelematikTelecooperation Officewww.teco.uni-karlsruhe.de
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-2
Literatur, Fragen
Fragen zu dieser VorlesungWelche Alltagsgegenstände würden sich als Teil eines Wearable eignen?
Pflichtliteratur (Vorbereitung nächste Vorlesung)Jaarp Haardsen, BLUETOOTH—The universal radio interface forad hoc, wireless connectivity Ericson Review
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-3
ÜbersichtVorlesung Ubicomp
Geräte und UmgebungenParcTab: erste Ubicomp Geräte und UmgebungenReaktive UmgebungenAppliancesHardware für AppliancesWearables
KommunikationKontextHCI
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-5
Wearable Computing Einleitung
Computer, der/die am Körper getragen wird/werdenInsbesondere zur Unterstützung des „mobilen“ Menschen
EinsatzbereicheNotizen, „Mitschneiden“TouristenführerReparatur- und WartungsserviceMilitärGesundheitsbereich
besondere Schwierigkeitendarf während der Tätigkeit nicht störentragbarkeine Monitor / Keyboard Interaktionnicht immer Online
Andrew H. Fagg
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-6
Historie
1966 (C): E. Thorp, C. Shannon: Analoger Schuh Computer für Roulette
1966 (F): D. Sutherland erfindet das Head-Mounted Display (HMD)
1968 (F): D. Engelbart demonstriert funktionierendes Chord
1977 (C): HP verkauft die HP 01TaschenrechnerUhr
(F) – Foundations / Grundlagen
(C) – Complete Systems
Quelle: hpmuseum.org
Chord: 5 Tasten Keyboard
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-7
Historie
1981: Steve Mann entwickelt als Schüler tragbaren Rechner um Phototechnik zu steuern
1984: William Gibson schreibt Neuromancer
1990: G. Maguire und J. Ioannidis demonstrieren das Student Electronic Notebook (Private Eye und mobile IP)
1991: CMU entwickelt VuMan 1
1993: T. Starner schreibt Remembrance Agent
1993: Feiner, MacIntyre, Seligman entwickeln KARMA
1993: T. Starner trägt ab jetzt konstant seinen Wearablebasierend auf D. Platt‘s HIP PC
1994: Lamming, Flynn entwickeln„Forget-me-not“
VuMan, Quelle: CMU
KARMA
T. Starner
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-8
Wearable Computing Prinzipien
Abgrenzung zum PCalte MIT Definition:Always onAlways accessibleAlways with the user
auchkomfortabel, unauffällig, einfach zu handhaben
Derzeitige MIT DefinitionMobile ( Where you go, it goes. )
Persistent ( Always on and always working. )
Secondary or Tertiary task ( Hands free, Eyes free, Brain free. )
Proactive ( Agent and Interrupt )
Context AwareQuelle:wearcam.org
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-9
Wearables
Intro und HistorieErgonomieWearable-TypenAugmented RealityBeispielanwendungenMensch-Maschine Interaktion
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-11
Problembereich 2:Anbringung und ErgonomieGemperle (1998): Designing for Wearability
Mehr Infos unter http://www.ices.cmu.edu/design/wearabilityDesign-Überlegungen
placement: Wo wird das Gerät angebrachtform language: Geräteformhuman movement: Beweglichkeit für Gerätproxemics: Anbringung als “Teil” des Körperssizing: “Größenkompatibel” mit versch. Personenattachment: Befestigungspunkte
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-12
Anbringung und Ergonomie
EntwurfskriterienPlazierung am KörperKörperstellen mit großer Oberfläche, wenig Bewegung, wenig Varianz bei versch. Menschen; GewichtsverteilungFormsprache und GrößeKonkav nach innen, konvex nach außen, organisch geformt, weich, für verschiedene Größen/angepaßt an..Menschliche Bewegung um aktive Stellen herum entwerfen; Raum schaffen, in den sich der Körper hineinbewegen kannWahrnehmung des Körpers Aura um den Körper berücksichtigen, die als körpereigen empfunden wirdBefestigung am Körper„um den Körper wickeln“, mehrere Befestigungspunkte
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-13
Generalisten
Generalisten: Multimedia / Video / CyborgsCyborg Begriff aus Science Fiction (M. Clines, 1960)Ersatz und Erweiterung menschlicher Sinne um spezifische Fähigkeiten von Technologie (hier: des Rechners)Grundidee so alt wie die Sehhilfeinsbesondere Überlagerung des Sehsinns
Technologie und AufbauPC ähnliche Wearable Geräte: ZentralerRechner und „dumme“ PeripherieVerteilte Wearables: Zusammenschluß von verschiedenen Geräten wie Uhr, Telefon, PDA, Sportmeßgeräten
Anwendungen:Entertainment, Fitness / SportAutomation und Wartung
Quelle: MIT Media Lab
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-15
Typischer WearableaufbauQuelle CMU: http://www.wearablegroup.org
SPOT Wearable der CMU (Okt. 02)
Zentraler Rechner mit Peripherie
Microprocessor Strong ARM SA-1110, 59-206MHz, Software-justierbare Core Voltage, Coprozessor SA-1111@144 MHz, 512 MB RAM, 64 MB Flash
Viele Schnittstellen: Firewire, USB, RS232, PCMCIA, Wavelan, 16 Kanal A/D Wandler (für interne Spannungsüberwachung), JTAG, Auto Power DownStereo Audio, hot-swappable DVI 640x48011.1 Wh Lithium Ionen, ca. 15x8x3 cm, 270g OHNE BatterieLeistungsaufnahme: 460mA bei 12V mit Microdrive und Wavelan, ohne Display
KonzeptMonolitischer Aufbau, Standard Software (Linux)Klein, damit gut anbringbarRelativ sparsam, damit kompakt baubar, wenig Wärmeableitungsprobleme
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-16
Beispiel: Mithril
Mithril von MITIntel ARM/XScale (SA 1110) basierte Zentrale (CERF Board)Zusätzliche „smarte“ Peripherie über BusTeilweise verteilter AnsatzTeilselbständige Peripherie z.B. SAK Board für Sensor-Überwachung▪ 3D Accelerometer ▪ IR Active tag reader ▪ microphone/headphone
audio board▪ USB microphone and
headphone driver.▪ USB CCD camera
Verteilte Komponentenüber den Körper ermöglichen ergonomische AnbringungBody Bus für Komm. der Komponenten (USB, I²C) Quelle: http://www.media.mit.edu/wearables/mithril/
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-17
Verteilter Wearable
eSleeve
C. Randell, H. Muller, U.of Bristol
CyberJacket, BlazerJet, e-Gilet, eSleeve
zusammen mit HP Labs Bristol
PDA, GPS, GSM, Speech Recognitionweniger Energieverbrauch durchVerteilung der Funktionalität aufspezialisierte Einheiten
Einfachere Integration und ergonomische Anpassung durchkleiner Einheiten
kein Hitzeableitungsproblem
besser Anwendungsanpassungdurch angepaßte Geräte
Quelle: http://wearables.cs.bris.ac.ukbisher noch chaotische Vernetzung
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-19
Erweiterte Realität, Augmented Reality (AR)Augmented Reality (AR)
Erweiterte Realität: Überlagerung und Erweiterung der durch menschliche Sinne wahrgenommenen RealitätIm Prinzip Sinn aller Wearables
Zwei MöglichkeitenErweiterung der Geräte selbst -> UbicompErweiterung durch persönliches Gerät -> Wearable
ZweckEinblendung von Information (Überbrückt virtuelle und reale Welt)Erweiterte Wahrnehmung, z.B. Nachtsicht, biometrische Parameter
VorteilBenutzbarkeit: Arbeiten im Raum, direkte Einbeziehung der Realität statt AbbildungTechnik: I/O überall ohne Infrastruktur
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-20
Erweiterte Realität
Quelle: http://www.csl.sony.co.jp/person/rekimoto/uist95/uist95.html
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-21
Erweiterte Realität: Displays
TechnologienAR Displays: Head-Mounted Displays, die die Verknüpfung realer und virtueller Bilder unterstützen▪ Video-basiert: HMD mit Kamera, reale Welt-Sicht indirekt
▫ Technisch einfache Verknüpfung von virtuellen und „realem“ Bild▫ verzögerte Wahrnehmung der realen Welt, schlechtere Auflösung
▪ See-Through: durchsichtiges Display▫ unverzögerte Wahrnehmung, weniger eingeschränkte Sicht, Sicherheit!▫ Verknüpfung von virtuellem und realem Bild aufwendig
Bezug zur Umwelt▪ Position, Orientierung, Identifikation
Überlagerung von Information und realer Welt-Sicht▪ Interakiv in Realzeit, Registrierung in 3D
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-22
AR Darstellung von InformationHead-Stabilized: Information relativ zum Kopf verankert, d.h. fixiert im Gesichtsfeld▪ z.B. für schnell zuweisbare User Interface-
ElementeBody-Stabilized: relativ zum Körper verankert▪ virtuelle Displayfläche um den Kopf/Körper
herum, navigierbar durch Kopf-/Körperbewegung
World-Stabilized: Information relativ zur realen Welt, d.h. an Positionen der Gegenstände verankert▪ z.B. Information zu Gebäuden und zu Objekten▪ z.B. Sony NaviCam
Quelle: http://www.csl.sony.co.jp/person/rekimoto/uist95/uist95.html
Erweiterte Realität: Displays
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-23
Erweiterte Realität NaviCam
Quelle: http://www.csl.sony.co.jp/person/rekimoto/uist95/uist95.html
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-24
AR Tracking
Shared Space / Magic BookHitlab, U. of Washington, Marc BillinghurstNotwendig: “Tagging” der Objekte
Bestimmung Positition, Identifikation via Kamera Möglichkeiten Tagging:▪ Aktive Objekte: z.B. IR Sender, viel Infrastruktur▪ Passive Objekte: Computer Vision
sehr rechenaufwendig, minimale (z.B. 3D Barcode) oder keine Infrastruktur
▪ Inertial: Beschleunigung, Drehung, sehr ungenau
Immer benötigt: Brille+Kamera auf/an Brille zur Erkennung
Videos Quelle: www.hitl.washington.edu
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-27
Vu-Man
Vu-Man3Carnegie Mellon Universityzusammen mit Boinghead mounted display (HMD)Zentraler PC (80386)Wahlscheibe als Eingabe, sehr robust
Ergebnisangeblich 40% Reduktion der BearbeitungszeitNur noch eine Person notwendigNicht weitergeführt, da wenig erfolgreich
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-28
Columbia University: KARMA,Touring Machine KARMA: AR für Reparatur Ohne
HandbuchKARMA = Knowledge-based Augmented Reality for Maintenance Assistance
Wearable für NavigationSteve Feiner, Columbia University“Mobile Augmented Reality”
KomponentenBackpack-PC (133MHz Pentium, 64Mbyte memory, 512K cache, 2GB disk)GPS / Diff. GPS: PositionierungHMD mit Orientation-Tracker (Kompass + Beschleunigungsmesser)Funk LANzusätzlich Handheld Display
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-29
Touring Machine
AR DisplayUI-Navigationselemente fixiert (head-stabilized)Information zur Umgebung in der realen Welt verankert (world-stabilized)Kontextauswahl durch Blickrichtung(Gaze Selection)Menüauswahl über Trackpad aufRückseite des Handhelds
Handheld DisplayDisplay für Information zur Vertiefung (d.h. AR Display bleibt für Mixed Realityreserviert)abhängig vom AR-Kontext
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-30
Anwendung: CamNet Studie
Studie von British Telecom, 1992Wearable Teleconferencing▪ Audio, Video, Daten▪ WYSIWIS “what you see is what I see”▪ Bezugnahme auf lokalen Kontext▪ Shared pointer
Asymmetrie▪ in den Rollen: mobiler Arbeiter vor Ort
konsultiert entfernten Experten▪ in der Kommunikation: breitbandig zum
Experten, schmalbandig zum WearableUnterstützung mobiler Aktivität▪ “freihändige” Kommunikation
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-31
Anwendung: Gedächtnisunterstützung
Remembrance Agent („Gedächtnis-Prothese“)Rhodes, MIT MediaLab 1997menschliche Schwäche: vergessen / nicht erinnernComputer-Stärken: alles speichern, schnelle Suche
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-33
Interaktionstechnologien
AusgabeDisplays, die nicht den Blick auf reale Welt versperren▪ See-through Displays („halbdurchsichtig“)▪ See-above Display▪ Monokulare Displays (einäugig)▪ Displays am Arm, Uhr, ....
Nutzung oft ähnlich gewohnter GUI NutzungEingabe
Explizite Eingabe problematisch, da von realer Welt ablenktKeine feststehendes Eingabegerät erfordert neue Interaktionstechniken
oft Erlernen eines neuen GerätsEingabetechniken für einhändige oder freihändige Interaktion▪ Sprachbedienung▪ Spezialtastaturen▪ Zeigegeräte als Mausersatz
mehr Produkte auf http://www.tekgear.ca
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-34
Head Mounted Display
Quelle: www.ices.cmu.edu/design/wearabilityErgonomieGewicht nahe Schwerpunkt des KopfesMaximale Auflagefläche ohne MuskelnKeine Sinne beinträchtigt
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-35
Displays für mobile Aktivität
See-through DisplaysBsp. Sony GlasstronStärken: Displaygröße und -qualität▪ 30° Gesichtsfeld,
Farbe, SVGANachteile:▪ eingeschränkte Sicht
auf reale Welt (Ge-sichtsfeld, Lichtstärke)
▪ optimiert für andere Anwendungen (TV, Spiele, Augmented Reality [s.u.])
▪ sehr hohe Leistungsaufnahme (11W)
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-36
Displays für mobile Aktivität
Aussenansicht
See-above DisplaysBsp. Personal Monitormehr periphere Sicht als bei Sony Glasstron, aber einge-schränkt durch Abdeckungweniger Displayraum im Gesichtsfeld, keine Über-lagerung virtueller undrealer Bilder
Innenansicht
Sichterlebnis
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-37
Displays für mobile Aktivität
Monokulare DisplaysBsp. M1 Display, „Private Eye“500 $auf einem Auge freie Sichtwenig Displayraum (8° FOV), bei M1 niedrige QualitätAufteilung: ein Auge für die reale Welt, eins für die virtuelle▪ fragwürdiges Konzept
(dominantes Auge, 3D-Sehen)
▪ hohe Belastung für Nutzer
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-38
Displays für mobile Aktivität
„Unsichtbare“ Monokulare DisplaysEntwicklungen von MicroOptical: Clip-On Displayzwischen 900-1600 $ je nach Auflösung
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-39
Displays für mobile Aktivität
„Unsichtbare“ Monokulare DisplaysMicroOptical: Integrated Eyeglass DisplayMicroOptical: Binocular Display
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-40
Displays
Direkte RetinaprojektionErfindung 1991 HITLab, Washington
640 x 480, 60Hz, farbig
Kommerzielle Entwicklung von Microvision (MVIS.com)
Quelle: http://www.mvis.com
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-41
Nutzung gewöhnungsbedürftig
... Besonders für die Umwelt
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-43
Displays für mobile Aktivität
Tragbare Display-Alternativen zu HMDsz.B. Wrist-Mounted Display
CeBIT‘99
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-44
Wearable Eingabe: Klassifikation
FreihändigSprache, Eye-Tracking, Computer Vision
EinhändigTrackball, Wählscheibe, Maus, Gesten, Chord, Keyboard, Knöpfe, Joystick, Beschleunigungs- oder Neigungssensoren
ZweihändigPen/Touch, Gesten, Keyboard
Wichtigste VertreterQUERTY /Half-Q.Chord-Erweiterte, z.B. Twiddler
Chord Einarbeitungszeit: ca. 30 h für 36 Anschläge/min (etwa Keyboard)
Quelle: specialneedscomputers.ca
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-46
Audio Wearable
Nomadic RadioSawhney & Schmandt, MIT MediaLabAudio-only Wearable für ubiquitäre KommunikationAusgabe: periphäre Geräusche (Cues) und Synthetische Sprache (Benachrichtigung, Antworten auf Befehle)Eingabe: Sprach-erkennunggerichtete Lautsprecher in Kopfnähe für 360° gerichtete Ausgabe
Quelle:web.media.mit.edu/~nitin/NomadicRadio
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-48
Nomadic Radio: System
Quelle:web.media.mit.edu/~nitin/NomadicRadio
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-49
Nomadic Radio: Navigation
Aktive InteraktionVokabular für Sprachnavigation▪ 12 Meta-Kommandos, z.B. “Go to my {email / news / ...}”▪ ein Vokabular für alle Anwendungen, nicht modal
Räumliche Anordnung von Nachrichten in 3D-Audio ▪ Body-stabilized, z.B. nach zeitlichem Eingang im Tagesverlauf
Simultanes Hören: z.B. Email im Vodergrund, News im Hintergrund
12.00 Uhr
15.00
18.00
9.00
Email14.30
News8.00
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-50
Nomadic Radio: Benachrichtigung
Passive Interaktion, periphere WahrnehmungSkalierbare Darstellung▪ genügend Information bei minimaler Unterbrechung▪ stufenweise Verfeinerung der Information
Quelle:web.media.mit.edu/~nitin/NomadicRadio
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-51
Nomadic Radio: Adaptive BenachrichtigungZiel: Benachrichtigung mit maximaler Qualität, mit minimaler
Unterbrechung
CLUESInhaltsbasierte Priorisierungs- und FiltersystemEntscheidet gemäß Zusammenhang zwischen Kalendar, Rolodex, to-do list, #gesendeter Nachrichten und Anrufe Kategorien: timely, personal or very important. Momentan nur E-Mail
AdaptionImplicit feedback ▪ z.B. durch Ignoranz, Wiedergabe aktiv in den Vordergrund bringen,
...▪ reinforcement of listening profile (LP)
Memory-based Reasoning (MBR), Bayesian Networks
Quelle: Marx, Matthew and Chris Schmandt. "CLUES: Dynamic Personalized
Message Filtering". Proceedings of CSCW '96, Nov.1996.
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-52
Nomadic Radio: Awareness
Periphere Wahrnehmung„Anwesenheit“ anderer▪ Lokation (selber Raum, anderer Raum), Anwesenheit in
Computersystemen, z.B. Login, Unterbrechbarkeit
Abstract Awareness ▪ Räumliche Audio Cues, die über Aktivitäten anderer
informierenGarbled Awareness▪ Einklinken in lokale Audioumgebung anderer Teilnehmer,
verzerrte Wiedergabe (GarblePhone) Asynchronous Voice Messaging▪ Aufnahme und Wiedergabe von Voice Msg. Via Server
Synchronous Voice Communication▪ direkte Audio-Kommunikation mit anderen
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-55
Affective Computing
Begriff von R. Picard, MITIdee: Rechner soll „emotionalen Zustand“ des Menschen erfahren und berücksichtigenRealisierung: Beobachtung über bestehende und vor allem neue Schnittstellen
BeispieleBlutdruckmessung durch elektronischen Ohrring
Leitfähgkeit der Haut:Uhr, Fingerring, erweiterte Maus Quelle:affect.media.mit.edu
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-56
Affective Computing
Physiolog. SensorikGSR (Galvanic Skin Response), EKG (Electrocardiogram), EMG (Electromyogram), BVP (Blood Volume Pressure), Respiration, TemperatureVideoüberwachung: Augenbewegung etc.
AnwendungsfelderLernsystemeverbesserter Benutzerschnittstellenimplizite InteraktionKunst und UnterhaltungGesundheitswesen...
Bsp: OrpheusSteuerung der abgespielten Musik basieren auf Emotionszustand
Quelle:affect.media.mit.edu
Ubiquitous Computing WS 06/07 Christian Decker, TecO 5-57
Affective Computing
StartleCamHealey & Picard, MIT MediaLabComputer hört auf Körpersignale (hier: GSR)Affective ComputingUser erschrickt Notruf mit Bildübertragung („die letzten 5 sec vor dem Überfall“)
Quelle:affect.media.mit.edu
Top Related