Ubiquitous Computing (Ubiquitäre Informationstechnologien ... · Mithril von MIT Intel ARM/XScale...

Ubiquitous Computing(Ubiquitäre Informationstechnologien)Vorlesung im WS06/07

Michael BeiglTU BraunschweigInstitute of Operating Systemsand Computer Networkswww.ibr.cs.tu-bs.de/dus

Michael Beigl Ubicomp, Wintersemester 06/07 3-2

Literatur, Fragen

Fragen zu dieser VorlesungWelche Alltagsgegenstände würden sich als Teil eines Wearable eignen?

Pflichtliteratur (Vorbereitung nächste Vorlesung)Jaarp Haardsen, BLUETOOTH—The universal radio interface for ad hoc, wireless connectivity Ericson Review


ÜbersichtVorlesung Ubicomp

Geräte und UmgebungenParcTab: erste Ubicomp Geräte und UmgebungenReaktive UmgebungenAppliancesHardware für AppliancesWearables

CommunicationContextHCI

Wearables


Wearable Computing Einleitung

Computer, der/die am Körper getragen wird/werdenInsbesondere zur Unterstützung des „mobilen“ Menschen

EinsatzbereicheNotizen, „Mitschneiden“TouristenführerReparatur- und WartungsserviceMilitärGesundheitsbereich

besondere Schwierigkeitendarf während der Tätigkeit nicht störentragbarkeine Monitor / Keyboard Interaktionnicht immer Online


Historie

1966 (C): E. Thorp, C. Shannon: Analoger Schuh Computer für Roulette

1966 (F): D. Sutherland erfindet das Head-Mounted Display (HMD)

1968 (F): D. Engelbart demonstriert funktionierendes Chord

1977 (C): HP verkauft die HP 01Taschenrechner-Uhr

Quelle: hpmuseum.org


Historie

1981: Steve Mann entwickelt als Schüler tragbaren Rechner um Phototechnik zu steuern

1984: William Gibson schreibt Neuromancer

1990: G. Maguire und J. Ioannidis demonstrieren das Student Electronic Notebook (Private Eye und mobile IP)

1991: CMU entwickelt VuMan 1

1993: T. Starner schreibt Remembrance Agent

1993: Feiner, MacIntyre, Seligman entwickeln KARMA

1994: Lamming, Flynn entwickeln „Forget-me-not“

1993: T. Starner trägt ab jetzt konstant seinen Wearable basierend auf D. Platt‘s HIP PC


Wearable Computing Prinzipien

Abgrenzung zum PCalte MIT Definition:Always onAlways accessibleAlways with the user

auchkomfortabel, unauffällig, einfach zu handhaben

Derzeitige MIT DefinitionMobile ( Where you go, it goes. )

Persistent ( Always on and always working. )

Secondary or Tertiary task ( Hands free, Eyes free, Brain free. )

Proactive ( Agent and Interrupt )

Context Aware Quelle:wearcam.org

WearablesErgonomie


Problembereich 2:Anbringung und Ergonomie

Gemperle (1998): Designing for WearabilityMehr Infos unter http://www.ices.cmu.edu/design/wearability

Design-Überlegungenplacement: Wo wird das Gerät angebrachtform language: Geräteformhuman movement: Beweglichkeit für Gerätproxemics: Anbringung als “Teil” des Körperssizing: “Größenkompatibel” mit versch. Personenattachment: Befestigungs-punkte


Anbringung und Ergonomie

EntwurfskriterienPlazierung am KörperKörperstellen mit großer Oberfläche, wenig Bewegung, wenig Varianz bei versch. Menschen; GewichtsverteilungFormsprache und GrößeKonkav nach innen, konvex nach außen, organisch geformt, weich, für verschiedene Größen/angepaßt an..Menschliche Bewegung um aktive Stellen herum entwerfen; Raum schaffen, in den sich der Körper hineinbewegen kannWahrnehmung des Körpers Aura um den Körper berücksichtigen, die als körpereigen empfunden wirdBefestigung am Körper„um den Körper wickeln“, mehrere Befestigungspunkte


Generalisten

Generalisten: Multimedia / Video / CyborgsCyborg Begriff aus Science Fiction (M. Clines, 1960)

Ersatz und Erweiterung menschlicher Sinne um spezifische Fähigkeiten von Technologie (hier: des Rechners)Grundidee so alt wie die Sehhilfeinsbesondere Überlagerung des Sehsinns

TechnolgiePC ähnliche Wearable Geräte: ZentralerRechner und „dumme“ PeripherieVerteilte Wearables: Zusammenschluß von verschiedenen Geräten wie Uhr, PDA, Sportmeßgeräten

Anwendungen, HCI, TechnologieQuelle: MIT Media Lab

WearablesTypen


Typischer AufbauWearable Computer

SPOT Wearable der CMU (Okt. 02)

Zentraler Rechner mit Peripherie

Microprocessor Strong ARM SA-1110, 59-206MHz, Software-justierbare Core Voltage, Coprozessor SA-1111144 MHz, 256 kB, 64 kB Flash

Viele Schnittstellen: Firewire, USB, RS232, PCMCIA, Wavelan, 16 Kanal A/D Wandler (für interne Spannungsüberwachung), JTAG, Auto Power DownStereo Audio, DVI 128 bit/1024x76811.1 Wh Lithium Ionen, ca. 15x8x3 cm. 270g OHNE BatteriePower460mA bei 12V mit Microdrive und Wavelan, ohne Display

KonzeptMonolitischer Aufbau, Standard Software (Linux)Klein, damit gut anbringbarRelativ sparsam, damit kompakt baubar, wenig Wärmeableitungsprobleme

Quelle CMU: http://www.wearablegroup.org


Wearable Computer Implementation

Overall System Block Diagram :

WirelessNetworkWireless

Network

Input Device Display Device

Video Camera

Low Power Indicator Power Supply

Com port VGA outFrame grabber

Netw

ork card

Parallel port Back plane

Main Unit


Beispiel: Mithril

Mithril von MITIntel ARM/XScale (SA 1110) basierte Zentrale (CERF Board)Zusätzliche „smarte“ Peripherie über BusTeilweise verteilter AnsatzTeilselbständige Peripherie z.B. SAK Board für Sensor-ÜberwachungVerteilte Komponentenüber den Körper ermöglichen ergonomische AnbringungBody Bus für Komm. der Komponenten

Quelle: http://www.media.mit.edu/wearables/mithril/


Verteilter Wearable

C. Randell, H. Muller, U.of Bristol

CyberJacket, BlazerJet, e-Gilet, eSleeve

zusammen mit HP Labs Bristol

PDA, GPS, GSM, Speech Recognitionweniger Energieverbrauch durchVerteilung der Funktionalität aufspezialisierte Einheiten

Einfachere Integration und ergonomische Anpassung durchkleiner Einheiten

kein Hitzeableitungsproblem

besser Anwendungsanpassungdurch angepaßte Geräte

bisher noch chaotische Vernetzung Quelle: http://wearables.cs.bris.ac.uk


Wearable Design Prinzipien

7 Prinzipien für den Design-Prozess nach Gandy, et al.

Angemessene BenutzungFlexible BenutzungEinfach und IntuitivErkennbare InformationFehlertolerantNiedriger körperlicher AufwandGröße angemessen der Nutzung

Gandy, Maribeth, David Ross, and Thad E. Starner, “Universal Design: Lessons For Wearable Computing”, Pervasive Computing, pp 19-23,July-September 2003.

WearablesAugmented Reality


Erweiterte Realität, Augmented Reality (AR)Augmented Reality (AR)

Erweiterte Realität: Überlagerung und Erweiterung der durch menschliche Sinne wahrgenommenen RealitätIm Prinzip Sinn aller Wearables

Zwei MöglichkeitenErweiterung der Geräte selbst -> UbicompErweiterung durch persönliches Gerät -> Wearable

ZweckEinblendung von Information (Überbrückt virtuelle und reale Welt)Erweiterte Wahrnehmung, z.B. Nachtsicht, biometrische Parameter

VorteilBenutzbarkeit: Arbeiten im Raum, direkte Einbeziehung der Realität statt AbbildungTechnik: I/O überall ohne Infrastruktur


Erweiterte Realität

Quelle: http://www.csl.sony.co.jp/person/rekimoto/uist95/uist95.html


Erweiterte Realität: Displays

TechnologienAR Displays: Head-Mounted Displays, die die Verknüpfung realer und virtueller Bilder unterstützen

Video-basiert: HMD mit Kamera, reale Welt-Sicht indirekt▫ Technisch einfache Verknüpfung von virtuellen und „realem“

Bild▫ verzögerte Wahrnehmung der realen Welt, schlechtere

Auflösung

See-Through: durchsichtiges Display▫ unverzögerte Wahrnehmung, weniger eingeschränkte Sicht,

Sicherheit!▫ Verknüpfung von virtuellem und realem Bild aufwendig

Bezug zur UmweltPosition, Orientierung

Überlagerung von Information und realer Welt-SichtInterakiv in Realzeit, Registrierung in 3D


AR Darstellung von InformationHead-Stabilized: Information relativ zum Kopf verankert, d.h. fixiert im Gesichtsfeld

z.B. für schnell zuweisbare User Interface-Elemente

Body-Stabilized: relativ zum Körper verankertvirtuelle Displayfläche um den Kopf/Körper herum, navigierbar durch Kopf-/Körperbewegung

World-Stabilized: Information relativ zur realen Welt, d.h. an Positionen oder Gegenständen verankert

z.B. Information zu Gebäuden und zu Objektenz.B. Sony NaviCam

Erweiterte Realität: Displays



Erweiterte Realität NaviCam



AR Tracking

Shared Space / Magic BookHitlab, U. of Washington, Marc BillinghurstNotwendig: “Tagging” der Objekte, damit Positition und Identifikation vom Rechnervia Kamera bestimmt werden kannMöglichkeiten Tagging:

Aktive Objekte: z.B. IR Sender viel InfrastrukturPassive Objekte: Computer Visionsehr rechenaufwendig, minimale (z.B. 3D Barcode) oder keine InfrastrukturInertial: Beschleunigung, Drehungsehr ungenau

Immer benötigt: Brille+Kamera auf/bei Brille zur Erkennung

VideosQuelle: www.hitl.washington.edu


AR Tracking

Markererkennung

WearablesBeispiele


Vu-Man

Vu-Man3Carnegie Mellon Universityzusammen mit Boinghead mounted display (HMD)Zentraler PC (80386)Wahlscheibe als Eingabe, sehr robust

Ergebnisangeblich 40% Reduktion der BearbeitungszeitNur noch eine Person notwendigNicht weitergeführt, da wenig erfolgreich

Michael Beigl Ubicomp, Wintersemester 06/07 3-29Figure 1: CMU Wearable Family Tree [www-2.cmu.edu/people/wearable/pics/wearabletree.jpg]


Columbia University: Touring Machine, KARMA

AR für ReparaturOhne Handbuch

Wearable für NavigationSteve Feiner, Columbia University“Mobile Augmented Reality”

KomponentenBackpack-PCGPS / Diff. GPS: PositionierungHMD mit Orientation-TrackerFunk LANzusätzlich Handheld Display


Touring Machine

AR DisplayUI-Navigationselemente fixiert (head-stabilized)Information zur Umgebung in der realen Welt verankert (world-stabilized)Kontextauswahl durch Blickrichtung(Gaze Selection)Menüauswahl über Trackpad aufRückseite des Handhelds

Handheld DisplayDisplay für Information zur Vertiefung (d.h. AR Display bleibt für Mixed Reality reserviert)abhängig vom AR-Kontext


Anwendung: CamNet Studie

Studie von British Telecom, 1992Wearable Teleconferencing

Audio, Video, DatenWYSIWIS “what you see is what I see”Bezugnahme auf lokalen Kontext

Asymmetriein den Rollen: mobiler Arbeiter vor Ortkonsultiert entfernten Expertenin der Kommunikation: breitbandig zum Experten, schmalbandig zum Wearable

Unterstützung mobiler Aktivität“freihändige” Kommunikation


Anwendung: Proactive Comp. & Gedächtnisunterstützung

Remembrance Agent („Gedächtnis-Prothese“)Rhodes, MIT MediaLab 1997menschliche Schwäche: vergessen / nicht erinnern

Computer-Stärken: alles speichern, schnelle Suche


Proactive Computing MemoClip: “Cognitive Unloading”

Aktivierung durch externe GedächtnisleistungenStatt bisher nur passiver Datenspeicher (erweitertes Gedächtnis)… Entlastung von Aktivität, dadurch Reduktion kognitiver LastKontextabhängige Erinnerung, z.B. „nehme Butter mit, falls im Supermarkt“Persönliche Computer ermöglichen diese Anwendungen“Always with you”Abhängig von beliebigemKontext:Regen & Ausgang >

RegenschirmÄhnliche Kalender … aber komplexerHauptschwierigkeit: “end user programming”


Gordon Bell (Microsoft)Alle Aktivitäten des Lebens auf der Festplatte inkl. des Kontexts (Zeit, Sensorik)Tätigkeit am Computer, aber auch Photos, angeschaute Filme Folgt V. Bushs Memex Idee

MyLifeBits


AnwendungMedizin

Microsofts SenscamEinsatz: AlzheimerDramatischer Erfolg ggüber konventionellen Therapien

http://research.microsoft.com/barc/mediapresence/MyLifeBits.aspx


Diplomarbeiten / Studienarbeiten

MemoClipLoctation TechnologyAssociation ConceptsEnd User Programming / Configuration

MemCamHardwareDetection Methods (Acitivity Recognition)

Your Life at Your DiskOrganizing Sensor based Situation enhanced large information setsActivity RecognitionPresentation

Cognitive UnloadingUser studies

.....

WearablesAusgabe


Interaktionstechnologien

AusgabeDisplays, die nicht den Blick auf reale Welt versperren

See-through Displays („halbdurchsichtig“)See-above DisplayMonokulare Displays (einäugig)Displays am Arm, Uhr, ....

Nutzung oft ähnlich gewohnter GUI NutzungEingabe

Explizite Eingabe problematisch, da von realer Welt ablenktKeine feststehendes Eingabegerät erfordert neue Interaktionstechniken... Und erfordert deshalb oft Erlernen eines neuen GerätsEingabetechniken für einhändige oder freihändige Interaktion

SprachbedienungSpezialtastaturenZeigegeräte als Mausersatz

mehr Produkte auf http://www.tekgear.ca


Head Mounted Display

ErgonomieGewicht nahe Schwerpunkt des KopfesMaximale Auflagefläche ohne MuskelnKeine Sinne beinträchtigt

Quelle: www.ices.cmu.edu/design/wearability


Displays für mobile Aktivität

See-through DisplaysBsp. Sony GlasstronStärken: Displaygröße und -qualität

30° Gesichtsfeld,Farbe, SVGA

Nachteile:eingeschränkte Sicht auf reale Welt (Ge-sichtsfeld, Lichtstärke)optimiert für andere Anwendungen (TV, Spiele, Augmented Reality [s.u.])sehr hohe Leistungsaufnahme (11W)



See-above DisplaysBsp. Personal Monitormehr periphere Sicht als bei Sony Glasstron, aber einge-schränkt durch Abdeckungweniger Displayraum im Gesichtsfeld, keine Über-lagerung virtueller undrealer Bilder

Aussenansicht

Innenansicht

Sichterlebnis



Monokulare DisplaysBsp. M1 Display, „Private Eye“500 $auf einem Auge freie Sichtwenig Displayraum (8° FOV), bei M1 niedrige QualitätAufteilung: ein Auge für die reale Welt, eins für die virtuelle

fragwürdiges Konzept (dominantes Auge, 3D-Sehen)hohe Belastung für Nutzer



„Unsichtbare“ Monokulare DisplaysEntwicklungen von MicroOptical: Clip-On Displayzwischen 900-1600 $ je nach Auflösung



„Unsichtbare“ Monokulare DisplaysMicroOptical: Integrated Eyeglass DisplayMicroOptical: Binocular Display


Displays

Direkte RetinaprojektionMVIS.com

Quelle: http://www.mvis.com


Nutzung gewöhnungsbedürftig

... Besonders für die Umwelt

WearablesEingabe



Tragbare Display-Alternativen zu HMDsz.B. Wrist-Mounted Display


Software oder fix generierte Projektionseingabe

Projektion einer Tastatur etc. auf OberflächeErkennung von Fingerbewegung, Drücken auf FlächeDurch Erkennung der Schatten


Wearable EingabeData gloves

Kontrolle der FingerpositionZeichensprache z.B. für Taube kann interpretiert werdenKalibrierung notwendigTeuer


Wearable Eingabe: Klassifikation

FreihändigSprache, Eye-Tracking, EKG, Computer Vision

EinhändigTrackball, Wählscheibe, Maus, Gesten, Chord, Keyboard, Knöpfe, Joystick, Beschleunigungs- oder Neigungssensoren

ZweihändigPen/Touch, Gesten, Keyboard

Wichtigste VertreterQUERTY /Half-Q.Chords VIDEOChord-Erweiterte, z.B. TwiddlerChord Einarbeitungszeit: ca 30 h für 36 Anschläge/min (etwa Keyboard)


Wearable Eingabe

Wireless Finger Ring

Detection of finger-tip typingWireless LinkBlock DiagramsChording METHOD

Fukumoto et al. 1999


Wearable Computer EingabeFingerring

Erkennung Fingerbewegung


Wearable EingabeFingerring

Eingabe: Datenübertragung Body Area network



Eingabe: Datenübertragung



Block DiagramsEinfacher, preiswerter, energiesparsamer PIEZO Accl.Verstärker (Charge-Amp)Regelt die Frequenz des Oszillators (FM=Frequency Modulation)


Wearable Computer Implementation>>Input Device

BPF: Band Pass FilterPLL: Phase Locked Loop (interpretiert Frequenzabweichung)


Samsung Scurry

WearablesAudio


Audio Wearable

Nomadic RadioSawhney & Schmandt, MIT MediaLabAudio-only Wearable für ubiquitäre KommunikationAusgabe: periphäre Geräusche (Cues) und Synthetische Sprache (Benachrichtigung, Antworten auf Befehle)Eingabe: Sprach-erkennunggerichtete Lautsprecher in Kopfnähe für 360° gerichtete Ausgabe

Quelle:web.media.mit.edu/~nitin/NomadicRadio


Nomadic Radio

Video


Nomadic Radio: Navigation

Aktive InteraktionVokabular für Sprachnavigation

12 Meta-Kommandos, z.B. “Go to my {email / news / ...}”ein Vokabular für alle Anwendungen, nicht modal

Räumliche Anordnung von Nachrichten in 3D-Audio Body-stabilized, z.B. nach zeitlichem Eingang im Tagesverlauf

Simultanes Hören: z.B. Email im Vodergrund, News im Hintergrund

12.00 Uhr

15.00

18.00

9.00

Email14.30

News8.00


Nomadic Radio: Benachrichtigung

Passive Interaktion, periphere WahrnehmungSkalierbare Darstellung

genügend Information bei minimaler Unterbrechungstufenweise Verfeinerung der Information



Nomadic Radio: System



Infineon Digital Music Player System Musik-Jacke

WearablesAffective Computing


Affective Computing

Begriff von R. Picard, MITIdee: Rechner soll „emotionalen Zustand“ des Menschen erfahren und berücksichtigenRealisierung: Beobachtung über bestehende und vor allem neue Schnittstellen

BeispieleBlutdruckmessung durch elektronischen Ohrring

Leitfähgkeit der Haut:Uhr, Fingerring, erweiterte Maus Quelle:affect.media.mit.edu


Affective Computing

Auch Herzschlag, Videoüberwachung: Augenbewegung etc.

AnwendungsfelderLernsysteme

verbesserter Benutzerschnittstellen

implizite Interaktion

Kunst und Unterhaltung

Gesundheitswesen

...

Bsp: Orpheus

Steuerung der abgespielten Musik basieren auf Emotionszustand

Quelle:affect.media.mit.edu


Affective Computing

StartleCamHealey & Picard, MIT MediaLabComputer hört auf KörpersignaleAffective ComputingUser erschrickt Notruf mit Bildübertragung („die letzten 5 sec vor dem Überfall“)

Quelle:affect.media.mit.edu

Ubiquitous Computing (Ubiquitäre Informationstechnologien ... · Mithril von MIT Intel ARM/XScale...

Documents

Transcript of Ubiquitous Computing (Ubiquitäre Informationstechnologien ... · Mithril von MIT Intel ARM/XScale...