Grundlagen der Augmented Reality

Proseminar Augmented Reality in der Anwendung

Institut fur Computervisualistik, Universitat KoblenzProf. Dr. Stefan Muller

Dipl.-Inform Martin SchumannDipl.-Inform Dominik Gruntjens

Marvin Amberger

amberger@uni-koblenz.de

06.06.11

1

Inhaltsverzeichnis

1 Einleitung 3

2 Definitionen 32.1 Augmented Reality . . . . . . . . . . . . . . . . . . . . . . . . . . 32.2 wichtige Begriffe . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.3 Virtual Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.4 Mixed Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

3 Uberblick Architektur 63.1 Displays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63.2 Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93.3 Eingabegerate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

4 Anwendungsgebiete 104.1 Medizin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104.2 Militar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104.3 Industrie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114.4 Marketing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114.5 Freizeit & Unterhaltung . . . . . . . . . . . . . . . . . . . . . . . 12

5 Glossar 13

6 Literaturverzeichnis 14

2

1 Einleitung

Auch heute noch ist Augmented Reality selbst technikaffinen Menschen oft einFremdwort, obwohl man in Alltag und Freizeit damit seit einiger Zeit fast un-vermeidlich in Beruhrung kommt.Ubertragungen von Sportveranstaltungen werden zum Beispiel schon seit Jah-ren mit informativen Einblendungen optisch unterstutzt. Wo im Fußball fruherlediglich Tore und abgelaufene Spielzeit angezeigt wurden, wird heute bei Frei-stoßen auch die Entfernung zum Tor eingezeichnet. Bei Wiederholungen siehtman eine Hilfslinie um auch als Zuschauer knappe Abseitssituation einfachererkennen zu konnen. Sogar beim Einkaufen hilft Augmented Reality bereits. Inentsprechend ausgestatteten Laden kann man sich selbst dank Kinect1 und ei-nem großen Display in verschiedenen Outfits betrachten, ohne diese tatsachlichanprobieren zu mussen. Besitzt man eine Webcam, kann Schmuck heutzutagevirtuell von zu Hause aus anprobiert und gekauft werden. Neben diesen trivia-len Beispielen wird Augmented Reality zunehmend auch in der Medizin, beimMilitar oder in Entwicklung, Forschung und Produktion eingesetzt und wirddaher in Zukunft eine zentrale Rolle in der Interaktion des Menschen mit seinerUmgebung einnehmen.In der folgenden Arbeit werden die Grundlagen dieser wichtigen Technologievorgestellt.

2 Definitionen

2.1 Augmented Reality

In ihrer 1994 erschienen Arbeit”A taxonomy of mixed reality visual displays“2

erklaren Paul Milgram und Fumio Kishino Augmented Reality auf folgende Art:

”Die Bezeichnung Augmented Reality(AR) lasst sich auf all die Falle anwen-

den, in denen die Darstellung einer ansonsten realen Umgebung durch virtuelleObjekte(Computergrafiken) erweitert wird.“

Etwas konkreter ausformuliert bedeutet dies, dass ein Betrachter (s)eine rea-le Umgebung auf einem Bildschirm(sieh Beispiele Abb.1 und Abb.2) ansieht undpassend dazu computergenerierte Grafik eingeblendet wird. Milgram und Kis-hinos Definition bezieht sich dabei ausschließlich auf den visuellen Aspekt derAR. Theoretisch lasst sich Augmented Reality aber mit jedem fur den Menschenwahrnehmbaren Sinn kombinieren, praktisch sinnvoll anwendbar ist davon abernur ein Teil. Neben dem visuellen Sinn sind dies der auditive, der taktile undder vestibulare3 Sinn, wobei die beiden letzteren nur in speziellen SimulationenAnwendung finden, wenn beispielsweise virtuelle Objekte fuhlbar sein mussenoder wie in Flugsimulatoren der Eindruck von Bewegung wichtig ist. Abgesehendavon beschrankt sich Augmented Reality aber hauptsachlich auf den audiovi-suellen Bereich.

1Kamerasystem zur Steuerung durch Bewegung http://de.wikipedia.org/wiki/Kinect2z.Dt.: eine Klassifizierung der optischen Darstellung von gemischter Realitat3Horen, Wahrnehmung mit der Haut und Gleichgewichtssinn

3

Abbildung 1: AR Anwendung Wiki-tude

Abbildung 2: AR-Spiel Human Pac-man

1997 veroffentlichte Ronald Azuma eine erweiterte Definition von AR. LautAzuma [RA01] dienen virtuelle Objekte in einem AR-System dazu, die realeWelt zu unterstutzen, wobei virtuelle Objekte und reale Welt im selben Raumangezeigt werden. Ein AR-System wird von Ihm mit den folgenden Eigenschaf-ten definiert:

• reale und virtuelle Objekte sind zusammen in einer realen Umgebung kom-biniert

• lauft interaktiv und in Echtzeit ab

• reale und virtuelle Objekte werden im Bezug zueinander angezeigt undausgerichtet

Azuma betont speziell, dass seine Definition weder auf ein bestimmtes An-zeigegerat beschrankt sein soll, noch ausschließlich auf einen bestimmten wahr-nehmbaren Sinn.4

Allgemein lasst sich sagen, dass durch Augmented Reality die Welt des Benut-zers mit zusatzlichen Informationen erweitert wird, die in die Umgebung desBenutzers eingeblendet werden.

2.2 wichtige Begriffe

Um neue Begriffe wie Virtual Reality und Mixed Reality in den zwei folgendenAbschnitten besser von der Augmented Reality abgrenzen zu konnen, werdenzunachst ein paar grundlegende Begrifflichkeiten erklart/definiert:

• Immersion: Bezeichnet im Zusammenhang mit virtueller Realitat das Ein-tauchen in eine kunstliche Welt, das Aufheben der Trennung des Betrach-ters zwischen sich und dem Betrachteten.

• direktes und indirektes Betrachten:Wahrend direktes Betrachten eines realen Objekts per Auge erfolgt, ge-schieht indirektes Betrachten uber einen Form von Display. Direktes Be-trachten ware also zum Beispiel sich seine eigene Hand anzusehen, indi-rektes Betrachten dagegen die selbe Hand in digitaler Form auf einemMonitor oder Leinwand etc.

4Azuma in [RA01]

4

• egozentrisch/exozentrisch:Wird eine virtuelle Welt von außen betrachtet, z.B. ein beliebiges Objektauf einem Monitor(TFT,LCD...) oder einer Leinwand, so wird dies als exo-zentrisch bezeichnet. Von innen betrachtet, z.B. durch ein Head-MountedDisplay(HMD), bezeichnet man dies als egozentrisch. Beiden Begriffe be-schreiben das Verhaltnis des Betrachters relativ zum Betrachteten.

• reale/virtuelle Objekte, reale/virtuelle Umgebungen:Reale Objekte sind all die Objekte, die tatsachlich objektiv existieren. Einreales Objekt kann direkt aber auch indirekt betrachtet werden. Eine realeUmgebung besteht ausschließlich aus realen Objekte und kann ebenso wiediese direkt oder indirekt betrachtet werden.Virtuelle Objekte sind all die Objekte, die nur im Wesen oder im Eindruckexistieren, aber nicht wirklich oder in formlicher Weise. Ein virtuelles Ob-jekt muss simuliert werden, da es ohne Simulation nicht existiert/sichtbarist. Es kann nur indirekt betrachtet werden. Egal wie realistisch ein vir-tuelles Bild auf den Betrachter wirkt, die Qualitat des Dargestellten ent-scheidet nicht daruber, ob es real oder virtuell ist.Eine virtuelle Umgebungbesteht ausschließlich aus virtuellen Objekten und kann nur indirekt be-trachtet werden.

Abbildung 3: unterschiedliche Aspekte real und virtuell zu unterscheiden [PM94]

2.3 Virtual Reality

Eine Virtual Reality(VR)-Umgebung definiert5 sich somit als eine virtuelle Um-gebung, in der der teilnehmende Betrachter vollstandig in eine kunstliche Welteingebunden ist, mit der er interagieren kann. Die kunstliche Welt kann dabeiversuchen die Eigenschaften unserer realen Welt so gut wie moglich zu imitie-ren, kann aber auch frei von physikalischen Einschrankungen wie Raum, Zeitoder materiellen Eigenschaften gestaltet sein. Die Unterschiede zwischen ARund VR liegen in der jeweils dominanteren Umgebung, hauptsachlich aber imGrad der Immersion des Betrachters. Wahrend bei der Augmented Reality zwarder Anteil an virtuellen Elementen unterschiedlich stark variieren kann, dient als

5nach Milgram und Kishino in [PM94]

5

Basis dennoch eine reale Umgebung. Die Virtual Reality besteht dagegen immeraus virtuellen Elementen und enthalt per Definition keine realen Elemente. Desweiteren versucht die VR, auch durch die Wahl von HMDs als primare Anzei-gemethode, immersiv auf den Betrachter zu wirken. Dieser soll sich so stark wiemoglich als Teil der simulierten Welt fuhlen. Dies ist wiederum bei der AR nichtder Fall und schon zum Teil alleine wegen der Art wie die Umgebung betrachtetwird, z.B. auf einem Smartphone, nicht moglich.

Abbildung 4: Soldat ubt Fall-schirmspringen

Abbildung 5: Astronauten trainierenfur Einsatz

2.4 Mixed Reality

Grundlage fur Mixed Reality(MR) bildet das von Milgram formulierte Virtua-lity Continuum(VC), siehe Abb.6, ein Konzept um das Spektrum von kom-plett realen Umgebungen hin zu komplett virtuellen Umgebungen inklusive allermoglichen Mischformen davon zu beschreiben. Mixed Reality als Teil des VCdeckt somit den Bereich zwischen den beiden Extrema Realitat und Virtualitatab und versucht reale mit virtuellen Welten zu verschmelzen. AR ist dabei alsder Bereich der MR zu sehen, der sich eher in der Nahe der Realitat befindet alsder Virtualitat. Das Gegenstuck zur AR bildet die Augmented Virtuality(AV),ein Begriff der abseits von Milgram selten Verwendung findet.

Abbildung 6: das Virtuality Continuum nach Milgram/Kishino [PM94]

3 Uberblick Architektur

Ein AR-System besteht in der Regel aus einer Kombination von Prozessor,Display, Eingabegerat und verschiedenen Sensoren mit denen die Umgebungerfasst werden kann. Faktoren wie Kosten, Große, Gewicht, Qualitat und Art derDarstellung bestimmen welche Technik sich fur verschiedene Einsatzgebiete ambesten eignet. Der aktuelle Stand der Technik wird im folgenden kurz vorgestellt.

6

3.1 Displays

Displaytechnologien moderner AR-Systeme lassen sich grob in drei Kategorieneinteilen:

1. Head-Mounted Displays(HMD) sind Displays, die am Kopf getragenwerden. HMDs werden zusatzlich in optical see-through und video see-through unterschieden. Optical see-through HMDs sind transparent, derBetrachter sieht also seine reale Umgebung durch das durchsichtige Dis-play und bekommt zusatzlich AR-Elemente eingeblendet. Video see-throughHMDs sind nicht transparent. Der Benutzer sieht auf seinem Display dasvon der Kamera aufgenommene Bild, uberlagert mit virtuellen Elemen-ten. Der großte Vorteil von HMDs liegt in ihrer starken Immersion desBenutzers.

Abbildung 7: modernes HMD imF-35 Kampfflugzeug

Abbildung 8: HMD in Brillenform vonZeiss

2. Handheld Displays, sind Displays, die Teil eines portablen Gerates wiePDA oder Smartphone sind. Diese Gerate sind handlich, mobil und inder Regel mit mehrere Kameras, GPS, W-LAN, Bluetooth, Mikrofon etc.sehr gut ausgestattet. Sie sind daher bestens fur eine Vielzahl von AR-Anwendungen geeignet. Ein Problem stellt nach wie vor die ausreichendeStromversorgung dar, da der gleichzeitige Einsatz all dieser Technologien,insbesondere von GPS, sehr viel Strom verbraucht.

Abbildung 9: portable AR-fahige Gerate(Nintendo 3DS,iPhone4, GalaxySII)

7

3. Projection/Spatial Displays, raumliche Darstellungstechnik bei derein Projektor(Beamer) virtuelle Information direkt auf die zu erweiterndeOberflache strahlt. Im Unterschied zu den anderen beiden Arten ist derBenutzer hier nicht an ein Display gebunden, sondern kann sich frei da-von bewegen, ohne standig Equipment(wie HMD oder Handheld) mit sichtragen zu mussen. Ein weiterer Vorteil liegt in der Skalierbarkeit der Pro-jektoren, durch die die eingeschrankte Darstellungsgroße und Auflosunganderer Systeme beseitigt werden kann. Somit ist es moglich, zusammenmit mehreren Leuten innerhalb einer Projektion zu arbeiten. Abbildung10 zeigt CAVE, einen speziellen Raum dessen Seiten von außen projiziertwerden und der in Verbindung mit einer 3D-Brille fur den Betrachter einedreidimensionale-virtuelle Welt erzeugt.

Abbildung 10: CAVE Abbildung 11: Airscouter

Neben diesen drei Klassen gibt es noch eine Mischung aus den Klassen einsund drei, den Virtual Retinal Displays(VRD). Dabei handelt es sich umspezielle Brillen, die ihr projiziertes Bild direkt auf die Retina zeichnen, wodurchder Eindruck entsteht, einen virtuellen Monitor vor sich zu haben. Abbildung12 zeigt den Airscouter, ein VRD aus dem Jahr 2010. Wahrend der Benutzungerscheint auf der Seite des Projektors in etwa einem Meter Entfernung ein 16Zoll großer, virtueller Monitor.

3.2 Tracking

Je mehr und praziser Daten uber den Benutzer und seine Umwelt vorliegen,desto realistischer konnen in AR-Anwendungen virtuelle Elemente uber realeWelten eingeblendet werden. Von grundlegender Bedeutung sind dabei meistensOrientierung und Position des Benutzers sowie die Position wichtiger Objektein seiner Umgebung.Um diese Daten bestimmen zu konnen, werden u.a. die folgenden Sensoren undTechnologien verwendet:

• digitale Kameras: erfassen Bilder von Umwelt und User

• Beschleunigungssensoren: messen, ob sich der Trager beschleunigt oderverlangsamt

• Gyroskop: bestimmt die Lage des Tragers

• GPS: dient zur Positionsbestimmung des Tragers

8

Je nach Situation kann es notwendig sein, die verschiedenen Trackingtechno-logien von außen zu unterstutzen. W-LAN und Bluetooth hilft beispielsweisebei der Positionsbestimmung, wenn GPS alleine zu ungenau ware oder wie in-nerhalb von Gebauden nicht einsetzbar ist. Die Erkennung von Objekten kanndurch den Einsatz von speziellen Markern und RFID verbessert und vereinfachtwerden.

3.3 Eingabegerate

Neben der Darstellung von zusatzlichen Informationen ist Interaktivitat einwichtiger Aspekt der Augmented Reality. Der Benutzer soll nicht einfach nurpassiv Informationen angezeigt bekommen, er soll die verschiedenen AR-Systemeauch aktiv steuern konnen. Bei Handhelds erfolgt dies meistens relativ unkom-pliziert uber den verbauten Touchscreen. AR-Systeme die auf HMDs oder Pro-jektoren zuruckgreifen, bedurfen dagegen oft spezieller Eingabemethoden, dasich die klassische Kombination aus Maus und Tastatur wenig intuitiv und be-quem zur Steuerung im dreidimensionalen Raum eignet. Daher gibt es noch zweiweitere Ansatze, AR-Anwendungen zu steuern:

• greifbare Gegenstande: In Kombination mit Markern kann theoretisch je-der Gegenstand als Eingabegerat verwendet werden und so individuellauf einzelne Szenarien angepasst werden. Der Gegenstand kann dabei nurMittel zum Zweck sein und muss nicht zwingend uber besondere Funktio-nalitat verfugen. Der Anwender soll ein Objekt in der Hand halten konnen,mit dem er im dreidimensionalem Raum arbeiten kann.

• Gestenerkennung: Spezielle Kamerasysteme erfassen einzelne Korperteileund ermoglichen so, mittels Erkennung von gezielten Bewegungen, dieSteuerung des Systems und die Eingabe von Befehlen. Der Vorteil vonGesternerkennung - ein externes Eingabegerat ist uberflussig - kann gleich-zeitig auch ein Nachteil sein, da die Interaktion mit virtuellen Elementenohne haptisches Feedback erfolgt.

Je nach Einsatzgebiet kann es auch sinnvoll sein, mehrere Eingabearten zu kom-binieren, um so geschickt Vorteile nutzen und Nachteile vermeiden zu konnen.

4 Anwendungsgebiete

In beinahe allen Lebensreichen bieten sich Anwendungsmoglichkeiten fur Aug-mented Reality. Im folgenden werden ein paar wichtigen Einsatzgebiete undmogliche Anwendungen darin kurz vorgestellt.

4.1 Medizin

In der Medizin bietet sich AR an, um Arzte bei Operationen durch visuelleInformationen zu unterstutzen. So konnen z.B. vor der Operation angefertigteBilder (Computertomographie, Magnetresonanztomographie oder Ultraschall)direkt auf den Patienten eingeblendet werden, so dass sich der Chirurg wahrendder Operation nicht vom Patienten abwenden muss und voll auf seine Arbeitkonzentrieren kann. Abbildung 13 zeigt eine Image-guided surgery[IGS11], ein

9

chirurgischer Eingriff, bei dem getracktes Operationsbesteck in Verbindung mitAR-Einblendungen verwendet wird, um z.B. den Nachteil schlechterer Sicht beiminimal-invasiven Eingriffen zu verringern.

Abbildung 12: Rontgenaufnahmeund Livebild kombiniert

Abbildung 13: Bild-gefuhrte Operation

4.2 Militar

Moderne Kampfflugzeuge verwenden schon seit vielen Jahren HMDs zur Steue-rung wichtiger Bordsysteme und helfen dem Piloten mit Einblendungen, wich-tige Informationen immer direkt im Blickfeld zu haben. Abseits der Forschungnimmt das Militar damit eine Vorreiterrolle im Einsatz und Entwicklung vonAR-Systemen ein. Nicht nur in Fahrzeugen kann von AR profitiert werden, auchInfanteristen werden in Zukunft mit AR-Systemen ausgestattet sein, beispiels-weise um Befehle, Position von Gegnern und Zielen oder Karten direkt am Helm(siehe Abb.14) angezeigt zu bekommen.

Abbildung 14: aktuelles AR-Projekt der Firma Tanagram[ARM11]

4.3 Industrie

Neben dem medizinischen und militarischen Bereich wird in den letzten Jahrenauch in der Industrie vermehrt an AR-Anwendungen geforscht und in einigen

10

Gebieten bereits eingesetzt. Obwohl AR momentan noch uberwiegend fur De-sign und Simulation von Produkten verwendet wird, soll in Zukunft auch in derMontage, Konstruktion, im Prototypenbau und beim Training von Mitarbeiternvon Augmented Reality profitiert werden konnen. Ahnlich wie im medizinischenkonnten Arbeitsanweisungen und Konstruktionsschritte uber HMDs an den ent-sprechenden Stellen angezeigt werden und so einfacheres und sicheres Arbeitenermoglichen.

4.4 Marketing

Auch im Marketing Bereich spielt Augmented Reality eine immer wichtigereRolle. Vor allem die weite Verbreitung von Smartphones und Webcams hat einegroße Anzahl an AR gestutzter Werbung hervorgebracht. QR-Codes6 auf Ver-packungen, Werbeplakaten und in Zeitschriften ermoglichen traditionelle Wer-bung mit AR-Inhalten zu verknupfen und so Produkte auch von zu Hause ausinteraktiv fur den Kunden erlebbar zu machen. Abbildung 15 zeigt eine Wer-bung von BMW, die vor eine Webcam gehalten den Kunden das aktuelle Modelldes Minis virtuell von allen Seiten betrachten lasst. Ein ahnliches Konzept ver-

Abbildung 15: AR Werbung furMini von BMW

Abbildung 16: AR-System zeigt ferti-gen Packungsinhalt

folgt Lego in seinen großeren Laden. Dort kann sich der Kunde an speziellenStationen den fertigen Packungsinhalt anzeigen lassen. Die Station erkennt dieverschiedenen Modelle anhand der Oberseite der Verpackung, der Kunde kanndas 3D-Modell uber die Bewegung der Packung steuern.

4.5 Freizeit & Unterhaltung

Selbst im Privatbereich hat AR schon langst Einzug gehalten. Dank Smart-phones wie dem iPhone und mobilen Konsolen wie dem Nintendo 3Ds kannheute jeder auch zu Hause in den Genuss von Augmented Reality Anwendun-gen kommen. Ein Beispiel zeigen die Abbildungen 17 und 18. Bei der ParrotAR.Drone handelt es sich um eine fliegende Miniatur-Drohne, die ihr Bild inEchtzeit an ein verbundenes iPhone ubertragt, uber welches auch die Steue-rung der Drohne erfolgt. Mit dem Open-Source SDK des Herstellers kann jederSoftwareentwickler Anwendungen fur die Drohne schreiben. Daher existieren

6http://en.wikipedia.org/wiki/Qr_code

11

Abbildung 17: Parrot AR.DroneAbbildung 18: iPhone App zur Steue-rung der Drone

mittlerweile auch Spiele fur die AR.Drone, bei denen sich etwa zwei Dronenbe-sitzer in der Luft bekampfen oder gegeneinander Rennen absolvieren konnen.Neben rein der Unterhaltung dienenden Anwendungen gibt es auch verschiede-ne AR-Navigationssysteme und AR-Reisefuhrer fur Smartphones wie Wikitude,die mit Hilfe von GPS und Tracking die Umgebung erkennen und beispielswei-se Informationen zu Gebauden oder architektonische Bilder uber die von derKamera des Gerates aufgenommene Umgebung anzeigen.

5 Glossar

• Augmented Reality(AR), reale Welt erweitert durch virtuelle, audiovisu-elle Informationen

• Augmented Virtuality(AV), virtuelle Welt erweitert durch reale, audiovi-suelle Informationen

• Head-Mounted Display oder Helmet Mounted Display(HMD), ein an Kopfoder Helm befestigtes Anzeigegerat in Form eines kleinen Bildschirms

• Head-Up Display(HUD), Anzeigesystem, projiziert fur den Nutzer wichti-ge Informationen in dessen Sitchfeld

• Mixed Reality(MR), Mischung aus AR und AV

• Virtual Reality(VR), durch einen Computer simulierte virtuelle Welt, kannrealer Welt nachempfunden sein

12

6 Literaturverzeichnis

Literatur

[ARM11] Tanagram DARPA AR-Project, June 2011. http://

tanagrampartners.com/featured-work/darpa-iarm/. 11

[IGS11] Image-guided surgery, June 2011. http://en.wikipedia.org/wiki/Image-guided_surgery. 10

[PM94] Fumio Kishino Paul Milgram. A taxonomy of mixed reality visualdisplays. pages 2–12, 1994. 5, 7

[RA01] Reinhold Behringer Steven Feiner Simon Julier Blair MacIntyre Ro-nald Azuma, Yohan Baillot. Recent advances in augmented reality.pages 1–11, 2001. 4

[Sch07] Thomas Schilling. Augmented Reality in der Produktentstehung. PhDthesis, TU Ilmenau, 2007.

13