AR - EntwicklungsumgebungToolvergleich und Umsetzung einer ApplikationTheresa Feulner, Maryam Kaiser, Roland Stolz

03.07.2019 – Abschlusspräsentation Biomedizintechnische Projektarbeit – Prof. Dr. Stefanie Remmele – Hochschule Landshut

e

Ziel

Motivation

Methode

Ergebnis

Das Ziel dieser konzeptionellen Arbeit ist der Vergleich von unterschiedlichen Augmented Reality Tools und das Finden von geeigneten Vergleichskriterien.Darauf basierend soll anhand eines dieser Tools eine Beispielapplikation zur Demonstration von Augmented Reality entwickelt werden.

[1] https://www.in.tum.de/forschung/forschungs-highlights/medical-augmented-reality/, abgerufen am 30.06.2019[2] https://www.ghst.de/interview-alzheimer-koffer-tu-kaiserslautern/, abgerufen am 30.06.2019[3] https://www.blender.org/, abgerufen am 30.06.2019[4] https://unity3d.com/, abgerufen am 30.06.2019[5] https://www.ptc.com/de/products/augmented-reality, abgerufen am 30.06.2019

[6] https://www.wikitude.com/, abgerufen am 30.06.2019[7] https://aframe.io/, abgerufen am 30.06.2019[8] https://aframe.io/blog/arjs/, abgerufen am 30.06.2019[9] https://developers.google.com/ar/discover/, abgerufen am 30.06.2019[10] Rudorf Julia, https://www.apotheken-umschau.de/Medizin/AugmentedReality-OP-542489.html, abgerufen am 30.06.2019

Literatur

Diskussion

a) Blender b) Unity c) Vuforia d) Wikitude e) A-Frame g) AR Core

Tabelle 1: Aufbau des Fragebogens zur Bewertung der Applikationen im Hörsaal und der Testkriterien für die AR-Marker

Da die Beispielapplikationen in der Lehre Anwendung finden sollen, sind die Tools hinsichtlich des Kriteriums „AR Tracking Möglichkeiten“ vor allem in Bezug auf die Lehre bewertet worden. Das Markerbasierte Tracking von AR.js, Wikitude und Vuforia, lässt sich durch das Einfügen von Markern problemlos in die Vorlesungsunterlagen integrieren. Das Tool AR Core weist zwar ein hervorragendesFlächentracking auf, ist jedoch genau aus diesem Grund für Lehrzwecke ungeeignet, da die Positionierung des Modells nicht festgelegt ist. Für die Entwicklung der Android App stehen somit Vuforia undWikitude zur Auswahl. Da Ersteres für den Einsatz der App in Forschung und Lehre kostenlos zur Verfügung steht, ist die finale App mit Vuforia umgesetzt worden.Da die App für den Einsatz in der Lehre entwickelt worden ist, ist es wichtig, dass durch deren Benutzung auch ein Lernerfolg eintritt. Obwohl es sich bei den Anwendungen um eine Demoversion handelt, istein Lernerfolg erkennbar. Die befragten Studenten schneiden im Fragebogen nach der Verwendung der App im Durchschnitt besser ab (s. Tab. 3). Außerdem stufen die befragten Kommilitonen die App alsverständlich und einfach zu bedienen ein (s. Tab. 3).Die Durchführung des Markertests hat ergeben, dass das Tracking sowohl mit Vuforia, als auch mit Ar.js, unabhängig von Lichtverhältnissen und einer Beschriftung des Markers, stabil funktioniert. Für dieAnfertigung des Röntgenmodells wird die Software Blender (s. Abb. 2a) verwendet, da hier beim Exportieren des erstellten 3D-Modells die höchste Kompatibilität mit der ausgewählten AR-Entwicklungsumgebung gewährleistet ist.

Abbildung 4: Darstellung der Systemarchitektur der Webanwendung und der Android App

Unity ist eine für nichtkommerzielle Zweckekostenlose Entwick-lungsumgebung zurSchaffung von 2D- und3D-Anwendungen. [4]

Vuforia ist ein SoftwareDevelopment Kit derFirma PTC, mit welchemmarker- und objekt-basierte AugmentedReality (AR) Anwen-dungen erstellt werdenkönnen. [5]

Wikitude ist ein SoftwareDevelopment Kit, mitwelchem sich marker-,objekt- und flächen-basierte AugmentedReality Applikationenentwickeln lassen. [6]

A-Frame ist ein openSource Web-Frameworkvon Mozilla, mitwelchem sich 3DApplikationen im Web-browser darstellenlassen. [7]

AR Core ist ein SoftwareDevelopment Kit vonGoogle, mit welchem 3DObjekten auf gescann-ten Flächen platziertwerden können. [9]

f) AR.jsAr.js ist ein Open SourceJava Script Framework,das durch die Verwen-dung von A-Frame dieDarstellung einer AR imBrowser ermöglicht. Esbenutzt die marker-basierte Darstellung derAR von ARToolKit. [8]

Abbildung 1: Augmented Reality Anwendung in der Medizintechnik [10]

Blender ist eine openSource 3D Grafik-software, mit welchersich Körper modellieren,texturieren und animie-ren lassen. [3]

Abbildung 2: Übersicht über verwendete Software und getestete Tools

Die Augmented Reality ist die Verschmelzung vonComputerdaten mit Kamerabildern aus der realenUmgebung. Großes Entwicklungspotential besitzt dabeidie Anwendung in der Medizintechnik. Beispielsweise wirddurch die Projektion von CT Schnittbildern auf dieKörperoberfläche ein virtueller Blick in das Körperinnereermöglicht. Dadurch können Operationen für Ärzteerleichtert werden [1] (siehe Abbildung 1).Dieses Entwicklungspotential findet auch in der LehreAnwendung. Anhand von Augmented Reality lassen sichkomplexe Lehrinhalte anschaulich visualisieren [2].Aufgrund dieses aktuellen Trends existieren zahlreicheUmsetzungsvarianten von Augmented Reality, die inunterschiedliche Entwicklungsumgebungen eingebundensind (siehe Abbildung 2).

Abbildung 8:Umsetzung derAndroid App mit demTool Vuforia (objekt-basiertes Tracking).Die Animation wirdvirtuell über dem Bilddes Labor-eigenenRöntgengerätsplatziert.

Abbildung 9:Umsetzung derWeb-anwendung mitdem Tool AR.js Diehierfür verwendetenMarker müsseneinen quadratischenschwarzen Rahmeneiner Mindestdickeaufweisen.

Abbildung 7:Umsetzung derAndroid App mit demTool Vuforia (marker-basiertes Tracking).Das 3D Modell wirdvirtuell auf einemindividuellen Markerplatziert.

Test und Testkriterium

AR.js

Vuforia

Hörsaaltest Teil A

Lernerfolg gemessen an durchschnittlich richtig beantworteten Fragen

+ 1,59 Punkte besser + 2,3 Punkte besser

Hörsaaltest Teil B

Zuverlässigkeit (ohne Systemausfall) 5 von 8 Geräte 9 von 9 Geräte

Verständlichkeit [-2 -1 +1 +2] +1,50 +1,89

Einfluss von Störungen 3 von 8 Geräte 0 von 9 Geräte Qualität des 3D-Modells

[-2 -1 +1 +2] +1,38 +1,78

Marker Tracking

Hardwaretest

Frames pro Sekunde der Darstellung abhängig

von Hardware; Flackern auf manchen

Smartphones

30 Frames pro Sekunde auf allen getesteten

Smartphones

Lichtverhältnisse Tracking mit Marker auf Papier stabiler und mit

weniger Stops

Kein Einfluss auf Tra-cking

Bei Lichtreflexionen auf Tablet leichtes Zittern

des Modells Marker mit Beschrif-

tung Keine Beeinflussung des

Trackings Keine Beeinflussung des

Trackings

Objekt Tracking Funktions-Test Nicht möglich

Stabiles Tracking, „Ersterkennung“ zeitver-zögert und nur unter gu-ten Lichtverhältnissen

Die Abbildungen 7-9 zeigen die Beispielapplikationen.Das User Interface erlaubt eine Interaktion mit demModell durch die Modulation von Anodenspannung undAnodenstrom, sowie das Starten und Stoppen derAnimation des 3D Röntgenmodells (s. Abb. 7 und 8).

Tabelle 2 : Auswertung des Toolvergleichs Tabelle 3: Vergleich und Evaluierung der Applikationen durchDurchführung und Auswertung von Tests

Abbildung 3: Veranschaulichungder Konzeptentwicklung

Abbildung 5: Workflow für die Erstellung des 3D Modells mit Blender

Zunächst wurden die unter der Motivation vorgestellten Tools und Frameworks hinsichtlich selbst gewählter Kriterien verglichen (s. Abb. 3). Aufgrund der Ergebnisse dieser Bewertung wurde anschließend eineSystemarchitektur für eine Webanwendung und eine Android App erstellt (s. Abb. 4). Zur spezifischen Gestaltung der Anwendungen wurde ein eigenes 3D Modell erstellt (s. Abb. 5 und 6). Die beiden Appswurden anhand eines Nutzertests im Hörsaal hinsichtlich der Kriterien Stabilität, Usability, Einfluss von Störungen und der Qualität des 3D Modells analysiert (s. Tab. 1). Darüber hinaus wurden Tests bezüglichAuswirkungen von externen Einflüssen auf die beiden Anwendungen und auf die Marker durchgeführt (s. Tab. 1).

Abbildung 6: Screenshot des erstellten 3D Modells und Erstellung einer UV-Map

Abbildung 9:Link zum Hochschul-server (Speicherort derAR-Webanwendung)

Hier gerne selbst ausprobieren !

Abbildung 10:Marker, auf dem dasModell in der Web-anwendung platziertwird

DanksagungWir bedanken uns bei unseren Kommilitonen aus dem vierten SemesterBMT für die Teilnahme an dem Hörsaaltest. Des weiteren bedanken wir unsbei Jerome Etienne für die öffentliche Bereitstellung des AR.js Frameworks.

Evaluierung der AR Anwendungen

Toolvergleich: Eignung für Lehrzwecke

Entwicklung 3D ModellSystemarchitektur der AR Anwendungen

Resultierend aus den in der Methode vorgestellten Kriterien zum Vergleich der AR Tools, ist eine Analyse dieser Tools im Bezug auf die Anwendung für Lehrzwecke umgesetzt worden (s. Tab. 2).Im Anschluss sind die Ergebnisse des Hörsaal- und Markertests dargestellt, die mit den umgesetzten Beispielapplikationen durchgeführt worden sind (s. Tab. 3).

Kriterium AR Core

AR.js

Vuforia

Wikitude

Applikation

Kompatible Smartphones

Nur auf wenigen, neueren

Smartphones möglich

Alle Smartphones, die WebGL unterstützen

(aktuellste Version des Browsers)

Alle Smartphones mit Android 7.0+

Alle Smartphones mit Android 4.4+

Installation

• .apk Installation auf Android Gerät

• Zusätzlich benötigte Software: Google ARCore (PlayStore)

Web Applikation keine Installation notwendig, da über

Webbrowser verfügbar

.apk Installation auf Android Geräten

.apk Installation auf Android Geräten

Framework / SDK

Installations-prozess

• Unity Package installieren

• Installieren von zusätzlichem SDK für jede Anwendung

Link zu A-Frame und AR.js HTML-Code einfügen

• Vuforia bereits in Unity integriert schnelle Installation der SDK

• Marker Verwaltung über Vuforia Website

• Unity package installieren

• Marker Verwaltung über Wikitude Studio

Entwicklungs-aufwand

Für jede Tracking-methode neues SDK in Unity installieren

• Anzeige von 3D-Modell: einfach umsetzbar

• Interaktion / Animation: Kenntnisse in html, JavaScript und css

Grundlegende Unity-Kenntnisse sind

notwendig

Grundlegende Unity- Kenntnisse sind notwendig

Lizenz Freie Lizenz Open Source Freie Lizenz für Forschung und

Lehrzwecke

Freie Lizenz nur für Entwicklung. Sehr teure

Lizenz für Lehrzwecke

3D Modell Einbindung von eigenen

Modellen

Einfache Einbindung von selbsterstellten 3D Modellen (z.B. über SketchUp /

Blender)

Eigene Modelle können importiert werden.

Einfache Einbindung von selbsterstellten 3D

Modellen (z.B. über SketchUp / Blender)

Einfache Einbindung von selbsterstellten 3D Modellen (z.B. über SketchUp / Blender)

Test und Testkriterium

AR.js

Vuforia

Hörsaaltest Teil A

Lernerfolg gemessen an durchschnittlich richtig beantworteten Fragen

+ 1,59 Punkte besser

+ 2,3 Punkte besser

Hörsaaltest Teil B

Zuverlässigkeit

(ohne Systemausfall)

5 von 8 Geräte

9 von 9 Geräte

Verständlichkeit[-2 -1 +1 +2]

+1,50

+1,89

Einfluss von Störungen

3 von 8 Geräte

0 von 9 Geräte

Qualität des 3D-Modells

[-2 -1 +1 +2]

+1,38

+1,78

Marker

Tracking

Hardwaretest

Frames pro Sekunde der Darstellung abhängig von Hardware;

Flackern auf manchen Smartphones

30 Frames pro Sekunde auf allen getesteten Smartphones

Lichtverhältnisse

Tracking mit Marker auf Papier stabiler und mit weniger Stops

Kein Einfluss auf Tracking

Bei Lichtreflexionen auf Tablet leichtes Zittern des Modells

Marker mit Beschriftung

Keine Beeinflussung des Trackings

Keine Beeinflussung des Trackings

Objekt

Tracking

Funktions-Test

Nicht möglich

Stabiles Tracking, „Ersterkennung“ zeitverzögert und nur unter guten Lichtverhältnissen

Kriterium

AR Core

AR.js

Vuforia

Wikitude

Applikation

Kompatible Smartphones

Nur auf wenigen, neueren Smartphones möglich

Alle Smartphones, die WebGL unterstützen (aktuellste Version des Browsers)

Alle Smartphones mit Android 7.0+

Alle Smartphones mit Android 4.4+

Installation

· .apk Installation auf Android Gerät

· Zusätzlich benötigte Software: Google ARCore (PlayStore)

Web Applikation

keine Installation notwendig, da über Webbrowser verfügbar

.apk Installation auf Android Geräten

.apk Installation auf Android Geräten

Framework / SDK

Installations-prozess

· Unity Package installieren

· Installieren von zusätzlichem SDK für jede Anwendung

Link zu A-Frame und AR.js HTML-Code einfügen

· Vuforia bereits in Unity integriert schnelle Installation der SDK

· Marker Verwaltung über Vuforia Website

· Unity package installieren

· Marker Verwaltung über Wikitude Studio

Entwicklungs-aufwand

Für jede Tracking-methode neues SDK in Unity installieren

· Anzeige von 3D-Modell: einfach umsetzbar

· Interaktion / Animation: Kenntnisse in html, JavaScript und css

Grundlegende Unity-Kenntnisse sind notwendig

Grundlegende Unity-

Kenntnisse sind notwendig

Lizenz

Freie Lizenz

Open Source

Freie Lizenz für Forschung und Lehrzwecke

Freie Lizenz nur für Entwicklung. Sehr teure Lizenz für Lehrzwecke

3D Modell

Einbindung von eigenen Modellen

Einfache Einbindung von selbsterstellten 3D Modellen (z.B. über SketchUp / Blender)

Eigene Modelle können importiert werden.

Einfache Einbindung von selbsterstellten 3D Modellen (z.B. über SketchUp / Blender)

Einfache Einbindung von selbsterstellten 3D Modellen (z.B. über SketchUp / Blender)

AR Tracking Möglichkeiten

Flächenerkennung

Ausschließlich Marker Tracking mit vorgegebenen Marker Design

Viele Möglichkeiten wie z.B. Marker basiert, Objekterkennung, …

Viele Möglichkeiten wie z.B. Marker basiert, Objekterkennung, …

AR - Entwicklungsumgebung�Toolvergleich und Umsetzung einer Applikation�Theresa Feulner, Maryam Kaiser, Roland Stolz