Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation...

35
Kick-Off Studienprojekt Mixed Reality zur Wartungs- und Reparaturunterstützung im industriellen Umfeld Josef Altmann, Mirjam Augstein, Hans-Christian Jetter, Werner Kurschl Version 1.0, 2016

Transcript of Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation...

Page 1: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Kick-Off Studienprojekt

Mixed Reality zur Wartungs- und

Reparaturunterstützung im

industriellen Umfeld

Josef Altmann, Mirjam Augstein,

Hans-Christian Jetter, Werner Kurschl

Version 1.0, 2016

Page 2: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Ausgangssituation

• Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-

Phones, Smart-Watches) ist im industriellen Umfeld

alltäglich und weit verbreitet (siehe Industrie 4.0).

• Mixed Reality-Lösungen (bspw. Datenbrillen, Smart

Glasses) bilden nächsten innovativen Entwicklungsschritt.

Slide 2

„Deutsche Unternehmen werden im Jahr 2020

knapp 850 Millionen Euro in Virtual- und Mixed

Reality-Lösungen investieren. Den Löwenanteil

machen hierbei innovative Anwendungen aus.“ *1

1 Studie Fraunhofer, bitkom: Head Mounted Displays in deutschen Unternehmen

https://www.bitkom.org/Publikationen/2016/Studien/Head-Mounted-Displays-in-deutschen-Unternehmen/

Deloitte-Fraunhofer-Bitkom-2016-05-Head-Mounted-Displays-in-deutschen-Un.pdf

*1

Page 3: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Was ist Mixed Reality?

Slide 3

Paul Milgram und Fumio Kishino.„A taxonomy of Mixed Reality Visual Displays“. IEICE Trans.

Information Systems E77-D.12 (1994), S. 1321–1329

Page 4: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Anwendungsfelder von Mixed Reality

Slide 4Studie Fraunhofer, bitkom: Head Mounted Displays in deutschen Unternehmen

https://www.bitkom.org/Publikationen/2016/Studien/Head-Mounted-Displays-in-deutschen-Unternehmen/

Deloitte-Fraunhofer-Bitkom-2016-05-Head-Mounted-Displays-in-deutschen-Un.pdf

Page 5: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Projektziele

• Unterstützung des Informationsaustausches und der örtlich verteilten Zusammenarbeit zwischen den Hotline-MitarbeiterInnen und dem Wartungspersonal durch geeignete Mixed Reality-Lösungen.

• Anforderungen, Potentiale und Grenzen von Mixed Reality-Lösungen am Beispiel der Datenbrille Microsoft HoloLens sollen im industriellen Wartungs- und Reparaturbereich aufgezeigt werden.

• Entwicklung von Prototypen und Evaluierung durch das Wartungspersonal und die Hotline-MitarbeiterInnen.

Slide 5

Die Ergebnisse sollen Hotline-MitarbeiterInnen dabei

unterstützen, dem Wartungspersonal vor Ort schnell

Hilfestellung zu bieten, Fehlerzeiten drastisch zu

reduzieren und die Arbeitsabläufe zu verbessern.

Page 6: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Mixed Reality

• Verschmelzen von virtueller und echter Realität mittels

halbtransparenter Head Mounted Displays.

• Beispiel:

- Thyssen Krupp Mixed Reality Lift Wartung

- Volkswagen Virtual Reality Montage Training

Slide 6

Page 7: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Partner und Anprechpersonen

• Projektcoaches

- Josef Altmann (KWM)

- Werner Kurschl (SE, HCC)

• Projektmentoren

- Mirjam Augstein (KWM) für Evaluation von Usability/UX

- Hans-Christian Jetter (SE, HCC) für Design der Usability/UX

• Auftraggeber

- TGW Logistics Group GmbH

• Kollmannstraße 2

• 4600 Wels

• Website: https://www.tgw-group.com/

Slide 7

Thomas Knogler, MSc

Innovation Manager

TGW Logistics Group GmbH

Mobile +43 664 9662624

[email protected]

Page 8: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Vorstellungsrunde

Slide 8

Page 9: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Projekt-Infrastruktur

• Projektlabor PLS6 + K.lab 5 (FH2)

• Hardware

- Microsoft HoloLens

• Software

- Visual Studio 2015 Update 3 mit Windows 10 SDK

- HoloLens Unit

- HoloLens Emulator

Slide 9

Software: https://developer.microsoft.com/en-us/windows/holographic/install_the_tools

Tutorials: https://developer.microsoft.com/en-us/windows/holographic/academy

Documentation: https://developer.microsoft.com/en-us/windows/holographic/documentation

Page 10: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Vorgehensweise

Slide 10

Christian Moser: User Experience Design, Springer Verlag, 2013

Page 11: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Anstehende Termine

• Internes Kick-Off Meeting mit Projektgruppe

- Mittwoch, 5.10.2016, 15:30-17:00, PLS6.0

• Vortrag „Holo, World! Entwickeln für HoloLens

- Mittwoch, 12.10.2016, 18:00, karriere.at Audimax

• Kick-Off Meeting mit Auftraggeber

- Mittwoch, 19.10.2016, 12:00-15:00, TGW Wels

• Exkursion HoloLens Lab München

- Do 27.10.2016, 12:00,

- Walter-Gropius-Straße 5, München

Slide 11

http://www.sueddeutsche.de/muenchen/neue-zentrale-so-sieht-es-bei-microsoft-in-

schwabing-aus-1.2998298

Page 12: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Kick-Off Meeting mit Auftraggeber

• Hauptgebäude TGW

- Collmannstraße 2, 4600 Wels

Slide 12

Page 13: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Zeitlicher Ablauf

• Meilenstein 1: 12.10.2016

- Projektmanagement

• Team Building und Aufbauorganisation

• Infrastrukturaufbau

* Design-, Entwicklungswerkzeuge und Bibliotheken, Versionsmanagement,

Zeitaufzeichnung, Vorlagen für Agenda/Protokolle/Präsentation etc.

• Projekt(grob)planung

• Vorbereitung Kick-Off-Meeting mit Auftraggeber

- Einarbeiten in Hardware und Software (lfd)

• Meilenstein 2: ~ Anfang November

- Design Thinking

• Vorstudien,

• Ideenfindung,

• Kreativitätsworkshops

Slide 13

Page 14: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Zeitlicher Ablauf

• Input: Crash-Kurs Interaktionsdesign

- Hans-Christian Jetter

- Terminvorschlag: 2.11.2016, 12:10-14:35

• Meilenstein 3: ~ Mitte/Ende November 2016

- Abgeschlossene Kontext- und

Anforderungsanalyse mit Personas,

Problemszenarien und „gesketchte“

Storyboards

• Meilenstein 4: xx.12.2016

- Prototyping

- Grundsystem: so dass Idee(n) bis Ende

Jänner realisiert werden kann/können

Slide 14

Page 15: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Zeitlicher Ablauf

• Meilenstein 5: Ende Jänner 2017

- System – Ausbaustufe 1: Einsatz beim Tag der offenen Tür März 2017. Die Abnahme umfasst auch die Definition des Untersuchungsdesigns sowie die Einschulung des Messestandpersonals.

• Meilenstein 6: Evaluierung am TdoT:

- 16.3.2017, ca. 18:00 Aufbau SRS3

- 17.3.2017, 09:00-17:00

- Demonstration mit TGW

- Evaluierung

• Sommersemester 2017

- Redesign und Ausbau, Evaluierung, Stabilisierung

- System – Ausbaustufe n

- Projektübergabe

• Weiterführende Masterarbeiten möglich

Slide 15

Page 16: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Organisatorische Rahmenbedingungen

• Interdisziplinäres Projekt erfordert entsprechende

Zusammenarbeit

- KWM-Studenten (Master)

- SE-Studenten (Master)

• Gemeinsame Projektstunden

- Mittwoch 12:10-14:35, bzw. flexible Planung

• Projektaufwand

- gemäß Stundenplan

- Folgende Punkte sind vom Projektaufwand ausgenommen:

• Besuch HoloLens Lab München (freiwillig)

• Literaturstudium

• Vertiefende technische Einarbeitung in Hard- und Software

• TdoT

Slide 16

Page 17: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Nächste Schritte

• ProjektkoordinatorInnen auswählen

• Projektbibliothek/Dokumentation aufbauen

- \\projekte\ProjSE\mse12gXWS16(wird noch bekannt gegeben)

• Problemstellung analysieren

• Kick-Off vorbereiten

• Infrastruktur herstellen

- E-Mail-Adresse der Projektgruppe

[email protected]

(wird noch bekannt gegeben)

- Gemeinsame E-Mail-Adresse der Coaches und Mentoren

[email protected]

- SVN/Git, Trac-Server: Serververantwortlichen bestimmen(wird noch bekannt gegeben)

Slide 18

Page 18: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Hinweise (Related Work)

• Design Thinking

- Wikipedia

- Hasso Plattner Institut, Universität Potsdam

Slide 19

http://www.hpi.uni-potsdam.de/d_school/home.html

Page 19: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Weiterführende Literatur

• Jenny Preece, Yvonne Rogers, Helen Sharp:

Interaction Design: Beyond Human-Computer

Interaction (4th ed.), 2015

• Rex Hartson, Pardha Pyla, The UX Book,

Process and Guidelines for Ensuring a Quality

User Experience, Morgan Kaufmann; 1 edition

(March 2, 2012)

• Saul Greenberg, Sheelagh Carpendale, Nicolai

Marquardt, Bill Buxton: Sketching User

Experiences –The Workbook, 2012

Slide 20

Page 20: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality

Weiterführende Literatur

• R. Dörner, W. Broll, P. Grimm und B. Jung.

Virtual und Augmented Reality (VR / AR):

Grundlagen und Methoden der Virtuellen und

Augmentierten Realität. Springer, 2014 als

PDF in unserer Bibliothek

Slide 21

Page 21: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

Mixed Reality Slide 2222

“Nur diejenigen, die es riskieren, zu weit zu

gehen, haben die Möglichkeit

herauszufinden, wie weit man gehen kann.” T. S. Eliot

Page 22: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

INTERAKTIONSDESIGN & USABILITY

natürlich

macht Spaß

gute User Experience („UX“)

Eng verwandt mit Human-

Computer Interaction (HCI) und

Usability Engineering, …

selbsterklärend

Page 23: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

USER-CENTERED DESIGN

ITERATIONS

Page 24: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

USER-CENTERED DESIGN

Sketching:

Scribbles, Storyboards,

Hybrid Sketches, …

Requirements Analysis:

Scenarios, Personas, …

GUI Design:

GUI Sketches, Wireframes …

Building & Prototyping

Mockups, Prototypes …

Development

Usability Evaluation

Heuristic Evaluation, Usability Tests

ITERATIONS

Page 25: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

“Getting a system exactly right the first time is very difficult, if not impossible.” (Constantine & Lockwood, Software for Use, p.24)

Traditional waterfall model is

not only unsuitable for code, but

especially for user interfaces!

Today user-centered design:

Iterative design with successive

refinements based on usability

inspections and tests.

USER-CENTERED DESIGN

Page 26: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

CONTEXT OF USE IS KEY!

Playstation Move:

What Sony thought…

Page 27: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

CONTEXT OF USE IS KEY!

Photo courtesy of Sony Computer Entertainment Europe User Research Team

Playstation Move:

What Sony saw…

Page 28: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

CONTEXT OF USE IS KEY!

Photo courtesy of Sony Computer Entertainment Europe User Research Team

Playstation Move:

What Sony saw…

Page 29: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

UNDERSTANDING ENVIRONMENT

Already a single photo can help to avoid severe design flaws! Here the initial design ideas for a push-to-talk

communication device included loudspeakers and a touch screen. These ideas were discarded, for obvious reasons.

Page 30: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

UNDERSTANDING MATERIALS

Source: http://fearoflanding.com/files/2012/12/P1080129.jpg

Paper records are more than simply carriers of information about patients. They carry other important information:

handwriting who did what?

wear and tear indicates heavy use / age

pencil vs. pen tentative vs. permanent information

Designers of computing systems often forget about integrating such information

(Dourish, 2004)

(Source: https://en.wikipedia.org/wiki/Medical_record)

Page 31: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

SKETCHING

Page 32: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

SKETCHING

DESIGNPROBLEM

FINALDESIGN

Page 33: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

SKETCHING

Page 34: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

FIXING USABILITY IS EXPENSIVE

In a 1992 survey, on average 47.6% of the code and 50.1% of

implementation time were for UI [Myers & Rosson 1992].

From a 2004 paper: “the user interface represents 50% to 80% of an application” [Beaudouin-Lafon 2004]. Today ???

Source: http://quotesondesign.com/

For IxD we could say: “You can use an eraser on your UI sketch now or change thousands of lines of code after programming”.

Page 35: Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation • Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-Phones, Smart-Watches)

MIXED-REALITY: UTOPIA/DYSTOPIA ?

Source: Hyper-Reality. https://www.youtube.com/watch?v=YJg02ivYzSs