1 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Augmentierte undvirtuelle Realität

- Weiterbildung und Training -

2 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Agenda für die Schulung Augmentierte und Virtuelle Realität15:30 – 15:45 Begrüßung und Vorstellungsrunde (CITEC Raum 1.204)

15:45 – 16:30 Vortrag Virtuelle Realität für Weiterbildung und Training (CITEC Raum 1.204)

16:30 – 16:45 Kaffeepause

16:45 – 17:30 HandsOn Trainingssimulationen im Labor für Virtuelle Realität (0.113)

17:30 – 18:00 Diskussionsrunde Chancen und Einsatz von VR in der Weiterbildung

3 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

4 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Überblick

• Virtuelle und Erweiterte Realität breitflächig verfügbar

• Immersives Storytelling• 360° Videos• 360° - 3D Videos

• 3D Simulationen für Virtuelles Training• Beispiel SkillsLab

• Augmented Reality

• Handson

• Diskussion

5 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Definition Virtuelle Realität

„Interaktiv erzeugte multimodale Sinneseindrücke 2. Ordnung, die von Menschen als solche 1. Ordnung wahrgenommen werden.“

- Thies Pfeiffer, 2017

Ziele

• Simulation von realen Umgebungen• z.B. zum Training, zur Planung

• Simulation von virtuellen Prototypen• z.B. zur Demonstration von Montage- oder Bedienprozessen

• Mehrbenutzersimulationen• z.B. für virtuelle Meetings, lernen in Gruppen

• Entertainment/Edutainment

6 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Definition Augmentierte/Erweiterte Realität

„Interaktiv erzeugte Synthese von multimodalen Sinneseindrücken 1. und 2. Ordnung, die von Menschen als solche 1. Ordnung wahrgenommen werden.“

- Thies Pfeiffer, 2017

Ziele

• Darstellung von virtuellen Prototypen (z.B. Designreview, Vertrieb)

• Darstellung von Arbeitsschritten am Objekt (z.B. Service, Bedienung)• Erweiterung realer Objekte (z.B. durch Informationen/Anleitungen)

• Edutainment

Definition Kontextsensitive Systeme„Systeme, die auf Basis verschiedener Sensoren und Datenquellen den aktuellen Nutzungskontext erkennen und ihr Verhalten entsprechend anpassen.“- Thies Pfeiffer, 2017

7 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

CAVE / L-Shapes

Technologien

• Anzeige

Google Cardboard Samsung GearVR

Oculus Rift CV1 HTC VIVE

Microsoft HoloLens

Vuzix M100

Google Glass Epson Moverio BT-200 Meta 2 DK

8 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Technologien

• Interaktion

Motion CapturingTiefensensoren

Hand Tracking 3D Eingabegeräte

Blickbewegung

Bildverarbeitung

Spracherkennung

Texteingabe

9 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Immersives Storytelling

10 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Virtuelle Exkursionen

• Google EXPEDITIONS

Wired, 15. November 2016

11 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Virtuelle Exkursionen

• Google EXPEDITIONS

Wired, 15. November 2016

12 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

360° Materialien erstellen

• Kompakte 2D 360°-Kamerasysteme sind im Konsumer-Bereich angekommen

• Bieten One-Shot Lösung

• Alternative: Apps, wie z.B. Cardboard Camera• Vorteile

• Kein Kameramann notwendig, geringer technischer Aufwand

Ricoh Theta SSa

msu

ng G

ear3

60

13 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Beispiel 360° - Panorama-Bild

14 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

3D - 360° Materialien erstellen

• CITEC Kamera-Rigg Marke Eigenbau• 12 Kameras horizontal, Typ Xiaomi Yi• Je 2 Kameras für Decke/Boden• Paarweise Anordnung für Stereo-Effekt• Pro Kamera

• 4:3 Auflösung 1600x1200• Panorama-Auflösung

• Theoretisch: 7200x3600• Praktisch: 3840x1920

• Sinnvoll: 60 Hz wg. geringerem Versatz

• Beispiele• http://www.uni360.de/

Nokia Ozo

CITEC 3D-360° Rigg Dreh 360 Karat

15 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Einsatzbeispiele

• Cockpit-View SWISS Airbus A320• https://www.youtube.com/watch?v=HEEIzZ7UjRg

• Virtuelle Touren• http://multimodal-interaction.org/citec/

• Produktmarketing / Erklärfilm• https://www.youtube.com/watch?v=pT-sjlv3bkU

• Eventfilm• CITEC Workshop Virtuelle und Erweiterte Realität

• https://www.youtube.com/watch?v=YIRQikcedwc

• Interaktive Filmstory• Nichtlinearer Film erlaubt die Abbildung von Entscheidungssituationen

16 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

3D Simulationen für Virtuelles Training

17 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Fallbeispiel SkillsLab

• Ausgangspunkt• Training in der realen Umgebung mit den

realen Materialien und Geräten ist unabdingbar

• Training in der realen Umgebung ist aufwändig (Zeit, Ressourcen)

• Traditionelle Lernmaterialien können auf die Praxis nur bedingt vorbereiten

• Ziele• Reduzierung der Ressourcennutzung• Verbesserung der Flexibilität der Lernenden• Erhöhung des Trainingsumfangs, z.B.

Störfälle, mehr Varianten

• Ansatz• Virtualisierung der Trainingsumgebung• Vortraining der Prozesse (Handlungsschritte

und –abfolge) und der Entscheidungen

Ein Projekt von CITEC/Zentral Facility Labs und der FH Bielefeld/Pflege & Gesundheit.

18 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Fallbeispiel SkillsLab - Vorgehen

3D Modellierer VR Spezialistin Lehrende P&G Student P&GStudent P&G

Beteiligte Personen Fokusgruppe

19 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Fallbeispiel SkillsLab – Auswahl der Technologie

• Ziele• Trainingszeit der Studierenden im SkillsLab für die Vorbereitung einer

Infusion von 2-3h/Studierenden auf <1h reduzieren• Kostengünstige Lösung angestrebt• Flexible Lernzeiten ermöglichen

• Auswahl• Virtuelle Realität, da so keine Präsenz im Labor notwendig

(„Das SkillsLab für die Hostentasche“)• Samsung GearVR oder Google Cardboard als VR-System

• Kostengünstig• Apps könnten über Store verteilt werden• Studierende nutzen das eigene Smartphone

Google Cardboard

Samsung GearVR

20 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Fallbeispiel SkillsLab

21 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Fallbeispiel SkillsLab – Konzept 3D Modellierung

22 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Fallbeispiel SkillsLab - Storyboards

23 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Fallbeispiel SkillsLab – Detailbeschreibung der Arbeitsschritte

24 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Fallbeispiel SkillsLab – Fertige Simulationsumgebung

25 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Fallbeispiel SkillsLab – Nutzerstudie / Evaluation

• 12 Probanden aus den Studiengängen• Berufliche Bildung Pflege (BBP)• Gesundheits- und Krankenpflege (GKP)

• Feedback• Gute Steuermöglichkeit• Alle sind mit der Gear VR zurecht gekommen• Alle fanden die Grafik angemessen oder überwiegend angemessen• Alle fanden, dass der Ablauf der Übung der realen Aufgabe entspricht• 11 von 12 fanden die Anschaulichkeit besser als mittels Video• Dieselbe Anzahl empfand die virtuelle Übung als vergleichbar mit der

praktischen• Alle bewerteten das virtuelle Training als gute Vorbereitung• Besonders betont wurde Motivation und Innovation• Aber: Darstellung der eigenen Hände vermisst

26 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Fallbeispiel SkillsLab

27 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Fallbeispiel SkillsLab – Nächste Schritte

• Umsetzung auf die HTC Vive• Interaktion mit Händen möglich

• Studie zur tatsächlichen Reduktion der Trainingszeit• Vergleich zwischen Gruppe

• mit VR Vortraining • mit Video Vortraining• ohne Vortraining

• Bisheriger Aufwand: 24 Mannwochen (BA Studierende)• Design/Konzeption/Requirements• Prozessmodellierung• 3D Modellierung (from scratch)• Umsetzung GearVR, Cardboard, HTC• Studien

28 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Beispiele für Virtuelle Trainings (Android)

• VirtualSpeech Google Cardboard App• Training für Vorträge vor Publikum (App )

• inTO VR Hospital Demo• Entscheidungstraining in Krankenhaussituationen

• Sport Training• XcelVR training for football

• Sport Training für Football• EON Sports VR

• Wissensvermittlung & Gamification• InCell VR (Cardboard)• Titans of Space® Cardboard VR

Google Cardboard

29 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Augmented Reality

30 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

BMBF Projekt ADAMAAS

• Ziel: AR-basiertes Assistenzsystem in Alltagssituationen für Personen mit Beeinträchtigungen

• ProjektmanagementProf. Dr. Thomas Schack, Dr. Kai Essig, Prof. Dr. Helge Ritter, Dr. Sven Wachsmuth, Dr. Arnd Rose

31 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Augmented Reality Service App

• Projekt unseres Kooperationspartners Neuland-Medien im Transferprojekt VIPEXP

• Kunde: Kraft Maschinenbau GmbHRietberg-Mastholte

Kraft Maschinenbau GmbHRietberg-Mastholte

32 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Kraft Maschinenbau AR Anwendung

33 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

HandsOn im Labor 0.113