Vortrag Augmentierte und virtuelle Realität-Weiterbildung und...

1 / 33Weiterbildung und Training · 02.03.2017Schulung Augmentierte und Virtuelle RealitätDr. Thies Pfeiffer, CITEC

Augmentierte undvirtuelle Realität

- Weiterbildung und Training -


Agenda für die Schulung Augmentierte und Virtuelle Realität15:30 – 15:45 Begrüßung und Vorstellungsrunde (CITEC Raum 1.204)

15:45 – 16:30 Vortrag Virtuelle Realität für Weiterbildung und Training (CITEC Raum 1.204)

16:30 – 16:45 Kaffeepause

16:45 – 17:30 HandsOn Trainingssimulationen im Labor für Virtuelle Realität (0.113)

17:30 – 18:00 Diskussionsrunde Chancen und Einsatz von VR in der Weiterbildung


Überblick

• Virtuelle und Erweiterte Realität breitflächig verfügbar

• Immersives Storytelling• 360° Videos• 360° - 3D Videos

• 3D Simulationen für Virtuelles Training• Beispiel SkillsLab

• Augmented Reality

• Handson

• Diskussion


Definition Virtuelle Realität

„Interaktiv erzeugte multimodale Sinneseindrücke 2. Ordnung, die von Menschen als solche 1. Ordnung wahrgenommen werden.“

- Thies Pfeiffer, 2017

Ziele

• Simulation von realen Umgebungen• z.B. zum Training, zur Planung

• Simulation von virtuellen Prototypen• z.B. zur Demonstration von Montage- oder Bedienprozessen

• Mehrbenutzersimulationen• z.B. für virtuelle Meetings, lernen in Gruppen

• Entertainment/Edutainment


Definition Augmentierte/Erweiterte Realität

„Interaktiv erzeugte Synthese von multimodalen Sinneseindrücken 1. und 2. Ordnung, die von Menschen als solche 1. Ordnung wahrgenommen werden.“

- Thies Pfeiffer, 2017

Ziele

• Darstellung von virtuellen Prototypen (z.B. Designreview, Vertrieb)

• Darstellung von Arbeitsschritten am Objekt (z.B. Service, Bedienung)• Erweiterung realer Objekte (z.B. durch Informationen/Anleitungen)

• Edutainment

Definition Kontextsensitive Systeme„Systeme, die auf Basis verschiedener Sensoren und Datenquellen den aktuellen Nutzungskontext erkennen und ihr Verhalten entsprechend anpassen.“- Thies Pfeiffer, 2017


CAVE / L-Shapes

Technologien

• Anzeige

Google Cardboard Samsung GearVR

Oculus Rift CV1 HTC VIVE

Microsoft HoloLens

Vuzix M100

Google Glass Epson Moverio BT-200 Meta 2 DK


Technologien

• Interaktion

Motion CapturingTiefensensoren

Hand Tracking 3D Eingabegeräte

Blickbewegung

Bildverarbeitung

Spracherkennung

Texteingabe


Immersives Storytelling


Virtuelle Exkursionen

• Google EXPEDITIONS

Wired, 15. November 2016


360° Materialien erstellen

• Kompakte 2D 360°-Kamerasysteme sind im Konsumer-Bereich angekommen

• Bieten One-Shot Lösung

• Alternative: Apps, wie z.B. Cardboard Camera• Vorteile

• Kein Kameramann notwendig, geringer technischer Aufwand

Ricoh Theta SSa

msu

ng G

ear3

60


Beispiel 360° - Panorama-Bild


3D - 360° Materialien erstellen

• CITEC Kamera-Rigg Marke Eigenbau• 12 Kameras horizontal, Typ Xiaomi Yi• Je 2 Kameras für Decke/Boden• Paarweise Anordnung für Stereo-Effekt• Pro Kamera

• 4:3 Auflösung 1600x1200• Panorama-Auflösung

• Theoretisch: 7200x3600• Praktisch: 3840x1920

• Sinnvoll: 60 Hz wg. geringerem Versatz

• Beispiele• http://www.uni360.de/

Nokia Ozo

CITEC 3D-360° Rigg Dreh 360 Karat

http://www.uni360.de/


Einsatzbeispiele

• Cockpit-View SWISS Airbus A320• https://www.youtube.com/watch?v=HEEIzZ7UjRg

• Virtuelle Touren• http://multimodal-interaction.org/citec/

• Produktmarketing / Erklärfilm• https://www.youtube.com/watch?v=pT-sjlv3bkU

• Eventfilm• CITEC Workshop Virtuelle und Erweiterte Realität

• https://www.youtube.com/watch?v=YIRQikcedwc

• Interaktive Filmstory• Nichtlinearer Film erlaubt die Abbildung von Entscheidungssituationen

https://www.youtube.com/watch?v=HEEIzZ7UjRg

http://multimodal-interaction.org/citec/

https://www.youtube.com/watch?v=pT-sjlv3bkU

https://www.youtube.com/watch?v=YIRQikcedwc


3D Simulationen für Virtuelles Training


Fallbeispiel SkillsLab

• Ausgangspunkt• Training in der realen Umgebung mit den

realen Materialien und Geräten ist unabdingbar

• Training in der realen Umgebung ist aufwändig (Zeit, Ressourcen)

• Traditionelle Lernmaterialien können auf die Praxis nur bedingt vorbereiten

• Ziele• Reduzierung der Ressourcennutzung• Verbesserung der Flexibilität der Lernenden• Erhöhung des Trainingsumfangs, z.B.

Störfälle, mehr Varianten

• Ansatz• Virtualisierung der Trainingsumgebung• Vortraining der Prozesse (Handlungsschritte

und –abfolge) und der Entscheidungen

Ein Projekt von CITEC/Zentral Facility Labs und der FH Bielefeld/Pflege & Gesundheit.


Fallbeispiel SkillsLab - Vorgehen

3D Modellierer VR Spezialistin Lehrende P&G Student P&GStudent P&G

Beteiligte Personen Fokusgruppe


Fallbeispiel SkillsLab – Auswahl der Technologie

• Ziele• Trainingszeit der Studierenden im SkillsLab für die Vorbereitung einer

Infusion von 2-3h/Studierenden auf <1h reduzieren• Kostengünstige Lösung angestrebt• Flexible Lernzeiten ermöglichen

• Auswahl• Virtuelle Realität, da so keine Präsenz im Labor notwendig

(„Das SkillsLab für die Hostentasche“)• Samsung GearVR oder Google Cardboard als VR-System

• Kostengünstig• Apps könnten über Store verteilt werden• Studierende nutzen das eigene Smartphone

Google Cardboard

Samsung GearVR


Fallbeispiel SkillsLab – Konzept 3D Modellierung


Fallbeispiel SkillsLab - Storyboards


Fallbeispiel SkillsLab – Detailbeschreibung der Arbeitsschritte


Fallbeispiel SkillsLab – Fertige Simulationsumgebung


Fallbeispiel SkillsLab – Nutzerstudie / Evaluation

• 12 Probanden aus den Studiengängen• Berufliche Bildung Pflege (BBP)• Gesundheits- und Krankenpflege (GKP)

• Feedback• Gute Steuermöglichkeit• Alle sind mit der Gear VR zurecht gekommen• Alle fanden die Grafik angemessen oder überwiegend angemessen• Alle fanden, dass der Ablauf der Übung der realen Aufgabe entspricht• 11 von 12 fanden die Anschaulichkeit besser als mittels Video• Dieselbe Anzahl empfand die virtuelle Übung als vergleichbar mit der

praktischen• Alle bewerteten das virtuelle Training als gute Vorbereitung• Besonders betont wurde Motivation und Innovation• Aber: Darstellung der eigenen Hände vermisst


Fallbeispiel SkillsLab – Nächste Schritte

• Umsetzung auf die HTC Vive• Interaktion mit Händen möglich

• Studie zur tatsächlichen Reduktion der Trainingszeit• Vergleich zwischen Gruppe

• mit VR Vortraining • mit Video Vortraining• ohne Vortraining

• Bisheriger Aufwand: 24 Mannwochen (BA Studierende)• Design/Konzeption/Requirements• Prozessmodellierung• 3D Modellierung (from scratch)• Umsetzung GearVR, Cardboard, HTC• Studien


Beispiele für Virtuelle Trainings (Android)

• VirtualSpeech Google Cardboard App• Training für Vorträge vor Publikum (App )

• inTO VR Hospital Demo• Entscheidungstraining in Krankenhaussituationen

• Sport Training• XcelVR training for football

• Sport Training für Football• EON Sports VR

• Wissensvermittlung & Gamification• InCell VR (Cardboard)• Titans of Space® Cardboard VR

Google Cardboard


Augmented Reality


BMBF Projekt ADAMAAS

• Ziel: AR-basiertes Assistenzsystem in Alltagssituationen für Personen mit Beeinträchtigungen

• ProjektmanagementProf. Dr. Thomas Schack, Dr. Kai Essig, Prof. Dr. Helge Ritter, Dr. Sven Wachsmuth, Dr. Arnd Rose


Augmented Reality Service App

• Projekt unseres Kooperationspartners Neuland-Medien im Transferprojekt VIPEXP

• Kunde: Kraft Maschinenbau GmbHRietberg-Mastholte

Kraft Maschinenbau GmbHRietberg-Mastholte


Kraft Maschinenbau AR Anwendung


HandsOn im Labor 0.113

Vortrag Augmentierte und virtuelle Realität-Weiterbildung und...

Documents

Transcript of Vortrag Augmentierte und virtuelle Realität-Weiterbildung und...