Ergonomie und Mensch -Maschine Systeme -...

© Lehrstuhl und Institut für Arbeitswissenschaft, RWTH Aachen

Ergonomie und Mensch-Maschine Systeme (Arbeitswissenschaft II)

Lehreinheit 11 Virtual Reality / Augmented Reality

Sommersemester 2016

Dr.-Ing. Dr. rer. medic. Dipl.-Inform. Alexander Mertens Lehrstuhl und Institut für Arbeitswissenschaft

RWTH Aachen Bergdriesch 27 52062 Aachen

Tel.: 0241 80 99 494 E-Mail: [email protected]

12 - 2 © Lehrstuhl und Institut für Arbeitswissenschaft, RWTH Aachen

Lernziele

Ziel der Lehrveranstaltung ist die Vermittlung von Kenntnissen

zur Bedeutung der Kernbegriffe VR - Virtual Reality (Virtuelle Realität) und AR - Augmented Reality (Erweiterte Realität) im Kontext von Design, Produktentwicklung, Produktion, Marketing und Vertrieb.

zu unterschiedlichen Anwendungsbeispielen in verschiedenen Industrien

zu menschlichen Wahrnehmungsmodalitäten (bes. räuml. Sehen und Hören)

zu verschiedenen Technologien für die Virtuelle und Erweiterte Realität zu Studien zur Ergonomie am Institut für Arbeitswissenschaft


Gliederung

Einführung und Kernbegriffe Anwendungsbeispiele in unterschiedlichen Industrien Sinneswahrnehmung und menschliche Informationsaufnahme Technologien für die Virtuelle und Erweiterte Realität Ergonomie-Studien am IAW


Was ist Virtuelle Realität (Virtual Reality)?

Das realitätsnahe, interaktive Erleben räumlicher Umgebungen, die - nicht mehr (Vergangenheit) - nicht (Gegenwart) - noch nicht (Zukunft)

real verfügbar sind.

Virtuelle Realität im Produktlebenszyklus:

Design Engineering Produktion

Marketing Vertrieb Service

Quelle: Ford Quelle: Lockheed Martin

Quelle: Audi

Quelle: Miele

Quelle: DesignQ Quelle: Virtalis


Was ist Erweiterte Realität (Augmented Reality)?

Das realitätsnahe, interaktive Erleben räumlicher Objekte, die - nicht mehr (Vergangenheit) - nicht (Gegenwart) - noch nicht (Zukunft)

real verfügbar oder sichtbar* sind. *Einfacher: die lagerichtige Anzeige von Zusatzinformationen in Echtzeit.

Quelle: TU München

Design Engineering Produktion

Marketing Vertrieb Service

Erweiterte Realität im Produktlebenszyklus:

Quelle: RE‘FLEKT

Quelle: Volkswagen Quelle: Bentley Systems

Quelle: 16KAgency Quelle: MARXENT


I3

IMMERSION

INTERACTION IMAGINATION

Gemeinsame Kennzeichen von Virtueller und Erweiterter Realität

Immersion Eintauchen des Benutzers in eine

zumindest teilweise künstliche Welt multimodale Darstellung z. B. visuell,

auditiv und haptisch/kinästhetisch Imagination

Vorstellung von Präsenz natürliche, erwartungs-

konforme (Kommando-) Eingabe und realistische 3D-Darstellung

Interaktion Bewegen, Explorieren

und Manipulieren einfache, intuitive Nutzbarkeit echtzeitnahe Systemreaktionen


Einordnung von Erweiterter und Virtueller Realität

Reality-Virtuality-Kontinuum (nach Milgram & Colqhoum 1999)

Vollständige Realität

Vollständig Virtuelle Realität


Gliederung



Augmented Reality in der Chirurgie macht die Lage nicht unmittelbar sichtbarer Gefäße

deutlich

Beispiele für VR und AR in verschiedenen Industrien

Automotive

Transportation

Luft- und Raumfahrt

Maritime Systeme

Anlagenbau

Medizintechnik

Mode und Textil

Unterhaltung

Quelle: Audi

Virtual Reality Design Studios erleichtern das schnelle und

abgesicherte Treffen von Entscheidungen

Quelle: ESI Group

Virtuelle geplante Anlagen begünstigen Transparenz

hinsichtlich des Aufbaus, der Inbetriebnahme und Wartung

Quelle: EUDD

Virtuelle Trainingssysteme für Bahnsysteme erhöhen die Sicherheit bei Senkung der Ausbildungskosten

Quelle: Fraunhofer MEVIS

Virtuelle Prototypen geben ein realistischen Eindruck des

geplanten Flugzeugs

Quelle: Airbus

Quelle: BlueShark In der Virtuellen Realität

können riskante Manöver mit einem Unterseeboot beliebig oft

durchgespielt werden

Quelle: Uniqlo

Automatische Erkennung menschlicher Extremitäten

ermöglicht das virtuelle „Anprobieren“ von Kleidung

Quelle: Widerun Virtual Reality verspricht

weitreichende Möglichkeiten in Sport und Unterhaltung

durch realistische Darstellung synthetischer Welten


Gliederung



Wahrnehmung und menschliche Informationsaufnahme

Schmerzwahrnehmung alle freien Nervenenden Schmerz

Visuell Auge Farbe/Helligkeit

Auditiv Innenohr Tonhöhe/Lautstärke

Haptisch - Taktil Haut (Vater-Pacinische Lamelle und Meißnersche Tastkörper) Druck/Berührung/Vibration

Vestibulär Vestibulärapparat im Mittelohrbereich Linear- und Winkel- beschleunigung

Haptisch - Kinästhetisch Muskelspindel Stellung und Geschwindigkeit der Körperteile zueinander sowie Kräfte

Gustatorisch Zungenoberfläche Geschmack

Olfaktorisch Schleimhautstück im oberen Nasenraum Geruchseindrücke

Thermisch Haut (Endkolben/Endorgane) Temperatur


Mensch-Maschine-Interaktion in der Virtuellen und Erweiterten Realität


Das menschliche Auge


Das menschliche Auge

Fovea centralis: - auch gelber Fleck oder Netzhautgrube - ist die Stelle des schärfsten Sehens im Auge - Größe von ca. ½ Millimeter

80 - 90 % der Sinneseindrücke nimmt man mit dem

Auge wahr


Sehschärfe

Quelle: Schlick et al. 2010

Sehschärfe in Abhängigkeit vom Ort der Netzhautabbildung

Ort der Netzhautabbildung

Seh

schä

rfe

(bei geringer Helligkeit)

Netzhaut

~ Max. Auflösung: 0,5´-1´


Farbensehen

Farbsensibilität abhängig vom Adaptionszustand der Netzhaut

Head-Up Display im Automobil Quelle: Continental

Quelle: nach Schierz u. Krueger 1996

Head-Up Display im Flugzeug Quelle: Lockheed Martin


Sehfelder & Sichtanalyse

Gesichtsfeld Blick-Gesichtsfeld (field-of-view)

Umblick-Gesichtsfeld (extended fov)

Bedingung bei ruhendem Kopf und ruhenden Augen

bei ruhendem Kopf und bewegten Augen

bei bewegtem Kopf und bewegten Augen

Horizontal Hellreize

Monokular: -60 bis +90° Binokular: -60 bis +60° (optimal 15°)

Monokular: –75 bis +110° Binokular: –75 bis +75° (optimal 30°)

Monokular: –125 bis +160° Binokular: –125 bis +125° (optimal 55°)

Vertikal Hellreize

Mono- und binokular: -75 bis +55°

Mono- und binokular: -85 bis +65°

Mono- binokular: -90 bis +110°

Sichtanalyse mit Catia V5 Human Builder

optimales Gesichtsfeld


Räumliches Sehen


Akkommodation

Akkommodation: optische Anpassung des Auges an verschiedene Entfernungen durch Verändern der Brechkraft der Augenlinse („Scharfstellen auf der Netzhaut“)

nahes Objekt

entferntes Objekt F1

F2


Akkomodationsbreite und Nahpunkt

Quelle: Herczeg 2003

Akkomodationsbreite und Nahpunkt in Abhängigkeit vom Alter

1

=Df

f: Brennweite der Linse in [m]

f

: Brechwert in [dpt oder m-1] D


Vergenz

nahes Objekt

entferntes Objekt

Kon

verg

enz

Div

erge

nz

ε

ε

ε: Konvergenzwinkel


Schätzen der absoluten Entfernung anhand des Konvergenzwinkels

ε: Konvergenzwinkel

a: Augenabstand e: Entfernung zum Schätzobjekt P

a

e

ε

P e

a 122

tan ⋅=ε

ea2

arctan2=ε⇒


Disparität

Abbildung eines Drahtwürfels Abbildung auf disparaten Punkten

linkes Auge rechtes Auge a1

b1 a2

b2

A

B


Texturgradienten Bewegungsparallaxe

lineare Perspektive bekannte Objekte

Bewegung

Logische Sichtmechanismen


Das menschliche Ohr


Das menschliche Ohr

Steigbügel


Kurven gleicher Lautstärke

Frequenz (Hz)

Sch

alld

ruck

pege

l (dB

)

Frequenz (Hz)

Laut

stär

ke (p

hon)

Kurven gleicher subjektiver Lautstärke nach DIN ISO 226


Räumliches Hören


Akustische Raumwahrnehmung

ϕ ϕ

r

ϕϕ rrs +=∆ sin

)(sin ϕϕ +=∆

=∆cr

cst

Laufzeitdifferenz:

Wegdifferenz:

sm343≈cmit

Schall-Schatten, der dann entstünde, wenn es nicht zur Beugung von Schallwellen käme

Weg, den der Schall zum näher gelegenen (linken) Ohr zurücklegen muss

Weg, den der Schall zum weiter entfernten (rechten) Ohr zurücklegen muss

ϕr s i n

ϕrn


Gliederung



Dateneingabe in der Virtuellen & Erweiterten Realität


Eingabegeräte

Tracking-Systeme

Gestenerkennung

Dateneingabe in der Virtuellen und Erweiterten Realität: Position, Lage & Bewegung von Objekten im Raum

Menschliche Hand

Objekte Allgemein

2D Mustererkennung

3D Objekterkennung

Integrierte Inertialsensorik


Dateneingabe in der Virtuellen und Erweiterten Realität: Vergleich verschiedener Tracking-Prinzipien

Optisch (Infrarot) Vorteile: schnell Nachteile: hohe Kosten, Verdeckungen

Elektromagnetisch

Vorteile: schnell, kostengünstig, durchdringt Gewebe Nachteile: keine metallischen Gegenstände, Störfelder

Mechanisch

Vorteile: schnell, kostengünstig Nachteile: eingeschränkter Arbeitsraum

Ultraschall

Vorteile: schnell, kostengünstig Nachteile: Verdeckungen

Quelle: A.R.T.

Quelle: Faro

Quelle: Ascension

Quelle: Intersense


Datenausgabe in der Virtuellen Realität


Head-Mounted-Display (HMD)

Shutterbrille*

CAVE Automatic Visual Environment Autostereoskopische

Displays

Datenausgabe in der Virtuellen Realität: Prinzipien zur Datenausgabe

Powerwall

Interferenzfilter-/ Polfilterbrille*

*zusammen mit einer Powerwall oder CAVE Am Kopf

Im Raum

opak


FOV

Sehwinkel für 1 Pixel ca. 2,5‘ Abstand der Zäpfchen im Auge: ca. 0,25 - 0,5‘ ⇒ Auflösungsvermögen: 0,5 - 1‘ (Bogenminute)

Anz

ahl P

ixel

(ver

tikal

, hor

izon

tal)

Datenausgabe in der Virtuellen Realität: Ergonomie – Auflösung der Ausgabesystems


Quelle: David Drascic and Paul Milgram

Datenausgabe in der Virtuellen Realität: Ergonomie – Akkommodations-Vergenz-Konflikt

virt

uelle

s

Obj

ekt

Konvergenz

Akkommodation real, Konvergenz real

reales Objekt in gleicher Tiefe wie virtuelles

Akkommodation virtuell

Proj

ektio

nsflä

che

Wahrnehmung des virtuellen Objekts


Datenausgabe in der Virtuellen Realität: Ergonomie – Simulatorkrankheit (Cyber Sickness)

Symptome: Allgemeines Unbehagen Ermüdung Kopfschmerzen Überanstrengte Augen Schwierigkeiten, scharf zu sehen Schwitzen Übelkeit Konzentrationsschwierigkeiten Druckgefühl im Kopfbereich Verschwommene Sicht Schwindel (geöffnete Augen) Schwindel (geschlossene Augen) Gleichgewichtsstörungen Magenbeschwerden Aufstoßen

Ursachen: Desorientierung Widersprüchliche Reize (Kinästhetik) Systemlatenzzeiten


Datenausgabe in der Erweiterten Realität


HMD* mit videobasierter

Durchsicht

Objekt-Aufprojektion Tablet Augemented

Reality

Datenausgabe in der Erweiterten Realität: Prinzipien zur Datenausgabe

Head-Up Display

Look-Around HMD*

Am Kopf

Im Raum

video

HMD* mit optischer Durchsicht

*HMD = Head-Mounted Display


Datenausgabe in der Erweiterten Realität: Sichtprinzipien im Überblick

Videobasiert Optisch

Am K

opf

Im R

aum


Optische Durchsicht

Videobasierte Durchsicht

+ reale Welt in Echtzeit, nur das, was nötig ist, wird virtuell dargestellt

- Eventuell Latenz zwischen realer

Welt und überlagerten virtuellen Informationen

- Halbdurchlässiger Spiegel: reale Welt ist abgedunkelt dargestellt („Sonnenbrille“) und

virtuelle Objekte sind transparent

+ zeitliche und räumliche Übereinstimmung zwischen realer Welt und virtuellen Informationen

- Gesamtsicht ggf. mit Zeitverzug (Latenz) - Für räumliche Wahrnehmung sind zwei Kameras

und zwei Monitore notwendig hohe Masse - Eventuell Versatz der realen Welt zur Sehachse - Begrenzte Auflösung der Kamera/des Monitors

+/- Monitor: auch als einfache 2D-Lösung (Tablet AR)

Datenausgabe in der Erweiterten Realität: Sichtprinzipien – Vor- und Nachteile


Pragmatische Ebene: AR-Benutzungsmetaphern: Benutzer kann sich auf sein Vorwissen stützen

(z.B. das „Fernauge“ oder die „Röntgenbrille“) Semantische Ebene: Anreicherung von Objekten

in der Realität mit semantischer (Zusatz-)Information

Schaltschrank einer Werkzeugmaschine

SIRIUS- Leistungsschalter

Typ 3RV1.1

Datenausgabe in der Erweiterten Realität: Semiotisches Modell – Pragmatische & Semantische Ebene


Datenein und -ausgabe in der Erweiterten Realität: Semiotisches Modell – Syntaktische & Physikalische Ebene

Syntaktische Ebene: Hand- und Körpergestenerkennung natürlichsprachliche Interaktion lernende Benutzungsschnittstellen

Physikalische Ebene: Darstellungsgrößen und -formen Helligkeit und Kontrast Verdeckungseffekte

Release of nut Release of nut


Gliederung

Einführung und Kernbegriffe Anwendungsbeispiele in verschiedenen Industrien Sinneswahrnehmung und menschliche Informationsaufnahme Technologien für die Virtuelle und Erweiterte Realität Ergonomie-Studien am IAW


Darstellungsgröße der virtuellen Information, Verdeckung der realen Welt

⇒ schlechte Erkennbarkeit ⇒ hohe Fehlerrate

⇒ große Verdeckung der realen Welt

⇒ evtl. Unfallgefahr

Darstellung zu klein Darstellung zu groß

?

Optimale Darstellungsgröße

Ergonomie-Studie am IAW: Grad der Verdeckung der realen Welt bei AR mit HMD

Release of nut Release of nut

Release of nut


Ergonomie-Studie am IAW: Reaktionszeiten und Fehleranteile bei AR mit HMD

18´ 36´ 72´ 144´ 288´

Darstellungsgröße

6,00

6,50

7,00

7,50

Rea

ktio

nsze

it [s

]

]

]]

]

]

18´ 36´ 72´ 144´ 288´

Darstellungsgröße

0,05

0,10

0,15

0,20

Feh

lera

ntei

l

]]]

]

]


Ergonomie-Studie am IAW: Belastungsempfinden bei der Benutzung von HMDs

• 60 Probanden zwischen 19 und 59 Jahren eingeteilt in 2 Altersgruppen; AG1: 18-39; AG2: 40-59

• Unabhängige Variablen: • HMD mit geschlossener Sicht • HMD offene Sicht (See-Through) • Konventionelles Display, Größe 19“ • Alter der Probanden

• Abhängige Variablen − Durchführungszeit − Physiologische Beanspruchung − Subjektive Beanspruchung − Simulatorkrankheit (SSQ)

Vergleich des Belastungsempfindens bei der Benutzung von zwei verschiedenen monokularen HMD-Typen mit einem herkömmlichen Bildschirm

• Untersuchung der Muskelbelastung über Elektromyographie im Schulter-/Nackenbereich

• Aufgabe: Montage eines Vergasers Entsprechende Anweisungen wurden im HMD oder auf dem Display angezeigt


Ergonomie-Studie am IAW: Belastungsempfinden bei der Benutzung von HMDs Ergebnisse: • Signifikanter Effekt bei der Ausführungszeit für die

verschiedenen Displaytypen, jedoch nicht für die verschiedenen Altersgruppen

Ausführungszeit: HMD Offen: 6902 Sekunden HMD geschl.: 7390 Sekunden Display: 6275 Sekunden

• Signifikanter Effekt bei Belastungsmessung durch EMG zwischen den verschiedenen Altersgruppen

AP1-AP4: verschiedene Muskelgruppen HMD mit offener Sicht belastet die untersuchten Muskelgruppen im Schulter- und Nackenbereich am wenigsten Fazit:

HMDs mit offener Sicht bringen bei der Unterstützung von Arbeitsanweisung nicht unbedingt einen Geschwindigkeitsvorteil, dafür jedoch ergonomische Vorteile.


Lernerfolgsfragen

Was unterscheidet virtuelle Realität von erweiterter Realität? Was haben diese Ansätze gemeinsam?

In welchen Phasen des Produktlebenszyklus und in welchem Industrien werden virtuelle und erweiterte Realität eingesetzt?

Auf welchen physikalischen Prinzipien basieren stereoskopisches Sehen und räumliches Hören?

Mit welchem Technologien kann eine stereoskopische Visualisierung umgesetzt werden?

Mit welchem monokularen Mechanismen kann ein räumlicher Eindruck erzeugt werden?

Was versteht man unter Tracking, wozu wird es gebraucht und welche Verfahren gibt es?

Welche ergonomischen Probleme können bei der Benutzung von AR- und VR-Technologien auftreten?


Literaturverzeichnis AICES: Virtual Reality Group der RWTH Aachen. http://www.aices.rwth-aachen.de/about/institutes/vr ART: Advanced Realtime Tracking Infrared Tracking System. http://www.ar-tracking.com/home/ ARVIDA: Angewandte Referenzarchitektur für virtuelle Dienste und Anwendungen. http://www.arvida.de/ Ascension: Electromagnetic Spatial Tracking Solutions. http://www.ascension-tech.com/ BlueShark: Enhanced Environment for Communication and Collaboration. http://e2c2.ict.usc.edu/ ESI: IC.IDO Virtual Reality Solution. https://www.esi-group.com/software-services/virtual-reality EUDD: European Driver‘s Desk. http://ec.europa.eu/research/transport/projects/items/euddplus_en.htm Faro: Faro Arm – Tragbares Koordinatenmessgerät. http://www.faro.com/de-de IKT 2020: Virtuelle Techniken für die Fabrik der Zukunft. http://www.bmbf.de/de/9069.php InterSense: Precision Motion Tracking Solutions. http://www.intersense.com/ ISMAR 2015: EEE International Symposium on Mixed and Augmented Reality. http://ismar.vgtc.org/ Milgram, P.; Colquhoum, H. (1999): A Taxonomy of Real and Virtual World Display Integration.

In: Ohta, Y.; Tamura, H. (Hrsg.): Mixed Reality – Merging Real and Virtual Worlds, Springer Verlag, Berlin. Mechdyne: Advanced Audiovisual Technology Solutions. http://www.mechdyne.com/ Neuhöfer, J. A.: System zur Simulation der Mensch-Roboter-Kooperation in virtuellen und erweiterten

Umgebungen. Dissertation an der RWTH Aachen. Shaker-Verlag, Aachen. Oehme, O.: Ergonomische Untersuchung von kopfbasierten Displays für Anwendungen der erweiterten

Realität in Produktion und Service (2004). Dissertation an der RWTH Aachen. Shaker-Verlag, Aachen. Oculus VR: Consumer Market Virtual Reality Hardware. https://www.oculus.com/en-us/ Park. M.: Hand-Auge-Koordination bei videobasierten Augmented-Reality-Systemen in der Schweiß- und

Medizintechnik (2007). Dissertation an der RWTH Aachen. Shaker-Verlag, Aachen. VDC: Virtual Dimension Center, KompetenzNetzwerk für Virtuelles Engineering. http://www.vdc-fellbach.de/ VR 2015: IEEE International Conference on Virtual Reality. http://ieeevr.org/2015/

http://www.aices.rwth-aachen.de/about/institutes/vr

http://www.ar-tracking.com/home/

http://www.arvida.de/

http://www.ascension-tech.com/

http://e2c2.ict.usc.edu/

https://www.esi-group.com/software-services/virtual-reality

http://ec.europa.eu/research/transport/projects/items/euddplus_en.htm

http://www.faro.com/de-de

http://www.bmbf.de/de/9069.php

http://www.intersense.com/

http://ismar.vgtc.org/

http://ismar.vgtc.org/

http://www.mechdyne.com/

https://www.oculus.com/en-us/

http://www.vdc-fellbach.de/




http://ieeevr.org/2015/

Ergonomie und Mensch -Maschine Systeme -...

Documents

Transcript of Ergonomie und Mensch -Maschine Systeme -...