Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO –...
Transcript of Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO –...
Interazione
MetaforeMetafore didi interazioneinterazione
Interazione
Metafore di interazioneMetafore di interazione
Le metafore riproducono concetti, conosciuti dall’utente in un contesto, al fine di trasferire questa conoscenza in un nuovo contesto legato all’esecuzione di un certo task.
Una buona metafora deve essere rappresentativa del task e compatibile con la conoscenza dell’ utente.
Una buona metafora deve essere compatibile con i vincoli fisici dell’interfaccia usata.
I tipici task della VR sono essenzialmente di tre tipi:- Navigazione e Movimento- Selezione di oggetti- Manipolazione e modifica di oggetti
Interazione
Metafore per la navigazioneMetafore per la navigazione
Metafore 2DOF o 3DOFSono metafore controllate da dispositivi 2/3Dof come mouse o joystick. Per consentire i normali 6DOF di movimento, se richiesto, è necessario utilizzare comandi aggiuntivi (pulsanti del dispositivo o sulla GUI)
Metafore 6DOFSono metafore controllate da dispositivi ineremente 6DOF.
• Flying vehicle (virtual camera montata su veicolo virtuale del quale l’utente controlla la posizione)• Eyeball in hand (tracker sulla mano, la virtual camera è accoppiata ai movimenti del tracker)• Head tracker orbital viewing (la virtual camera segue i movimenti della testa dell’utente, adatta per ambienti immersivi)
Interazione
Altre metafore di navigazioneAltre metafore di navigazione
TREADMILLS: virtual camera segue i movimenti fisici dell’utente
TELEPORTATION: l’utente è istantaneamente trasportato nel luogo desiderato (speech commands o selezione da lista)
Interazione
Metafore per la selezioneMetafore per la selezione
A differenza delle applicazioni 2D, in cui gli oggetti sono accessibili per manipolazione diretta, le applicazioni 3D aggiungono un grado di complessitàulteriore che non sempre è facilmente gestibile (ad es. la valutazione della profondità, specie con monitor 2D, o i problemi di occlusione).
RAYCASTING: Molto diffusa. Un raggio virtuale parte dall’utente (testa o mano o altro) e seleziona l’oggetto più vicino tra quelli intersecati.
V: facilmente implementabile, di immediata comprensioneS: sensibile alle rotazione sulle lunghe distanze (sol.: cono)S: difficile selezione su oggetti occlusi (sol: deformable ray)
SPEECH: permette di selezionare un oggetto pronunciandone il nome o una sua proprietà.
V: immediatoS: ambienti complessi (nomi unici), speech recognition difficile
LISTA: selezione nominale dalla lista degli oggetti.
CLIP
Interazione
Metafore per la manipolazioneMetafore per la manipolazione
Si distinguono in:- esocentriche (viste dall’esterno del mondo – non le trattiamo)- egocentriche (viste in prima persona)
VIRTUAL HAND: Manipolazione diretta. Una rappresentazione virtuale della mano dell’utente (o di un utensile) viene mostrata nella scena 3D, quando c’è intersezione si seleziona l’oggetto e, una volta selezionato, i movimenti della mano si trasferiscono anche all’oggetto.
V: manipolazione naturaleS: irraggiungibilità di alcuni oggetti (limiti “anatomici”)
GO-GO: Usa la Virtual Hand, consentendone un “allungamento” non lineare per selezionare oggetti non raggiungibili.
HOMER: E’ una forma di Ray Casting, ma una volta selezionato l’oggetto il “perno” della manipolazione è spostato sull’oggetto (trasporta la Virtual Hand sull’oggetto)
Interazione
Metafore per la manipolazioneMetafore per la manipolazione
OBJECT IN HAND:
Scambio di ruoli tra mano dominante e mano non dominante a seconda dei tempi dell’interazione:
Mano non dominante portata vicino a mano dominante -> trigger menu
Mano dominante -> Selezione azione da menu
Mano non dominante -> Gestisce trasformazioni “geometriche”
Mano dominante -> Gestisce interazione
CLIP
Interazione
Case Study:Case Study:
MetaforeMetafore didi interazioneinterazione in LINK2in LINK2
Interazione
• two distinct configurations
• an integrated virtual environment (exploiting same hardware devices)
Inside the LINK-2 project (MURST co-financed),
PERCRO (PERCeptual RObotics) and Piaggio S.p.A. have
developed a VP System characterized by:
• 3D stereoscopic visualization of the vehicle assembly CAD model
• immersive 3D stereoscopic visualization of the driving seat of amotocycle based on a reconfigurable real mock-up
1. Interactive Visualization System (IVS) to increase the assembly quality
2. Advanced Ergonomic Simulator (AES) to increase the driving seat
ergonomics
The LINKThe LINK--2 Virtual Prototyping System2 Virtual Prototyping System
Interazione
Two different interaction devices were used, resulting in two different sets of
interaction metaphors which share common principles.
- A 6-DOF sensorized wand, provided with
joystick and buttons.
The interaction functionalities are associated
both to gestures and to the device controls
(joystick movements and buttons pressing)
- A couple of sensorized gloves coupled with 6-DOF wrist sensors.
The interaction functionalities are associated
to gestures and hand postures.
In both cases, whenever possible, a direct
correspondence between user movements
and actions was implemented.
IVS IVS metaphorsmetaphors
Interazione
When the gloves are used as Interaction Device the two hands
are used in different ways:
- The dominant hand movements are associated to action tasks
(selecting, moving, etc.)
- The non-dominant hand postures are associated to option tasks
(switching selection modality, active status etc.)
IVS IVS metaphorsmetaphors: : glovesgloves
Interazione
The implemented metaphors allow to access and use the available
interaction modalities:
In the grab modality, the user can:
- select subcomponents (ray-casting metaphor used)
- perform roto-translations (by means of dominant hand
movements or joystick movements) and hide/unhide comps.
The manipulation modality (translation or
rotation) can be selected with the wand
buttons, or with a particular posture of the
non-dominant hand if using gloves.
IVS IVS metaphorsmetaphors: : modalitiesmodalities
CLIP
Interazione
The implemented metaphors allow to access and use the available
interaction modalities:
In the clip modality, the user can realize real-time sections of
the assembly.
A semi-transparent plane, placed at a fixed distance from the interaction
controller and integral with its movements, realizes sections allowing viewing the hidden components of the model.
IVS IVS metaphorsmetaphors: : modalitiesmodalities
CLIP
Interazione
The implemented metaphors allow to access and use the available
interaction modalities:
In the measure modality, the user can perform measurements
between points of the model. The points are picked with the
selection metaphor.
IVS IVS metaphorsmetaphors: : modalitiesmodalities
CLIP
Interazione
A preliminary evaluation has been carried out with a group of engineers and
CAD designers of Piaggio S.P.A.
The IVS proved to be an effective mean for the collaborative revision of a
project and the testing users needed only a few testing session to learn and
get used to the interaction.
Experienced CAD users at first showed preference for the wand-based
interaction. After some sessions the gesture-based interaction gained
consent, allowing better performances (actions and their extent are directly
mapped to user movements) in some tasks. A deeper evaluation is foreseen
in next months.
Current issues:
- Ray Casting (distant objects selection accuracy, hidden objects: list)
- Precision (difficult to achieve exact manipulations)
- Training needed (low learning curve, but not-so-low)
EvaluationEvaluation
Interazione
InterazioneInterazione susu web web e/oe/o condivisacondivisa
con con usouso didi interfacceinterfacce apticheaptiche
CLIP CLIP CLIP
DistributedDistributed MagazineMagazine LexiconLexicon
Interazione
IntegrazioneIntegrazione didi
installazioniinstallazioni immersiveimmersive
Interazione
Haptic interaction with immersive environmentHaptic interaction with immersive environment
Virtual Reality Applications Virtual Reality Applications CenterCenter / Iowa State University / Iowa State University
Interazione
University of Michigan, Ann Arbor, Michigan, USA
Virtual Jet Ski Driving SimulatorVirtual Jet Ski Driving Simulator Virtual Football TrainerVirtual Football Trainer
Virtual prototype of DetroitVirtual prototype of Detroit’’s Airport Terminals Airport Terminal Medical Readiness TrainerMedical Readiness Trainer
Interazione
Immersive Virtual Environment for DTImmersive Virtual Environment for DT--MRI Volume Visualization Applications MRI Volume Visualization Applications
Brown University, Providence, Rhode Island, USABrown University, Providence, Rhode Island, USACLIP
CLIP
Interazione
D.I.V.I.N.E: DesktopD.I.V.I.N.E: Desktop--Immersive Virtual and Interactive Networked Environment SystemImmersive Virtual and Interactive Networked Environment System
DISCOVER Lab, University of OttawaDISCOVER Lab, University of Ottawa
InterazioneImmersive virtual reality C4 CAVE at Iowa State University in AmImmersive virtual reality C4 CAVE at Iowa State University in Ames, Iowa es, Iowa
Interazione
Interazione
VirtusphereVirtusphere
VirtusphereVirtusphereCLIP
Interazione
Immersive Immersive ModelingModeling, , FraunhoferFraunhofer IAO, Stuttgart, GermanyIAO, Stuttgart, Germany
CLIP
Interazione
Immersive data analysisImmersive data analysis
BARCO BARCO –– Mining human genomeMining human genome
BARCO BARCO –– Immersive data analysis: Mining human genomeImmersive data analysis: Mining human genome
Interazione
Medical VisualizationMedical VisualizationBARCO BARCO –– Medical VisualizationMedical Visualization
Interazione
Swiss Federal Institute of Technology (ETH)
(3D video grab of users)
Interazione
Designing Cranial Implants in a Haptic Augmented Reality EnvironDesigning Cranial Implants in a Haptic Augmented Reality Environmentment
PARIS PARIS -- Personal Augmented Reality Immersive SystemPersonal Augmented Reality Immersive System
University of Illinois, USAUniversity of Illinois, USA
Interazione
FakespaceFakespace
Interazione
Immersive VisualisationImmersive Visualisation