Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO –...

31
Interazione Metafore Metafore di di interazione interazione

Transcript of Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO –...

Page 1: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

MetaforeMetafore didi interazioneinterazione

Page 2: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Metafore di interazioneMetafore di interazione

Le metafore riproducono concetti, conosciuti dall’utente in un contesto, al fine di trasferire questa conoscenza in un nuovo contesto legato all’esecuzione di un certo task.

Una buona metafora deve essere rappresentativa del task e compatibile con la conoscenza dell’ utente.

Una buona metafora deve essere compatibile con i vincoli fisici dell’interfaccia usata.

I tipici task della VR sono essenzialmente di tre tipi:- Navigazione e Movimento- Selezione di oggetti- Manipolazione e modifica di oggetti

Page 3: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Metafore per la navigazioneMetafore per la navigazione

Metafore 2DOF o 3DOFSono metafore controllate da dispositivi 2/3Dof come mouse o joystick. Per consentire i normali 6DOF di movimento, se richiesto, è necessario utilizzare comandi aggiuntivi (pulsanti del dispositivo o sulla GUI)

Metafore 6DOFSono metafore controllate da dispositivi ineremente 6DOF.

• Flying vehicle (virtual camera montata su veicolo virtuale del quale l’utente controlla la posizione)• Eyeball in hand (tracker sulla mano, la virtual camera è accoppiata ai movimenti del tracker)• Head tracker orbital viewing (la virtual camera segue i movimenti della testa dell’utente, adatta per ambienti immersivi)

Page 4: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Altre metafore di navigazioneAltre metafore di navigazione

TREADMILLS: virtual camera segue i movimenti fisici dell’utente

TELEPORTATION: l’utente è istantaneamente trasportato nel luogo desiderato (speech commands o selezione da lista)

Page 5: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Metafore per la selezioneMetafore per la selezione

A differenza delle applicazioni 2D, in cui gli oggetti sono accessibili per manipolazione diretta, le applicazioni 3D aggiungono un grado di complessitàulteriore che non sempre è facilmente gestibile (ad es. la valutazione della profondità, specie con monitor 2D, o i problemi di occlusione).

RAYCASTING: Molto diffusa. Un raggio virtuale parte dall’utente (testa o mano o altro) e seleziona l’oggetto più vicino tra quelli intersecati.

V: facilmente implementabile, di immediata comprensioneS: sensibile alle rotazione sulle lunghe distanze (sol.: cono)S: difficile selezione su oggetti occlusi (sol: deformable ray)

SPEECH: permette di selezionare un oggetto pronunciandone il nome o una sua proprietà.

V: immediatoS: ambienti complessi (nomi unici), speech recognition difficile

LISTA: selezione nominale dalla lista degli oggetti.

CLIP

Page 6: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Metafore per la manipolazioneMetafore per la manipolazione

Si distinguono in:- esocentriche (viste dall’esterno del mondo – non le trattiamo)- egocentriche (viste in prima persona)

VIRTUAL HAND: Manipolazione diretta. Una rappresentazione virtuale della mano dell’utente (o di un utensile) viene mostrata nella scena 3D, quando c’è intersezione si seleziona l’oggetto e, una volta selezionato, i movimenti della mano si trasferiscono anche all’oggetto.

V: manipolazione naturaleS: irraggiungibilità di alcuni oggetti (limiti “anatomici”)

GO-GO: Usa la Virtual Hand, consentendone un “allungamento” non lineare per selezionare oggetti non raggiungibili.

HOMER: E’ una forma di Ray Casting, ma una volta selezionato l’oggetto il “perno” della manipolazione è spostato sull’oggetto (trasporta la Virtual Hand sull’oggetto)

Page 7: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Metafore per la manipolazioneMetafore per la manipolazione

OBJECT IN HAND:

Scambio di ruoli tra mano dominante e mano non dominante a seconda dei tempi dell’interazione:

Mano non dominante portata vicino a mano dominante -> trigger menu

Mano dominante -> Selezione azione da menu

Mano non dominante -> Gestisce trasformazioni “geometriche”

Mano dominante -> Gestisce interazione

CLIP

Page 8: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Case Study:Case Study:

MetaforeMetafore didi interazioneinterazione in LINK2in LINK2

Page 9: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

• two distinct configurations

• an integrated virtual environment (exploiting same hardware devices)

Inside the LINK-2 project (MURST co-financed),

PERCRO (PERCeptual RObotics) and Piaggio S.p.A. have

developed a VP System characterized by:

• 3D stereoscopic visualization of the vehicle assembly CAD model

• immersive 3D stereoscopic visualization of the driving seat of amotocycle based on a reconfigurable real mock-up

1. Interactive Visualization System (IVS) to increase the assembly quality

2. Advanced Ergonomic Simulator (AES) to increase the driving seat

ergonomics

The LINKThe LINK--2 Virtual Prototyping System2 Virtual Prototyping System

Page 10: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Two different interaction devices were used, resulting in two different sets of

interaction metaphors which share common principles.

- A 6-DOF sensorized wand, provided with

joystick and buttons.

The interaction functionalities are associated

both to gestures and to the device controls

(joystick movements and buttons pressing)

- A couple of sensorized gloves coupled with 6-DOF wrist sensors.

The interaction functionalities are associated

to gestures and hand postures.

In both cases, whenever possible, a direct

correspondence between user movements

and actions was implemented.

IVS IVS metaphorsmetaphors

Page 11: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

When the gloves are used as Interaction Device the two hands

are used in different ways:

- The dominant hand movements are associated to action tasks

(selecting, moving, etc.)

- The non-dominant hand postures are associated to option tasks

(switching selection modality, active status etc.)

IVS IVS metaphorsmetaphors: : glovesgloves

Page 12: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

The implemented metaphors allow to access and use the available

interaction modalities:

In the grab modality, the user can:

- select subcomponents (ray-casting metaphor used)

- perform roto-translations (by means of dominant hand

movements or joystick movements) and hide/unhide comps.

The manipulation modality (translation or

rotation) can be selected with the wand

buttons, or with a particular posture of the

non-dominant hand if using gloves.

IVS IVS metaphorsmetaphors: : modalitiesmodalities

CLIP

Page 13: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

The implemented metaphors allow to access and use the available

interaction modalities:

In the clip modality, the user can realize real-time sections of

the assembly.

A semi-transparent plane, placed at a fixed distance from the interaction

controller and integral with its movements, realizes sections allowing viewing the hidden components of the model.

IVS IVS metaphorsmetaphors: : modalitiesmodalities

CLIP

Page 14: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

The implemented metaphors allow to access and use the available

interaction modalities:

In the measure modality, the user can perform measurements

between points of the model. The points are picked with the

selection metaphor.

IVS IVS metaphorsmetaphors: : modalitiesmodalities

CLIP

Page 15: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

A preliminary evaluation has been carried out with a group of engineers and

CAD designers of Piaggio S.P.A.

The IVS proved to be an effective mean for the collaborative revision of a

project and the testing users needed only a few testing session to learn and

get used to the interaction.

Experienced CAD users at first showed preference for the wand-based

interaction. After some sessions the gesture-based interaction gained

consent, allowing better performances (actions and their extent are directly

mapped to user movements) in some tasks. A deeper evaluation is foreseen

in next months.

Current issues:

- Ray Casting (distant objects selection accuracy, hidden objects: list)

- Precision (difficult to achieve exact manipulations)

- Training needed (low learning curve, but not-so-low)

EvaluationEvaluation

Page 16: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

InterazioneInterazione susu web web e/oe/o condivisacondivisa

con con usouso didi interfacceinterfacce apticheaptiche

CLIP CLIP CLIP

DistributedDistributed MagazineMagazine LexiconLexicon

Page 17: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

IntegrazioneIntegrazione didi

installazioniinstallazioni immersiveimmersive

Page 18: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Haptic interaction with immersive environmentHaptic interaction with immersive environment

Virtual Reality Applications Virtual Reality Applications CenterCenter / Iowa State University / Iowa State University

Page 19: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

University of Michigan, Ann Arbor, Michigan, USA

Virtual Jet Ski Driving SimulatorVirtual Jet Ski Driving Simulator Virtual Football TrainerVirtual Football Trainer

Virtual prototype of DetroitVirtual prototype of Detroit’’s Airport Terminals Airport Terminal Medical Readiness TrainerMedical Readiness Trainer

Page 20: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Immersive Virtual Environment for DTImmersive Virtual Environment for DT--MRI Volume Visualization Applications MRI Volume Visualization Applications

Brown University, Providence, Rhode Island, USABrown University, Providence, Rhode Island, USACLIP

CLIP

Page 21: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

D.I.V.I.N.E: DesktopD.I.V.I.N.E: Desktop--Immersive Virtual and Interactive Networked Environment SystemImmersive Virtual and Interactive Networked Environment System

DISCOVER Lab, University of OttawaDISCOVER Lab, University of Ottawa

Page 22: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

InterazioneImmersive virtual reality C4 CAVE at Iowa State University in AmImmersive virtual reality C4 CAVE at Iowa State University in Ames, Iowa es, Iowa

Page 23: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Page 24: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

VirtusphereVirtusphere

VirtusphereVirtusphereCLIP

Page 25: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Immersive Immersive ModelingModeling, , FraunhoferFraunhofer IAO, Stuttgart, GermanyIAO, Stuttgart, Germany

CLIP

Page 26: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Immersive data analysisImmersive data analysis

BARCO BARCO –– Mining human genomeMining human genome

BARCO BARCO –– Immersive data analysis: Mining human genomeImmersive data analysis: Mining human genome

Page 27: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Medical VisualizationMedical VisualizationBARCO BARCO –– Medical VisualizationMedical Visualization

Page 28: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Swiss Federal Institute of Technology (ETH)

(3D video grab of users)

Page 29: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Designing Cranial Implants in a Haptic Augmented Reality EnvironDesigning Cranial Implants in a Haptic Augmented Reality Environmentment

PARIS PARIS -- Personal Augmented Reality Immersive SystemPersonal Augmented Reality Immersive System

University of Illinois, USAUniversity of Illinois, USA

Page 30: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

FakespaceFakespace

Page 31: Metafore di interazionepercro.sssup.it/marcello/didattica/AA2010/3_Interazione_B.pdf · BARCO – Mining human genome BARCO – Immersive data analysis: Mining human genome. Interazione

Interazione

Immersive VisualisationImmersive Visualisation