Progettazione e sperimentazione di un ambiente VR per l’analisi delle attività cognitive: confronto tra Controller e Hand Tracking

Abstract

La diffusione delle tecnologie di realtà virtuale ha favorito la creazione di ambienti virtuali collaborativi e interattivi utilizzabili per sviluppare exergames sempre più efficaci. Si tratta di videogiochi che combinano esercizio fisico e intrattenimento, richiedendo al giocatore di muoversi attivamente. Di solito impiegano sensori di movimento, videocamere o pedane per rilevare i gesti dell’utente e tradurli in azioni nel mondo virtuale. Questa categoria di videogiochi può essere impiegata non solo per promuovere stili di vita più attivi, ma anche in ambito riabilitativo, dove rappresenta uno strumento motivante e adattabile per favorire il recupero motorio e cognitivo. Un problema tuttora aperto riguarda la definizione di modalità di interazione naturali, intuitive, e accessibili a tutti gli utenti. In questo contesto si inserisce il presente progetto, che propone una riproduzione in realtà virtuale del gioco dello Shape Sorter, attraverso il confronto tra l’esperienza di manipolazione degli oggetti tramite due diverse modalità: i controller tradizionali, oppure l’hand tracking basato sulle telecamere integrate nel visore. Questo studio si inserisce in continuità con un analogo lavoro svolto nel 2017, nel quale era stato affrontato lo stesso tema ma con tecnologie differenti: il confronto riguardava infatti i controller e un sistema di tracciamento delle mani esterno, nello specifico il Leap Motion. In quel caso, i risultati mostravano una netta superiorità dei controller in termini di precisione e tempi di esecuzione. Queste conclusioni riportavano un limite importante in termini di inclusività: l’uso dei controller, infatti, può risultare difficile o impossibile per utenti con ridotta motricità, forza di presa compromessa o condizioni che rendono difficoltoso premere piccoli pulsanti. Il progetto descritto e realizzato in questo lavoro di tesi ha proposto lo stesso confronto sulla base di tecnologie più recenti che consentono oggi un'interazione migliore.

The spread of virtual reality technologies has encouraged the creation of collaborative and interactive virtual environments that can be used to develop increasingly effective exergames. These are video games that combine physical exercise and entertainment, requiring the player to move actively. They usually employ motion sensors, video cameras, or platforms to detect the user's movements and translate them into actions in the virtual world. This category of video games can be used not only to promote more active lifestyles, but also in rehabilitation, where it represents a motivating and adaptable tool to promote motor and cognitive recovery. One issue that remains unresolved is the definition of natural, intuitive modes of interaction that are accessible to all users. This is the context for the present project, which proposes a virtual reality reproduction of the Shape Sorter game, comparing the experience of manipulating objects using two different modes: traditional controllers or hand tracking based on cameras integrated into the headset. This study follows on from similar research carried out in 2017, which addressed the same issue but using different technologies: the study compared controllers and an external hand tracking system, specifically Leap Motion. In that case, the results showed a clear superiority of controllers in terms of accuracy and execution times. These conclusions had an important limitation in terms of inclusivity: the use of controllers can be difficult or impossible for users with reduced motor skills, compromised grip strength, or conditions that make it difficult to press small buttons. The project described and implemented in this thesis proposed the same comparison based on more recent technologies that now allow for improved interaction.