VirtualAvatars4Rehab: tracciamento del corpo e animazione in tempo reale dell' avatar per esercizi fisici in realtà virtuale immersiva

Abstract

La realtà virtuale è uno strumento versatile, utilizzato in vari settori, tra cui la riabilitazione. La sua adattabilità alle esigenze del paziente, insieme a feedback immediato e alto coinvolgimento, la rende efficace in questo ambito. Sebbene vi siano pochi esempi in letteratura sull’applicazione della realtà virtuale in ortopedia, questo lavoro mira a sviluppare un protocollo di riabilitazione per la spalla post-chirurgica in VR immersiva. L’idea principale è creare un avatar sia per il fisioterapista che per il paziente, permettendo loro di eseguire esercizi in un ambiente virtuale. È stato implementato uno slider per fornire feedback visivo, garantendo la corretta esecuzione degli esercizi che richiedono un intervallo specifico di movimento. Il programma di riabilitazione e le animazioni sono stati forniti dalla Fondazione Policlinico Universitario Campus Bio-Medico di Roma. Le interfacce utente sono state sviluppate in Unity, consentendo all'utente di impostare parametri per la riabilitazione e preferenze per avatar e ambiente virtuale. È stata prestata particolare attenzione al tracciamento markerless del corpo, necessario per animare l'avatar. Sono state testate varie soluzioni, incluso il framework IMMERSE, portando alla scelta della telecamera ZED 2. L’Oculus Quest 2 è stato utilizzato come visore, senza controller. Per testare il sistema è stato condotto un esperimento con 10 soggetti, ai quali è stato chiesto di eseguire diverse fasi del programma riabilitativo. Al termine, sono stati somministrati tre questionari per valutare il senso di presenza, co-presenza e usabilità. Le posizioni di tutte le ossa dell'avatar sono state registrate e analizzate in Matlab per valutare il tracciamento. Il sistema è risultato facile da usare, con buoni livelli di presenza e co-presenza, sebbene con un coinvolgimento limitato. L’analisi dei dati ha evidenziato alcuni limiti della telecamera, sottolineando la necessità di migliorarne il tracciamento negli sviluppi futuri.

Virtual reality is a versatile tool, used in numerous fields, including rehabilitation. Its adaptability to the specific needs of the patient, combined with immediate feedback and a high level of engagement, makes it particularly effective in this area. While there are few examples in the literature of VR being applied to orthopedics, this work aims to develop a rehabilitation protocol for the shoulder, post-surgery, in immersive virtual reality. The main idea is to create avatars for both the physiotherapist and the patient, enabling them to perform rehabilitation exercises together in a virtual environment. Additionally, a slider provides visual feedback, ensuring correct execution of exercises that require a specific range of motion. The rehabilitation program and exercise animations were provided by the Fondazione Policlinico Universitario Campus Bio-Medico, in Rome.\\ User interfaces were implemented in Unity, allowing the user to set parameters related to rehabilitation, as well as avatar and virtual environment preferences. Particular attention was given to markerless full-body tracking, which is necessary to animate the user's avatar. Various solutions were tested, including the IMMERSE framework, leading to the final choice of using the ZED 2 camera. The Oculus Quest 2 was used as a headset, without the use of controllers. To test the system, an experiment was conducted with 10 subjects, in which they were asked to perform different stages of the rehabilitation program. At the end of the VR experience, three questionnaires were administered to evaluate the sense of presence, co-presence, and usability. The positions of all the avatar’s bones were recorded and analyzed in Matlab, to assess the camera tracking. The system was easy to use, with good levels of presence and co-presence, although with a lower level of involvement. As for the data analysis, some limitations of the camera emerged, highlighting the need for improved tracking in future developments.