Un approccio biomimetico propriocettivo per la realtà virtuale aumentata: un sistema per il trasferimento interpersonale in tempo reale di informazioni visuo-propriocettive

Abstract

L'imitazione richiede l'integrazione di informazioni visive e propriocettive ed è per questo un meccanismo fondamentale per l'apprendimento motorio. Sebbene la realtà virtuale (VR) offra un ambiente controllato per lo studio del comportamento motorio, la sua combinazione con stimoli propriocettivi rimane poco esplorata. In questo contesto, la presente tesi si pone due obiettivi. Il primo è indagare come la stimolazione vibrotattile propriocettiva moduli la capacità imitativa di movimenti dell'arto superiore osservati in VR da soggetti sani. I risultati dello studio comportamentale evidenziano che, durante l’osservazione accompagnata da stimolazione propriocettiva, i partecipanti migliorano l'accuratezza dell'imitazione offline, riducendo gli errori di velocità media e massima. Tuttavia, quando la stimolazione è applicata durante l'esecuzione attiva del movimento, la performance peggiora, suggerendo un'interferenza tra propriocezione naturale e artificiale. I questionari sull'embodiment confermano tali risultati, con maggiore immedesimazione nella condizione con stimolazione propriocettiva attiva. Il secondo obiettivo è proporre un framework per il trasferimento in tempo-reale di informazioni visuo-propriocettive tra due individui. Un'acquisizione pilota ha confermato la fattibilità dello streaming delle cinematiche verso un avatar virtuale. Inoltre, è stata integrata la mappatura dell'accelerazione del movimento alla frequenza della vibrazione propriocettiva, permettendo di codificare in tempo reale anche la dinamica del movimento osservato. Complessivamente, i risultati mostrano che la stimolazione propriocettiva può rafforzare la rappresentazione motoria interna in condizioni specifiche e dimostrano la fattibilità di un trasferimento multisensoriale in tempo reale per applicazioni nell’apprendimento motorio e nella riabilitazione.

Imitation relies on the integration of visual and proprioceptive information and is a key mechanism for motor learning. While virtual reality (VR) provides controlled environments for studying motor behavior, its combination with artificial proprioceptive cues remains underexplored. This thesis addresses two main objectives. The first is to investigate how vibrotactile proprioceptive stimulation modulates the ability of healthy participants to imitate upper-limb movements observed in VR. Behavioral results show that during the observation accompanied by proprioceptive stimulation, participants improve offline imitation accuracy, reducing both mean and peak velocity errors. Conversely, when stimulation is applied during active movement execution, performance declines, suggesting interference between natural and artificial proprioceptive cues. Embodiment questionnaires support these findings, showing higher level of body ownership, agency, and location of the body in the proprioceptive condition. The second objective is to introduce and validate a framework for real-time visuo-proprioceptive information transfer between two individuals. A pilot acquisition confirmed the feasibility of real-time streaming of kinematics to a virtual avatar. Moreover, it has been successfully integrated a mapping of the movement acceleration to vibration frequency, enabling real-time encoding of movement dynamics. Overall, the results indicate that proprioceptive stimulation can enhance internal motor representations under specific conditions and demonstrate the technical feasibility of real-time multisensory information transfer for future motor learning and rehabilitation applications.