Dispositivi elettronici con intelligenza artificiale per protesi semiautonome: progetto e implementazione di sistema a supporto di movimenti di presa auto-organizzati

Abstract

Il controllo tradizionale delle protesi dell’arto superiore impone ancora un notevole carico cognitivo all’utilizzatore, contribuendo a un alto tasso di rigetto. La visione artificiale può offrire un’assistenza consapevole dell’ambiente, ma la sua adozione richiede modelli leggeri, eseguibili in tempo reale su dispositivi embedded per garantirne la praticità. In questa tesi è stato sviluppato un sistema di controllo semi-autonomo per protesi di arto superiore, che combina input EMG volontario per il controllo diretto con la segmentazione visuale delle affordance per il pre-shaping automatico della mano. Sono stati analizzati diversi modelli, tra cui decoder a una o due teste, con input RGB o RGB-D. Per superare la scarsità di dati è stato generato un dataset sintetico in Unreal Engine e valutato in confronto al dataset UMD, con particolare attenzione alla generalizzazione cross-domain. I risultati mostrano che le architetture a due teste rendono sufficiente il solo input RGB per la segmentazione delle affordance, suggerendo che i sensori di profondità potrebbero non essere necessari. Il prototipo è stato assemblato utilizzando la mano Michelangelo di Ottobock, il bracciale EMG Myo Armband e una camera Intel RealSense, supportando modalità di controllo manuale e semi-automatica. Una campagna sperimentale con 11 partecipanti e 14 oggetti di uso quotidiano ha confrontato le due modalità mediante metriche oggettive (tempo, successo) e soggettive (NASA-TLX e un questionario VAS). La modalità semi-automatica ha mostrato benefici misurabili, riducendo i tempi, aumentando il successo e abbassando il carico cognitivo. Infine, è stata confrontata un’architettura progettata manualmente con un modello NAS hardware-aware. Le prestazioni di entrambi i modelli sono state analizzate su NVIDIA Jetson Nano in termini di tempo di inferenza, memoria e consumo energetico, ed entrambi sono risultati idonei all’esecuzione in tempo reale dopo il deployment.

Traditional upper-limb prosthesis control still imposes substantial cognitive load on the user, contributing to high rejection rates. Computer vision can provide environment-aware assistance, but its adoption requires lightweight models capable of real-time execution on embedded devices to ensure practical usability. In this thesis, a semi-autonomous control system for upper-limb prostheses was developed, combining EMG-based voluntary input for direct control with visual affordance segmentation for automatic hand pre-shaping. Different models are investigated, including single-head and two-head decoders, and with either RGB or RGB-D input. To overcome data scarcity, a synthetic dataset was generated in Unreal Engine and evaluated against UMD, with a specific focus on cross-domain generalization. The results showed that two-head architectures can make RGB input alone sufficient for affordance segmentation, suggesting that depth sensors may not be necessary. The prototype was developed and assembled using the Ottobock Michelangelo hand, a Myo EMG armband, and an Intel RealSense camera, supporting both manual and semi-automatic control modes. An experimental campaign with 11 participants and 14 everyday objects compared the two modes using objective (time, success) and subjective (NASA-TLX and a custom VAS questionnaire) metrics. The semi-automatic mode yielded measurable benefits, reducing task time, increasing success rate, and lowering perceived workload. Finally, we compared a manually designed architecture with a hardware-aware NAS model. Both were profiled on an NVIDIA Jetson Nano, evaluating inference time, memory footprint, and energy consumption, and were suitable for real-time inference after deployment.