Modelli di Intelligenza Artificiale su Acceleratori Embedded per Sistemi di Visione in Robotica Indossabile

Abstract

L’utilizzo di algoritmi di AI e Machine Learning sta diventando onnipresente in molteplici aree dell’ingegneria, e i sistemi robotici autonomi rappresentano l’esempio più popolare. Per ragioni che verranno presentate nell’introduzione - prestazioni, affidabilità e privacy - a modelli di grandi dimen- sioni eseguiti su server remoti si preferiscono modelli ottimizzati eseguiti direttamente sull’hardware embedded a disposizione, scontrandosi con i vincoli di memoria, consumo e potenza computazionale che ne conseguono. In questo lavoro viene presentato come tali vincoli siano stati affrontati attraverso l’ottimizzazione di un modello di segmentazione d’immagini a supporto di una protesi robotica semi- autonoma, confrontando le prestazioni sulle piattaforme NVIDIA Jetson Nano e Jetson Orin Nano; l’obiettivo è stato quello di dimostrare come la differenza architetturale dell’hardware giochi un ruolo fondamentale nel determinare le prestazioni di esecuzione in applicazioni real-time come quella pre- sentata. Verrà analizzato come, nel worst-case scenario, il salto generazionale dell’hardware abbia portato a una riduzione del tempo di risposta del sistema di un fattore moltiplicativo di ∼7.8x (da 104 ms a 13.4 ms) al costo di un aumento del 71% del consumo (da 7 W a 12 W). Tale risultato permette di rendere il sistema più reattivo ai comandi dell’utente, migliorando il feeling di utilizzo della protesi.

The use of AI and Machine Learning algorithms is becoming ubiquitous in multiple engineering fields, with autonomous robotic systems representing the most prominent example. For reasons that will be discussed in the introduction—namely performance, reliability, and privacy—optimized models running directly on available embedded hardware are preferred over large-scale models executed on remote servers, despite the resulting memory, power, and computational constraints. This work presents how such constraints were addressed through the optimization of an image segmentation model supporting a semi-autonomous robotic prosthesis, comparing performance on NVIDIA Jetson Nano and Jetson Orin Nano platforms. The objective was to demonstrate how architectural hardware differences play a fundamental role in determining execution performance in real-time applications such as the one presented. The analysis shows that, in the worst-case scenario, the generational leap in hardware led to a reduction in system response time by a factor of ∼7.8x (from 104 ms to 13.4 ms) at the cost of a 71% increase in power consumption (from 7 W to 12 W). This result allows the system to be more responsive to user commands, significantly improving the overall usability of the prosthesis.