Analisi di Prestazioni di Reti Neurali Convoluzionali con Dispositivi per l'Edge Computing

Abstract

L'espansione del Cloud computing nell'industria informatica ha indotto una maggior focalizzazione sull'Edge computing (in italiano: computazione nel bordo) secondo cui parte del carico computazionale viene affidato ai dispositivi embedded locati ai margini del Cloud. Al giorno d'oggi, un numero crescente di servizi Cloud interessano problemi di Visione Artificiale da risolvere con modelli di Apprendimento Profondo costituiti da algoritmi computazionalmente costosi. Di conseguenza, eseguire modelli di Visione Artificiale in dispositivi con risorse limitate come i dispositivi embedded pone una sfida, per cui devono essere considerati algoritmi ottimizzati per reti neurali e hardware dedicati. L'obiettivo della tesi è analizzare e misurare l'impatto di varie architetture di reti neurali convoluzionali quando sono eseguite su dispositivi eterogenei, dalla potente workstation al dispositivo embedded. In questa tesi, prendiamo in considerazione due dispositivi embedded, l'Nvidia Jetson Nano e il Luxonis OAK-D-CM4, valutando le prestazioni raggiungibili e le limitazioni inerenti alle librerie software e allo hardware disponibile. Successivamente, affrontiamo i problemi di rilevamento d'oggetti e di riconoscimento facciale e l'impiego di modelli convoluzionali per risolvere tali problemi sui dispositivi embedded. Nello specifico, usiamo un metodo di benchmark per identificare i modelli più convenienti che offrono il miglior compromesso tra accuratezza e velocità d'inferenza.

The expansion of Cloud computing in Information Technology has induced a growing focus on Edge computing wherein a part of the computational load is entrusted to embedded devices at the edge of the Cloud. Nowadays, an increasing number of Cloud services involve Computer Vision tasks to be solved with Deep Learning models that comprise resource-demanding algorithms. As a result, executing Computer Vision models in resource-constrained devices like embedded systems poses a challenge, hence solutions like optimized neural network algorithms and dedicated hardware must be considered. The goal of the thesis is to analyze and measure the impact of different convolutional architectures for neural networks when running on heterogeneous devices, from the powerful workstation to the embedded device. In this thesis, we take into consideration the deployment of backbone models that can be used for diverse tasks on two embedded devices, the Nvidia Jetson Nano, and the Luxonis OAK-D-CM4, assessing the achievable performances and the limitations inherent in the available software libraries and hardware. Subsequently, we confront the tasks of Object Detection and Face Recognition and the deployment of convolutional models to achieve the respective tasks on the embedded devices. In particular, we use a benchmark method to retrieve the most convenient models that yield the best tradeoff between inference speed and accuracy.