Ottimizzazione e test di una rete neurale su un dispositivo mobile

Abstract

L'obiettivo della tesi è ottimizzare e trasferire una rete neurale (NN) per il rilevamento di oggetti, montata su un NVIDIA Jetson Xavier AGX, un dispositivo edge con capacità di elaborazione. Ottimizzare e trasferire reti neurali su dispositivi edge computing sono attività fondamentali per sfruttare le prestazioni dei nuovi dispositivi per affrontare progetti impegnativi nella Computer Vision. Soprattutto nell'Industria, ma anche nelle Smart Cities, i vantaggi di avere dispositivi di elaborazione piccoli ma potenti sono una necessità che si lega alle moderne esigenze di sicurezza e monitoraggio. L'uso di questi nuovi dispositivi edge computing può anche aiutare a risparmiare i costi onerosi relativi al trasferimento dei dati, bypassando i provider di servizi Internet e i fornitori in cloud. Grazie alle porte di connettività, alle dimensioni ridotte e alle potenti capacità grafiche, i dispositivi edge computing possono sostituire i dispositivi multiaccesso situati lontano dal punto di acquisizione dei dati. Ottimizzare significa due attività: in primo luogo, convertire la NN, costruita con Tensor Flow, in tensori (array multidimensionali), tramite TensorRT, una libreria realizzata da NVIDIA, ed effettuare confronti rigorosi con il modello originale. La conversione in tensori velocizza l'inferenza del modello, per trattare quanti più frame possibili, per ottenere le prestazioni migliori. Il secondo compito è la rimozione dei falsi negativi, con la generazione di dati sintetici e il riaddestramento del modello, per migliorare la recall. Il porting significa osservare il corretto funzionamento della NN sul dispositivo di edge computing e valutare le prestazioni del modello originale con una scheda grafica diversa e osservare le performance del modello ottimizzato esportato in TensorRT, con diversi livelli di precisione. La tesi è stata condotta in collaborazione con il personale dell'IEIIT (CNR - Consiglio Nazionale delle Ricerche) di Genova.

The aim of the thesis is to optimize and porting a neural network (NN) for object detection, mounted on a NVIDIA Jetson Xavier AGX, an edge device with computing capabilities. Optimizing and porting neural networks on edge computing devices are fundamental tasks to exploit the performances of the new upcoming devices to address challenging projects in Computer Vision. Especially in Industry, but also in Smart Cities, the benefits of having little but powerful computing devices is a necessity bind to the modern needs of security and monitoring. Real-time localization and object detection and classification are crucial, with convolutional neural networks (CNNs) playing a key role. The use of these new edge computing devices can also help to save onerous costs related to the transferring of data, bypassing internet service providers and cloud suppliers. Due to connectivity ports, small dimensions and powerful graphical capabilities, the edge computing devices can substitute multiaccess edge computing devices located far from the point of data acquisition. Optimizing means two tasks: first, convert the NN, built with Tensor Flow, into tensors (multi-dimensional arrays), through TensorRT, a library made by NVIDIA, and make strong comparisons with the original model. The conversion to tensors speeds the inference of the model, to treat as many frames as possible, to gain the best performance. The second task is the removal of false negatives, with the generation of synthetic data and the retrain of the model, to improve the recall. Porting means observing the correct functioning of the NN on the edge computing device and evaluate the performances of the original model with a different graphics card and of the optimized model exported in TensorRT, with different precision's levels.The thesis, which is applicative, has been conducted in conjunction with the personnel of the IEIIT (CNR - National Council of Research) of Genoa.