Reti convoluzionali per affordance segmentation: sviluppo di modelli a supporto di protesi semi-automatiche

Abstract

In questa tesi sono analizzati e confrontati diversi approcci per l’addestramento di modelli di reti convoluzionali utilizzate per l’affordance segmentation. In particolare, l’interesse è indirizzato verso modelli destinati all’integrazione in protesi semi-automatiche. Queste ultime sono capaci di effettuare un pre-shaping in base all’oggetto che si trovano di fronte, al fine di agevolare l’utente nell’afferrarlo. Il ruolo dell’affordance segmentation è di discernere l’oggetto di interesse dal resto della scena, e di identificarne le zone di afferrabilità. Sono stati testati diversi metodi per ottenere modelli che, anche in scene affollate da diversi oggetti, possano riconoscere ciò che si intende afferrare, indicato da un puntatore laser integrato nella protesi. Sono stati utilizzati dataset formati sia da immagini reali che sintetiche, e contenenti composizioni più o meno complesse. Questo lavoro analizza l’efficacia di modelli ottenuti con diverse tipologie di dataset e, per ciascuno, evidenzia punti di forza e criticità, tentando di individuarne le cause e proporre delle possibili soluzioni.

In this thesis, different approaches for training convolutional neural network models used for affordance segmentation are analyzed and compared. In particular, the focus is directed towards models intended for integration into semi-automatic prostheses. The latter are capable of performing pre-shaping based on the object they are facing, in order to facilitate the user in grasping it. The role of affordance segmentation is to discern the object of interest from the rest of the scene and to identify its graspable areas. Different methods have been tested to obtain models that, even in scenes crowded with various objects, can recognize what is intended to be grasped, indicated by a laser pointer integrated into the prosthesis. Datasets consisting of both real and synthetic images, containing more or less complex compositions, have been used. This work analyzes the effectiveness of models obtained with different types of datasets and, for each one, highlights strengths and critical issues, attempting to identify their causes and propose possible solutions.