Verso la segmentazione online di oggetti per robot umanoidi

Abstract

Questo progetto di tesi e' finalizzato all'implementazione di un framework in grado di segmentare istanze di oggetti con prestazioni online e applicabile ad una piattaforma robotica, come il robot umanoide iCub. Il task di segmentazione è costoso dal punto di vista computazionale: ciò è dovuto al fatto che tutti i pixel appartenenti alle immagini in input devono essere processati, poiché un oggetto potrebbe apparire in ogni posizione e deve essere localizzato con precisione. Negli ultimi decenni molti ricercatori hanno studiato e indagato come superare questa sfida intraprendendo approcci diversi. Quello sfruttato in questo progetto si basa sul concetto di algoritmo Snake: in questi di algoritmi le maschere sono rappresentate con insiemi di coordinate di punti che corrispondono al contorno della maschera. Partendo da una forma iniziale, questi contorni vengono deformati per adattarsi ai contorni dell'oggetto reale. In particolare è stato sfruttato l'algoritmo Deep Snake poiché dimostra di essere in grado di svolgere il compito di segmentazione in modo efficiente e anche di risolvere gli errori di localizzazione. In particolare questo algoritmo è stato adattato per elaborare il dataset robotico di nostro interesse, che è un'estensione del Dataset iCubWorld (ICW) acquisito in uno scenario tabletop con una camera RGB-D e annotato automaticamente. Anche l'architettura Deep Snake è stata valutata su questo dataset. Tuttavia, le caratteristiche di questo dataset sono diverse da quelle della maggior parte dei dataset allo stato dell' arte poiché è stato popolato dalla telecamera del robot umanoide con una visione egocentrica. L' algoritmo e' stato inoltre integrato con l' On-line Object Detector system. L'obiettivo di questa tesi è quello di andare verso una integrazione dell'architettura Deep Snake con il sistema OOD, sfruttando la sua capacità di essere addestrato on-line, e anche di estendere la sua capacità al task di segmentazione.

This thesis project aims to provide a step towards the implementation of a framework capable of segmenting object instances with on-line training performance and deployable on a robotic platform, such as the iCub humanoid robot. The segmentation process is very computational demanding: this is due to the fact that all the pixels belonging to the input images have to be processed, since an object could appear at every location and has to be localized with pixel accuracy. During the last decades many researchers have studied and investigated how to overcome this challenge undertaking different approaches. The one exploited in this project is based on the concept of Snake algorithm: in these of algorithms the object masks are represented with sets of point coordinates which correspond to the mask contour. Starting from an initial shape these contours are deformed in order to match the real object boundaries. In particular the learning-based Deep Snake algorithm has been exploited since it demonstrates to be capable of performing the Segmentation task efficiently and also overcoming errors in localization. In particular this algorithm has been adapted in order to process the robotic dataset of our interest, which is an extension of the iCubWorld (ICW) Dataset acquired in a tabletop scenario with an RGB-D camera and automatically annotated. The Deep Snake architecture has been also benchmarked on the dataset of our interest. However, the characteristics of this dataset are different from those of most of the state-of-the-art datasets since it has been populated from the humanoid robot camera in an egocentric way. A step towards the integration with the Online Object Detection system has been done. The objective of this thesis is to go towards an integration of the Deep Snake architecture with the OOD system, taking advantage of its ability to be trained on-line, and also to extend its capability for the Segmentation task.