Percezione del moto in profondità “neuromorfa” applicata all’interazione con oggetti dinamici del robot iCub in tempo reale.

Abstract

Il movimento in profondità, il movimento lungo la terza dimensione, ha importanti implicazioni in uno scenario robotico in cui i robot navigano in ambienti dinamici evitando di avvicinarsi agli oggetti o di interagire con le entità in movimento nella scena. La percezione visiva del movimento è impegnativa per le telecamere standard basate sui frames a causa delle informazioni ridondanti e quindi delle grandi quantità di dati da elaborare. A differenza delle telecamere tradizionali, le telecamere ad eventi bio-ispirate rispondono solo ai cambiamenti di contrasto nella scena, riducendo drasticamente la quantità di informazioni da elaborare. Inoltre, le loro proprietà come bassa latenza e alta velocità possono essere sfruttate per sviluppare una rapida pipeline bio-ispirata per servoazionamenti visivi. Questa tesi propone una pipeline di stima del movimento in profondità online su iCub, il robot umanoide, utilizzando telecamere ad eventi. Il sistema ci permette di tracciare due oggetti nello spazio tridimensionale calcolandone la velocità lungo l'asse di profondità. La pipeline integra un tracker del centro di massa e un estrattore di disparità, che risolvendo il problema di corrispondenza dovuto alla presenza di più di un oggetto nella scena, ben si adatta a uno scenario multi-oggetto. Sono state sviluppate due differenti pipelines, che differiscono nell'ordine di integrazione dei moduli, del tracker e dell'estrattore di disparità. Sebbene la pipeline in cui viene calcolata la disparità prima del tracciamento sia più impegnativa in termini di calcolo (tempo di elaborazione nell'ordine dei ms), è stata scelta per essere eseguita online sul robot a causa della sua precisione nel tracciamento del centro di massa dell'oggetto. Gli esperimenti che coinvolgono una persona che muove le mani davanti al robot hanno valutato le prestazioni della pipeline implementata. Inoltre, viene presentato un primo approccio allo sviluppo del dimostratore di air hockey, compresi i test prel

Motion-in-depth, the movement along the third dimension, has important implications in a robotic scenario where robots navigate in dynamic environments avoiding approaching objects or interacting with moving entities in the scene. Visual motion perception is challenging for standard frame-based cameras due to the redundant information and then the large amounts of data to be processed. In contrast to traditional cameras, bio-inspired event-based cameras respond only to contrast changes in the scene, reducing dramatically the amount of information to be processed. Moreover, their properties such as low latency and high speed can be exploited to develop a fast bio-inspired pipeline for visual servoing. This Thesis proposes an online motion-in-depth estimation pipeline on iCub, the humanoid robot, using event-driven cameras. The system allows us to track two objects in three-dimensional space computing their velocity along the depth axis. The pipeline integrates a centre of mass tracker and a disparity extractor, which solving the correspondence problem due to the presence of more than one object in the scene, well suites a multi-object scenario. Two different pipelines have been developed, which differ in the order of integration of the modules, the tracker, and the disparity extractor. Although the pipeline where the disparity is computed before the tracking is more computational demanding (processing time in the order of ms), it has been chosen to be run online on the robot due to its precision in tracking the centre of mass of the object. Experiments involving a person moving hands in front of the robot evaluated the performance of the implemented pipeline. Moreover, a first approach to the development of the air hockey demonstrator is presented, including preliminary tests. In conclusion, the evaluation and the demonstrator of the robotic application showed good performances of the pipeline, in tracking and computing the motion in depth of the object in front of