Modello bioispirato e event-driven della retina per la segregazione del movimento di oggetti e sfondo per la visione robotica

Abstract

L’ego-motion è il movimento percepito di un osservatore o di una telecamera dovuto al movimento dell'osservatore stesso. Il sistema visivo degli umani si distingue per la capacità di muoversi in ambienti dinamici naturalmente, differenziando tra oggetti in movimento e compensando l’ego-motion. Questa capacità non è presente nei robot, rendendo necessari metodi per la soppressione dell’ego-motion. I modelli di visione basati su frame sfruttano tecniche di computer vision e machine learning per risolvere questo problema. I metodi che utilizzano telecamere a frame richiedono un alto costo computazionale e un'ampia larghezza di banda. I sensori di visione basati su eventi e i processori neuromorfi hanno il potenziale per superare tali limitazioni, promettendo alternative ai metodi basati su frame sfruttando modelli caratterizzati da bassa latenza e basso consumo energetico. Sfruttando queste tecniche, una strada diversa per ottenere la soppressione dell’ego-motion è trarre ispirazione dalla biologia. L’Object Motion Sensitivity è un processo della retina che distingue tra il movimento degli oggetti intorno a noi e il l’ego-motion. Prendendo ispirazione da questo processo, potrebbe essere possibile sviluppare modelli neuromorfi per la visione robotica che trasmettono in corteccia solo le informazioni sugli oggetti che si muovono in modo diverso dall'ambiente circostante. Questa tesi mira a sviluppare il punto di partenza per un modello bioispirato basato su eventi per la visione robotica, per eseguire la segregazione del movimento degli oggetti e dello sfondo sfruttando architetture neuromorfe. Il modello è una rete neurale spiking simulata utilizzando la libreria Python Brian. Il modello replica l’Object Motion Sensitivity, elaborando gli eventi generati nel campo visivo e individuando il movimento degli oggetti attraverso sinapsi eccitatorie e inibitorie coincidenti. Un ulteriore passo è quello di implementare il modello sul processore neuromorfo Dynap-SE1.

Ego-motion is the perceived motion of an observer or a camera within the environment due to the motion of the observer itself. The visual system of humans is distinguished by its ability to navigate dynamic environments seamlessly by differentiating between moving objects and compensating for ego-motion. This innate capability is not inherent in robots, raising the need for ego-motion suppression methods. Frame-based vision models leverage classical computer vision and machine learning techniques to solve this challenge. Frame-based image processing methods lead to a high cost of computation and memory communication bandwidth. Event-driven vision sensors and neuromorphic computing have the potential to overcome these limitations, promising alternatives to frame-based computation by exploiting architectures characterized by low latency and low power consumption. Leveraging these innovative techniques, a different route to achieve ego-motion suppression is to take inspiration from biology. Object Motion Sensitivity is a process within the retina that distinguishes between the motion of objects in our surroundings and ego-motion. By taking inspiration from this computation, it could be possible to develop neuromorphic models for robotic vision, whereby only information about objects moving differently from the surroundings is transmitted to further processing. This research project aims to develop the starting point for an event-based bioinspired model for robotic vision, focusing on solving object and background motion segregation by exploiting neuromorphic architectures. The model is a spiking neural network devised in simulation leveraging Python library Brian. The model replicates the retinal Object Motion Sensitivity network, processing the events generated by the natural scene and performing the object motion sensitivity task through coincident excitatory and inhibitory synapses. A further step is to deploy the model on the neuromorphic processor Dynap-SE1.