Stima della profondità e segmentazione semantica in ambienti marini

Abstract

Questa tesi analizza lo sviluppo di un modello di computer vision capace di eseguire stima della profondità e segmentazione semantica in ambienti marini, con l’obiettivo di ottenere percezione autonoma per UAV operanti sopra l’acqua. Dato il limitato hardware degli UAV, la ricerca adotta come modello centrale CoSemDepth, una rete leggera a doppio decoder progettata per predire profondità e semantica da sole acquisizioni video e misurazioni IMU.

Nonostante i progressi nei sistemi di percezione per scenari urbani, i contesti marini restano complessi per la scarsità di dataset etichettati. Un contributo fondamentale del lavoro è la creazione del dataset sintetico MidSea, realizzato con Unreal Engine 5, che genera immagini RGB, mappe di profondità e segmentazioni semantiche in condizioni quasi fotorealistiche, consentendo addestramento e valutazione senza annotazioni manuali. Oltre ai dati sintetici, vengono utilizzati anche dataset reali come MIT Sea Grant, SMD e MaSTr1325 per analizzare qualitativamente il divario sim-to-real. Per ridurre tale divario, il lavoro esplora strategie di pretraining e adattamento di dominio, tra cui apprendimento auto-supervisionato (MoCo, DINO) e tecniche avversarie di discriminazione del dominio.

I risultati mostrano che CoSemDepth, addestrato su dati sintetici, ottiene prestazioni competitive nella stima della profondità e nella segmentazione, mantenendo requisiti computazionali ridotti. Sebbene l’adattamento di dominio rimanga solo parzialmente risolto, l’analisi evidenzia punti di forza e limiti degli approcci auto-supervisionati e avversari nel colmare il divario tra simulazione e realtà.

This thesis explores the development of a computer vision model capable of performing depth estimation and semantic segmentation in marine environments, with the goal of achieving autonomous perception for unmanned aerial vehicles (UAV) operating above water. As UAVs have limited hardware capabilities, our research adopts as central model the CoSemDepth architecture: a lightweight dual-decoder network originally designed for depth and semantic prediction on generic non-urban scenes, that works only relying on camera video captures and IMU (camera pose) measurements as inputs. Although significant progress has already been made in perception systems focused on urban environments, water-rich domains remain challenging due to the scarcity of labeled datasets.

A major contribution of this work is the creation of a synthetic marine dataset built with Unreal Engine 5, MidSea, which enables the generation of RGB, depth, and semantic segmentation maps under near-photorealistic conditions. This dataset provides a means to train and benchmark models without the need for manual annotations or specialized sensors. In addition to synthetic data, real-world datasets such as the MIT Sea Grant, SMD, and MaSTr1325 are used to conduct experiments and facilitate a qualitative study of the sim-to-real gap problem. To address this challenge, the work explores various pretraining and domain adaptation strategies, including self-supervised learning with Momentum Contrast (MoCo), DINO, and adversarial domain discrimination.

Experimental results demonstrate that CoSemDepth, when trained on synthetic data, achieves competitive performance across depth and segmentation tasks while maintaining low computational demands. Although domain adaptation remains partially unresolved, the analysis highlights the strengths and the limitations of current self-supervised and adversarial approaches at bridging the domain adaptation gap.