Modelli di diffusione guidata per image-to-image translation con dati satellitari ottici e radar

Abstract

Questo studio si propone di affrontare il problema della riduzione del divario semantico tra immagini radar e immagini ottiche attraverso la traduzione immagine-a-immagine (Image-to-Image Translation, I2I), una tecnica che può essere impiegata per abilitare applicazioni quali il rilevamento di cambiamenti (Change Detection, CD), l’allineamento di immagini acquisite da sensori differenti (co-registrazione) e il riempimento delle lacune nelle serie temporali ottiche.

L’obiettivo principale è sfruttare la complementarità tra le due tipologie di sensori per generare immagini ottiche realistiche a partire da dati SAR, particolarmente utili in contesti in cui le immagini ottiche non sono disponibili a causa di condizioni meteorologiche avverse o mancanza di illuminazione solare.

Per ottenere immagini di alta qualità e un’eccellente stabilità durante l’addestramento, è stato studiato e implementato un approccio I2I basato sul deep learning, utilizzando modelli di diffusione, una recente e promettente classe di modelli generativi. Questi si basano su un’architettura U-Net, con un network di denoising condizionato dai dati SAR e uno scheduler lineare per il processo di diffusione.

I risultati sperimentali hanno evidenziato l’ottima capacità del modello di ricostruire le principali strutture del paesaggio, come foreste, campi coltivati, montagne, edifici, fiumi, laghi e mari. Dal punto di vista applicativo, il modello presenta un notevole potenziale in contesti critici come il monitoraggio ambientale, il rilevamento di cambiamenti o la gestione delle emergenze, in cui è essenziale ottenere rapidamente immagini facilmente interpretabili anche in assenza di dati ottici diretti.

This study aims to address the problem of reducing the semantic gap between radar and optical images via Image-to-Image Translation (I2I), which can be employed to enable applications such as change detection (CD), alignment of images taken from different sensors (co-registration), and gap-filling in optical time series. The main objective is to exploit the complementarity between the two types of sensors to generate realistic optical images from SAR data, particularly useful in contexts where optical images are not available due to adverse weather conditions or lack of solar illumination. In order to obtain high quality images and an excellent training stability, we studied and implemented a deep-learning based I2I approach by using diffusion models, a recent and promising class of generative models, based on a U-Net architecture with SAR data conditioning as denoising network and a linear scheduler for the diffusion process. Experimental results have highlighted the very good ability of the model to reveal the main landscape structures, such as forests, cultivated fields, mountains, buildings, rivers, lakes and seas. From an applicative point of view, the model has significant potential in critical contexts such as environmental monitoring, change detection or emergency management, where it is essential to quickly obtain easily interpretable images even in the absence of direct optical data.