Diffusion models e applicazioni nella robotica

Abstract

L'interazione uomo-robot è sempre più centrale nella robotica, poiché i robot devono operare fianco a fianco con gli esseri umani in ambienti condivisi. La sfida è sviluppare politiche di controllo che producano comportamenti naturali, prevedibili e reattivi, qualità difficili da ottenere con metodi tradizionali. I modelli generativi basati su diffusione, che trasformano iterativamente il rumore in dati strutturati, si sono rivelati efficaci per apprendere distribuzioni complesse e generare campioni di alta qualità in vari ambiti, come immagini, video e audio, grazie a una solida base teorica nei processi stocastici.

Questa tesi esplora l'applicazione dei modelli generativi basati su diffusione nell'interazione uomo-robot, analizzando la teoria matematica delle equazioni stocastiche, del modellamento basato su score function e dei Denoising Diffusion Probabilistic Models. Applichiamo questi metodi per sintetizzare azioni di robot umanoidi, addestrando un modello di diffusione su dati multimodali raccolti dal robot ergoCub. Il modello, condizionato su osservazioni propriocettive ed esterocettive, genera sequenze coerenti per compiti di passaggio di oggetti. Dettagliamo l'intera pipeline, inclusi i dati, l'architettura, l'addestramento e la valutazione, evidenziando come i modelli possano generare comportamenti naturali e consapevoli del contesto. Sebbene i risultati mostrino limitazioni nella fluidità del movimento e nella selezione della mano, il lavoro stabilisce una base per l'uso di questi modelli nella embodied AI e suggerisce direzioni per futuri miglioramenti.

Human-robot interaction has become increasingly central in robotics, as robots are expected to operate alongside humans in shared environments. The challenge is to develop control policies that produce behaviors that are not only functionally correct but also natural, predictable, and responsive to human action, qualities difficult to achieve with traditional methods. Diffusion-based generative models, which iteratively transform noise into structured data, have proven effective in learning complex distributions and generating high-quality samples in various domains like image synthesis, video generation, and audio creation, thanks to a solid theoretical foundation in stochastic processes.

This thesis explores the application of diffusion-based generative models to human-robot interaction, reviewing the mathematical theory behind stochastic differential equations, score-based modeling, and Denoising Diffusion Probabilistic Models. We apply these methods to synthesize humanoid robot actions, training a diffusion model on multimodal behavioral data collected from the ergoCub robot. The model, conditioned on proprioceptive and exteroceptive observations, generates coherent action sequences for object handover tasks. We detail the entire pipeline, including data preprocessing, model architecture, training, and evaluation, highlighting how diffusion models can generate natural, context-aware robotic behaviors. While deployment results reveal limitations in motion smoothness and hand selection consistency, the work establishes a foundation for applying diffusion models in embodied AI and suggests concrete directions for future improvement.