Teleoperazione di UAV Tramite Realtà Virtuale con Tecniche Avanzate di SLAM

Abstract

Questa tesi è strutturata attorno allo sviluppo di due componenti principali. Il primo componente è un algoritmo per generare una mappa voxelizzata dell'ambiente da una data una "point cloud". Una caratteristica essenziale di questa mappa è di essere facilmente aggiornabile e mantenere le modifiche rispetto a uno stato precedente, in modo che altri sistemi dipendenti dalla mappa possano identificare con precisione quali parti sono state modificate. La mappa è generata da un drone che, dotato di una telecamera a profondità che fornisce la "point cloud", esplora un ambiente con l'obiettivo di costruirne una rappresentazione. Il sistema di mappatura ha funzionato in maniera affidabile in simulazione, supportando anche mappe di voxel ad alta risoluzione (fino a 0,05 m) senza influire sulle prestazioni e rappresentando efficacemente la posizione del drone insieme ai suoi dintorni. Il secondo componente è un'applicazione in realtà virtuale che mostra l'ambiente voxelizzato all'utente, in tempo reale, mentre il drone lo costruisce. Questa applicazione consente inoltre all'utente di controllare i movimenti del drone tramite un sistema di teleoperazione innovativo e intuitivo, progettato per sfruttare appieno le capacità tridimensionali dei controlli di realtà virtuale. L'interfaccia di realtà virtuale si è dimostrata altamente intuitiva e facile da usare, come confermato da un punteggio elevato del SUS (88,53) e da un punteggio basso del TLX (17,15). Sebbene alcuni utenti abbiano mostrato segni di lieve nausea o disorientamento, il punteggio SSQ (5,28) indica una generale bassa nausea da simulatore. I test nel mondo reale con una telecamera RealSense e un drone hanno dimostrato il potenziale del sistema sviluppato, poiché le mappe generate sono rimaste chiare e utili per la comprensione spaziale. Tuttavia, la piena integrazione sul drone reale è stata limitata da vincoli software.

This thesis is structured around the development of two main components. The first component is an algorithm for generating a voxelized map of the environment from a given point cloud. An essential feature of this map is to be easily updatable while preserving changes, with respect to the a previous known state, so that other systems depending on the map can accurately identify which parts have been modified. The map is generated by a drone which, equipped with a depth-sensing camera that provides the point cloud, explores an environment with the objective of building a representation of it. The mapping system performed reliably in simulation, supporting high-resolution voxel maps (up to 0.05m) without affecting performance, and effectively representing the position of the drone along with its immediate surroundings. The second component is a virtual-reality application that displays the voxelized environment to the user, in real-time, as the drone constructs it. It also allows the user to control the movements of the drone through an innovative and intuitive teleoperation system, designed to fully exploit the three-dimensional capabilities of virtual-reality controls. The virtual reality interface proved to be highly intuitive and easy to use, as confirmed by a high SUS score (88.53) and a low TLX workload score (17.15). Although some users reported mild nausea or disorientation, the overall SSQ score (5.28) indicates minimal simulator sickness. Real-world tests with a RealSense camera and a real drone demonstrated the potential of the developed system, as the generated maps remained clear and useful for spatial understanding. However, full integration on the real drone was limited by software constraints.