Multi Drone Navigation Using Reinforcement Learning

Abstract

Questa tesi affronta l'importante problema di localizzare i sopravvissuti in edifici crollati dopo un terremoto per supportare le operazioni di ricerca e soccorso. Gli approcci tradizionali si basano principalmente su mappe predefinite e ricerche manuali, risultando molto dispendiosi in termini di tempo e pericolosi. In questo studio viene utilizzato un nuovo approccio in cui più veicoli aerei senza pilota possono rilevare una persona in modo indipendente. I droni sono dotati di telecamere e vengono fatti volare in un ambiente simulato costruito con Gazebo. La navigazione autonoma e la capacità decisionale dei droni sono alimentate dall’apprendimento per rinforzo, in particolare dall’uso dell’algoritmo Deep Deterministic Policy Gradient di Stable Baselines. Grazie a ciò, le azioni di velocità continue basate sulle osservazioni in tempo reale della telecamera del drone possono esplorare l’ambiente in modo efficiente e rilevare le persone. Un ambiente di addestramento personalizzato è stato sviluppato utilizzando nodi del Robot Operating System in Python. I nodi comunicano tra loro, garantendo che un sistema multi-drone copra sempre l'intero sito del disastro, riducendo al minimo il tempo di ricerca. Questo è fondamentale per ottimizzare la strategia di ricerca, evitando sovrapposizioni e garantendo che l’intera area venga completamente coperta. Nella ricerca attuale, le prestazioni del sistema proposto sono state testate attraverso simulazioni. I risultati di queste simulazioni dimostrano il potenziale dei metodi di apprendimento per rinforzo per migliorare l’efficacia delle missioni di ricerca e soccorso, fornendo un framework robusto che potrebbe essere ulteriormente sviluppato e testato in scenari di disastro. Questa tesi contribuisce al settore dei sistemi autonomi e della risposta ai disastri, fornendo approfondimenti su come, nella pratica, l’apprendimento per rinforzo possa essere utilizzato per la ricerca e il soccorso. Il risultato contribuisce a quest’area

This thesis addresses the important problem of locating survivors in collapsed buildings after an earthquake to assist search and rescue efforts. Traditional approaches are mainly based on predefined maps and manual search, making them very time-consuming and dangerous. A new approach where multiple unmanned aerial vehicles can detect a person independently is used in this study. The drones are equipped with cameras and flown in a simulated environment constructed with Gazebo. The autonomous navigation and decision-making of the drones are powered by reinforcement learning, particularly the us- age of the Deep Deterministic Policy Gradient algorithm from Stable Baselines. With this, the continuous velocity actions regarding real- time camera observations of the drone could efficiently explore the environment and detect the people. A custom training environment was developed using Robot Operating System nodes in Python. The nodes communicate, guaranteeing a multi-drone system will always cover the whole disaster site, which minimizes search time. This is very critical in optimizing search strategy to avoid overlaps and en- sure that the entire area is well covered in its search. In the current research, the performance of the proposed system is tested through simulations. Results from these simulations manifest the potential of reinforcement learning methods to enhance the efficacy of search and rescue missions with a robust framework that would further develop and can be tested in disaster scenarios. This thesis contributes to the area of autonomous systems and disaster response by providing insight into how, in practice, reinforcement learning can be used for search and rescue. The outcome contributes to this area of research by pointing out the various strengths and weaknesses of the approach.