Orchestrazione intelligente di servizi Space Cloud in mega-costellazioni LEO: un approccio di Deep Reinforcement Learning per l'Edge Computing tattico e resiliente

Abstract

La rapida evoluzione delle infrastrutture spaziali verso il paradigma della Space Cloud ha stabilito nuove frontiere per il calcolo distribuito orbitale, introducendo contemporaneamente sfide critiche nell'orchestrazione delle risorse, nell'efficienza energetica e nella resilienza tattica. Questa tesi propone un orchestratore intelligente basato sul Deep Reinforcement Learning per la gestione dinamica di una mega-costellazione in orbita bassa terrestre (LEO) operante in ambienti civili e militari contesi.Il nucleo della ricerca riguarda lo sviluppo di un agente che utilizza un'architettura Actor-Critic integrata con unità Long Short-Term Memory (LSTM). Questo framework è progettato per mappare lo stato complesso di una costellazione di 20 satelliti, organizzata in una topologia 2D Manhattan Mesh, su una politica ottimizzata di attivazione e disattivazione dei nodi. L'obiettivo primario è il raggiungimento di un equilibrio dinamico tra la minimizzazione del consumo energetico e la garanzia della Qualità del Servizio per i task computazionali critici per la missione.La fase sperimentale ha seguito un approccio incrementale, evolvendo da una funzione di penalità quadratica di base a una sofisticata reward esponenziale multi-obiettivo ispirata allo stato dell'arte attuale. I risultati dimostrano la superiore capacità dell'agente nel gestire carichi di lavoro non stazionari e interferenze intenzionali (Jamming). Negli scenari più rigorosi, l'orchestratore ha ridotto con successo l'attivazione dei nodi fino all'85%, mantenendo un tasso di fallimento pari a zero.Inoltre, l'analisi evidenzia come l'integrazione della topologia Mesh e la consapevolezza dei buffer consentano all'IA di implementare strategie di routing multi-hop adattive, aggirando efficacemente le zone negate e ottimizzando l'utilizzo dei processori di bordo. Questi risultati confermano che il Reinforcement Learning rappresenta una tecnologia abilitante fondamentale per la futura autonomia delle reti.

The rapid evolution of space infrastructures toward the Space Cloud paradigm has established new frontiers for orbital distributed computing, while simultaneously introducing critical challenges in resource orchestration, energy efficiency, and tactical resilience. This thesis proposes an intelligent orchestrator based on Deep Reinforcement Learning (DRL) for the dynamic management of a Low Earth Orbit (LEO) mega-constellation operating within contested civilian and military environments. The core of this research involves the development of an agent utilizing an Actor-Critic architecture integrated with Long Short-Term Memory (LSTM) units. This framework is designed to map the complex state of a 20-satellite constellation, organized in a 2D Manhattan Mesh topology, onto an optimized policy for node activation and deactivation. The primary objective is to achieve a dynamic equilibrium between minimizing energy consumption and guaranteeing Quality of Service (QoS) for mission-critical computational tasks. The experimental phase followed an incremental approach, evolving from a baseline quadratic penalty function to a sophisticated multi-objective exponential reward inspired by the current state of the art. The results demonstrate the agent's superior capability in managing non-stationary workloads (bursty traffic) and intentional interference (Jamming). In the most rigorous scenarios, the orchestrator successfully reduced node activation by up to 85% while maintaining a zero-failure rate. Furthermore, the analysis highlights how the integration of Mesh topology and buffer awareness enables the AI to implement adaptive multi-hop routing strategies, effectively bypassing denied zones and optimizing on-board processor utilization (C_s). These findings confirm that Reinforcement Learning is a pivotal enabling technology for the future autonomy of satellite networks, ensuring tactical survivability and operational continuity in hostile environments.