Deep Reinforcment Learning Sicuro per Sistemi Energetici Cyber-Fisici Multi-Obiettivo: Un Framework per Microgrid Fotovoltaiche con Sistema di Accumulo Basato su Digital Twin

Abstract

Il crescente utilizzo dell’energia solare e dei sistemi di accumulo a batteria offre nuove opportunità per ridurre costi, emissioni di CO₂ e dipendenza dalla rete. Tuttavia, la gestione di un sistema PV–batteria è complessa perché produzione solare, domanda, prezzi dell’energia e intensità di carbonio variano nel tempo. Questa tesi studia se il deep reinforcement learning possa gestire il sistema in modo efficiente, sicuro, affidabile e spiegabile. È stato sviluppato un framework digital-twin-based per un sistema cyber-fisico energetico PV–batteria connesso alla rete. Un modello Modelica è stato esportato come FMU e collegato a Python tramite FMPy e Gymnasium. Il framework integra previsioni LSTM, controllo PPO, uno shield di sicurezza runtime semi-formale, monitoraggio fisico e Explainable AI. Sono stati confrontati cinque controllori. L’LSTM ha previsto irraggiamento solare e carico fino a quattro ore in anticipo, superando il persistence baseline sui dati Q4 non utilizzati in training. Tuttavia, il controllore forecast-aware senza shield ha completato solo il 49,95% del Q4 e il 31,15% del replay annuale a causa di fallimenti ai limiti del SOC. Lo shield verifica SOC, tensione, potenza della batteria, limiti di rampa e stato successivo prima dell’esecuzione. Con questa supervisione, il controllore shielded ha completato il 100% di Q4 e del replay annuale senza violazioni osservate. Ha ottenuto 2,81 t di CO₂, 71,28% di autosufficienza, 68,34% di autoconsumo e 9.067,6 kWh di importazione dalla rete, con un maggiore utilizzo della batteria. Nel complesso, i risultati mostrano che forecasting e DRL migliorano la gestione energetica, ma un funzionamento affidabile richiede l’integrazione di modellazione fisica, sicurezza runtime ed explainability. Parole chiave: Digital Twin, Deep Reinforcement Learning, PPO, PV–Battery, LSTM, Runtime Safety, Explainable AI.

The growing use of solar energy and battery storage creates opportunities to reduce electricity costs, carbon emissions, and dependence on the main grid. However, managing a PV–battery system is challenging because solar generation, demand, electricity prices, and carbon intensity change over time. This thesis investigates whether deep reinforcement learning can manage such a system efficiently while remaining safe, reliable, and explainable. A digital-twin-based framework was developed for a grid-connected PV–battery energy cyber-physical system. A Modelica physical model was exported as an FMU and connected to Python through FMPy and Gymnasium. The framework combines LSTM forecasting, PPO control, a semi-formal runtime safety shield, physical monitoring, and explainable AI. Five controllers were compared: two rule-based baselines, MDP-PPO, forecast-aware POMDP-LSTM-PPO, and a shielded version. The LSTM predicted solar irradiance and load up to four hours ahead and outperformed persistence on unseen Q4 data. However, forecasting alone did not ensure safe operation. The unshielded forecast-aware controller completed only 49.95% of Q4 and 31.15% of the full-year replay because of SOC-boundary failures. The runtime shield checked SOC, voltage, battery power, ramp limits, next-state behaviour, and forecast-dependent reserve before execution. With this supervision, the shielded controller completed 100% of both Q4 and the full-year replay with no observed reporting-limit violations. Among complete controllers, it achieved 2.81 t CO₂, 71.28% self-sufficiency, 68.34% self-consumption, and 9,067.6 kWh grid import, although with higher battery use. Overall, the results show that forecasting and DRL can improve PV–battery management, but trustworthy operation requires physical modelling, runtime safety, and explainability working together. Keywords: Digital Twin, Deep Reinforcement Learning, PPO, PV–Battery System, LSTM, Runtime Safety, Explainable AI.