Metodi di soluzione approssimati nell'apprendimento rinforzato

Abstract

L'apprendimento rinforzato è un potente paradigma di apprendimento ispirato al modo in cui gli esseri umani apprendono durante l'infanzia, attraverso tentativi ed errori ed esplorazione. Questo paradigma è stato ampiamente studiato e sono stati proposti molti approcci per affrontare i problemi di questo tipo. Con l'avvento delle reti neurali, il ruolo delle tecniche supervisionate e dell'approssimazione delle funzioni è diventato particolarmente rilevante e ampiamente studiato. Questa tesi indaga l'apprendimento rinforzato con approssimazione delle funzioni, concentrandosi sulle garanzie associate e sui fattori che ne influenzano la qualità. Particolare attenzione è dedicata alle strategie di campionamento, poiché l'apprendimento rinforzato viola intrinsecamente l'ipotesi di indipendenza e distribuzione identica (i.i.d.) che è alla base di tutta la teoria standard dell'apprendimento supervisionato. Vengono analizzate diverse tecniche di campionamento e combinate con vari approcci di apprendimento supervisionato per l'approssimazione delle funzioni interessanti. Le loro prestazioni vengono valutate all'interno di un ambiente chiamato Regolatore Lineare Quadratico, consentendo un confronto controllato e teoricamente fondato. I risultati empirici vengono analizzati criticamente per valutare la stabilità, l'accuratezza dell'approssimazione e il comportamento di convergenza.

Reinforcement Learning is a powerful learning paradigm inspired by the way humans learn during childhood, through trial and error and exploration. This framework has been extensively studied, and many approaches have been proposed to address reinforcement learning problems. With the advent of deep learning methods, the role of supervised techniques and function approximation has become particularly relevant and widely investigated. This thesis investigates reinforcement learning with function approximation, focusing on the guarantees associated with approximate solutions and the factors that influence their quality. Particular attention is devoted to sampling strategies, as reinforcement learning inherently violates the independent and identically distributed (i.i.d.) assumption that underlies essentially all standard supervised learning theory. Different sampling techniques are analyzed and combined with various machine learning approaches for value function approximation. Their performance is evaluated within a Linear Quadratic Regulator environment, allowing for a controlled and theoretically grounded comparison. The empirical results are critically analyzed to assess stability, approximation accuracy, and convergence behavior.