Imparare a camminare da zero: Reinforcement Learning per la locomozione di Robot Esapodi

Abstract

La locomozione dei robot basati su zampe è sempre stata uno dei problemi più complessi da risolvere nel campo dei sistemi di controllo, a causa della complessità delle interazioni tra il robot e l'ambiente e del gran numero di vincoli altamente non lineari che ne derivano, come i contatti fisici. Per molti anni, il problema è stato affrontato risolvendo il problema della cinematica inversa abbinato a pose chiave interpolate, controlli di equilibrio e, nei casi più sofisticati, controllori predittivi con modello (MPC). Era necessario un nuovo approccio al problema e il Reinforcement Learning si è dimostrato molto promettente. In questa tesi, partiamo dalla codebase piuttosto matura di (Rudin et al., 2022) per far imparare a un robot esapode a camminare partendo da zero utilizzando il Reinforcement Learning e fornendogli feedback attraverso una funzione di ricompensa personalizzata.

Legged robot locomotion has always been one of the most complex tasks to solve in the field of control systems due to the complexity of the interactions between the robot and the environment and the large number of the resulting highly non linear constraints like physical contacts. For many years the problem has been approached by solving the inverse kinematics problem paired with fixed interpolated keyframes, equilibrium tracking controllers and in more sophisticated cases, model predictive controllers (MPC). A new approach to the problem was necessary and Reinforcement Learning proved to be a very promising one. In this thesis we build on top of the quite mature codebase of (Rudin et al., 2022) to make an hexapod robot learn to walk from scratch using Reinforcement Learning starting from a randomly initialized policy and giving it feedback through a custom reward function.