Manipolazione Robotica Guidata dalla Realtà Aumentata.

Abstract

Questa tesi presenta lo sviluppo e la valutazione di un'interfaccia basata sulla Realtà Aumentata (AR) che consente all'utente di interagire liberamente e controllare il braccio robotico Franka Emika Panda utilizzando l'Hololens 2, con l'obiettivo di migliorare l'usabilità e l'interazione uomo-robot. Integrando l'interfaccia AR con un framework di controllo robotico, il sistema colma il divario tra l'interazione virtuale e l'esecuzione fisica, permettendo una manipolazione intuitiva e precisa del robot.

Il sistema utilizza Unity3D e Hololens 2 per fornire un'interfaccia AR interattiva, caratterizzata da slider per regolare il punto di coordinazione cartesiano desiderato nello spazio 3D. Questo punto è rappresentato visivamente da una sfera che può essere trascinata e spostata liberamente nello spazio, servendo da posizione target per l'end-effector del robot. Inoltre, è disponibile la possibilità di aprire e chiudere il gripper. L'interfaccia include anche pulsanti per pianificare il movimento del robot olografico e l'opzione per eseguire il movimento sul robot reale.

La comunicazione tra Unity e ROS è stabilita tramite una connessione ROS-TCP, che abilita lo scambio di dati tra l'interfaccia AR e il sistema di controllo, facilitando il trasferimento dei comandi. Il movimento dell'end-effector è reso possibile grazie a ROS e MoveIt, utilizzati per la pianificazione e il controllo del movimento, dove MoveIt calcola la traiettoria ottimale del braccio robotico e ROS ne gestisce l'esecuzione.

Inoltre, la connessione UDP svolge un ruolo fondamentale nell'invio dei dati per eseguire il movimento sul robot reale, trasmettendo gli stati articolari a un computer separato collegato al robot Franka Panda, garantendo così che il movimento possa essere eseguito in tempo reale e replicando fedelmente il moto del robot virtuale.

This thesis presents the development and evaluation of an Augmented Reality (AR)-based interface that allows the user to freely interact and control the Franka Emika Panda robotic arm using Hololens2, aiming to enhance usability and human-robot interaction. By integrating AR interface with a robotic control framework, the system bridges the gap between virtual interaction and physical execution, enabling intuitive and precise robot manipulation. The system employs Unity3D and Hololens2 to provide an interactive AR interface, featuring sliders to adjust the desired Cartesian coordination point in 3D space. This point is visually represented as a shpere which can be freely draggable and movable in space serving as a target location of the robot’s end effector. Moreover, the possibility to close and open the gripper is available. The interface contains also buttons to plan the motion of the holographic robot and the option to execute the movement to the Real Robot. The communication between Unity and ROS is established using ROS-TCP connection which enables data exchange between the AR interface and the control system, this connection facilitates the transfer of the commands. The movement of end effector is accomplished thanks to ROS and MoveIt that are utilized for motion planning and control, where MoveIt computes the optimal trajectory of the robotic arm and ROS processes with the execution of the commands. Additionally, UDP connection plays the main part of sending the data in order to execute the motion to the real robot by sending the joint-states to a separate computer connected to Franka Panda Robot, to ensure the motion can be executed in real-time and mimic the same motion of the virtual robot. User trials demonstrated the system’s effectiveness in performing a task such as grasping and placing objects. Usability evaluations using the System Usability Scale (SUS) and NASA-TLX highlighted high user satisfaction, low workload and reliable task execution.