Framework basato su ROS2 per la Validazione di POS attraverso un braccio Robotico

Abstract

L'automazione sta progressivamente sostituendo le attività manuali nelle industrie, grazie ai progressi nel campo della robotica e alla riduzione dei costi dei robot. Questo cambiamento porta a processi più efficienti ed economicamente vantaggiosi, con un intervento umano minimo. Sebbene ROS2 abbia mostrato un potenziale significativo per l'automazione robotica, la sua applicazione in scenari reali e dinamici, come l'automazione delle transazioni nei punti vendita (POS), rimane ancora poco esplorata, soprattutto nel contesto di compiti come la gestione delle carte di credito e l'esecuzione dei pagamenti. Questo progetto implementa un framework basato su ROS2 che consente a un braccio robotico di eseguire autonomamente operazioni di pick-and-place, adattandosi alle posizioni dinamiche delle carte per validare le transazioni POS. Utilizzando un robot Ufactory Lite6 con una telecamera Intel Realsense D435i montata sull'end-effector, i movimenti del robot sono stati controllati tramite MoveIt2, mentre OpenCV e il Realsense SDK hanno elaborato le immagini per il rilevamento degli oggetti basato su YOLO. Questa integrazione ha automatizzato con successo il rilevamento e la gestione delle carte di credito in ambienti dinamici. I risultati dimostrano il potenziale utilizzo dei sistemi basati su ROS2 per automatizzare efficacemente la validazione dei dispositivi POS, offrendo una soluzione scalabile per il test e la validazione di tali sistemi in ambienti dinamici.

Automation is increasingly replacing manual tasks in industries, driven by advancements in robotics and decreasing robot costs, leading to more efficient and cost-effective processes with minimal human intervention. While ROS2 has shown significant potential for robotic automation, its application in dynamic, real-world scenarios, such as automating point-of-sale (POS) transactions, remains underexplored—particularly in tasks involving credit card handling and payment execution. This project implements a ROS2-driven framework enabling a robotic arm to autonomously perform pick-and-place operations, adapting to dynamically changing card positions to validate POS transactions. Using a Ufactory Lite6 robot with an Intel Realsense D435i camera mounted on the end effector, I controlled the robot’s movements with MoveIt2, while OpenCV and the Realsense SDK processed images for YOLO-based object detection. This integration successfully automated the detection and handling of credit cards in dynamic environments. The results demonstrate the potential for ROS2-driven systems to efficiently automate POS device validation, offering a scalable solution for efficiently testing and validating such systems in dynamic environments.