L'agricoltura di precisione sfrutta l'approccio Visual-SLAM e la ricostruzione 3D basato su un robot mobile

Abstract

Con lo sviluppo della robotica in agricoltura, il sistema di potatura autonomo ha spinto molti ricercatori a studiare la tecnologia di ricostruzione 3D; tuttavia, restano ancora molte sfide pratiche da superare. Condizioni ambientali come cambiamenti di illuminazione, scene a bassa consistenza e condizioni sperimentali come movimenti rapidi, ritardi di sistema, ecc., possono influenzare il tracciamento della traiettoria durante l'esecuzione dell'odometria visiva (VO) e della localizzazione e mappatura simultanea visiva (Visual SLAM), con conseguenti disallineamenti e sfide nella ricostruzione della mappa di nuvole di punti 3D.

Il progetto di ricerca VINUM mira a sviluppare tecnologie di manipolazione mobile robotica per l'automazione della potatura invernale della vite. Successivamente, in questa ricerca, viene utilizzata una telecamera RGB-D per creare nuvole di punti 3D di viti per una potatura precisa.

La ricerca propone un sistema integrato basato su ORB-SLAM3, un sistema SLAM visivo robusto e in tempo reale, per stimare le pose della telecamera durante la generazione di ricostruzioni 3D online dei tralci di vite. Quindi, viene proposto un algoritmo per il rilevamento degli errori e un sistema di gestione delle mappe per gestire gli errori di tracciamento durante la scansione. Il sistema utilizza l'algoritmo Iterative Closest Point (ICP) per mantenere l'integrità delle sottomappe complessive. Valuta l'algoritmo proposto in base alla cinematica di un braccio manipolatore.

I risultati mostrano che l'algoritmo proposto ha integrato con successo la ricostruzione 3D online gestendo al contempo i guasti del tracciamento della traiettoria e allineando le sottomappe scollegate durante il processo di scansione.

With the development of robotics in agriculture, the autonomous pruning system attracted many researchers to investigate 3D reconstruction technology; however, many practical challenges remain to overcome. Environmental conditions such as lighting changes, low-texture scenes, and experimental conditions like quick movement, system delays, etc., can affect trajectory tracking while performing visual odometry (VO) and Visual Simultaneous Localization and Mapping (Visual SLAM), resulting in misalignment and challenges in 3D point-cloud map reconstruction.

The VINUM research project aims to develop robotic mobile manipulation technologies for winter grapevine pruning automation. Following this, in this research, an RGB-D camera is used to create 3D point clouds of grapevines for precise pruning.

The research proposes an integrated system based on ORB-SLAM3, a real-time and robust visual SLAM system, to estimate the camera poses while generating online 3D reconstructions of grapevine cane. Then, an algorithm for failure detection and a map management system is proposed to manage tracking failures during scanning. The system uses the Iterative Closest Point (ICP) algorithm to maintain the integrity of the overall sub-maps. It evaluates the proposed algorithm based on the kinematics of an arm manipulator.

The results show that the proposed algorithm has successfully integrated the online 3D reconstruction while managing trajectory-tracking failures and aligning disconnected sub-maps during the scanning process.