Rilevamento di oggetti in tempo reale e navigazione autonoma per un mini veicolo intelligente utilizzando l'apprendimento automatico basato sul cloud

Abstract

Questa ricerca esplora l'addestramento di un moderno sistema di rilevamento degli oggetti basato su machine learning e la sua integrazione in una minicar intelligente per raggiungere la navigazione autonoma e il tracciamento. La ricerca si concentra sullo sviluppo di un modello di rilevamento degli oggetti personalizzato. Per il suo addestramento è stato utilizzato TensorFlow in un ambiente Google Colab, che consente il rilevamento e il riconoscimento degli oggetti in tempo reale. Il modello, con un'accuratezza del 81%, permette al veicolo di identificare l'oggetto e la minicar segue l'oggetto specifico autonomamente.

Per rendere ciò possibile, ho progettato un'API per colmare il divario tra il sistema obsoleto della minicar e il moderno modello di machine learning. Il sistema inizia con l'invio da parte della minicar di fotogrammi video al cloud, dopodiché il modello li elabora, rileva l'oggetto e restituisce immagini annotate e le coordinate del riquadro di delimitazione. Queste risposte vengono utilizzate dalla minicar per trasmettere in streaming video l'oggetto rilevato e trovare la posizione dell'oggetto all'interno del fotogramma. Dopo aver determinato la posizione, la minicar si dirige verso l'oggetto. Questo approccio basato sul cloud consente un rilevamento e un tracciamento degli oggetti efficaci, supportando le capacità di navigazione autonoma del veicolo.

Le prestazioni del sistema sono state validate attraverso test nel mondo reale. È stato in grado di rilevare e tracciare con successo l'oggetto, ma è stata osservata una certa latenza a causa dell'uso dell'API. Questa ricerca dimostra un miglioramento delle capacità di navigazione nelle minicar intelligenti e mostra anche il potenziale di integrazione di tecnologie avanzate in sistemi obsoleti, adottando un approccio ibrido. In questo modo, le nuove tecnologie possono migliorare la funzionalità dei sistemi più vecchi, permettendo loro di rimanere utili più a lungo.

This research explores the training of a modern machine learning-based object detection system and it's integration into a smart minicar to achieve autonomous navigation and tracking. The research focuses on developing a custom object detection model. For it's training TensorFlow in a Google Colab environment was used, which enables real-time object detection and recognition. The model, achieving 81\% detection accuracy, allows the vehicle to identify the object and then the minicar follows the specific object autonomously.

To make this possible, I designed an API to bridge the gap between the minicar’s outdated system and the modern machine learning model. The system starts with the minicar sending video frames to the cloud, and then the model processes them, detects object, and returns annotated images and the coordinates of the bounding box. These responses are used by the minicar to video stream the detected object and to find the location of the object within the frame. After determining the location, the minicar guides itself toward the object. This cloud-based approach enables effective object detection and tracking, supporting the vehicle’s autonomous navigation capabilities.

The system’s performance was validated through real-world testing. It successfully detected and tracked the object, but some latency was observed due to the use of API. This research shows enhanced navigation capabilities in smart minicars and also demonstrates the potential for integrating advanced technologies into outdated systems by trying a hybrid approach. This way new technologies can enhance the functionality of older systems, helping them remain useful for longer.