Sviluppo di un sistema per assistere persone ipovedenti nell'attraversamento stradale

Abstract

All’interno di questa tesi è stato sviluppato un sistema in grado di aiutare persone con disabilità visiva ad attraversare una strada dotata di semaforo, in autonomia e sicurezza. Il dispositivo realizzato è costituito da tre componenti principali: l’unità di acquisizione composta da una telecamera di profondità Intel Realsense D435i, l’unità di calcolo costituita da un computer portatile, l’unità di feedback composta da quattro vibratori connessi al computer tramite un Arduino con il compito di pilotarli e da un paio di cuffiette bluetooth. Le tre unità sono connesse tra loro da uno script scritto in linguaggio Python, il quale acquisisce le immagini per mezzo del sensore di profondità e le elabora per poter risolvere i seguenti problemi: (1) Orientare correttamente l’utilizzatore rispetto alle strisce pedonali; (2) Riconoscere lo stato del semaforo pedonale; (3) Individuare ed informare l’utilizzatore della presenza di ostacoli davanti a lui. Il dispositivo sviluppato integra l’analisi sull’inclinazione delle strisce pedonali ed un algoritmo di determinazione dello stato del semaforo pedonale per poter avvisare l’utilizzatore, tramite messaggi vocali, su come orientarsi e quando l’attraversamento risulta essere sicuro. Inoltre, per poterlo aiutare ad evitare gli ostacoli è stato sviluppato un algoritmo che sfrutta la rilevazione dei corner nell’immagine a colori ed in quella di profondità, informandolo della loro posizione per mezzo di un feedback vibratorio. Il sistema sviluppato opera in real-time e risulta indossabile.

Within this thesis, I developed a system able to assist a visually impaired person in crossing a street equipped with a traffic light, autonomously and safely. The device consists of three main components: the acquisition unit is an Intel RealSense D435i depth camera, the computing unit consists of a laptop computer, and the feedback unit is provided through four vibrators connected to the computer via an Arduino that drives them, moreover, informative voice messages are sent to the user via Bluetooth headphones. The three units are connected by a Python script, which acquires images through the depth sensor and processes them to solve the following problems: (1) Correctly orienting the user with respect to the pedestrian crossing; (2) Recognizing the state of the pedestrian traffic light; (3) Detecting and informing the user of the presence of obstacles in front of him. The developed device integrates the analysis of the slope of the pedestrian crossings and an algorithm for determining the state of the pedestrian traffic light in order to alert the user, through voice messages, on how to orient themselves and when the street crossing is safe. Additionally, an algorithm has been developed to assist the user in avoiding obstacles that uses corner detection in both color and depth images, informing the user of their location through vibratory feedback. The developed system is a wearable device that operates in real-time.