Classificazione e Anticipazione di azioni basate su Reti Neurali su grafi

Abstract

Il riconoscimento delle azioni svolge un ruolo fondamentale nella comprensione e nell'interpretazione del comportamento umano nei video, trovando applicazioni in vari settori come la sorveglianza, l'interazione uomo-computer e la robotica. I metodi tradizionali si basano principalmente su immagini RGB, trattando le azioni come eventi olistici senza catturare le intricate strutture partizionate gerarchicamente nelle attività. In questo contesto, i Grafi di Scena Spazio-temporali offrono un approccio innovativo. A differenza degli approcci convenzionali basati su RGB, i Grafi di Scena Spazio-temporali consentono la decomposizione delle azioni in interazioni tra oggetti e le loro relazioni reciproche, catturando così l'evoluzione temporale delle scene visive durante le azioni. Questa rappresentazione innovativa si presenta come una potente alternativa ai metodi convenzionali basati su RGB, offrendo una descrizione più dettagliata e interpretabile delle azioni. Inoltre, riconoscendo l'importanza della predizione delle azioni prima della loro conclusione, la tesi ne approfondisce. Questo lavoro affronta la sfida di riconoscimento delle azioni e ha un significativo potenziale per applicazioni in tempo reale. La tesi approfondisce questi aspetti, fornendo approfondimenti sia sull'efficacia dei Grafi di Scena Spazio-temporali sia per il riconoscimento delle azioni.

Action recognition plays a pivotal role in understanding and interpreting human behavior within videos, finding applications across various domains such as surveillance, human-computer interaction, and robotics. Traditional methods predominantly rely on RGB images, treating actions as holistic events without capturing the intricate hierarchical part structures inherent in activities. In this context, Spatio-temporal Scene Graphs offer a transformative approach. Unlike conventional RGB-based approaches, Spatio-temporal Scene Graphs allow for the decomposition of actions into nuanced interactions between objects and their pairwise relationships, thereby capturing the temporal evolution of visual scenes during actions. This novel representation serves as a potent alternative to conventional RGB-based methods, offering a more detailed and interpretable depiction of actions. Moreover, recognizing the importance of forecasting actions before their completion, the thesis delves into the anticipation task. This task addresses the inherent challenge of understanding ongoing actions and holds significant potential for real-time applications, enabling systems to react proactively to unfolding events. The thesis delves into these aspects, providing insights into the efficacy of Spatio-temporal Scene Graphs for both Action Recognition and Anticipation tasks.