Analisi del Movimento Umano Basata su Adaptive Graph Convolution e Continuous-Time Dynamics

Abstract

Il riconoscimento di azioni umane basato su scheletro mira a inferire attività umane da sequenze di configurazioni dei giunti corporei. Le reti convoluzionali su grafo sono diventate un approccio prominente per questo compito, modellando esplicitamente la struttura spaziale dello scheletro umano. Tuttavia, l'evoluzione temporale è tipicamente modellata tramite operazioni discrete su frame campionati. Poiché il movimento umano è intrinsecamente continuo, ci si chiede se le caratteristiche scheletriche derivate dal moto possano beneficiare di una rappresentazione a tempo continuo.

Questa tesi propone 3S-NODE-AGCN, un'architettura a tre flussi che combina posizioni dei giunti, vettori delle ossa e velocità dei giunti. Il flusso di velocità utilizza convoluzioni su grafo spaziali seguite da un'Equazione Differenziale Ordinaria Neurale (Neural ODE), che fa evolvere continuamente uno stato latente aggregato secondo dinamiche apprese. La rappresentazione risultante è combinata con quelle degli altri flussi per la classificazione delle azioni.

L'approccio è valutato sul benchmark BABEL 60 classi. Con addestramento cross-entropy per 30 epoche, 3S-NODE-AGCN raggiunge il 42,47% di accuratezza Top-1, superando la baseline pubblicata 2S-AGCN (41,14%). L'analisi delle traiettorie mostra che il Neural ODE produce rappresentazioni latenti più regolari, coerentemente con la sua formulazione a tempo continuo.

Skeleton-based human action recognition aims to infer human activities from sequences of body-joint configurations. Graph convolutional networks have become a prominent approach for this task by explicitly modelling the spatial structure of the human skeleton, while multi-stream architectures further exploit complementary representations such as joint positions, bone geometry, and motion features. However, temporal evolution in these architectures is typically modelled through discrete operations over sampled frames. Since human motion is inherently continuous, this raises the question of whether motion-derived skeletal features can benefit from a continuous-time representation of their dynamics.

To investigate this question, this thesis proposes 3S-NODE-AGCN, a three-stream architecture combining joint positions, bone vectors, and joint velocity. The joint and bone streams employ adaptive graph convolution together with conventional temporal convolution, while the velocity stream follows a different temporal modelling strategy. Spatial graph convolutions first extract frame-level features from the velocity sequence, which are then aggregated into a latent representation used as the initial state of a Neural Ordinary Differential Equation (Neural ODE). Rather than directly integrating the observed frame sequence, the Neural ODE continuously evolves this aggregated latent state according to learned dynamics. The resulting representation is combined with those of the joint and bone streams through feature-level fusion for action classification.

The proposed approach is evaluated on the BABEL 60-class benchmark. Under cross-entropy training across 30 epochs, 3S-NODE-AGCN achieves 42.47% Top-1 accuracy, exceeding the published 2S-AGCN baseline of 41.14%. Feature trajectory analysis shows that the Neural ODE produces measurably smoother latent representations, consistent with its continuous-time formulation.