Stima della Posa Umana 3D basata sugli Eventi

Abstract

La stima della posa umana (SPU) fornisce una rappresentazione strutturata del movimento umano ed è diventata una componente chiave in un'ampia gamma di applicazioni, che spaziano dal monitoraggio medico e dalla riabilitazione alla biomeccanica sportiva e ad applicazioni orientate al consumatore come l'insegnamento della danza e dello yoga. Sebbene la stima della posa 2D sia sufficiente per alcuni di questi casi d'uso, altri richiedono informazioni sulla posa 3D per essere efficaci. Nonostante i recenti significativi progressi nell'SPU, ottenere una stima 3D in tempo reale con bassa latenza è ancora un problema impegnativo. Questa sfida può essere affrontata attraverso l'utilizzo di telecamere di eventi: nuovi sensori visivi bioispirati che reagiscono alle variazioni dei valori di intensità nella scena, in modo asincrono, a livello di pixel. Questa modalità di rilevamento è estremamente efficiente, poiché elimina la ridondanza a livello di sensore, ed è adatta alla progettazione di algoritmi di visione artificiale robusti e ad alta velocità, tra cui l'SPU. In questa tesi, combiniamo MoveEnet, un sistema SPU basato su telecamere di eventi che esegue la stima della posa 2D ad alta frequenza in tempo reale, con PoseFormerV2, un modello di sollevamento della posa 2D-3D basato su trasformatore, per sviluppare un sistema end-to-end per SPU 3D monoculare in tempo reale. Il nostro metodo raggiunge una maggiore accuratezza riducendo significativamente la latenza rispetto ai metodi basati su eventi esistenti ed è anche competitivo con i modelli RGB pur essendo sostanzialmente più veloce. Il nostro sistema finale ha una latenza end-to-end di 30ms, una frequenza in tempo reale di 38Hz e un MPJPE 3D di 85,7mm sul dataset Event-Human 3.6M.

Human Pose Estimation (HPE) provides a structured representation of human motion and has become a key component in a wide range of applications, spanning from medical monitoring and rehabilitation to sports biomechanics and consumer-oriented applications such as dance and yoga instruction. While 2D pose estimation is sufficient for some of these use cases, others require 3D pose information to be effective. Despite significant recent progress in HPE, achieving real-time 3D estimation with low latency is still a challenging problem. This challenge may be addressed through the use of event cameras --- novel, bio-inspired, visual sensors which react to changes in the intensity values in the scene, asynchronously, at pixel level. This sensing modality is extremely efficient, as it removes redundancy at the sensor level, and is well suited for the design of high-speed, robust artificial vision algorithms, including HPE. In this thesis, we combine MoveEnet, a HPE system based on event cameras which performs real-time high-frequency 2D pose estimation, with PoseFormerV2, a transformer-based 2D-to-3D pose lifting model to develop an end-to-end system for monocular real-time 3D HPE. Our method achieves better accuracy while significantly reducing latency compared to existing event-based methods and is also competitive with RGB models while being substantially faster. Our final system has an end-to-end latency of 30ms, a real-time frequency of 38Hz and a 3D MPJPE of 85.7mm on the Event-Human 3.6M dataset.