Tecniche per l'analisi automatica della salienza nel movimento dell'intero corpo umano.

Abstract

Nella ricerca contemporanea, il tema della salienza è diventato un punto focale, con un numero crescente di studi dedicati alla sua esplorazione. Vari campi, tra cui Medicina, Finanza, Militare, Psicologia e Cinesiologia, hanno affrontato il problema in modi diversi. La nostra tesi mira a sviluppare euristiche efficaci e approcci algoritmici per rilevare la salienza nel contesto del movimento. In particolare, ci siamo concentrati sul dominio dei movimenti di danza, definendo un concetto di salienza all'interno di questo contesto. Il concetto di salienza è complesso e è stato esplorato nelle neuroscienze cognitive, nella visione artificiale, nell'interazione uomo-computer e nelle arti performative. In questo lavoro ci concentriamo su un concetto semplificato di salienza, focalizzandoci sui cambiamenti nella qualità del movimento dell'intero corpo del ballerino, dal punto di vista di un osservatore esterno. Ci concentriamo sulla ripetitività e la prevedibilità del movimento, ad esempio, un movimento caotico vs ripetitivo, e sull'emergere di cambiamenti improvvisi vs movimenti fluidi e continui, ad esempio, l'arresto improvviso di un braccio seguito da una nuova azione dello stesso o di un altro arto. Abbiamo iniziato con i dati di Motion Capture (MOCAP) del movimento dell'intero corpo. Un'analisi approfondita di un dataset di movimento registrato presso Casa Paganini ci ha permesso di individuare ed valutare un insieme di candidati rilevanti per le caratteristiche del movimento al fine di spiegare la salienza. Successivamente, sono stati applicati approcci di apprendimento automatico supervisionati per l'analisi automatizzata della salienza. Per gestire le caratteristiche di input all'approccio di ML, abbiamo considerato diverse scale temporali e un'analisi automatizzata utilizzando finestre scorrevoli sovrapposte, in modo da poter incorporare informazioni da più frame in un unico campione. Quindi abbiamo testato l'algoritmo a diversi livelli di generalizzazione. ...

In contemporary research, the topic of salience has become a focal point, with a growing number of studies dedicated to its exploration. Various fields, including Medical, Financial, Military, Psychology, and Kinesiology, have approached the problem in diverse ways. Our thesis aims to develop effective heuristics and algorithmic approaches for detecting salience in the context of movement. Specifically, we focused on the domain of dance movements, defining a concept of salience within this context. The concept of salience is complex and has been explored in cognitive neurosciences, computer vision, human-computer interaction, and performing arts. In this work we focus on a simplified concept of salience, focusing on changes in the full-body movement quality of the dancer, from the perspective of an external observer. We focus on repetitiveness and predictability of movement, e.g., a chaotic Vs repetitive movement, and on the emergence of sudden changes Vs smooth and continuous movements, e.g., an arm sudden stop followed by a new action by the same or another limb. We start with Motion Capture (MOCAP) data of full-body movement. An indepth analysis of a movement dataset recorded at Casa Paganini led us to individuate and evaluate a set of relevant movement feature candidates to explain salience. Then, supervised machine learning approaches were applied for the automated analysis of salience. For handling input features to the ML approach, we considered different temporal scales and automated analysis using overlapped sliding windows, such we can embed information from multiple frames in a unique sample. Then we tested the algorithm at different levels of generalization. The goal of this work is to develop a system able to recognize the salience in the human full-body context in real-time.