Analisi comparativa tra paradigmi algoritmici, di apprendimento automatico e visuale per la rilevazione automatica dell'origine percepita del movimento del corpo umano

Abstract

La tesi si pone l'obiettivo di indagare l'origine del full-body movement tramite Motion Capture e analisi computazionale. Per fare ciò vengono proposti tre diversi approcci per la classificazione: uno algoritmico, uno basato sulla visualizzazione e uno basato sul machine learningPartendo da video registrazioni di danzatori esperti ed i relativi MoCap, abbiamo scelto frammenti di alcuni secondi in cui notavamo una chiara origine del movimento e li abbiamo classificati ottenendo così il nostro dataset. I MoCap presentavano un numero di markers variabili, quindi si è effettuata una compressione ottenendo una struttura a scheletro uniforme da 20 giunture, su cui si baserà l'approccio algoritmico e di visualizzazione.L'approccio algoritmico prevede un processo di spectral clustering e la classificazione multiclasse tramite Weighted Degree Centrality. Per l'approccio visivo si imposta un problema di Maximum Weight Perfect Matching che verrà risolto usando l'Hungarian Algorithm per ottenere una visione coerente e consistente dei colori dei clusters frame dopo frame.L'ultimo approccio, quello di machine learning, usa BorderlineSMOTE per ribilanciare il dataset per il training e poi Random Forest e Leave-One-Out Cross Validation per fare una classificazione binaria sull'origine del movimento. L'approccio algoritmico ha portato i migliori risultati usando 4 clusters e il momento angolare come feature, ma per come funziona lo spectral clustering non riesce a classificare le estremità dello scheletro con la stessa probabilità delle altre classi. I risultati hanno un miglioramento ulteriore se si omettono dal dataset sample classificate alle estremità.L'approccio visivo permette di visualizzare l'evoluzione dei clusters nel tempo correttamente e il Machine Learning performa bene sulle classi di maggioranza e la sua performance va a decrescere via via sulla classe meno frequente.

The thesis aims to investigate the origin of full-body movement through motion capture and computational analysis. To do this, three different approaches for classification are proposed: one algorithmic, one based on visualization, and one based on machine learning. Starting from video recordings of expert dancers and their respective motion capture data, we selected fragments of a few seconds in which we noticed a clear origin of the movement and classified them, thus obtaining our dataset. The motion capture data presented a variable number of markers, so a compression was performed to obtain a uniform 20-joint skeleton structure, on which the algorithmic and visualization approaches will be based. The algorithmic approach involves a spectral clustering process and multi-class classification through Weighted Degree Centrality. For the visual approach, a maximum weight perfect matching problem is set up that will be solved using the Hungarian Algorithm to obtain a coherent and consistent view of the colors of the clusters frame by frame. The last approach, that of machine learning, uses BorderlineSMOTE to balance the dataset for training and then Random Forest and Leave-One-Out Cross Validation to make a binary classification on the origin of the movement. The algorithmic approach produced the best results using 4 clusters and angular momentum as a feature, but due to how spectral clustering works, it is not able to classify the extremities of the skeleton with the same probability as the other classes. The results further improve if samples classified at the extremities are omitted from the dataset. The visual approach allows for correct visualization of the evolution of the clusters over time, and machine learning performs well on the majority classes and its performance decreases gradually on the least frequent class.