Acquisizione di informazioni sul movimento e sulla forma dai gruppi per estrarre caratteristiche espressive e sociali utilizzando computer vision e machine learning tecniche.

Abstract

In questa tesi, presentiamo un metodo per acquisire i movimenti del corpo ed estrarne i dati relativi alla cinematica, che viene utilizzato per calcolare la coordinazione interpersonale in configurazioni di piccoli gruppi (in particolare un insieme musicale). Alcune tecniche di elaborazione del segnale, utilizzate nelle neuroscienze per valutare la connettività e la sincronizzazione delle regioni nel cervello, vengono utilizzate per arrivare a un valore di 'phase-locking values', che è indicativo di quanto bene siano due co-esecutori di sincronizzato. Sono stati eseguiti esperimenti su registrazioni di concerti dell'Omega Musical Ensemble. Valutiamo i dati raccolti e mettiamo in mostra i vari cambiamenti osservati tra gli artisti durante i diversi tipi di brani musicali. Viene effettuata un'analisi tra due trame musicali, polifonica e omfonica, dove concludiamo con risultati promettenti che mostrano un accoppiamento interpersonale più elevato tra diadi in trame polifoniche.

Note: The Italian abstract has been translated using Google Translate - in case of doubt refer to the English version. Due to limited characters, the abstract here is abridged. Also, the title of this thesis is "Capturing human movement and shape information from small groups to extract expressive and social features."

In this thesis, we present a method to capture body movements and extract their kinematic- related data, which is used for computing interpersonal coordination in small-group setups (particularly a musical ensemble). Certain signal processing techniques, used in neuroscience to assess connectivity and synchronization of regions in the brains, are utilized to arrive to a phase-locking value, which is indicative of how well are two co-performers of synchronized. Experiments have been performed on concert recordings of the Omega Musical Ensemble. We evaluate the data gathered and showcase the various changes observed among the performers during different kinds of musical pieces. An analysis is made between two musical textures, polyphonic and homophonic, where we conclude with promising results showcasing higher inter-personal coupling between dyads in polyphonic textures.

Note: The Italian abstract has been translated using Google Translate - in case of doubt refer to the English version. Due to limited characters, the abstract here is abridged. Also, the title of this thesis is "Capturing human movement and shape information from small groups to extract expressive and social features."