Analisi dei comportamenti non verbali nel contesto dei videogiochi

Abstract

Questa tesi affronta il problema dell'analisi e della modellazione delle reazioni emotive spontanee dei giocatori professionisti di eSports durante le partite di calcio competitive reali. Mentre la maggior parte degli studi esistenti nell'ambito dell'affective computing si basa su dataset controllati in laboratorio e annotati manualmente, tali contesti spesso non riescono a catturare le risposte emotive naturali e ad alta intensità che si verificano in scenari reali. Per superare questa limitazione, questa ricerca si concentra sulle partite competitive ufficiali del videogioco di calcio eFootball, dove le reazioni facciali dei giocatori vengono registrate simultaneamente agli eventi di gioco. È stato creato un dataset estraendo brevi clip di reazione corrispondenti a specifici eventi di gioco come gol, rigori, falli e fuorigioco. Le unità di azione facciale (AU) sono state estratte automaticamente utilizzando OpenFace 3 e per ogni clip è stato calcolato un insieme di caratteristiche statistiche e temporali di alto livello, tra cui intensità media, intensità massima, deviazione standard, pendenza e durata.

Invece di affidarsi all'annotazione manuale delle emozioni, questo lavoro impiega metodi di clustering non supervisionato per scoprire modelli comportamentali latenti nei dati. Otto algoritmi di clustering sono stati valutati utilizzando diverse metriche di validazione interna per identificare le strutture di raggruppamento più significative. I cluster risultanti sono stati ulteriormente validati attraverso modelli di classificazione supervisionata, dimostrando un'elevata riproducibilità e separabilità. Il framework proposto migliora lo stato dell'arte introducendo una metodologia ecologicamente valida e senza etichette per l'analisi delle emozioni in ambienti competitivi reali. Riduce la dipendenza da costose annotazioni manuali e fornisce un approccio scalabile per analizzare il comportamento emotivo spontaneo negli eSport e in altri contesti multimediali dinami

This thesis addresses the problem of analyzing and modeling sponta neous emotional reactions of professional eSports players during real competitive football matches. While most existing studies in affec tive computing rely on laboratory-controlled and manually annotated datasets, such settings often fail to capture natural, high-intensity emotional responses occurring in real-world scenarios. To overcome this limitation, this research focuses on official competi tive matches of the football video game eFootball, where players’ facial reactions are recorded simultaneously with in-game events. A dataset was constructed by extracting short reaction clips corresponding to specific in-game events such as goals, penalties, fouls, and offsides. Fa cial Action Units (AUs) were automatically extracted using OpenFace 3, and a set of high-level statistical and temporal features—including mean intensity, maximum intensity, standard deviation, slope, and duration—were computed for each clip. Instead of relying on manual emotion annotation, this work employs unsupervised clustering methods to discover latent behavioral pat terns in the data. Eight clustering algorithms were evaluated using multiple internal validation metrics to identify the most meaning ful grouping structures. The resulting clusters were further validated through supervised classification models, demonstrating strong repro ducibility and separability. The proposed framework enhances the state of the art by introduc ing an ecologically valid, label-free methodology for emotion analysis in real competitive environments. It reduces dependency on costly manual annotation and provides a scalable approach for analyzing spontaneous emotional behavior in eSports and other dynamic multi media contexts.