Framework Multimodale per il Riconoscimento delle Emozioni nei Disegni dei Bambini Basato su Tecniche di Apprendimento Automatico

Abstract

L'apprendimento socio-emotivo (Social and Emotional Learning, SEL) è fondamentale per il benessere, lo sviluppo sociale e la preparazione scolastica dei bambini. Tuttavia, la maggior parte degli strumenti educativi digitali si basa su interazioni attraverso lo schermo, offrendo un supporto limitato al coinvolgimento emotivo incarnato. Sebbene le interfacce utente tangibili (Tangible User Interfaces, TUIs) favoriscano l'interazione fisica, non consentono un'interpretazione automatica delle espressioni emotive non verbali dei bambini in ambito scolastico.

Questa tesi presenta un sistema basato sulla piattaforma di disegno tangibile CambiaColore, potenziato mediante tecniche di apprendimento automatico. Il sistema acquisisce traiettorie spaziali, dinamiche temporali, selezione dei colori e immagini dei disegni tramite uno strumento fisico tracciato con una telecamera a infrarossi. Per stimare gli stati affettivi in termini di valenza e arousal vengono analizzati tre approcci: un Random Forest Regressor basato su caratteristiche estratte dalle traiettorie, una rete neurale convoluzionale MobileNet addestrata sulle immagini dei disegni e un modello multimodale ibrido che combina entrambe le modalità.

Le prestazioni dei modelli sono confrontate mediante il test dei ranghi con segno di Wilcoxon, valutando la significatività statistica delle differenze tra gli approcci. I risultati dimostrano l'efficacia del framework proposto e il potenziale dell'integrazione tra caratteristiche di movimento e rappresentazioni visive per la predizione automatica degli stati affettivi.

Il framework consente inoltre di generare riepiloghi dell'attività emotiva dei bambini, offrendo una visione d'insieme delle dinamiche della classe. Fornisce così agli insegnanti uno strumento basato sui dati per favorire consapevolezza, riflessione e dialogo sulle emozioni, contribuendo allo sviluppo di tecnologie educative intelligenti per l'apprendimento socio-emotivo.

Socio-emotional learning (SEL) is essential for children's well-being, social development, and academic readiness. However, most digital educational tools rely on screen-based interaction and provide limited support for embodied emotional engagement. Although tangible user interfaces (TUIs) encourage physical interaction, they lack automatic interpretation of children's non-verbal emotional expressions in classroom settings.

This thesis presents a machine learning–enhanced system for embodied socio-emotional learning based on the CambiaColore tangible drawing platform. The system captures children's drawing behavior through a physical tool tracked by an infrared camera, collecting spatial trajectories, temporal dynamics, color selection, and drawing images. To estimate affective states in terms of valence and arousal, three machine learning approaches are investigated: a Random Forest Regressor trained on handcrafted trajectory features, a MobileNet convolutional neural network trained on drawing images, and a hybrid multimodal model combining both modalities.

The models are evaluated through statistical analysis using the Wilcoxon Signed-Rank Test to assess significant differences between the feature-based, image-based, and hybrid approaches. Experimental results demonstrate the effectiveness of the proposed framework and highlight the potential of integrating handcrafted motion features with deep visual representations for automatic affect prediction.

The proposed multimodal framework enables the generation of structured summaries of children's emotional activity, supporting a collective overview of classroom dynamics. By providing educators with a data-informed tool for emotional awareness, reflection, and discussion while preserving the embodied nature of children's interactions, this work contributes to the development of intelligent educational technologies for socio-emotional learning.