Migliorare il Coinvolgimento Emotivo Attraverso Agenti Empatici nella Realtà Mista

Abstract

Il coinvolgimento emotivo è un fattore cruciale nell'interazione uomo-computer (HCI), influenzando il modo in cui gli utenti percepiscono le interazioni con computer o agenti virtuali. Sebbene l'HCI abbia compiuto progressi significativi nella creazione di esperienze ricche e immersive, permangono delle lacune, in particolare nel raggiungimento di animazioni facciali realistiche, guidate dal parlato e in tempo reale. Questa ricerca, EMBRACE, mira a migliorare il coinvolgimento emotivo nella realtà virtuale (VR) attraverso avatar con espressioni facciali in tempo reale, guidate dall'intelligenza artificiale. Basandoci su precedenti framework di animazione facciale guidati dal parlato, che non erano stati progettati per un'applicazione in tempo reale, abbiamo identificato limitazioni come la latenza dell'animazione e il rendering lento. Per superarle, abbiamo riprogettato la pipeline di sistema per consentire prestazioni in tempo reale mantenendo la fedeltà espressiva. Le tecniche per garantire espressioni facciali fluide e accurate includevano la pre-elaborazione, la riduzione del rumore e l'interpolazione avanzata dell'animazione, tutte integrate in un motore compatibile con la realtà virtuale. I nostri risultati dimostrano che il metodo proposto consente l'animazione facciale in tempo reale guidata dal parlato, adatta ad applicazioni VR interattive. Uno studio preliminare sugli utenti che confronta le condizioni di agenti empatici e non empatici in un contesto di consulenza studentesca conferma ulteriormente il potenziale di questo approccio per migliorare il coinvolgimento emotivo. Le misure soggettive includevano usabilità, presenza e valutazione dell'agente, mentre le misure oggettive includevano la frequenza cardiaca e la variabilità della frequenza cardiaca. I risultati indicano che i comportamenti empatici hanno aumentato il senso di presenza spaziale dei partecipanti e hanno mostrato tendenze verso una maggiore presenza complessiva e coinvolgimento fisiologi

Emotional engagement is a crucial factor in Human-Computer Interaction (HCI), influenc- ing how users perceive interactions with computers or virtual agents. While HCI has made significant progress in creating rich and immersive experiences, gaps remain, particularly in achieving realistic, speech-driven facial animations in real-time. This research, EMBRACE, aims to enhance emotional engagement in virtual reality (VR) through avatars with real-time, AI-driven facial expressions. Building on prior speech-driven facial animation frameworks, which were not designed for a real-time application, we identified limitations such as ani- mation latency and slow rendering. To overcome these, we redesigned the system pipeline to enable real-time performance while maintaining expressive fidelity. Techniques to ensure smooth and accurate facial expressions included pre-processing, noise reduction, and ad- vanced animation interpolation, all integrated within a VR-compatible engine. Our results demonstrate that the proposed method enables real-time speech-driven facial animation suit- able for interactive VR applications. A preliminary user study that compares empathic and non-empathic agent conditions in a student consultation setting further confirms the po- tential of this approach to enhance emotional engagement. Subjective measures included usability, presence, and agent evaluation, while objective measures incorporated heart rate and heart rate variability. The results indicate that empathic behaviors increased partici- pants’ sense of spatial presence and showed tendencies toward greater overall presence and physiological engagement. Further analyses revealed that previous experience with chatbots affected perceptions of usability and agent evaluation, while gender played a role in certain aspects of presence. Furthermore, the study emphasizes the influence of system configuration on overall performance, particularly in terms of facial animation processing. The findings i