Sviluppo di un sistema per l'interazione con oggetti reali contestualizzati in ambienti di Realtà Mixata

Abstract

La Realtà Mixata combina combina realtà virtuale e ambienti reali. L'utilizzo di visori per sperimentare la realtà virtuale immersiva spesso causa problemi nell'evitare urti con ostacoli nell'ambiente reale, poiché il caschetto impedisce all'utente di vederli. Inoltre, il visore ostacola anche l'interazione con gli oggetti reali. La soluzione più comune a questo problema è l'aggiunta di informazioni sullo spazio reale all'ambiente di realtà virtuale, ad esempio sovrapporre i contorni di oggetti reali. Sicuramente, questo metodo si traduce in una riduzione dell'immersità dell'utente. Inoltre, in base al paradigma della virtualità aumentata, questi ostacoli dovrebbero essere incorporati nel mondo virtuale. Proponiamo un metodo per creare scenari coerenti di MR, a partire da una ricostruzione della stanza, in cui la posizione e le dimensioni degli oggetti sono rilevate e utilizzate per posizionare elementi virtuali. L'interazione è possibile se le due realtà sono coerenti. Descriviamo il metodo e analizziamo l'errore di allineamento tra il modello virtuale e la stanza reale. Ci siamo concentrati sul rilevamento delle sedie e sulla loro sostituzione. Il nostro obiettivo è migliorare una versione precedente del sistema, sviluppando un software che permetta di evitare ostacoli, sostituendo oggetti reali con oggetti virtuali contestualizzati. Quindi, gli urti sono prevenuti senza abbassare il senso di presenza e immersione dell'utente. Gli ambienti di MR risultanti sono coerenti con quello reale e rendono le persone più consapevoli degli oggetti che li circondano quando sono immerse nel mondo virtuale. Questo sistema consente l'interazione naturale con oggetti virtuali reali e contestualizzati. Inoltre, abbiamo implementato diversi database che consentono al sistema di generare diversi tipi di scenari. Abbiamo condotto esperimenti con soggetti umani per verificare se il software consente agli utenti di eseguire movimenti ecologici e di valutare l’usabilità del sistema.

Mixed Reality combines immersive Virtual Reality (VR) and real environments. However, using Head-Mounted Displays to experience immersive virtual reality often causes problems of avoiding dangerous collisions with obstacles in the real environment, since the headsets prevent the user to see them. Besides, headset also hampers interaction with real object. The most common solution to obstacle avoidance problem is adding a real-space information layer to the Virtual Reality environment, e.g., overlaying boundaries of real objects. Surely, this method results in reducing the user’s immersivity. Moreover, accordingly to the augmented virtuality paradigm, these obstacles should be embedded into the virtual world. We propose a method to create consistent Mixed Reality scenarios, starting from a three-dimensional mesh of a room, where the position and the size of objects are detected and used to place virtual elements. Interaction is possible if the two realities are coherent. In this work, we describe the method, and we analyze the alignment error between the three-dimensional model and the real room. We focused on chair detection and their substitutions. Our objective is to improve a previous version of the system, implementing a software that solves obstacle avoidance problem, substituting real items with contextualized virtual objects. Consequently, injuries are prevented without lowering user’s sense of presence and immersivity. The resulting Mixed Reality environments are consistent with the real one and make people more aware of the real objects surrounding them when immersed in the virtual world. This system allows natural interaction with real and contextualized virtual objects. Moreover, we implemented different databases that allow the system to generate different types of scenarios. To evaluate the system, we conducted experiments with human subjects to verify if the software allows users to perform ecological movements and to assess the system’s usability.