Unire l'IA Generativa e la VR basata sul Mondo Reale: Estensione di un Programma per la Generazione di Scene

Abstract

La generazione automatica di ambienti virtuali e la realtà virtuale basata sul mondo reale sono due campi della Realtà Virtuale (VR) sviluppatisi tradizionalmente in modo indipendente. Questa tesi collega questi campi estendendo due software già esistenti: “Virtual Reality Customizable Environments”, che sfrutta i Large Language Models per creare automaticamente scenari VR a partire da una descrizione in linguaggio naturale dell'output desiderato; e “SwitchToVirtual”, una pipeline che, a partire da una scansione di un ambiente reale, rileva gli oggetti principali al suo interno e consente la costruzione di uno scenario VR composto da oggetti virtuali corrispondenti ad essi per dimensione e posizione. In questa tesi abbiamo ampliato “Virtual Reality Customizable Environments” con una nuova modalità, denominata “File-based Input”, che consente la generazione di scene a partire da dati derivanti da scansioni 3D. Questo permette agli utenti di creare ambienti virtuali che rispecchiano gli spazi del mondo reale, estraendo parametri chiave come posizione, rotazione e scala degli oggetti, da fonti esterne. Il sistema è stato progettato per essere modulare e al momento supporta due fonti di input: “SwitchToVirtual” e il Meta Quest 3; con ulteriori integrabili attraverso script di conversione in un formato input standardizzato. Questa integrazione migliora anche “SwitchToVirtual”, permettendogli di sfruttare “Virtual Reality Customizable Environments” per popolare automaticamente le scene scansionate, offrendo un'alternativa ai suoi strumenti di sostituzione manuale. Oltre alle implementazioni pratiche, la tesi fornisce anche una prospettiva teorica sulla generazione automatica di scene basata su vincoli. Si suggerisce che, introducendo vincoli strutturati, come ad esempio layout spaziali predefiniti, i sistemi di generazione automatica di ambienti virtuali possano aggirare alcune delle loro attuali principali limitazioni ed estendere l’applicazione pratica nel mondo reale.

Automatic generation of virtual environments and real-world background integration are two fields of Virtual Reality (VR) that have traditionally developed independently. This thesis bridges these fields by extending two existing software frameworks: the "Virtual Reality Customizable Environments" system, which exploits Large Language Models to automatically create VR scenarios starting from a natural language description of the desired output; and the “SwitchToVirtual” system, a pipeline that, starting from a scan of a real-world environment, detects the main objects inside it and allow the construction of a VR scenario composed of virtual objects that match them in size and position. In this thesis, we expand the "Virtual Reality Customizable Environments" system with a new “File-based Input” mode, enabling scene generation from structured data derived from 3D scans. This allows users to create virtual environments that accurately reflect real-world spaces by extracting key parameters—such as object positions, rotations, and scales—from external spatial data sources. The system was also designed to be modular and adaptable, currently supporting two input sources: “SwitchToVirtual” and the Meta Quest 3; with additional sources that can be integrated through conversion scripts to a standardized input format. This integration also enhances the “SwitchToVirtual” system by providing it with the possibility to leverage the “Virtual Reality Customizable Environments” system to automatically populate its scanned scenes, offering an alternative to its predefined manual substitution tools. Beyond these practical implementations, this thesis also provides a theoretical perspective on constraint-based automatic scene generation. It suggests that, by introducing structured constraints—such as predefined spatial layouts—systems in the automatic generation of virtual environments field can circumvent some of their current main limitations and improve in real-world applicability.