ELVIS-PRO: Simulatore laparoscopico virtuale, open-source, paziente-specifico per il training e la pianificazione preoperatoria in chirurgia addominale

Abstract

Partendo da ELVIS, ho sviluppato ELVIS-PRO, un framework open-source che consente ai chirurghi di simulare interventi addominali laparoscopici su modelli paziente-specifici. Il sistema comprende un box trainer, strumenti chirurgici sensorizzati e un ambiente virtuale semi-immersivo. Nella replica addominale ci sono joystick per rilevare rotazioni lungo gli assi X/Y. Negli strumenti chirurgici, sensori magnetici di angolo misurano rotazioni attorno a Z, sensori ToF calcolano l'inserimento dello strumento e sensori a effetto Hall rilevano l'apertura delle pinze. I dati dei sensori vengono acquisiti da tre microcontrollori, trasmessi in tempo reale a un microcontrollore centrale tramite ESP-NOW e inoltrati alla simulazione via comunicazione seriale. Utilizzando Unreal Engine, ho sviluppato un ambiente virtuale che riproduce l'addome del paziente, ricavato da immagini TC segmentate automaticamente. E' consentito ai chirurghi di modificare il modello 3D segmentato. Tale modello viene importato in Unreal per avere realismo visivo. Per consentire un'interazione realistica con i tessuti, il sistema genera mesh volumetriche tetraedriche. Gli organi addominali rilevanti vengono simulati mediante FEM. Per l'accesso alla simulazione, ho implementato interfacce grafiche che guidano gli utenti attraverso la simulazione. Infine, ho sviluppato un plugin per Unreal per interfacciare il simulatore con iMSTK, abilitando la modellazione FEM per simulare le deformazioni dei tessuti molli. Un aspetto innovativo di ELVIS-PRO è la sua versatilità: qualsiasi immagine TC può essere trasformata in una simulazione. Gli sviluppi futuri si concentreranno sul miglioramento della stabilità e del realismo della simulazione FEM, sulla completa sensorizzazione dei punti di ingresso dei trocar, sul disaccoppiamento tra la rotazione dell'asta dello strumento e l'orientamento dell'impugnatura, e sull'esecuzione di studi di validazione con chirurghi per valutarne l'usabilità e il valore didattico.

Starting from ELVIS, I developed ELVIS-PRO, an open-source framework that enables surgeons to simulate laparoscopic abdominal procedures on patient-specific models. The system includes a physical box trainer, sensorized surgical tools, and a Semi-Immersive Virtual Environment. Dual-axis joysticks are located in the abdominal replica to detect X/Y rotations. In the surgical instruments, magnetic angle sensors measure Z-axis roll, Time-of-Flight sensors compute instrument insertion depth, and Hall-effect sensors detect jaw aperture. Data from all the sensors are acquired by three microcontrollers, transmitted in real time to a central microcontroller via the ESP-NOW protocol, and subsequently forwarded via serial communication to the simulation. Using Unreal Engine, I developed a Virtual Environment representing the patient's abdomen derived from automatically segmented CT DICOM images. Post-processing editing is also supported to allow surgeons to adjust the segmented 3D model. Such model is imported into Unreal Engine to ensure realistic visual rendering. To enable physically realistic tissue interaction, the system automatically generates volumetric tetrahedral meshes. Relevant abdominal organs are dynamically simulated via FEM. To access the simulation, I implemented Graphical User Interfaces to guide users through the simulation setup. Finally, I developed an Unreal Engine plugin to interface the simulator with iMSTK, enabling real-time FEM biomechanical modeling to simulate soft-tissue deformations and tissue handling. An innovative aspect of ELVIS-PRO is its versatility: ideally any CT image can be converted into a simulation. Future developments will focus on enhancing the stability and realism of the FEM simulation, fully sensorizing the trocar entry points on the physical trainer, decoupling the instrument shaft roll from handle orientation, and conducting validation studies with surgical trainees to assess its usability, educational and clinical value.