Sviluppo di un Parser DICOM per il Processing e la Preparazione di Dataset Medicali destinati all'Intelligenza Artificiale

Abstract

La gestione di grandi volumi di imaging medicale in formato DICOM rappresenta una sfida critica nei moderni flussi di lavoro clinici e di ricerca, in particolare nell’addestramento di modelli di Intelligenza Artificiale in ambito biomedico. Questo elaborato descrive la progettazione e lo sviluppo di un parser leggero ad alte prestazioni, implementato in C++, per l’estrazione rapida dei dati grezzi e l’anonimizzazione in-place dei file clinici. L’architettura adotta tecniche avanzate di programmazione di sistema, tra cui il Memory-Mapped I/O per eliminare copie intermedie tra kernel space e user space, e una strategia di parsing basata su aritmetica degli offset per minimizzare l’utilizzo di memoria. Il sistema supporta le principali transfer syntax di compressione DICOM e garantisce un rigoroso filtraggio tra Tag sensibili e Tag di ricerca, impedendo ad un utente non autorizzato di accedere a tutti i dati in estrazione. I benchmark condotti su un dataset di 33.026 file DICOM (21,6 GB) mostrano come la soluzione sviluppata raggiunga una velocità fino a ×7.57 volte superiore rispetto a un equivalente in Python basato su pydicom, utilizzando meno di un quindicesimo della memoria picco, riducendo drasticamente il carico computazionale e garantendo la conformità ai requisiti di privacy dei dati clinici.

Managing large volumes of medical imaging in DICOM format represents a critical challenge in modern clinical and research workflows, particularly in the training of biomedical Artificial Intelligence models. This thesis describes the design and development of a lightweight, high-performance parser, implemented in C++, for the rapid extraction of raw data and the in-place anonymization of clinical files. The architecture adopts advanced systems programming techniques, including Memory-Mapped I/O to eliminate intermediate copies between kernel space and user space, and an offset-arithmetic-based parsing strategy to minimize memory usage. The system supports the main DICOM compression transfer syntaxes and ensures rigorous filtering between sensitive tags and research tags, preventing unauthorized users from accessing all extracted data. Benchmarks conducted on a dataset of 33,026 DICOM files (21.6 GB) demonstrate that the developed solution achieves a speed up to 7.57 times higher than a Python-based equivalent using pydicom, while using less than one-fifteenth of the peak memory, drastically reducing computational load and ensuring compliance with clinical data privacy requirements.