Applicazione di Foundational Models alla segmentazione di immagini

Abstract

Questa tesi esplora l’applicazione di MedSAM2, un modello fondazionale per la segmentazione di immagini e video medici, in due scenari clinicamente rilevanti e tecnicamente complessi: la risonanza magnetica urologica pediatrica (MRU) e l’ecografia endorettale (ERUS) per la stadiazione del tumore del retto. A differenza dei metodi supervisionati tradizionali, che richiedono annotazioni estese e mostrano limitata capacità di generalizzazione tra modalità diverse, i modelli fondazionali sfruttano un pre-addestramento su larga scala per adattarsi efficacemente a compiti eterogenei con un minimo intervento di fine-tuning.

Nel primo caso d’uso, viene valutata la generalizzazione zero-shot di MedSAM2 su strutture renali pediatriche, caratterizzate da elevata variabilità anatomica e da un marcato scostamento distributivo rispetto ai dataset adulti. Il modello è applicato senza fine-tuning specifico di dominio, utilizzando una propagazione spaziale bidirezionale tra le slice MRI per la segmentazione di reni e bacinetti renali.

Il secondo caso riguarda l’ERUS, dove è stata sviluppata una strategia di fine-tuning adattata al dominio per la segmentazione del tumore. Il modello pre-addestrato è stato ottimizzato tramite cross-validazione a 5 fold e propagazione temporale unidirezionale, consentendo una segmentazione coerente delle lesioni tra i frame video e affrontando le sfide tipiche dell’ecografia, come artefatti, rumore e variabilità operatore-dipendente.

I risultati mostrano che MedSAM2 ottiene prestazioni promettenti in zero-shot sulle MRI pediatriche, sebbene con variabilità inter-paziente, mentre il fine-tuning su dati ERUS comporta miglioramenti significativi, confermando l’importanza dell’adattamento di dominio. Nel complesso, il lavoro evidenzia la versatilità e il potenziale clinico dei modelli fondazionali di segmentazione, sottolineando il valore del fine-tuning mirato, della supervisione clinica e di strategie ibride per un impiego affidabile nell’imaging medi

This thesis explores the application of MedSAM2, a foundational model for medical image and video segmentation, to two clinically relevant and technically challenging scenarios: pediatric urological magnetic resonance urography (MRU) and endorectal ultrasound (ERUS) for rectal cancer staging. Unlike traditional supervised methods that require extensive annotations and exhibit limited cross-modality generalization, foundational models exploit large-scale pre-training to adapt efficiently to diverse tasks with minimal fine-tuning.

In the first case, MedSAM2’s zero-shot generalization is evaluated on pediatric renal structures, characterized by strong anatomical variability and a substantial distribution shift from adult datasets. The model is applied without domain-specific fine-tuning, using bidirectional spatial propagation across MRI slices to segment kidneys and renal pelves.

The second case addresses ERUS, where a domain-adapted fine-tuning strategy is developed for tumor segmentation. The pretrained model is refined through 5-fold cross-validation and unidirectional temporal propagation, enabling consistent tumor boundary tracking across video frames and tackling ultrasound-specific challenges such as artifacts, noise, and operator variability.

Results demonstrate that MedSAM2 achieves promising zero-shot performance on pediatric MRI, though with inter-patient variability, while fine-tuning on ERUS data yields substantial improvements, confirming the importance of domain adaptation. Overall, this work highlights the versatility and clinical potential of foundational segmentation models, emphasizing targeted fine-tuning, expert supervision, and hybrid strategies for reliable deployment in medical imaging.