Un'analisi comparativa dei metodi di distillazione della conoscenza per la classificazione di scene in telerilevamento.

Abstract

La classificazione delle scene di telerilevamento gioca un ruolo centrale nell'osservazione della Terra, supportando la mappatura dell'uso del suolo, il monitoraggio ambientale e la valutazione dei rischi. Sebbene l'apprendimento profondo abbia significativamente migliorato le prestazioni della classificazione, le reti neurali all'avanguardia rimangono computazionalmente esigenti, limitandone l'impiego su piattaforme con risorse limitate, come veicoli aerei senza pilota (UAV), piccoli satelliti (ad esempio CubeSats) e unità mobili a terra. La Distillazione della Conoscenza (KD) offre una soluzione pratica trasferendo la conoscenza da una grande rete insegnante a un modello compatto dello studente. Tuttavia, la maggior parte degli studi sulla distillazione della conoscenza nel telerilevamento adotta strategie di distillazione standard che trattano tutte le informazioni delle classi in modo unificato, senza separare esplicitamente la fiducia nella classe corretta dalle relazioni tra le classi visivamente simili. Questa limitazione può ridurre l'efficacia della distillazione quando le classi presentano una forte somiglianza visiva, comune nelle immagini di telerilevamento.

Questa tesi esplora la Distillazione della Conoscenza Decoupled (DKD) come possibile framework per la classificazione delle scene di telerilevamento. DKD separa la supervisione della classe target dalla distribuzione complessiva delle non-target, producendo gradienti più chiari e stabili. Ciò è particolarmente vantaggioso per le immagini aeree, dove le classi si sovrappongono frequentemente in termini di texture, struttura e modelli spaziali. Utilizzando RegNetY-032 come insegnante, vengono valutati due modelli studente eterogenei, MobileNetV2 e DeiT-Base Distilled Patch16-384, per esaminare l'efficacia della DKD sia per CNN leggere che per Transformer a data-efficiency.

Gli esperimenti sono condotti su quattro set di dati di riferimento, AID, NWPU-RESISC45, UC Merced e OPTIMAL-31, scelti per la lo

Remote sensing scene classification plays a central role in Earth observation, supporting land-use mapping, environmental monitoring, and hazard assessment. Although deep learning has significantly advanced classification performance, state-of-the-art neural networks remain computationally demanding, limiting their deployment on resource-constrained platforms such as unmanned aerial vehicles (UAVs), small satellites (e.g., CubeSats), and mobile ground units. Knowledge Distillation (KD) offers a practical solution by transferring knowledge from a large teacher network to a compact student model. However, most knowledge distillation studies in remote sensing adopt standard distillation strategies that treat all class information in a unified manner, without explicitly separating the confidence in the correct class from the relationships among visually similar classes. This limitation can reduce the effectiveness of distillation when classes exhibit strong visual similarity, which is common in remote sensing imagery. This thesis investigates Decoupled Knowledge Distillation (DKD) as a possible framework for remote sensing scene classification. DKD separates target-class supervision from the broader non-target distribution, producing clearer and more stable gradients. This is particularly advantageous for aerial imagery, where classes frequently overlap in texture, structure, and spatial patterns. Using RegNetY-032 as the teacher, two heterogeneous student models, MobileNetV2 and DeiT-Base Distilled Patch16-384, are evaluated to examine DKD’s effectiveness for both lightweight CNNs and data-efficient Transformers. Experiments are conducted on four benchmark datasets, AID, NWPU-RESISC45, UC Merced, and OPTIMAL-31, selected for their diversity in spatial resolution and scene complexity. Across all datasets, Decoupled Knowledge Distillation consistently improves student performance compared to both standard supervised training and classical, non-decoupled distillation appr