Apprendimento non supervisionato per il debiasing di modelli per la classificazione di immagini

Abstract

È riconosciuto che le reti neurali possono raggiungere ottime prestazioni quando utilizzate in applicazioni relative alla computer vision, tra cui la classificazione delle immagini, la segmentazione e il rilevamento degli oggetti, per citarne alcune. Tuttavia, le loro prestazioni sono gravemente influenzate dalla presenza di bias nei dati. La presenza di bias nei dati è una sfida critica nell'apprendimento automatico; è attribuita alla dipendenza della rete da fattori confondenti, come correlazioni spurie presenti nei dati, apprese erroneamente. Nella classificazione delle immagini, le reti neurali hanno difficoltà nell'apprendimento di rappresentazioni robuste in presenza di bias nei dati, con una conseguente scarsa generalizzazione per set di dati unbiased. Ad esempio, la classificazione di un pesce potrebbe basarsi sulla presenza del mare blu in cui i pesci sono comunemente raffigurati, piuttosto che sulla struttura e l'aspetto effettivo del pesce. È noto che gli insiemi di dati presentano intrinsecamente del bias, il che rappresenta una sfida significativa per lo sviluppo di modelli equi e imparziali. La nostra metodologia per affrontare questo problema prevede un processo a due fasi: l'amplificazione intenzionale del bias in una rete neurale per identificare i campioni non affetti da bias, attraverso un algoritmo di rilevamento delle anomalie, seguito da una fase di debiasing che si concentra sui campioni identificati nella fase precedente. L'approccio proposto è stato testato su set di dati di riferimento sintetici e reali, per stabilirne l'efficacia e la versatilità. I set di dati sintetici forniscono un ambiente controllato per valutare le prestazioni dell'algoritmo in vari scenari di bias, mentre i set di dati reali offrono una valutazione più complessa della sua applicabilità pratica. Grazie a test rigorosi, il nostro metodo dimostra prestazioni di riduzione del bias competitive, superando approcci esistenti nella mitigazione del bias nelle reti neurali.

It is commonly acknowledged that deep neural networks can reach outstanding performance when used to tackle several computer vision tasks, including image classification, segmentation, and object detection, to name a few. Nonetheless, their performance is severely affected by the presence of bias in the data. Dataset bias is a critical challenge in machine learning; this is attributed to the network’s reliance on confounding factors, such as spurious correlations present in the datasets, learned erroneously. In image classification deep neural networks face challenges in learning robust representations when dataset biases are present, resulting in poor generalization to unbiased datasets. For example, the classification of a fish might be based on the presence of the blue sea in which fish are commonly depicted, rather than the actual structure and appearance of the fish. It is known that datasets inherently carry biases, posing a significant challenge in the development of fair and unbiased models. Our methodology tackling this issue comprises a two-step process: intentionally amplifying bias in a neural network to identify bias-conflicting samples through an anomaly detection algorithm, followed by a debiasing stage that specifically focuses on the samples identified in the previous step. Our proposed approach is tested on both synthetic and real-world benchmark datasets, establishing its efficacy and versatility. Synthetic datasets provide a controlled environment to assess the algorithm’s performance under varying bias scenarios, while real-world datasets offer a more complex evaluation of its practical applicability. Through rigorous testing, our method demonstrates state-of-the-art competitive bias reduction performance, surpassing existing approaches in mitigating bias in deep neural networks.