Modelli di riconoscimento delle immagini robusti con Multi-Modal Large Language Models

Abstract

Gli esempi avversari rappresentano una minaccia significativa per la robustezza delle reti neurali profonde (DNN). Questa tesi di laurea magistrale ha l'obiettivo di rafforzare le DNN contro gli attacchi avversari integrando modelli linguistici visivi multimodali a zero-shot. La domanda centrale è se modelli come CLIP possano migliorare la robustezza delle DNN contro gli esempi avversari, migliorando la loro comprensione semantica. Integriamo modelli multimodali a zero-shot sulle DNN e asteniamo prudentemente dalla classificazione quando emergono incoerenze. Inoltre, esploriamo le interazioni con attaccanti adattivi e sfruttiamo l'apprendimento few-shot per aumentare la resilienza del modello CLIP. Questa tesi di laurea magistrale mira a ridurre il tasso di successo degli attacchi grazie alla sinergia tra DNN e difese multimodali, stabilendo una barriera più alta contro gli avversari che tentano di sfruttare le vulnerabilità. Inoltre, approfondiamo la dinamica dell'adattabilità dell'attaccante in risposta a questa difesa, nonché l'adattabilità della difesa a strategie di attacco in evoluzione. Infine, immaginiamo una potenziale estensione sotto forma di una strategia gerarchica di astensione. Discernendo cambiamenti tra classi con rilevanza semantica variabile, proponiamo un approccio innovativo di regolazione della classificazione. Questo coinvolge transizioni di classe in cui una minima divergenza semantica potrebbe innescare la classificazione, mentre transizioni significative richiederebbero l'astensione. Questo concetto contribuisce a un meccanismo di difesa più sfumato e ha il potenziale di rimodellare il panorama degli attacchi avversari.

Adversarial examples pose a significant threat to the robustness of deep neural networks (DNNs). This MS thesis aims to fortify DNNs against adversarial attacks by integrating zero-shot multi-modal visual language models. The central question is whether models like CLIP can enhance DNN robustness against adversarial examples by improving their semantic understanding. We integrate zero-shot multi-modal models onto DNNs and judiciously abstain from classification when inconsistencies arise. Additionally, we explore interactions with adaptive attackers and leverage few-shot learning to enhance the resilience of the CLIP model. This MS thesis aims to reduce the attack success rate for attackers due to the synergy between DNNs and multi-modal defenses, establishing a heightened barrier against adversaries attempting to exploit vulnerabilities. Furthermore, we delve into the dynamics of attacker adaptability in response to this defense, as well as the adaptability of the defense to evolving attack strategies. Finally, we envision a potential extension in the form of a hierarchical abstention strategy. By discerning shifts between classes with varying semantic relevance, we propose an innovative classification adjustment approach. This involves class transitions where minimal semantic divergence could trigger classification, while significant transitions necessitate abstention. This concept contributes to a more nuanced defense mechanism and has the potential to reshape the landscape of adversarial attacks.