XAI applicata alla Cybersecurity

Abstract

L'integrazione dell'apprendimento automatico nelle applicazioni di cybersecurity offre soluzioni innovative per l'identificazione e la mitigazione delle minacce. Tuttavia, la natura opaca di molti modelli di machine learning rappresenta una sfida significativa, in particolare in ambiti critici come la cybersecurity, dove comprendere le decisioni del modello è essenziale per garantire fiducia e affidabilità. Questa tesi esplora l'applicazione delle tecniche di Explainable Artificial Intelligence (XAI), in particolare SHAP (SHapley Additive exPlanations) e LIME (Local Interpretable Model-agnostic Explanations), per migliorare l'interpretabilità dei modelli di apprendimento automatico utilizzati per compiti di cybersecurity. La ricerca si concentra su tre ambiti principali: il rilevamento di canali nascosti nel traffico DNS utilizzando SVM a una classe, la valutazione della reputazione dei domini tramite modelli Random Forest e l'identificazione di tentativi di phishing con modelli SVM. Attraverso l'applicazione delle tecniche XAI, questo studio convalida le previsioni dei modelli rispetto alle conoscenze del dominio specifico, identifica i contributi significativi delle feature sulla previsioe e valuta la stabilità delle spiegazioni tra diverse tecniche. Inoltre, analizza i compromessi tra interpretabilità e prestazioni dei modelli, utilizzando le informazioni estratte per correggere errori, migliorare i modelli e generare “esempi avversari” per testarne la robustezza. I risultati dimostrano che i metodi XAI offrono informazioni fondamentali sul processo decisionale dei modelli, migliorando la fiducia e la trasparenza nelle applicazioni di cybersecurity. Tuttavia, sfide come la collinearità delle feature, la stabilità delle spiegazioni e le limitazioni di implementazione in diversi ambienti di programmazione evidenziano la complessità dell'adozione pratica delle tecniche XAI. Questo lavoro contribuisce al campo in crescita dell'intelligenza artificiale spiegabile forn

The integration of machine learning into cybersecurity applications offers innovative solutions for identifying and mitigating threats. However, the opaque nature of many machine learning models poses significant challenges, particularly in high-stakes domains like cybersecurity, where understanding model decisions is crucial for trust and reliability. This thesis explores the application of explainable artificial intelligence (XAI) techniques—specifically SHAP (SHapley Additive exPlanations) and LIME (Local Interpretable Model-agnostic Explanations)—to enhance the interpretability of machine learning models used for cybersecurity tasks.

The research focuses on three core areas: detecting DNS covert channels using one-class SVMs, evaluating domain reputations through Random Forest models, and identifying phishing attempts with SVMs. Through the application of XAI, this study validates model predictions against domain expertise, identifies meaningful feature contributions, and evaluates the stability of explanations across techniques. Moreover, it investigates the trade-offs between model interpretability and performance, using insights to debug and improve models and to generate adversarial examples that test model robustness.

The findings demonstrate that XAI methods provide critical insights into model decision-making, enhancing trust and transparency in cybersecurity applications. However, challenges such as feature co-linearity, explanation stability, and implementation limitations in different programming environments underscore the complexity of deploying XAI in practical scenarios. This work contributes to the growing field of explainable AI by providing a framework for its application in cybersecurity, fostering both improved model performance and interpretability.