Quantificazione del Rischio di Sistemi AI

Abstract

Questa tesi esplora il problema della definizione di una metodologia chiara per la Quantificazione del Rischio di Sistemi AI. Il problema nasce dai modelli attualmente disponibili per la valutazione del rischio, che considerano quasi esclusivamente solo il lato etico e legislativo del rischio di utilizzo dell'AI, mentre la sicurezza del sistema in sé è spesso trascurata ed i pochi tentativi di creare un nuovo paradigma per la valutazione del rischio considerano solo delle tipologie ristrette di sistemi, spesso Large Language Models (LLMs) e sistemi per la classificazione delle immagini. Prendendo ispirazione da un metodo di valutazione del rischio dei software, ampiamente applicabile, in questa tesi è stato sviluppato un nuovo paradigma con l'obiettivo di renderlo applicabile a tutti i casi d'uso che includono l'AI. Questa nuova metodologia è stata applicata per valutare il rischio di un attacco avversariale ottimizzato di manipolazione digitale su un sistema di video sorveglianza usto come esempio ed ottenere una stima del danno monetario dell'attacco stesso. L'applicazione della nuova metodologia di valutazione a sistemi più complessi ed ad attacchi differenti è una promettente prospettiva per sviluppi futuri.

This thesis explores the problem of defining a clear methodology for the Quantification of the Risk of AI Systems. The problem stems from the current available models for risk evaluation, which consider almost only the legislative and ethical side of the risk of AI usage, while the security of the system itself is mostly neglected and the few attempts to create a new paradigm only consider a restricted typology of systems, usually Large Language Models (LLMs) or Image Classification systems. Taking inspiration from a very widely applicable methodology for software risk assessment, in this thesis a new paradigm was developed with the objective of making it applicable to all different use cases that involve AI. The new methodology was then applied to evaluate the risk of a custom optimized digital manipulation adversarial attack on a sample video surveillance system and obtain an estimation of the monetary damage of the considered attack. The application of the new methodology to more complex systems and different attacks is a promising venture for future developments.