Inclusione di fattori di sicurezza nella distinta di base di un'AI

Abstract

Il 1° agosto 2024 è entrato in vigore l’EU AI ACT, che richiede la certificazione di modelli di Machine Learning utilizzati in ambienti ad alto rischio, accompagnata da una documentazione condivisibile delle componenti interne del prodotto. In questo contesto si inserisce l’AIBoM (Artificial Intelligence Bill of Materials), una documentazione standardizzata e sempre più diffusa per le intelligenze artificiali, che include una lista di sezioni dedicate alla descrizione delle caratteristiche fondamentali di un modello AI. La sua funzione principale è rendere trasparente un sistema AI, consentendone così la perfetta replicabilità, elemento cruciale per il loro sviluppo. Tuttavia, le attuali proposte di AIBoM non contengono sufficienti informazioni relative alle tecniche di analisi di robustezza dei modelli, in particolare riguardo alle correlazioni spurie che vengono apprese dal modello durante il suo addestramento. Proprio per questa ragione, all’interno dell’elaborato è stata affrontata questa mancanza, proponendo l’integrazione di informazioni sulla robustezza alle correlazioni spurie all’interno dell’AIBoM. Sono stati condotti esperimenti attraverso l’implementazione di codici Python per valutare la robustezza del modello YOLO, uno dei principali algoritmi di object detection, rispetto alle correlazioni spurie, utilizzando tecniche di eXplainable AI, in particolare Grad-CAM. Le analisi di robustezza sono state effettuate sul dominio della classe “persona”.

On August 1, 2024, the EU AI Act came into force, mandating the certification of machine learning models used in high-risk environments, along with shareable documentation detailing the internal components of the product. In this context, the Artificial Intelligence Bill of Materials (AIBoM) has emerged as a standardized and increasingly adopted documentation framework for AI systems. It includes a series of sections describing the fundamental characteristics of an AI model. Its primary function is to ensure transparency, thereby enabling full replicability of the system—an essential element for the development and deployment of AI solutions. However, current AIBoM proposals lack sufficient information regarding model robustness analysis techniques, particularly in relation to spurious correlations that may be learned during training. For this reason, this thesis addresses this gap by proposing the integration of information on robustness to spurious correlations within the AIBoM framework. Experiments were conducted through the implementation of Python code to assess the robustness of the YOLO model—one of the most widely used object detection algorithms— against spurious correlations, using eXplainable AI (XAI) techniques, specifically GradCAM. The robustness analyses focused on the "person" class domain.