Miglioramento della qualità della valutazione di sicurezza di algoritmi di apprendimento automatico

Abstract

Machine learning è una tecnologia pervasiva utilizzata in vari settori. Essa costituisce uno strumento utile alle aziende e agli ingegneri gestionali, poiché fornisce supporto alle decisioni. Tuttavia, è stato evidenziato anche che gli algoritmi di machine learning risultino deboli di fronte a possibili attacchi. Coerentemente alla normativa europea che si sta sviluppando grazie all’AI act, è necessario, perciò, che si sviluppino strumenti adatti per valutare la bontà e la robustezza dei modelli di machine learning. In particolare, è necessario lo sviluppo di nuovi strumenti che aiutino gli utilizzatori a valutare la sicurezza dei modelli sviluppati con maggiore immediatezza e semplicità. Per rispondere a tale esigenza, risulta efficace integrare strumenti che svolgono valutazioni a livello “quantitativo” con strumenti visivi di valutazione “qualitativa”. In particolare, questa tesi si focalizza sull’integrazione tra lo strumento di valutazione SecML e lo strumento visivo TensorBoard per poter visualizzare l’evoluzione di due specifiche metriche di valutazione. Le due metriche considerate sono la funzione loss di un modello e la norma del gradiente del loss rispetto alla perturbazione del campione input. L’integrazione è stata effettuata grazie alla scrittura di un codice nel linguaggio Python. Per testare tale codice sono stati condotti degli esperimenti considerando due modelli di machine learning, in modo da visualizzare ed analizzare alcuni risultati di esempio.

Machine learning is a pervasive technology used in various fields. It is a useful tool for companies and management engineers, as it provides decision support. However, it has also been highlighted that machine learning algorithms, facing possible attacks, result to be weak. Coherently with the European legislation that is being developed thanks to the AI act, it is therefore necessary that suitable tools are developed, in order to evaluate the effectiveness and the robustness of machine learning models. In particular, it is necessary to develop new tools that help users evaluate the developed models' security with greater immediacy and simplicity. In order to respond to this need, it is effective to integrate tools that carry out “quantitative” evaluations with visual “qualitative” evaluation tools. In particular, this thesis focuses on the integration between the SecML evaluation tool and the TensorBoard visual tool, so that the evolution of two specific evaluation metrics can be visualized. The two considered metrics are the loss function of a model and the gradient norm of the loss with respect to the perturbation of the input sample. The integration was carried out thanks to the writing of a code using the Python language. For the purpose of testing this code, experiments were conducted considering two machine learning models, so that some example results could be visualized and analyzed.