Progettazione e implementazione di un sistema di guardrail per la protezione delle informazioni personali identificabili nei modelli di intelligenza artificiale generativa

Abstract

La rapida diffusione dei modelli linguistici di grandi dimensioni (Large Language Models, LLM) ha consentito nuove forme di automazione e supporto decisionale, ma ha anche introdotto rischi in settori regolamentati come quello bancario, dove la divulgazione di informazioni di identificazione personale (PII) può avere gravi ripercussioni sia sulle finanze che sulla reputazione. Questa tesi affronta il problema attraverso la progettazione, l'implementazione e la valutazione di un sistema di protezione black-box per mitigare la diffusione delle PII da parte degli LLM. L'architettura proposta, concepita come middleware tra il cliente e il modello, è in grado di analizzare sia i prompt degli utenti che le risposte del modello. Sono state integrate diverse strategie di rilevamento: (i) riconoscitori deterministici; (ii) classificatori zero-shot, in particolare GLiNER; e (iii) modelli NER basati su encoder. Al fine di testare e valutare sistematicamente in scenari bancari realistici, è stato generato un dataset sintetico di 1.000 frasi italiane contenenti PII. Gli esperimenti hanno permesso di confrontare diverse configurazioni e soglie di rilevamento, utilizzando Precision, Recall e F1 come metriche principali. I risultati confermano che le architetture ibride superano gli approcci basati su un unico metodo. La configurazione più efficace, basata sul modello NER combinato con un riconoscitore personalizzato, ha ottenuto i migliori risultati di previsione. In conclusione, questo lavoro dimostra che i sistemi ibridi di protezione possono ridurre efficacemente la fuga di informazioni personali. Tuttavia, permangono alcune limitazioni, quali la dipendenza dai dati sintetici, l'opacità dei modelli e la mancanza di una valutazione multilingue. La soluzione proposta rappresenta una base scalabile e adattabile. I lavori futuri dovrebbero concentrarsi sul miglioramento della robustezza rispetto agli input avversari e sull'integrazione di strumenti di spiegabilità.

The rapid spread of Large Language Models has enabled new forms of automation and decision support, but also introduced risks in regulated sectors such as banking, where the disclosure of personally identifiable information (PII) can severely affect both finances and reputation.

This thesis addresses the problem through the design, implementation, and evaluation of a black-box guardrail system to mitigate the spread of PII by LLMs. The proposed architecture, conceived as middleware between the client and the model, is capable of analysing both user prompts and model responses. Several detection strategies have been integrated: (i) deterministic recognisers; and (ii) zero-shot classifiers, in particular GLiNER; and (iii) NER models based on encoders. In order to systematically test and evaluate in realistic banking scenarios, a synthetic dataset of 1,000 Italian sentences containing PII was generated.

The experiments allowed for the comparison of different configurations and detection thresholds, using Precision, Recall, and F1 as the main metrics. The results confirm that hybrid architectures outperform approaches based on a single method. The most effective configuration, based on the NER model combined with a custom recogniser, achieved the best prediction results.

In conclusion, this work demonstrates that hybrid guardrail systems can effectively reduce PII leakage. However, some limitations remain, such as dependence on synthetic data, the opacity of neural models, and the lack of multilingual evaluation. Nevertheless, the proposed solution represents a scalable and adaptable foundation. Future work should focus on improving robustness to adversarial inputs and integrating explainability tools to align with European regulations.