Fine-tuning di un piccolo modello linguistico per il metalinguaggio

Abstract

chatbot permettono di risolvere rapidamente problemi ricorrenti, come la gestione dei resi o l’aggiornamento dei dati di un account, contribuendo a ridurre i tempi di attesa e a migliorare complessivamente l’esperienza dell’utente (Adamopoulou & Moussiades, 2020a). Nel contesto della lead generation e della qualificazione dei clienti, essi supportano il processo di vendita attraverso interazioni personalizzate, raccogliendo informazioni importanti e segmentando automaticamente i potenziali clienti in base al loro interesse o alle esigenze manifestate. Per quanto riguarda le vendite e il cross-selling, i chatbot aumentano le probabilità di acquisto suggerendo prodotti o servizi in base ai comportamenti precedenti degli utenti e automatizzano il recupero dei carrelli abbandonati tramite messaggi mirati. Sono anche impiegati come strumenti di supporto interno, agevolando la gestione delle risorse umane e i processi di formazione e onboarding, fornendo risposte immediate su ferie, buste paga e regolamenti aziendali, e facilitando l’accesso a materiali formativi personalizzati. Nel marketing contribuiscono ad automatizzare compiti ripetitivi, come la gestione in tempo reale di campagne personalizzate e la raccolta di dati sul comportamento degli utenti, consentendo di ottimizzare le strategie di comunicazione. Infine, trovano applicazione in settori specifici come la sanità (per prenotazioni e supporto informativo), il turismo (per suggerire itinerari e gestire le prenotazioni) e la finanza (per supportare le operazioni bancarie).

Large Language Model (LLM)-based chatbots are increasingly being adopted in corporate environments for informational and operational support functions. However, significant limitations still persist regarding the accuracy and relevance of the generated responses. The Retrieval-Augmented Generation (RAG) architecture was developed to address these issues by integrating text generation with the dynamic retrieval of information from external sources.

This thesis, developed within the framework of a curricular internship carried out at Rulex, examines the implementation of the Graph Retrieval-Augmented Generation (GRAG) variant, applied to a corporate chatbot designed as an assistant for Rulex Platform. The analysis of the encountered issues revealed a problem in the retrieval phase, attributable to the chatbot’s difficulty in distinguishing semantically similar content associated with different functional components of the platform.

To overcome this limitation, an approach based on a post-retrieval exclusion filter and on document metadata is proposed. This method selects only the chunks corresponding to the context of the user’s query. The effectiveness of the solution was evaluated using the BERTScore metric, applied to a set of test queries, showing complete semantic alignment between the generated responses and the reference answers.

The results confirm that a more intelligent management of the retrieval process leads to a significant improvement in the reliability and precision of LLM-based enterprise chatbots.

This study was conducted at Rulex under the supervision of Claudio Muselli and Francesco Porro.