Analisi di applicazioni innovative basate su Large Language Models.

Abstract

Negli ultimi anni si è assistito a un forte incremento dell'uso delle reti neurali nell'elaborazione del linguaggio naturale. I sistemi tradizionali, basati su regole e metodi statistici, sono stati sempre più sostituiti da queste nuove tecnologie. In particolare, una nuova architettura, nota come Transformer, ha rivoluzionato il modo in cui le macchine possono gestire e comprendere il linguaggio umano, consentendo miglioramenti sostanziali in compiti quali la generazione di testo, la traduzione automatica e la classificazione del sentimento di un testo. Questa ricerca si concentra sull'applicazione dei Large Language Models (LLMs) in aree in cui il loro uso è ancora emergente, come prompt recovery e l'analisi finanziaria dei bilanci. In prompt recovery, l'obiettivo è quello di recuperare il prompt originale utilizzato per generare una determinata risposta. Nell'analisi dei bilanci, l'obiettivo è prevedere se un'azienda si troverà in difficoltà finanziaria in futuro, esaminando i suoi bilanci. La soluzione che proponiamo si differenzia da quelle più tradizionali, poiché ci concentriamo soprattutto sul testo dei bilanci, piuttosto che sui valori numerici. Nel corso di questa ricerca, abbiamo testato diversi modelli e tecniche, fornendo una valutazione completa delle loro prestazioni. La mia ricerca è stata condotta presso l'azienda Rulex AI, sotto la supervisione di Damiano Verda, responsabile del Dipartimento di Data Science, e del mio coordinatore, il Prof. Luca Oneto.

Recent years have seen a dramatic increase in the use of neural networks in natural language processing. Traditional rule-based systems and statistical methods, which have been dominant for decades, have increasingly been replaced by neural network approaches. In particular a new architecture, known as Transformer has revolutionized the way machines can handle and understand human language, allowing for substantial improvements in tasks such as text generation, machine translation and sentiment analysis. This research focuses on the application of open-source Large Language Models (LLMs) in areas where their use is still emerging, such as prompt recovery and financial statement analysis. In prompt recovery, the goal is to reverse-engineer the original prompt that was used to generate a given answer. In financial statement analysis, the goal is to predict whether a company will face financial difficulties in the future by looking at its financial statements. The solution we propose differs from more traditional ones since we focus on text rather than just on numerical features. Throughout this research, we have tested different LLM models and techniques, providing a comprehensive evaluation of their performance. My research was conducted at Rulex AI, under the supervision of Damiano Verda, Head of the Data Science Department, and my coordinator, Prof. Luca Oneto.