Navigare nei Mari dell'IA: Distribuzione di Modelli Linguistici Compatti su Computer Edge per Applicazioni Marittime

Abstract

Questa tesi esplora la fattibilità dell'impiego di Small Language Models (SLM) in ambienti con connessione Internet limitata o assente, sfruttando dispositivi edge alimentati da batterie. Sebbene i modelli linguistici di grandi dimensioni (LLM) siano più conosciuti, gli SLM offrono vantaggi significativi in questi scenari, grazie ai loro minori requisiti di risorse. Il caso d'uso di questo studio è la navigazione marittima, dove i marinai possono usare il nostro strumento basato sugli SLM come aiuto digitale per accedere alle indicazioni di navigazione e pianificare le loro rotte. In questo ambiente, l'immediatezza della risposta non è fondamentale, poiché gli utenti hanno tempo sufficiente per interrogare le informazioni durante la navigazione e la pianificazione delle attività, rendendo i dispositivi edge ideali per l'esecuzione di questi modelli. Per migliorare la qualità delle risposte degli SLM, soprattutto in considerazione delle loro conoscenze limitate in contesti marittimi, questo studio adotta la metodologia Retrieval-Augmented Generation (R.A.G.), integrando informazioni esterne provenienti da portolani. Viene presentata un'analisi comparativa per valutare le prestazioni di vari SLM, concentrandosi sulla qualità della risposta, quindi sull'efficacia della componente R.A.G. e sui tempi di inferenza, in particolare su dispositivi edge con una sola CPU. Inoltre, grazie alla ricerca parallela della laureanda Stefania Zanetta, che ha testato gli stessi modelli su sistemi basati su GPU, questa tesi incorpora approfondimenti sulle variazioni di prestazioni tra diverse configurazioni hardware.

This thesis explores the feasibility of employing Small Language Models (SLMs) in environments with limited or no Internet connectivity, leveraging edge devices powered by batteries. While Large Language Models (LLMs) are more widely recognized, SLMs offer significant advantages in such scenarios due to their lower resource requirements. The use case of this study is maritime navigation, where sailors can use our tool based on SLMs as a digital aid to access sailing directions and plan their routes. In this environment, response immediacy is not critical, as users have sufficient time to query information while navigating and planning activities, making edge devices ideal for running these models.\\ To enhance the quality of responses from SLMs, particularly given their constrained knowledge in maritime contexts, this study adopts the Retrieval-Augmented Generation (R.A.G.) methodology, integrating external information from sailing directions. A comparative analysis is presented to evaluate the performance of various SLMs, focusing on response quality, then the effectiveness of the R.A.G. component, and inference times particularly on edge device with only a CPU.\\ Additionally, thanks to the parallel research of BSc Stefania Zanetta, who tested the same models on GPU-based systems, this thesis incorporates insights into performance variations across different hardware setups.