Modelli linguistici di grandi dimensioni per il supporto all'apprendimento nel contesto universitario

Abstract

L'obiettivo dell'elaborato è portare, con l'uso del prompt design, un modello linguistico di grandi dimensioni a fornire soluzione corrette con spiegazioni accurate per gli esercizi dell’insegnamento di 'Reti Logiche' e, così facendo, offrire supporto alla didattica. Il modello in analisi, Gemini 1.5 Pro, è multimodale, nonché uno dei più avanzati attualmente esistenti. L'interazione con il modello avviene in Vertex AI Workbench, ambiente di sviluppo basato su Jupyter notebook offerto da Google Cloud. Per ciascun esercizio dei sedici analizzati, lo studio sperimenta nove prompt in due lingue (italiano e inglese) e valuta i rispettivi risultati. La struttura delle nove richieste differisce per la presenza di esempi o per combinazioni diverse di fonti contestuali (video, libri, etc.), diversificazione ottenuta anche mediante tecniche più elaborate e innovative come la RAG. La difficoltà nel gestire i 288 prompt risultanti è mitigata da una architettura degli stessi modulare. Le valutazioni delle repliche del modello sono riportate in una tabella, la quale rivela che meno del 9% delle soluzioni raggiunge il giudizio massimo. Le risposte, infatti, sono mediamente insufficienti. In ultimo, le modalità di prompting con votazioni migliori sono: il prompt con RAG (recupero diretto) e video soluzione in inglese; il prompt con esempi, libro di testo e video soluzione e il prompt con RAG (recupero diretto) e video soluzione in italiano.

The aim of this paper is to use prompt design to guide a large language model towards providing correct solutions with accurate explanations for the exercises in the course 'Reti Logiche', thereby offering support to the teaching process.

The model under analysis, Gemini 1.5 Pro, is multimodal and one of the most advanced models currently available. Interaction with the model takes place in Vertex AI Workbench, a development environment based on Jupyter notebook offered by Google Cloud. For each of the sixteen exercises analyzed, the study experiments with nine prompts in two languages (Italian and English) and evaluates their respective results. The structure of the nine requests varies based on the inclusion of examples or different combinations of contextual sources (videos, books, etc.), with further diversification achieved through more advanced and innovative techniques such as RAG. The challenge of managing the 288 resulting prompts is mitigated by a modular architecture.

The evaluations of the model's outputs are presented in a table, which shows that less than 9% of the solutions achieve the highest rating. On average, the responses are insufficient.

Finally, the best-performing prompting methods are: the prompt with RAG (direct retrieval) and video solution in English; the prompt with examples, textbook, and video solution and the prompt with RAG (direct retrieval) and video solution in Italian.