ChatGPT può ottenere una laurea triennale in informatica?

Abstract

La valutazione delle prestazioni dei Large Language Model (LLM), come i Generative Pre-trained Transformers (GPT), nel settore dell'istruzione sta diventando sempre più importante. Molti studi ne hanno esaminato le prestazioni in contesti accademici; tuttavia, nessun esperimento ha mai verificato se un LLM potesse superare tutti gli esami reali previsti da un piano di studi, con esami valutati dai docenti dei corsi. L'obiettivo di questa tesi è fornire una valutazione equa e accurata delle prestazioni del GPT-4 quando valutato come se si trattasse di uno studente universitario. Il GPT-4 è stato valutato utilizzando esami di 20 corsi e un esame finale del corso di laurea triennale in Informatica dell'Università di Genova. Gli esami sono stati presentati nella loro lingua originale, l'italiano, dal candidato, che non parla italiano ed è in possesso di una laurea triennale in Informatica in persiano. Questa mancanza di familiarità sia con la lingua che con i formati d'esame ha garantito che gli esperimenti fossero condotti in modo obiettivo e privo di pregiudizi. Gli insegnamenti selezionati, insieme all'esame finale, ammontano a un totale di 180 crediti e corrispondono a un piano di studi che può essere seguito dagli studenti iscritti al corso di laurea triennale in Informatica dell'Università di Genova. In conformità con le norme che la classe di laurea triennale in Informatica deve rispettare (Riforma D.M. 270/2004 che ha istituito la classe di laurea L-31), questo piano di studi copre un'ampia gamma di argomenti, tra cui programmazione, informatica teorica e matematica. Gli esperimenti hanno seguito un approccio agnostico rispetto all'esame per fornire a GPT-4 le domande reali. Gli esperimenti indicano che, al momento, GPT-4 non sarebbe in grado di ottenere una laurea triennale senza suggerimenti ad hoc e informazioni aggiuntive specifiche del dominio. Ha superato 11 esami su 20, ottenendo una media ponderata di 24,29 su 30 tra gli esami superati.

Evaluating the performance of Large Language Models (LLMs), such as Generative Pre trained Transformers (GPTs), in the education sector is becoming increasingly important. Many studies have examined their performance in academic settings; however, no experiments have ever tested whether an LLM could pass all real exams foreseen by a real study plan, with exams graded by the teachers of the courses. The goal of this thesis is to provide a fair and accurate assessment of GPT-4 performance when evaluated as if it were a university student. GPT-4 was evaluated using exams from 20 courses and a final exam in the University of Genova’s Bachelor of Computer Science program. The exams were submitted in their original language, Italian, by the candidate, who does not speak Italian and holds a Computer Science bachelor’s degree in Persian. This lack of familiarity with both the language and the exam formats ensured that the experiments were conducted objectively, free from biases. The selected courses, along with the final exam, comprise a total of 180 credits and correspond to an actual study plan that may be undertaken by students enrolled in the Bachelor’s degree program in Computer Science at the University of Genova. According to the rules that the computer science bachelor’s degree class must obey (‘Riforma D.M. 270/2004’ that created the L-31 degree class), this study plan covers a wide range of topics, including programming, theoretical computer science, and mathematics. The experiments followed an exam-agnostic approach to provide GPT-4 with the real exam questions. The experiments indicate that, at the time being, GPT-4 would not be able to obtain a bachelor’s degree without ad-hoc prompting and additional domain-dependent information. It passed 11 out of 20 courses, achieving a weighted average grade of 24.29 out of 30 within the passed courses. A deep analysis of the results offers insights that support instructors in re-designing their exams and course content