Studio Empirico sull'Uso dei Large Language Models per l'Analisi delle Differenze HTML e l'Evoluzione dei Test di Applicazioni Web

Abstract

This thesis evaluates the effectiveness of Large Language Models (LLMs) in supporting two software development tasks: semantic comparison between web page versions and the updating of Selenium-based test suites, as the rapid evolution of web applications has made maintaining end-to-end (E2E) tests one of the most expensive activities, where even a simple change to the HTML structure can invalidate a test. The study is divided into two experiments on the Joomla CMS: the first evaluates the ability of LLMs to identify visual differences between HTML pages (comparing an obsolete version with an updated one), while the second tackles a more operational scenario, assessing the LLM's ability to repair a test suite that is no longer working due to a software version upgrade (in this case, from Joomla 3.1 to Joomla 4.2). In conclusion, the thesis highlights how LLMs currently represent a valuable co-pilot to accelerate diagnosis and targeted test correction, while also showing that human supervision remains currently indispensable.

Questa tesi valuta l'efficacia dei Large Language Model (LLM) nel supportare due attività di sviluppo software: il confronto semantico tra versioni di pagine web e l'aggiornamento di suite di test basate su Selenium, poichè la rapida evoluzione delle applicazioni web ha reso la manutenzione dei test end-to-end (E2E) una delle attività più costose, dove anche una semplice modifica della struttura HTML può invalidare un test. Lo studio si articola in due esperimenti sul CMS Joomla: il primo valuta la capacità degli LLM di individuare le differenze visive tra pagine HTML (una versione obsoleta con una aggiornata); mentre il secondo affronta uno scenario più operativo, dove viene valutata la capacità dell'LLM di riparare una test suite non più funzionante a causa di un aggiornamento di versione del software (in questo caso da JOOMLA 3.1 a JOOMLA 4.2). In conclusione, la tesi evidenzia come gli LLM rappresentino oggi un valido co-pilota per accelerare la diagnosi e la correzione mirata dei test, ma anche che la supervisione umana rimane attualmente indispensabile.