Applicazione dei Large Language Models nel Software Testing: generazione automatica di asserzioni in casi di test Selenium End to End

Abstract

La rivoluzione dell’intelligenza artificiale sta trasformando tutti i ruoli legati all’IT, incluso quello del software testing. I Large Language Models (LLMs) e chatbot come ChatGPT, Gemini e Claude stanno sostituendo alcune attività chiave nel campo del testing. In questo elaborato, il modello GPT5-mini, utilizzato tramite GitHub Copilot integrato in Visual Studio Code, viene impiegato per generare automaticamente asserzioni in tre applicazioni, considerando tre diversi contesti. Gli strumenti utilizzati per l’esperimento sono: Selenium Framework, JUnit, Visual Studio Code, GitHub Copilot e Docker. Le tre applicazioni analizzate sono: Spring Petclinic, Kanboard e Prestashop. I tre contesti considerati sono: - test suite "senza commenti": non fornisce informazioni aggiuntive oltre al codice e includono solo un commento del tipo “Insert here a JUnit 5 assertion”; - test suite "con commenti": vengono forniti commenti utili alla generazione delle asserzioni per migliorare l'efficacia della generazione - test suite "con commenti e codice sorgente": oltre ai commenti viene fornito anche il codice sorgente dell'applicazione. I risultati mostrano che un contesto più ricco di informazioni migliora la qualità delle asserzioni generate, riducendo il numero di output errati o poco coerenti. Inoltre, la complessità del dominio applicativo influisce significativamente sulle prestazioni del modello, rendendo la generazione di asserzioni corrette ed efficaci più difficile in scenari complessi. Nel complesso, questo lavoro evidenzia l’importanza del contesto e della complessità del dominio nell’applicazione degli LLM al software testing.

The AI revolution is changing all the roles that are related to IT, including the software testing. Large Language Models (LLMs) and chatbot like ChatGPT, Gemini or Claude are replacing some key tasks in the testing field. In this report LLM GPT5-mini used by Github Copilot integrated in Visual Studio Code is prompted to generate assertions in 3 application, with three different contexts. The tools used for this experiment are: Selenium Framework, JUnit assertions, Visual Studio Code, Github Copilot and Docker. The three applications are: Spring Petclinic, Kanboard and Prestashop. The three contexts are: - the test suite "without comments" does not provide any additional information rather than the code itself and to generate the needed assertions a comment "Insert here a JUnit 5 assertion"; - the test suite "with comments" helps the chatbot to generate better assertions providing useful comments alongside with the code - the test suite "with comments and source code" providing Copilot the comments and the source code of the application. The results show that providing richer contextual information improves the quality of the generated assertions, reducing the number of incorrect or ineffective outputs. Additionally, the complexity of the application domain significantly affects the model’s performance, making assertion generation more challenging in complex scenarios. Overall, this work highlights the importance of context and domain complexity when applying LLMs to software testing tasks.