Intelligenza artificiale a supporto del testing automatico: l’uso di ChatGPT nella creazione di script di test per il testing end-to-end

Abstract

Il testing automatico aiuta a velocizzare l’esecuzione della fase di testing e di conseguenza l’immissione nel mercato del prodotto finale. In questo studio si analizza se sia possibile ottimizzare ulteriormente i tempi dedicati allo sviluppo di test automatici nell’ambito del testing end-to-end attraverso l’assistenza di chat bot di intelligenza artificiale. Servendosi di alcune applicazioni web come oggetto del testing, sono stati sviluppati ed eseguiti script di test basati su scenari Gherkin. Sono state messe a confronto due modalità di sviluppo: sviluppo manuale e sviluppo supportato da IA utilizzando il chat bot ChatGPT. Per entrambe le modalità è stato cronometrato e annotato il tempo impiegato per ottenere un codice funzionante e di qualità soddisfacente. Al fine di garantire che i test fossero comparabili, durante l’interpretazione dei risultati ottenuti si è tenuta in considerazione la lunghezza degli scenari Gherkin per ogni caso di test. Attraverso l’analisi statistica si è constatato che lo sviluppo di script di test supportato dall’intelligenza artificiale permette di risparmiare tempo in modo significativo rispetto alla modalità manuale. Inoltre, quest’ultima risulta avere un andamento più imprevedibile, data la maggiore dispersione dei dati.

Automated testing helps speed up the execution of the testing phase and consequently the time to market of the final product. In this study, we analyze whether it is possible to further optimize the time devoted to the development of automated testing within the scope of end-to-end testing through the assistance of artificial intelligence chat bots. Using some web applications as the object of testing, test scripts based on Gherkin scenarios were developed and executed. Two development procedures were compared: manual development and AI-supported development using the chat bot ChatGPT. Both procedures were clocked and the time to obtain a working code of acceptable quality was written down. In order to ensure that the tests were comparable, during the interpretation of the results, the length of the Gherkin scenarios for each test case was taken into account. Through a statistical analysis, it was found that the development of test scripts supported by artificial intelligence saves significant time compared to the manual procedure. In addition, the latter is found to have a more unpredictable performance, given the greater data dispersion.