⁠Analisi Comparativa di Approcci Basati su AI per lo Sviluppo di Web Test Suites E2E: Sviluppo Manuale, ChatGPT, Github Copilot

Abstract

Questa ricerca confronta quattro approcci di implementazione per test automatizzati su applicazioni web: scrittura manuale, utilizzo di ChatGPT "Lite" e "Max", e GitHub Copilot. Sono state analizzate otto applicazioni rappresentative di scenari eterogenei, sviluppando per ciascuna venti scenari di test in formato Gherkin. L’approccio manuale, basato su una completa scrittura e revisione manuale del codice, ha evidenziato complessità legate alla ripetitività e gestione dei locator. ChatGPT "Lite", limitato a un singolo prompt, ha semplificato la generazione iniziale di codice ma ha richiesto significative correzioni manuali, mentre ChatGPT "Max", con iterazioni multiple, ha migliorato l’efficacia tramite raffinamenti progressivi. GitHub Copilot, integrato nell’IDE, ha offerto suggerimenti contestuali e una generazione automatizzata più fluida, riducendo il carico manuale. I tempi di sviluppo sono stati misurati e confrontati, rivelando che gli strumenti basati sull’intelligenza artificiale, sebbene utili per scenari semplici, mostrano limitazioni con requisiti complessi. I risultati forniscono indicazioni pratiche per selezionare l’approccio più adatto in base al contesto applicativo e alla complessità dei test.

This research compares four implementation approaches for automated testing of web applications: manual coding, the use of ChatGPT "Lite" and "Max," and GitHub Copilot. Eight applications representing diverse scenarios were analyzed, with twenty test scenarios in Gherkin format developed for each.

The manual approach, involving complete manual coding and review, highlighted challenges related to code repetitiveness and locator management. ChatGPT "Lite," limited to a single prompt, simplified initial code generation but required significant manual corrections, while ChatGPT "Max," utilizing multiple iterations, improved efficiency through progressive refinements. GitHub Copilot, integrated into the IDE, provided contextual suggestions and smoother automated code generation, reducing the manual workload.

Development times were measured and compared, revealing that AI-based tools, while beneficial for simple scenarios, exhibit limitations when handling complex requirements. The findings offer practical insights for choosing the most suitable approach based on the application context and test complexity.