Large Language Models per la scansione di App Android

Abstract

Gli scanner dinamici per applicazioni sono uno degli strumenti utilizzati nei test black box, poiché esplorano l'applicazione, rilevandone vulnerabilità e bug in modo automatizzato. Uno dei principali difetti degli scanner dinamici è la loro incapacità di scoprire stati più profondi, stati che richiedono numerose interazioni precise per essere raggiunti, lasciando inosservati potenziali problemi di sicurezza e bug. Nel corso degli anni sono state proposte numerose strategie per risolvere questo problema, ma ad oggi nessuna si è posizionata come la migliore. Negli ultimi anni, i large language models sono notevolmente migliorati; questo ha portato alla creazione di agenti LLM, che hanno reso possibile l'automazione di flussi di lavoro e scenari complessi. Nel mondo web, è stato sviluppato il primo scanner dinamico automatizzato per applicazioni black box che utilizza agenti LLM, YuraScanner. Il nostro lavoro si è concentrato sullo sviluppo di uno strumento simile a YuraScanner, llmscanner, con più funzionalità e adattato all'ecosistema Android, che presenta molte differenze sostanziali rispetto all'ecosistema web. Nel nostro lavoro dimostriamo che i modelli proprietari superano di gran lunga i modelli open source in termini di accuratezza per questo compito e che il nostro strumento può coprire un'ampia gamma di applicazioni diverse in modo esaustivo.

Dynamic application scanners are one of the tools used in black box testing as they explore the application, detecting vulnerabilities and bugs in an automated way. One of the main shortcomings of dynamic application scanners is their inability to discover deeper states, states that need many precise interactions to be reached, leaving potential security issues and bugs undetected. Many different strategies have been proposed over the years to solve this problem, but to date, no one has positioned itself as the best one. During recent years, large language models have vastly improved; this has brought the creation of LLMs agents, which made it possible to automate complex workflows and scenarios. In the web world, the first automated dynamic black box application scanner using LLMs agents, YuraScanner, has been developed. Our work focused on developing a tool similar to YuraScanner, llmscanner, with more functionalities and adapted for the Android ecosystem, which has many substantial differences from the web ecosystem. In our work, we show that proprietary models greatly outmatch open source models in terms of accuracy for this task and that our tool can cover a large range of different applications at an exhaustive level.