Studio delle system calls dirette in Windows

Abstract

L'obiettivo di questa tesi è quello di esplorare l'uso (o abuso) delle chiamate di sistema dirette nel sistema operativo Windows, una tecnica sempre più utilizzata dai malware avanzati per eludere i moderni controlli di sicurezza. Questo tipo di chiamate di sistema aggira le API di Windows e accede direttamente ai servizi del kernel, senza passare attraverso gli hook in modalità utente, e può essere sfruttato dai malware per nascondere la propria presenza agli antivirus, agli EDR e ad altri strumenti di sicurezza. La ricerca esplora diversi approcci esistenti, tra cui SysWhispers, Hells Gate e Halos Gate, che risolvono dinamicamente i numeri delle chiamate di sistema ed evitano l'intercettazione delle API. È stato sviluppato uno strumento di analisi dinamica personalizzato, Finder, basato sul framework di strumentazione binaria dinamica Pin di Intel, per rilevare e analizzare i processi che utilizzano chiamate di sistema dirette o indirette. Finder monitora i moduli caricati, enumera le funzioni esportate e traccia il flusso di esecuzione tra thread e processi figli per identificare comportamenti potenzialmente dannosi. La validazione sperimentale viene eseguita su binari proof-of-concept personalizzati e campioni di malware reali, dimostrando la capacità di Finder di scoprire l'utilizzo nascosto delle chiamate di sistema e fornire telemetria dettagliata agli analisti di sicurezza. Questo lavoro contribuisce alla comprensione delle tecniche di evasione e propone metodi pratici per il loro rilevamento.

The goal of this thesis is to explore the (ab)use of direct system calls in the Windows operating system, a technique increasingly leveraged by advanced malware to evade modern security controls. This kind of system calls bypasses Windows APIs and directly accesses kernel services, without passing through user-mode hooks, and can be exploited by malware to hide its presence from antivirus, EDR and other security tools. The research explores several existing approaches — including SysWhispers, Hells Gate, and Halos Gate — that dynamically resolve system call numbers and avoid API interception. A custom dynamic analysis tool, Finder, built on Intel's Pin dynamic binary instrumentation framework, is developed to detect and analyze processes using direct or indirect system calls. Finder monitors loaded modules, enumerates exported functions, and tracks execution flow across threads and child processes to identify potentially malicious behaviors. Experimental validation is performed on custom proof-of-concept binaries and real malware samples, demonstrating Finder's ability to uncover stealthy system call usage and provide detailed telemetry for security analysts. This work contributes to the understanding of evasion techniques and proposes practical methods for their detection.