Categorizzazione automatica degli errori SQL

Abstract

Questa tesi presenta SQLMentor, uno strumento innovativo e indipendente dal DBMS per la classificazione automatica degli errori SQL, che fornisce un feedback dettagliato e pedagogicamente rilevante. SQLMentor utilizza una pipeline di analisi statica basata su regole che non esegue query, consentendo una tassonomia in quattro parti degli errori di sintassi, semantica, logica e complicazione. Questo approccio consente un’elevata precisione nell’identificazione degli errori grammaticali e strutturali, offrendo un feedback automatico coerente e superando i limiti del feedback tradizionale dei DBMS.

Nell’analisi comparativa, SQLMentor supera attualmente alcuni importanti modelli linguistici di grandi dimensioni in questo compito, pur evidenziando le inevitabili limitazioni di un sistema statico basato su regole. A differenza dei metodi basati su modelli linguistici, che comprendono l’intento della query tramite linguaggio naturale, SQLMentor non coglie le sottili sfumature logiche.

La tesi propone infine un modello ibrido, in cui un nucleo basato su regole per errori inequivocabili è supportato da componenti di apprendimento automatico per individuare problemi logici dipendenti dal contesto. L’unione tra accuratezza dell’analisi statica e capacità interpretative dei modelli di apprendimento permetterebbe un sistema più avanzato di feedback sugli errori SQL.

This thesis presents SQLMentor, an innovative tool that is independent of DBMS and is designed for the automated classification of SQL errors that provides detailed, pedagogically relevant feedback. SQLMentor is equipped with a sequential, rule-based static analysis pipeline that does not execute a query, thus enabling a comprehensive four-part taxonomy of Syntax, Semantics, Logic, and Complication errors. This systematic approach allows achieving high accuracy in the identification of grammatically and structurally defined errors, while providing consistent automatic feedback, addressing limitations of traditional DBMS feedback.

In comparative analysis, SQLMentor currently outperforms some prominent large language model in this particular task. Yet, this comparison also brings to light the unavoidable restrictions of a fully rule-based, static system. Unlike language-model-based methods, which take advantage of natural language descriptions to understand the query intent, SQLMentor’s static analysis is not equipped with the capability to capture the subtle logical nuances.

Consequently, the thesis proposes a future hybrid system model where a strictly rule-based core for unambiguous errors is supported by machine learning components for discovering context-dependent logical issues. The combination of a rule-based and static analysis accuracy with the interpretative skills of learning models would enable a more advanced system of SQL error feedback.