Risorse concettuali riutilizzabili per sistemi basati su Machine Learning

Abstract

I sistemi basati su Machine Learning uniscono le problematiche tradizionali dell'ingegneria del software a problematiche specifiche dei dati e dei modelli. La conoscenza necessaria ad affrontarle è disponibile sotto forma di risorse concettuali riutilizzabili, quali design pattern, best practice, linee guida, anti-pattern e data smell. Questa conoscenza è dispersa in numerose fonti della letteratura scientifica e grigia, che la presentano con tipi diversi e non coerenti, il che ne rende difficili il reperimento e il riuso.

Questa tesi contribuisce a un catalogo di risorse concettuali riutilizzabili per lo sviluppo di sistemi basati su Machine Learning. Le risorse sono state raccolte dalla letteratura scientifica e grigia e tramite una ricerca assistita da LLM. La loro analisi ha mostrato che la classificazione usata nelle fonti non è stabile: più di un terzo delle risorse ha ricevuto almeno due tipi diversi e sono stati introdotti nuovi tipi specifici del Machine Learning. Il Catalogo classifica quindi le risorse in base al ruolo che svolgono, con cinque generi (Solve, Do, Don't, Consider e Be aware), un template per ciascun genere e tag per le attività supportate e per le qualità influenzate.

La tesi realizza la parte di data engineering del Catalogo, che contiene 47 risorse relative alla qualità, alla preparazione e alla gestione dei dati usati dai sistemi basati su Machine Learning. Progetta inoltre la valutazione di questa parte: sono state definite le dimensioni di valutazione ed è stato preparato un questionario che copre tutte le sue risorse, poi sottoposto a esperti del dominio. L'esecuzione della valutazione ha subito un ritardo ed è stato possibile raccogliere e analizzare soltanto le risposte di un primo ciclo. Esse indicano già che cosa deve essere rivisto, in particolare il grado di obbligo espresso dai generi Do e Don't e il modo in cui le loro risorse sono denominate.

Machine learning-fueled systems combine traditional software engineering concerns with concerns that are specific to data and models. The knowledge needed to address these concerns is available as reusable conceptual resources, such as design patterns, best practices, guidelines, anti-patterns, and data smells. This knowledge is spread over many scientific and grey literature sources, which present it with different and inconsistent types, and this makes it difficult to find and to reuse.

This thesis contributes to a catalog of reusable conceptual resources for the development of ML(AI)-fueled systems. The resources were collected from scientific and grey literature and through an LLM-assisted search. Their analysis showed that the classification used in the sources is not stable: more than one third of the resources received at least two different types, and new types specific to machine learning were introduced. The Catalog therefore classifies the resources according to the role they play, with five kinds (Solve, Do, Don't, Consider, and Be aware), a template for each kind, and tags for the supported activities and the affected qualities.

The thesis compiles the data engineering part of the Catalog, which contains 47 resources concerning the quality, the preparation, and the management of the data used by ML(AI)-fueled systems. It also designs the evaluation of this part: a set of evaluation dimensions and a questionnaire covering all its resources were prepared and submitted to domain experts. The execution of the evaluation was delayed, and only the answers of a first round could be collected and analysed. They already indicate what has to be revised, in particular the obligation expressed by the Do and Don't kinds and the way their resources are named.