Progettazione e Valutazione di una Piattaforma Dati Innovativa per l'Elaborazione di Dati Ambientali e la Business Intelligence

Abstract

La piattaforma di dati ambientali di Liguria Digitale è basata su uno stack Hadoop che acquisisce, elabora e pubblica gli indicatori della qualità dell’aria. Con la maturazione della piattaforma, questo stack è diventato più difficile da mantenere, ha offerto un supporto limitato per l’evoluzione dello schema e il versionamento dei dataset e ha reso difficile tracciare come venivano prodotte le tabelle curate. Questa tesi progetta, implementa e valuta una moderna soluzione lakehouse sostitutiva, costruita con un object store compatibile con S3, un formato di tabella versionato con un catalogo simile a Git, un motore SQL dedicato e un framework modulare per le trasformazioni, orchestrato secondo una pianificazione. La logica Spark legacy che calcolava gli indicatori giornalieri e annuali della qualità dell’aria è stata reimplementata come un insieme di modelli di trasformazione modulari organizzati nei livelli staging, intermediate e mart, e la piattaforma risultante è stata confrontata con il sistema esistente in termini di architettura, logica di trasformazione, prestazioni, qualità dei dati e governance. La nuova piattaforma riproduce gli stessi risultati degli indicatori della pipeline legacy, rendendo allo stesso tempo la logica di trasformazione molto più facile da leggere e mantenere, e la sua base di tabelle versionate offre un supporto più solido per l’evoluzione dello schema, il versionamento dei dataset e la riproducibilità rispetto alle tabelle originali basate su cartelle. Il confronto è stato effettuato a livello della struttura implementata e non attraverso un benchmark completamente controllato, poiché le due piattaforme non sono state eseguite nelle stesse condizioni, ma i risultati mostrano comunque che la migrazione si basa su solide fondamenta tecniche e forniscono a Liguria Digitale un punto di partenza validato per estendere la stessa architettura ad altri dataset.

Liguria Digitale's environmental data platform is built on a Hadoop-based stack that ingests, processes, and publishes air-quality indicators. As the platform matured, this stack became harder to maintain, offered limited support for schema evolution and dataset versioning, and made it difficult to track how curated tables were produced. This thesis designs, implements, and evaluates a modern lakehouse replacement, built from an S3-compatible object store, a versioned table format with a Git-like catalog, a dedicated SQL engine, and a modular transformation framework, orchestrated on a schedule. The legacy Spark logic that computed daily and annual air-quality indicators was reimplemented as a set of modular transformation models organised into staging, intermediate, and mart layers, and the resulting platform was compared against the existing system across architecture, transformation logic, performance, data quality, and governance. The new platform reproduces the same indicator outputs as the legacy pipeline while making the transformation logic considerably easier to read and maintain, and its versioned table foundation gives it stronger support for schema evolution, dataset versioning, and reproducibility than the original folder-based tables. The comparison was carried out at the level of the implemented structure rather than through a fully controlled benchmark, since the two platforms were not run under identical conditions, but the results still show that the migration rests on solid technical foundations and give Liguria Digitale a validated starting point for extending the same architecture to other datasets.