Progettazione e sviluppo di procedure ETL per il monitoraggio di gare d'appalto

Abstract

Questa prova finale si propone di esporre il progetto che ho portato a termine durante il mio tirocinio curricolare presso l’Agenzia Regionale per la Protezione dell’Ambiente Ligure (A.R.P.A.L.) nel Settore ICT e Transizione Digitale. Il progetto nasce come prosecuzione del lavoro portato a termine da Ludovico Pestarino (un altro tirocinante presso A.R.P.A.L.). Durante le prime settimane di attività, ho collaborato con Ludovico Pestarino nell’ambito dello sviluppo e del testing di una libreria Python di funzionalità ETL (Extraction-Transformation- Loading) per l’integrazione di dati esterni all’ente, precedentemente sviluppata da Ludovico. Successivamente sono stato incaricato di progettare un sistema per acquisire da una sorgente esterna all’Agenzia, corrispondente alla banca dati dell’Autorità Nazionale Anticorruzione (A.N.A.C.), i dati relativi alle gare d’appalto indette da A.R.P.A.L.. Tali dati sono stati sottoposti a un processo di formattazione, pulizia e trasformazione al fine di poterli confrontare con dati analoghi già presenti nella base di dati dell’ente. L’obiettivo di questa attività è stato rendere disponibile al settore ICT informazioni in merito alle differenze tra i dati relativi alle gare d’appalto presenti sui dataset del sito dell’A.N.A.C. e quelli presenti nelle basi di dati di A.R.P.A.L.

This final report aims to present the project I completed during my internship at the "Agenzia Regionale per la Protezione dell'Ambiente Ligure" (A.R.P.A.L.), within the ICT and Digital Transition Department.

The project originated as a continuation of the work previously carried out by Ludovico Pestarino (another intern at A.R.P.A.L.).

During the first few weeks of my internship, I collaborated with Ludovico Pestarino on the development and testing of a Python library providing ETL (Extraction-Transformation-Loading) functionalities for the integration of external data into the Agency’s systems. This library had been initially developed by Ludovico.

Subsequently, I was tasked with designing a system to acquire data from an external source — specifically, the database of the National Anti-Corruption Authority (A.N.A.C.) — regarding public tenders issued by A.R.P.A.L. These data underwent a process of formatting, cleaning, and transformation in order to be compared with similar data already present in the Agency's databases. The goal of this activity was to provide the ICT department with information about discrepancies between the tender data available on the A.N.A.C. website and those in A.R.P.A.L.’s internal databases.