Machine Learning per Predizione con Dati Sequenziali

Abstract

In questo elaborato si affronta il problema della previsione dello stato successivo di un sistema dinamico non lineare a partire da una sequenza ottenuta dalla sua osservazione. A tal fine, viene innanzitutto sviluppato un quadro teorico unificato che mette a confronto due approcci: i processi stazionari e le catene di Markov. L’analisi evidenzia le ipotesi alla base di ciascun approccio—rispettivamente l’invarianza temporale delle proprietà statistiche e l’invarianza delle transizioni tra stati consecutivi—e ne discute le implicazioni per il learning nel caso di sistemi ergodici.

Su queste basi teoriche, la tesi esplora modelli di machine learning specificamente progettati per dati sequenziali, con particolare attenzione alle Reti Neurali Ricorrenti (RNN). Si affronta una nota limitazione delle RNN standard, ovvero la degradazione dell'apprendimento delle dipendenze temporali a lungo termine, proponendo un’architettura modificata che integra skip connection nello strato nascosto.

I principali contributi del lavoro consistono nella derivazione esplicita dell’algoritmo Backpropagation Through Time per l’architettura Res-RNN—una formulazione non ancora presente in letteratura—e in un’analisi comparativa tra i modelli basati su processi stazionari e quelli di tipo markoviano per la previsione di sistemi dinamici, un tema solitamente trattato in modo frammentario. Le considerazioni teoriche e le innovazioni metodologiche proposte sono supportate da simulazioni numeriche che ne confermano la validità.

This thesis addresses the foundational challenge of sequential prediction, where the goal is to predict the next value in a sequence given its history. To tackle this, we first establish a unified theoretical framework by comparing two central paradigms: stationary processes and Markov chains. This work analyzes the assumptions of each approach—time-invariant statistical properties for the first and time-invariant transition between two consecutive states for the latter—and discusses their distinct implications for learnability, in the context of ergodic systems.

Building on this theoretical foundation, the thesis investigates machine learning models tailored for sequential data, namely Recurrent Neural Networks (RNNs). We address a common limitation of standard RNNs, that is performance degradation over long sequences, by integrating skip connections into the recurrent architecture.

The contributions of this work stem from the explicit derivation of the Backpropagation Through Time algorithm for the Res-RNN architecture, a formulation not previously detailed in the literature, as well as a comparative analysis between both the approaches of stationary processes and the Markovian viewpoint in predicting dynamical systems, which is typically only sparsely addressed in existing works. The theoretical discussions and methodological advancements presented are substantiated by numerical simulations.