An alternative and efficient method for Symbolic Regression

Abstract

La Regressione Simbolica (RS) è una tecnica di Machina Learning che trova espressioni matematiche direttamente dai dati, senza assumere alcuna forma funzionale predefinita. A differenza dei modelli black-box, la regressione simbolica produce equazioni interpretabili che possono essere direttamente correlate alla legge sottostante, rendendola particolarmente utile in ambiti scientifici come la fisica. Tuttavia, la maggior parte dei metodi di Regressione Simbolica allo stato dell'arte si basa su algoritmi evolutivi, che possono essere computazionalmente costosi e non deterministici. Questa tesi propone un approccio alternativo alla Regressione Simbolica, basato sull'espansione delle features e sulla regressione lineare iterativa. Il metodo genera un ampio insieme di feature matematiche candidate a partire dalle variabili di ingresso originali, e costruisce progressivamente un'espressione simbolica selezionando e combinando i termini più rilevanti attraverso una sequenza di passi di regressione lineare, in modo additivo o moltiplicativo. L'espressione risultante viene quindi semplificata per produrre una formula compatta e interpretabile. Il metodo proposto viene confrontato con PySR su dataset del benchmark SRSD-Feynman, una raccolta di leggi fisiche derivate dalle Lezioni di Fisica di Feynman, utilizzando come metriche di valutazione il coefficiente di determinazione R², l'Errore Assoluto Medio (MAE) e il tempo di esecuzione. I risultati mostrano un'accuratezza comparabile tra i due metodi, con il metodo proposto che ottiene un MAE medio inferiore e un tempo di esecuzione significativamente minore. Questi risultati suggeriscono che il metodo proposto rappresenta un'alternativa controllabile e leggera ai metodi evolutivi di Regressione Simbolica.

Symbolic Regression (SR) is a machine learning technique that discovers mathematical expressions directly from data, without assuming any functional form. Unlike black-box models, SR produces interpretable equations that can be directly related to the underlying law being studied, making it particularly valuable in scientific domains such as physics. However, most state-of-the-art SR methods rely on evolutionary algorithms, which can be computationally expensive and non-deterministic.

This thesis proposes an alternative approach to SR, based on feature expansion and iterative linear regression. The method generates a large set of candidate mathematical features from the original input variables, and progressively builds a symbolic expression by selecting and combining the most relevant terms through a sequence of linear regression steps, either in additive or multiplicative way. The resulting expression is then simplified to produce a compact and interpretable formula.

The proposed method is compared against PySR running on datasets from the SRSD-Feynman benchmark, a collection of physical laws derived from the Feynman Lectures on Physics, using R^2, Mean Absolute Error (MAE), and execution time as evaluation metrics. Results show comparable accuracy between the two methods, with the proposed method achieving a lower average MAE and shorter execution time. These results suggest that the proposed method is a controllable and lightweight alternative to evolutionary Symbolic Regression.