Kernels per High Performance Distributed Computing

Abstract

Negli ultimi anni, l'ascesa dei metodi kernel è stata notevole nell'ambito dell'apprendimento automatico, in quanto hanno rappresentato un paradigma trasformativo fondamentale per affrontare problemi complessi caratterizzati da relazioni non lineari tra i dati. Tuttavia, quando ci si confronta con insiemi di dati consistenti, spesso dell'ordine di 10^6 campioni, la richiesta di risorse e tempi di esecuzione può porre sfide formidabili.

Per mitigare queste limitazioni intrinseche, una soluzione imperativa consiste nello sfruttare le capacità delle architetture distribuite ad alte prestazioni. Questa tesi si addentra in questo terreno computazionale, prendendo come punto di partenza la libreria Falkon, una robusta piattaforma per i metodi kernel realizzati da MALGA. Ho meticolosamente adattato ed esteso questa implementazione per sfruttare la potenza del calcolo distribuito ad alte prestazioni.

Gli esperimenti condotti rivelano miglioramenti sostanziali, in termini di tempo di esecuzione e di mantenimento della precisione. Questi risultati sottolineano la potenziale efficacia delle tecniche impiegate, dimostrando un significativo passo avanti verso il superamento degli ostacoli computazionali associati ai metodi kernel su grandi insiemi di dati.

In recent years, the ascendancy of kernel methods has been remarkable within the realm of machine learning, serving as a transformative paradigm crucial for addressing complex problems characterized by non-linear data relationships. However, when confronted with substantial datasets, often in the order of 10^6 samples, the demand for resources and execution time can pose formidable challenges.

To mitigate these inherent limitations, an imperative solution lies in harnessing the capabilities of high-performance distributed architectures. This thesis delves into this computational terrain, taking the Falkon library as its starting point—a robust platform for kernel methods crafted by MALGA. I have meticulously adapted and extended this implementation to exploit the power of High Performance Distributed Computing.

The conducted experiments unveil substantial enhancements, in terms of execution time and keeping accuracy stable. These results underscore the potential efficacy of the techniques employed, demonstrating a significant stride towards overcoming the computational hurdles associated with kernel methods on large datasets.