Mostra i principali dati dell'item

dc.contributor.advisorVilla, Silvia <1977>
dc.contributor.authorFresu, Mirko <2003>
dc.date.accessioned2026-11-19T14:25:58Z
dc.date.available2026-11-19T14:25:58Z
dc.date.issued2026-11-16
dc.identifier.urihttps://unire.unige.it/handle/123456789/17851
dc.description.abstractLa teoria classica della discesa del gradiente garantisce la decrescita monotona della funzione obiettivo quando la sharpness, cioè il massimo autovalore della matrice Hessiana, resta al di sotto della soglia 2/η, dove η è il passo di apprendimento. Le osservazioni sperimentali di Cohen et al. mostrano che nell’addestramento delle reti neurali questa condizione viene sistematicamente violata. La sharpness cresce fino a raggiungere 2/η e poi vi oscilla attorno, mentre la funzione obiettivo continua a diminuire in modo non monotono. Questo regime è noto come Edge of Stability. La tesi presenta e analizza due contributi recenti che ne danno una spiegazione teorica. Il primo è il principio di auto-stabilizzazione di Damian et al., secondo cui le oscillazioni lungo la direzione instabile, attraverso il termine di terzo ordine dello sviluppo di Taylor, riportano la sharpness sotto la soglia. Il meccanismo viene studiato su un modello giocattolo cubico, in cui lo sviluppo è esatto. Si individuano le quattro fasi del ciclo e si mostra che la dinamica limite ammette un integrale primo, da cui seguono orbite chiuse attorno a un equilibrio e stime esplicite sull’ampiezza delle oscillazioni e sullo scarto della sharpness dalla soglia. Il secondo contributo è Edge Flow, il modello in tempo continuo proposto da Marion, che descrive l’intera traiettoria con tre equazioni differenziali per il centro, la direzione e l’ampiezza delle oscillazioni. Si ricavano le equazioni, se ne dimostra la buona posizione e si mostra che l’auto-stabilizzazione emerge dall’accoppiamento tra centro e ampiezza, riconducendosi allo stesso sistema del modello giocattolo. Infine si confronta la sua discretizzazione, Edge Gradient Descent, con la discesa del gradiente sul modello giocattolo, dove le due dinamiche risultano discretizzazioni dello stesso sistema continuo, e su reti neurali.it_IT
dc.description.abstractClassical theory of gradient descent guarantees a monotone decrease of the objective function when the sharpness, i.e. the largest eigenvalue of the Hessian, stays below the threshold 2/η, where η is the learning rate. The experiments of Cohen et al. show that this condition is systematically violated when training neural networks. The sharpness grows until it reaches 2/η and then oscillates around it, while the objective keeps decreasing non-monotonically. This regime is known as the Edge of Stability. This thesis presents and analyzes two recent contributions that give a theoretical explanation of the phenomenon. The first is the self-stabilization principle of Damian et al., by which the oscillations along the unstable direction, through the third-order term of the Taylor expansion, bring the sharpness back below the threshold. The mechanism is studied on a cubic toy model, where the expansion is exact. We identify the four phases of the cycle and show that the limiting dynamics admits a first integral, which yields closed orbits around an equilibrium and explicit bounds on the oscillation amplitude and on the deviation of the sharpness from the threshold. The second contribution is Edge Flow, the continuous-time model proposed by Marion, which describes the whole trajectory through three differential equations for the center, the direction and the amplitude of the oscillations. We derive the equations, prove that the system is well posed and show that self-stabilization emerges from the coupling between center and amplitude, reducing to the same system as the toy model. Finally we compare its discretization, Edge Gradient Descent, with gradient descent on the toy model, where both dynamics are discretizations of the same continuous system, and on neural networks.en_UK
dc.language.isoit
dc.rightsinfo:eu-repo/semantics/restrictedAccess
dc.titleAuto-stabilizzazione della Discesa del Gradiente all’Edge of Stabilityit_IT
dc.title.alternativeSelf-Stabilization of Gradient Descent at the Edge of Stabilityen_UK
dc.typeinfo:eu-repo/semantics/bachelorThesis
dc.subject.miurMAT/09 - RICERCA OPERATIVA
dc.publisher.nameUniversità degli studi di Genova
dc.date.academicyear2025/2026
dc.description.corsolaurea8760 - MATEMATICA
dc.description.area7 - SCIENZE MAT.FIS.NAT.
dc.description.department100021 - DIPARTIMENTO DI MATEMATICA


Files in questo item

Questo item appare nelle seguenti collezioni

Mostra i principali dati dell'item