Reti Neurali: introduzione ai concetti elementari

Abstract

Seguendo il libro “Pattern Recognition and Machine Learning” (Bishop, 2006), con questa tesi vogliamo introdurre i concetti elementari della rete neurale intesa come modello per il riconoscimento dei pattern. In particolare, ci specializzeremo al caso delle reti neurali ad architettura feed-forward per la risoluzione dei problemi di regressione e classificazione nel contesto dell'apprendimento supervisionato. Per prima cosa, presenteremo una forma funzionale del modello, soffermandoci sugli elementi principali che lo compongono e alcune sue proprietà. Successivamente, impareremo ad allenare la rete nel contesto della massima verosimiglianza, con una particolare attenzione alla scelta della funzione di errore per i problemi di nostro interesse e la tecnica della backpropagation per il calcolo delle derivate. Infine, concluderemo la trattazione applicando i risultati ottenuti per rendere il modello invariante rispetto ad alcune trasformazioni dei dati.

Following the book "Pattern Recognition and Machine Learning" (Bishop, 2006), with this graduation thesis we want to introduce the elementary concepts of the neural network as a model for pattern recognition. In particular, we will specialize in the case of feed-forward neural networks for regression and classification problems in the context of supervised learning. First, we will present a functional form of the model, focusing on its main elements and some of its properties. Subsequently, we will learn how to train the network within a maximum likelihood framework, with particular attention to the choice of the error function and the backpropagation technique for the computation of the derivatives. Finally, we conclude the discussion by applying the obtained results to make the model invariant under some data transformations.