Selezione di modelli statisticamente validi: un'analisi comparativa dei classificatori di apprendimento automatico che utilizzano metodi bayesiani e frequentisti

Abstract

Questa tesi presenta un quadro di valutazione statisticamente robusto per confrontare l’efficacia dei classificatori di machine learning su una raccolta diversificata di 54 dataset reali. Lo studio si concentra su cinque modelli ampiamente utilizzati: Random Forest, Support Vector Machine (SVM), Decision Tree, Bernoulli Naive Bayes e Gaussian Naive Bayes. È stata impiegata una cross-validation ripetuta a 10 fold per garantire stime di performance affidabili, con l’accuratezza di classificazione scelta come metrica principale di valutazione grazie alla sua rilevanza diretta e alla facilità di interpretazione. I risultati dimostrano che Random Forest supera costantemente tutti gli altri classificatori, raggiungendo la massima accuratezza in oltre il 90% dei dataset. Per valutare la significatività statistica delle differenze di performance, lo studio utilizza sia il Null Hypothesis Significance Testing (NHST) sia l’inferenza bayesiana. Mentre l’NHST identifica differenze significative solo in un numero limitato di casi, spesso vincolati alle soglie dei p-value, l’analisi bayesiana fornisce informazioni più ricche stimando le probabilità posteriori che un modello superi un altro. Ciò consente di prendere decisioni più confidenti anche in scenari in cui i test tradizionali non riescono a rifiutare l’ipotesi nulla. Il confronto tra Random Forest e SVM viene analizzato in dettaglio, evidenziando come la struttura ensemble del Random Forest, la maggiore tolleranza al rumore e la minore sensibilità agli iperparametri contribuiscano a prestazioni superiori e più stabili in diversi domini applicativi. L’integrazione di metodologie frequentiste e bayesiane non solo rafforza la validità dei risultati, ma mette anche in evidenza i limiti pratici dell’affidarsi esclusivamente ai p-value nella valutazione dei modelli. Questa ricerca contribuisce con un approccio riproducibile e statisticamente fondato alla valutazione dei classificatori, offrendo linee guida pratiche per la......

This thesis presents a statistically robust evaluation framework for comparing the effectiveness of machine learning classifiers across a diverse collection of 54 real-world datasets. The study focuses on five widely adopted models: Random Forest, Support Vector Machine (SVM), Decision Tree, Bernoulli Naive Bayes, and Gaussian Naive Bayes. Repeated 10-fold cross-validation is used to ensure reliable performance estimates, with classification accuracy selected as the primary evaluation metric due to its direct relevance and interpretability. The results demonstrate that Random Forest consistently outperforms all other classifiers, achieving the highest accuracy in over 90% of the datasets. To assess the statistical significance of performance differences, the study employs both Null Hypothesis Significance Testing (NHST) and Bayesian inference. While NHST identifies significant differences in only a limited subset of cases often constrained by p-value thresholds, Bayesian analysis provides richer insights by estimating posterior probabilities of one model outperforming another. This allows for confident decision-making even in scenarios where traditional tests fail to reject the null hypothesis. The comparative findings between Random Forest and SVM are explored in detail, revealing that RF’s ensemble structure, noise tolerance, and reduced hyperparameter sensitivity contribute to its superior and more stable performance across domains. The integration of both frequentist and Bayesian methodologies not only strengthens the validity of the results but also underscores the practical limitations of relying solely on p-values in model evaluation. This research contributes a reproducible and statistically grounded approach to classifier assessment, offering practical guidance for model selection in applied machine learning. The findings support the broader use of Bayesian frameworks in performance evaluation.