Esplorare Neural Architecture Search su Reti Neurali Binari per Applicazioni di Edge Computing

Abstract

Questa tesi presenta un'indagine completa sulle metodologie NAS per le BNN, con applicazioni specifiche al rilevamento di persone utilizzando il set di dati WakeVision in ambienti di edge computing. Attraverso un tirocinio di ricerca di sei mesi, abbiamo sviluppato e implementato una pipeline NAS-BNN hardware-aware che affronta i limiti critici degli approcci esistenti: progettazione di architetture non ottimali per modelli binari, strategie di addestramento inefficienti e sfide di implementazione per piattaforme con risorse limitate. La nostra metodologia comprende l'addestramento delle superreti, la ricerca evolutiva con ottimizzazione del fronte di Pareto e la valutazione completa del modello. La pipeline è stata convalidata sul set di dati WakeVision contenente 500.000 campioni, raggiungendo un'accuratezza dell'88,81% e mantenendo l'efficienza computazionale con solo 3,8-6,2 milioni di operazioni per inferenza. I contributi chiave includono: sviluppo di una pipeline NAS multi-dataset che supporta WakeVision, CIFAR-10 e ImageNet, implementazione di strategie di ricerca hardware-aware ottimizzate per l'implementazione edge, valutazione sperimentale completa con test di significatività statistica e pipeline completa di esportazione del modello con supporto ONNX per scenari di implementazione pratici. I risultati dimostrano che l'intersezione della ricerca NAS e BNN, se applicata a set di dati realistici come WakeVision, produce architetture che raggiungono un'accuratezza competitiva con guadagni sostanziali nella compressione del modello e nell'efficienza computazionale. La tesi fornisce linee guida dettagliate per l'implementazione tecnica, protocolli di formazione e strategie di implementazione, concludendo con raccomandazioni per gli sviluppi futuri di NAS incentrati sui dati, apprendimento di trasferimento tra domini e sistemi di intelligenza artificiale integrati consapevoli dell'equità.

This thesis presents a comprehensive investigation into NAS methodologies for BNNs, with specific application to person detection using the WakeVision dataset in edge computing environments. Through a six-month research internship, we developed and implemented a hardware-aware NAS-BNN pipeline that addresses critical limitations in existing approaches: suboptimal architecture design for binarized models, inefficient training strategies, and deployment challenges for resource-constrained platforms. Our methodology encompasses supernet training, evolutionary search with Pareto front optimization, and comprehensive model evaluation. The pipeline was validated on the WakeVision dataset containing 500,000 samples, achieving 88.81% accuracy while maintaining computational efficiency with only 3.8M-6.2M operations per inference. This represents a 1.13% improvement over baseline architectures and demonstrates significant computational savings compared to full-precision networks. Key contributions include: (1) development of a multi-dataset NAS pipeline supporting WakeVision, CIFAR-10, and ImageNet, (2) implementation of hardware-aware search strategies optimized for edge deployment, (3) comprehensive experimental evaluation with statistical significance testing, and (4) complete model export pipeline with ONNX support for practical deployment scenarios. The results demonstrate that the intersection of NAS and BNN research, when applied to realistic datasets like WakeVision, yields architectures that achieve competitive accuracy with substantial gains in model compression and computational efficiency. The thesis provides detailed technical implementation guidelines, training protocols, and deployment strategies, concluding with recommendations for future developments in data-centric NAS, cross-domain transfer learning, and fairness-aware embedded AI systems.