Hardware-Aware Neural Architecture Search and Low-Bit Quantization for Byte-Level Multilingual News Recommendation on Microcontroller-Class Devices

Abstract

Un sistema di raccomandazione di notizie eseguito sul dispositivo dell’utente può personalizzare il feed senza inviare il comportamento di lettura a un server e continua a funzionare offline. Su un microcontrollore l’ostacolo principale è la tabella di embedding delle parole di un codificatore convenzionale: nel modello di riferimento NRMS addestrato in questa tesi, una tabella GloVe di 34.304 parole contiene 10,29 degli 11,29 milioni di parametri e occupa circa 39 MB, quasi venti volte i 2 MB di flash di un tipico microcontrollore, e ogni lingua aggiuntiva richiede una propria tabella. Questa tesi elimina la tabella leggendo i titoli come byte UTF-8 grezzi, così che ogni lingua condivida gli stessi 256 valori di ingresso. Il codificatore è una piccola rete convoluzionale a livello di byte, selezionata mediante una ricerca evolutiva in tre configurazioni di risorse, distillata da un sentence-transformer multilingue congelato e addestrata sui clic del Microsoft News Dataset (MIND). Su MINDsmall, il codificatore vincolato a otto bit raggiunge un’AUC di 0,614 a circa 204 KB, contro 0,664 di NRMS con GloVe; a piena precisione la distillazione raggiunge 0,629 con 165 volte meno parametri. Un unico insieme di pesi ordina quindici lingue e l’addestramento su clic in lingue miste aumenta l’AUC medio sulle quattordici traduzioni xMIND da 0,557 a 0,589 senza alcuna tabella per lingua. I pesi a otto bit sono il punto di funzionamento raccomandato, mentre i pesi a un bit restano al di sotto di ogni modello a otto bit. Come file a otto bit, il codificatore codifica un titolo in 31,19 ms su una scheda STM32H7B3I-DK entro 142 KB di flash e in 0,53 ms per circa 0,95 mJ su uno smartphone DOOGEE S98Pro. Il suo punteggio di contenuto è ora aggiunto per impostazione predefinita al ranking euristico di FeedWell-Edge 2.1.0, un lettore RSS realizzato durante il tirocinio a partire da FeedWell 1.18.2; in un replay offline di MINDsmall ciò aggiunge 0,024 di AUC, anche se nessun utente lo ha

A news recommender that runs on the reader’s own device can personalise the feed without sending reading behaviour to a server, and it keeps working offline. On a microcontroller the main obstacle is the word-embedding table of a conventional news encoder: in the NRMS reference model trained here, a 34,304-word GloVe table holds 10.29 of 11.29 million parameters and occupies about 39 MB, nearly twenty times the 2 MB of flash on a typical microcontroller, and each further language needs its own table. This thesis removes the table by reading titles as raw UTF-8 bytes, so every language shares the same 256 input values. The encoder is a small byte-level convolutional network, selected by an evolutionary search under three resource settings, distilled from a frozen multilingual sentence-transformer, and trained on Microsoft News Dataset (MIND) clicks. On MINDsmall, the eight-bit constrained encoder reaches an AUC of 0.614 at an estimated 204 KB, against 0.664 for NRMS with GloVe; at full precision distillation reaches 0.629 with 165 times fewer parameters. One set of weights ranks fifteen languages, and training on mixed-language clicks lifts the mean AUC over the fourteen xMIND translations from 0.557 to 0.589 with no per-language table. Eight-bit weights change AUC within the spread over seeds and cut the estimated energy by 3.4 to 9.3 times, and are the recommended operating point, while one-bit weights stay below every eight-bit model even after recovery training. As an eight-bit file the encoder encodes a title in 31.19 ms on an STM32H7B3I-DK board within 142 KB of flash, in 449.64 ms on the smaller NUCLEO-F401RE, and in 0.53 ms for about 0.95 mJ on a DOOGEE S98Pro phone. Its content score is now added by default to the heuristic ranking of FeedWell-Edge 2.1.0, an RSS reader built during the internship on FeedWell 1.18.2; in an offline MINDsmall replay this adds 0.024 AUC, though no user has tried it yet.