Metodi di campionamento e popolazioni sintetiche generate tramite LLM: un'analisi comparativa dell'informazione quantificata

Abstract

La tesi confronta il campionamento statistico con la generazione di popolazioni sintetiche tramite Large Language Models (LLM), per stabilire quando e perché un approccio risulti preferibile all'altro. Il campionamento probabilistico offre garanzie teoriche consolidate, ma incontra limiti strutturali: costo per unità, difficoltà di ricostruire distribuzioni congiunte ad alta dimensionalità e impossibilità di simulare scenari controfattuali. Gli LLM offrono un'alternativa, ma introducono bias sistematici. La popolazione sintetica è formalizzata come vettore di k attributi demografici. Il confronto si basa sulla teoria dell'informazione: l'errore di simulazione Ek = D(P||Qk), divergenza di Kullback-Leibler tra la distribuzione di riferimento P e quella sintetica Qk, e la soglia critica k*, definita come il minimo numero di attributi per cui l'errore resta sotto la tolleranza. La regola della catena scompone l'errore, isolando il contributo del modello. Il caso di studio è il progetto SEAGUL, in collaborazione tra Università e Comune di Genova: 564 332 abitanti, 71 quartieri e 9 municipi. Si confrontano il population mapper, che campiona dalle marginali reali senza LLM, la generazione condizionata, in cui il modello completa il profilo con la nazionalità, e la generazione libera del LLM. I risultati mostrano k* = L1 per tutti i quartieri: con età e sesso campionati dai dati reali, la divergenza media (0.0138) è comparabile per ordine di grandezza all'errore campionario di un campione casuale semplice di 500 unità (0.0137). L'aggiunta della nazionalità generata dal LLM porta la divergenza a 1.514, contro 0.083 del braccio di controllo: il contributo del modello è circa 18 volte l'errore campionario, con un bias di +0.709 sulla quota di stranieri. In presenza di ground truth censuario il mapper è l'approccio ottimale in questo caso; gli LLM restano utili come complemento, per attributi assenti dai dati e per scenari controfattuali.

This thesis compares statistical sampling with the generation of synthetic populations through Large Language Models (LLMs), to determine when and why one approach is preferable to the other. Probability sampling offers well-established theoretical guarantees but faces structural limitations: cost per unit, difficulty in reconstructing high-dimensional joint distributions, and the inability to simulate counterfactual scenarios. LLMs offer an alternative but introduce systematic biases. The synthetic population is formalised as a vector of k demographic attributes. The comparison is grounded in information theory: the simulation error Ek = D(P||Qk), the Kullback-Leibler divergence between the reference distribution P and the synthetic distribution Qk, and the critical threshold k*, defined as the minimum number of attributes for which the error stays below the tolerance. The chain rule decomposes the error, isolating the model's contribution. The case study is the SEAGUL project, a collaboration between the University and the Municipality of Genoa: 564,332 inhabitants, 71 neighbourhoods and 9 municipal districts. Three approaches are compared: the population mapper, which samples from real marginals without an LLM; conditional generation, in which the model completes the profile with nationality; and free LLM generation. Results show k* = L1 for all neighbourhoods: with age and sex sampled from real data, the mean divergence (0.0138) is comparable in order of magnitude to the sampling error of a simple random sample of 500 units (0.0137). Adding LLM-generated nationality raises the divergence to 1.514, against 0.083 for the control arm: the model's contribution is about 18 times the sampling error, with a bias of +0.709 in the share of foreign residents. Where census ground truth is available, the mapper is the optimal approach in this case; LLMs remain useful as a complement, for attributes absent from the data and for counterfactual scenarios.