ScenWeave: Generazione Retrieval-Augmented di Scenari CARLA Eseguibili

Abstract

L'addestramento e la validazione di modelli per il riconoscimento di manovre nella guida autonoma richiedono grandi volumi di dati etichettati per eventi statisticamente rari nella guida naturalistica: frenate brusche, tagli di corsia, cambi di corsia improvvisi. Questa tesi presenta ScenWeave, una pipeline end-to-end che trasforma automaticamente dati di guida reali in scenari OpenSCENARIO 1.0 validati ed eseguibili per il simulatore CARLA, eliminando l'ingegnerizzazione manuale tradizionalmente necessaria per tradurre registrazioni grezze in scenari pronti per la simulazione. ScenWeave riceve registrazioni reali dal progetto MOOVE (file JSON per intersezioni urbane, file NumPy per manovre autostradali) e produce file .xosc eseguibili tramite una pipeline a sei stadi: estrazione dei parametri, selezione del punto di spawn, retrieval sul corpus, generazione di codice tramite LLM locale, esecuzione e validazione XSD con auto-correzione deterministica. Il retrieval usa corrispondenza per parole chiave su un corpus di 16 script Python (R@1 = 1,0); un LLM locale (Qwen2.5-Coder-7b, via Ollama) adatta lo script recuperato ai parametri estratti tramite un prompt strutturato e un ciclo di auto-correzione a tre tentativi. Un benchmark su cinque LLM e 11 classi di manovre autostradali mostra che il modello scelto raggiunge il 100% di success rate e first-attempt success, senza allucinazioni. Una run di produzione su 678 scenari reali e 17 classi conferma il 100% di successo, dimostrando che un'architettura RAG ben progettata riduce il divario tra LLM locali e cloud su questo compito, abilitando una generazione offline e rispettosa della privacy, senza perdita di correttezza. La tesi documenta inoltre un database di spawn point per CARLA Town04, verificato manualmente, e una pipeline di canonicalizzazione che unifica i dati urbani e autostradali in uno schema JSON condiviso. Sono discusse le limitazioni e una roadmap verso un sistema di data augmentation a ciclo chiuso.

.Training and validating manoeuvre-recognition models for autonomous driving requires large volumes of labelled data for events that are statistically rare in naturalistic driving: sudden braking, cut-ins, abrupt lane changes. This thesis presents ScenWeave, an end-to-end pipeline that automatically transforms real-world driving data into validated, executable OpenSCENARIO 1.0 scenarios for the CARLA simulator, removing the manual engineering traditionally needed to turn raw recordings into simulation-ready scenarios.ScenWeave ingests real driving records from the MOOVE naturalistic driving project (JSON for urban intersections, NumPy for highway manoeuvres) and produces executable .xosc files through a six-stage pipeline: parameter extraction, spawn point selection, retrieval-augmented corpus matching, local LLM-based code generation, execution, and automated XSD validation with deterministic auto-fix. Retrieval uses deterministic keyword matching over a domain-specific corpus of 16 Python scripts (R@1 = 1.0); a local LLM (Qwen2.5-Coder-7b, via Ollama) adapts the retrieved reference script to the extracted parameters through a structured prompt and a three-attempt self-healing retry loop.A benchmark across five code LLMs on 11 highway manoeuvre classes shows the selected model reaches 100% success and first-attempt success, with zero hallucinations. A production run of 678 real scenarios across 17 manoeuvre classes confirms 100% success, showing that a carefully designed RAG architecture can close the gap between local and cloud LLMs on this task, enabling fully offline, privacy-preserving generation with no measurable loss of correctness.The thesis also documents a verified CARLA Town04 spawn-point database with context-aware scoring, and a canonicalization pipeline unifying urban and highway data into a shared JSON schema. Limitations and a roadmap toward closed-loop data augmentation for manoeuvre recognition are discussed.