Un Framework Centrato sui Fattori Umani per la Valutazione Automatizzata delle Piattaforme Digitali Industriali

Abstract

Le piattaforme digitali devono essere usabili, sicure e conformi (es. GDPR), ma la loro valutazione è solitamente frammentata. Questa tesi indaga la valutazione unificata delle piattaforme, partendo dalla piattaforma SYNERGIES. Sebbene tecnicamente robusta (tempo di risposta 112ms, 3000 utenti simultanei), la sua usabilità era debole (SUS 59.9, NPS -27.7, completamento task 14%). La sua valutazione ha richiesto molteplici strumenti disconnessi e checklist manuali. Per affrontare ciò, ho progettato AUREA (Automated Unified RuntimE Auditor), un framework che controlla le piattaforme web esternamente in una singola sessione del browser. Combina Playwright per la raccolta dati, Python per misurazioni dirette e un modello Llama 3 locale per controlli dipendenti dal contesto. In uno studio pilota, AUREA è stato eseguito 25 volte su PagoPA e Just Eat UK usando richieste innocue. Su 16 indicatori dinamici, PagoPA ne ha superati 10 e Just Eat 9 (il punteggio della dashboard su 21 include 5 costanti di base fisse). Gli audit hanno richiesto 602s e 438s; il 93% del tempo di esecuzione è stato impiegato nella fase di IA generativa. Contributi chiave: (1) una pipeline ibrida che consolida metodi di valutazione frammentati in un'unica sessione esterna, (2) l'integrazione di un LLM locale per fattori dipendenti dal contesto come la trasparenza della privacy, (3) l'esecuzione con successo dello script su due diverse piattaforme senza modifiche al codice e (4) la profilazione delle prestazioni che evidenzia il costo computazionale dell'IA locale. I risultati dimostrano che combinare l'automazione web con l'IA locale offre un percorso praticabile per l'auditing unificato, sebbene limitato dal tempo di esecuzione e dalla natura proxy dei controlli. La tesi si conclude elencando undici limiti di implementazione e raccomandazioni strategiche per lavori futuri, dando priorità alla validazione degli esperti e all'estensione ad aree autenticate.

Digital platforms must be usable, secure, and compliant (e.g., GDPR), but their evaluation is usually fragmented. This thesis investigates unified platform evaluation, starting with the SYNERGIES platform. While technically robust (112 ms response time, 3000 concurrent users), its usability was weak (SUS 59.9, NPS -27.7, 14% task completion). Its evaluation required multiple disconnected tools and manual expert checklists. To address this, I designed AUREA (Automated Unified RuntimE Auditor), a framework auditing web platforms externally in a single browser session. It combines Playwright for data collection, Python for direct measurements, and a local Llama 3 model for context-dependent checks. In a pilot study, AUREA ran 25 times on PagoPA and Just Eat UK using harmless requests. Of 16 dynamic runtime indicators, 10 passed for PagoPA and 9 for Just Eat (the dashboard score out of 21 includes 5 fixed baseline constants). Audits took 602s and 438s respectively; 93% of execution time was spent in the generative AI step. Key contributions: (1) a hybrid pipeline consolidating fragmented evaluation methods into one external session, (2) integrating a local LLM for context-dependent factors like privacy transparency, (3) successfully executing the script across two diverse platforms without code changes, and (4) performance profiling highlighting local AI's computational cost. Results demonstrate combining web automation with local AI offers a viable path for unified auditing, though constrained by execution time and the proxy nature of checks. The thesis concludes by listing eleven implementation limits and strategic recommendations for future work, prioritizing expert validation and extending to authenticated areas.