Valutazione delle performance di un serious game con strumenti di Data Science

Abstract

L'attività di tirocinio ha avuto come obiettivo lo sviluppo di un prototipo per valutare le performance del giocatore durante una sessione di un serious game, in cui il giocatore assume il ruolo di agente di sicurezza con l'obiettivo di individuare e neutralizzare i terroristi. Il progetto è stato suddiviso in tre parti principali:

- Aumentare il dataset disponibile. Inizialmente, si prevedeva di utilizzare i dati del serious game, ma a causa della loro scarsità, è stato sviluppato un generatore di simulazioni per riprodurre le dinamiche del gioco. Il generatore ha creato dati relativi a entità come terroristi, civili e agenti, con le loro posizioni, stati e azioni nel tempo, inclusi anche le contromisure.

- Implementare un algoritmo per valutare le prestazioni del giocatore. Per la valutazione, è stato scelto un algoritmo di clustering non supervisionato, il K-Means. Per determinare il numero ottimale di cluster, sono stati utilizzati l'Elbow Plot e l'indice di Silhouette, identificando due cluster distinti.

- Distribuire un'API REST per esporre la valutazione a terzi. Invece di un'API REST, è stato implementato uno script che richiede il caricamento di un file JSON e restituisce un report con dati e visualizzazioni.

Il lavoro svolto ha previsto l'utilizzo di Python per la generazione del dataset e lo sviluppo dell'algoritmo, e di TypeScript per la creazione di script di report. Durante lo sviluppo, è stata adottata la metodologia Scrum, con review settimanali del lavoro svolto. Le difficoltà incontrate includono la gestione della non-realisticità dei dati generati sinteticamente e la necessità di una supervisione da parte di esperti di sicurezza per una valutazione più accurata. Il progetto si conclude con la stesura di un documento che descrive i dati utilizzati per la valutazione, l'algoritmo adottato e l'analisi dei risultati.

The aim of the training activity was to develop a prototype to evaluate the player's performance during a session of a serious game, in which the player assumes the role of a security agent with the objective of detecting and neutralising terrorists. The project was divided into three main parts:

- Increasing the available dataset. Initially, it was planned to use data from the serious game, but due to their scarcity, a simulation generator was developed to reproduce the dynamics of the game. The generator created data on entities such as terrorists, civilians and agents, with their positions, states and actions over time, including countermeasures.

- Implement an algorithm to evaluate player performance. For the evaluation, an unsupervised clustering algorithm, K-Means, was chosen. To determine the optimal number of clusters, the Elbow Plot and the Silhouette index were used, identifying two distinct clusters.

- Deploy a REST API to expose the evaluation to third parties. Instead of a REST API, a script was implemented that requests the upload of a JSON file and returns a report with data and visualisations.

The work involved the use of Python for the generation of the dataset and the development of the algorithm, and TypeScript for the creation of report scripts. During development, the Scrum methodology was adopted, with weekly reviews of the work performed. Difficulties encountered included dealing with the non-realistic nature of synthetically generated data and the need for supervision by security experts for more accurate evaluation. The project concludes with the drafting of a document describing the data used for the evaluation, the algorithm adopted and the analysis of the results.