Accessibilità delle immagini Web: sfide e possibili soluzioni tramite LLM

Abstract

Questa tesi di laurea magistrale studia il problema della generazione automatica del testo alternativo per le immagini web per migliorare l'accessibilità degli utenti con disabilità visiva. Analizza alcuni modelli di "image captioning" e la loro applicazioni in contesti d'uso reali. La ricerca si estende valutando le sfide in termini di accessibilità, creando una metrica per valutare l'accuratezza e la contestualità dei Large Language Models a creare alternative text per immagini. Lo studio riportato quindi esplora questo "framework" di valutazione descrivendone la realizzazione e andando a trovare nelle descrizioni generate dimensioni quali correttezza, completezza e utilità. I risultati mostreranno una variazione di performance dei tool analizzati per la generazione automatica e enfatizza la necessità di testo alternativo descrittivo di varia lunghezza a seconda delle esigenze degli utenti. Quindi in questo documento si analizzerà ulteriormente le già esistenti metriche per avere una visione più ampia delle metriche conosciute per l'analisi semantica e le loro varie applicazioni. Integrando i progressi tecnologici fatti da questi modelli e seguendo le pratiche di accessibilità, questo lavoro contribuisce a ridurre il gap informativo che riduce l'inclusività degli utenti con disabilità visiva quand'essi navigano nel World Wide Web.

This Master’s thesis investigates the automation of web images' alternative text generation for improving web accessibility, particularly for visually impaired users. It provides an exploration of the current state of image captioning models, their methodologies, and their application within real-world contexts. The research outlines accessibility challenges in digital environments and introduces a structured method for evaluating the performance of large language models in generating descriptive, accurate, and contextually relevant alternative text. The empirical study employs an evaluation framework, to assess descriptions across dimensions such as correctness, completeness, and usefulness. Results highlight significant variations in the performance of different tools on generating the descriptions and emphasize the need for a different verbosity level needs depending on the user needs. Then this document explores semantic analysis solutions to further illustrate the role of tokenization and categorization in understanding the quality of the descriptions. By integrating technical advancements with accessibility practices, this work contributesto bridge the information gap for visually impaired users and promote inclusivity while using the World Wide Web.