Improving Video Understanding in Large Language Models through Cognitive Inspired Event Segmentation

Abstract

I recenti progressi dei Large Language Models (LLM) hanno migliorato la loro capacità di comprendere e analizzare diversi tipi di contenuti. Tuttavia, la comprensione dei video rimane una sfida a causa della complessità delle informazioni visive e della loro evoluzione nel tempo. Il modo in cui queste informazioni vengono organizzate prima di essere elaborate da un LLM può influenzarne la comprensione.

Questo studio analizza come diverse strategie di segmentazione video influenzino la comprensione dei contenuti video da parte di ChatGPT, con particolare attenzione alla segmentazione semantica. È stato sviluppato un approccio basato su cinque criteri: oggetto principale, soggetto principale, interazione tra personaggi, azione principale e luogo. Un nuovo segmento inizia quando si verifica un cambiamento significativo in almeno uno di questi criteri. Sono stati analizzati 30 video in quattro condizioni: video completo, segmentazione casuale, segmentazione a intervalli fissi e segmentazione semantica. Per ogni video, dieci domande hanno valutato la comprensione di ChatGPT. Tre esperti hanno valutato indipendentemente le risposte utilizzando una scala a cinque punti.

I risultati mostrano che la strategia di segmentazione influenza la comprensione dei video da parte di ChatGPT. La segmentazione semantica ha ottenuto le migliori prestazioni complessive tra le quattro condizioni. Questi risultati suggeriscono che suddividere i video in corrispondenza di cambiamenti significativi nel contenuto visivo può migliorare la comprensione di ChatGPT e contribuire allo sviluppo di futuri sistemi di elaborazione video basati su LLM.

Recent advances in Large Language Models (LLMs) have improved their ability to understand and reason over different types of content. However, video understanding remains challenging because video information is complex and unfolds over time. How this information is structured before being processed by an LLM may influence its comprehension.

This study investigates how different video segmentation strategies affect ChatGPT's understanding of video content, with particular emphasis on Semantic Segmentation. A content-based segmentation approach was developed using five criteria: primary object, primary subject, character interaction, main action, and location. A new segment begins when a meaningful change occurs in at least one criterion. Thirty videos were evaluated under four conditions: Full Video, Random Segmentation, Fixed Segmentation, and Semantic Segmentation. For each video, ten content-related questions were used to assess ChatGPT's comprehension. Three human experts independently evaluated the answers using a five-point scoring scale.

The results show that the segmentation strategy influences ChatGPT's video comprehension. Semantic Segmentation achieved the highest overall performance among the four conditions. These findings suggest that dividing videos at meaningful changes in visual content can improve ChatGPT's understanding and may inform future LLM video-processing pipelines.