Analisi semi-automatica assistita da ML delle registrazioni di riunioni audio/video

Abstract

Abstract:

È diventato sempre più necessario analizzare i dati audio e video generati durante le riunioni virtuali e di persona per prendere decisioni consapevoli. La maggior parte della ricerca esistente in questo campo si è concentrata su attività indipendenti come la trascrizione dell'audio, l'identificazione del relatore e la sintesi delle riunioni. Il nostro approccio, tuttavia, mira a combinare tutti questi elementi in un sistema unificato che può essere utilizzato per la trascrizione e la sintesi in tempo reale, consentendo una comprensione più approfondita delle dinamiche delle riunioni. A differenza delle soluzioni esistenti che si concentrano su attività indipendenti, il nostro approccio mira a offrire un'interfaccia semi-automatica che consente l'input dell'utente per la convalida e il perfezionamento, con conseguente maggiore precisione.

Utilizzando tecniche avanzate di apprendimento automatico, intendiamo proporre un sistema di analisi semi-automatico assistito dall'apprendimento automatico per le registrazioni audio e video delle riunioni. Grazie all'integrazione del riconoscimento vocale, dell'analisi video e della diarizzazione del relatore, questo sistema sarà in grado di trascrivere e riassumere in tempo reale. Rispetto alle tecnologie esistenti, questo sistema rappresenta un significativo progresso nell'elaborazione efficiente dei dati delle riunioni, fornendo informazioni accurate e fruibili. In sintesi, il progetto mira a sviluppare una soluzione completa e incentrata sull'utente che combina l'apprendimento automatico all'avanguardia con funzionalità pratiche che coinvolgono l'uomo, consentendo alle organizzazioni non solo di automatizzare l'analisi delle registrazioni delle riunioni, ma anche di adattare l'output per soddisfare le proprie esigenze specifiche con il minimo sforzo.

Abstract:

It has become increasingly necessary to analyze the audio and video data generated at virtual and in-person meetings in order to make well-informed choices. Most of the existing research in this field has concentrated on independent tasks such as transcription of audio, speaker identification, and meeting summarization. Our approach, however, seeks to combine all of these elements into a unified system that can be used for real-time transcription, and summarization, allowing for a richer understanding of meeting dynamics. As opposed to existing solutions that concentrate on independent tasks, our approach aims to offer a semi- automated interface that allows user input for validation and refinement, resulting in greater accuracy.

Using advanced machine learning techniques, we aim to propose a machine learning-assisted semi-automated analysis system for audio and video recordings of meetings. As a result of the integration of speech recognition, video analysis, and speaker diarization, this system will be able to transcribe and summarize in real time. In comparison with existing technologies, this system represents a significant advancement in the efficient processing of meeting data, providing both accurate and actionable insights. To summarize, the project aims to develop a comprehensive, user-centered solution that combines cutting-edge machine learning with practical, human-in-the-loop features, allowing organizations not only to automate meeting recording analysis, but also to adjust the output to meet their specific requirements with minimal efforts.