Valutazione della qualità della traduzione automatica: metodi automatici e manuali.

Abstract

Si discute l’importanza della valutazione della traduzione automatica e dei diversi approcci che si possono seguire. Negli ultimi anni, il settore delle traduzioni automatiche ha fatto notevoli progressi grazie all'avanzamento delle tecnologie di apprendimento automatico e di intelligenza artificiale. È importante valutare i motori di traduzione automatica attraverso metriche automatiche e revisioni umane per garantire l'affidabilità e l'accuratezza delle traduzioni. Attraverso la valutazione è possibile identificare le difficoltà che incontrano i sistemi automatici e i domini che necessitano miglioramenti. Vengono approfondite le metriche manuali e automatiche e il loro approccio combinato. Mentre le metriche automatiche forniscono una valutazione rapida e quantificabile, le revisioni umane sono in grado di cogliere le sfumature linguistiche e culturali e di valutarne l'adeguatezza. La presenza di più esperti linguistici nella valutazione manuale richiede però una misura affidabile e riproducibile dell'accordo tra di loro per garantire la coerenza delle valutazioni. Si riportano i coefficienti come il Kappa di Cohen e il Kappa di Fleiss per valutare l'accordo tra i valutatori. L'impiego del framework MQM consente un'analisi dettagliata e multidimensionale delle traduzioni considerando una vasta gamma di fattori che contribuiscono alla qualità di una traduzione. Le metriche vengono utilizzate come meccanismo di monitoraggio, consentendo la valutazione delle performance dei motori di traduzione nel tempo al fine di garantire che siano sempre allineati con gli standard di qualità richiesti. Si evidenzia inoltre che non esiste un unico motore di traduzione migliore, ma che a seconda delle coppie di lingue e del dominio relativo alla traduzione, possono esistere motori più adeguati. Infine si riportano delle analisi che ho svolto riguardanti lo stato attuale delle traduzioni nel settore legale, da cui risulta la necessità di effettuare miglioramenti nel dominio.

The importance of evaluating machine translation and various approaches that can be followed are discussed. In recent years, the field of machine translation has made significant strides due to advancements in machine learning and artificial intelligence technologies. It is crucial to assess machine translation engines through both automatic metrics and human reviews to ensure the reliability and accuracy of translations. Evaluation helps identify challenges faced by automatic systems and domains that require improvement. Manual and automatic metrics are explored, emphasizing their combined approach. While automatic metrics provide a quick and quantifiable assessment, human reviews capture linguistic and cultural nuances, evaluating appropriateness. However, the presence of multiple linguistic experts in manual evaluation requires a reliable and reproducible measure of agreement, ensuring consistency in assessments. Coefficients such as Cohen's Kappa and Fleiss's Kappa are reported to evaluate agreement among evaluators. The use of the MQM framework allows a detailed, multidimensional analysis of translations, considering a wide range of factors contributing to translation quality. Metrics serve as a monitoring mechanism, enabling the assessment of translation engine performance over time to ensure alignment with required quality standards. It is emphasized that there is no single best translation engine; suitability depends on language pairs and the translation domain. Finally, analyses of the current state of translations in the legal sector are presented, indicating the need for improvements in this domain.