Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation

📄 arXiv: 2401.06568v2 📥 PDF

作者: Xu Huang, Zhirui Zhang, Xiang Geng, Yichao Du, Jiajun Chen, Shujian Huang

分类: cs.CL, cs.AI

发布日期: 2024-01-12 (更新: 2024-06-06)

备注: Accepted by ACL2024 Findings

💡 一句话要点

探讨大型语言模型在机器翻译评估中的信息利用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器翻译 评估机制 跨语言能力 实验设计

📋 核心要点

  1. 现有方法在机器翻译评估中未能充分利用源语言信息，导致评估准确性不足。
  2. 论文通过设计控制实验，探讨源信息与参考信息在评估中的作用，揭示LLMs的能力限制。
  3. 实验结果表明，参考信息显著提升评估准确性，而源信息有时反而造成负面影响。

📝 摘要（中文）

本研究探讨了大型语言模型（LLMs）在机器翻译评估任务中如何利用源语言和参考数据，旨在更好地理解其在此任务中卓越表现的机制。我们设计了控制实验，涵盖不同的输入模式和模型类型，并采用粗粒度和细粒度提示，以辨别源信息与参考信息的效用。研究发现，参考信息显著提高了评估准确性，而源信息有时反而适得其反，表明LLMs在评估翻译时未能充分利用跨语言能力。进一步的细粒度评估和微调实验也显示出类似结果。这些发现为LLMs在机器翻译评估任务中充分发挥跨语言能力提供了潜在的研究方向。

🔬 方法详解

问题定义：本研究解决的是大型语言模型在机器翻译评估中如何有效利用源语言和参考数据的问题。现有方法在利用源信息时表现不佳，导致评估结果不够准确。

核心思路：论文的核心思路是通过控制实验，比较源信息和参考信息对评估准确性的影响，揭示LLMs在跨语言能力上的不足。

技术框架：整体架构包括实验设计、数据收集和分析三个主要模块。实验设计涵盖不同输入模式和模型类型，数据收集则包括粗粒度和细粒度提示的应用。

关键创新：最重要的技术创新点在于通过系统的实验设计，首次揭示了源信息在某些情况下对评估的负面影响，这与现有方法的假设形成鲜明对比。

关键设计：实验中采用了多种输入模式和模型类型，细粒度提示用于深入分析源信息与参考信息的效用，确保实验结果的可靠性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，参考信息在评估准确性上提升了显著的性能，而源信息在某些情况下则导致评估结果下降。这一发现为LLMs在机器翻译评估中的应用提供了新的视角，强调了跨语言能力的进一步研究必要性。

🎯 应用场景

该研究的潜在应用领域包括机器翻译系统的评估和优化，尤其是在多语言环境下的翻译质量控制。通过更好地理解LLMs的评估机制，可以为未来的翻译技术发展提供指导，提升翻译系统的整体性能和用户体验。

📄 摘要（原文）

This study investigates how Large Language Models (LLMs) leverage source and reference data in machine translation evaluation task, aiming to better understand the mechanisms behind their remarkable performance in this task. We design the controlled experiments across various input modes and model types, and employ both coarse-grained and fine-grained prompts to discern the utility of source versus reference information. We find that reference information significantly enhances the evaluation accuracy, while surprisingly, source information sometimes is counterproductive, indicating LLMs' inability to fully leverage the cross-lingual capability when evaluating translations. Further analysis of the fine-grained evaluation and fine-tuning experiments show similar results. These findings also suggest a potential research direction for LLMs that fully exploits the cross-lingual capability of LLMs to achieve better performance in machine translation evaluation tasks.