Guiding Large Language Models to Post-Edit Machine Translation with Error Annotations

📄 arXiv: 2404.07851v2 📥 PDF

作者: Dayeon Ki, Marine Carpuat

分类: cs.CL, cs.AI

发布日期: 2024-04-11 (更新: 2025-09-01)

备注: NAACL 2024 Findings

💡 一句话要点

利用错误注释引导大语言模型进行机器翻译后编辑

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器翻译 大语言模型 后编辑 质量评估 多维质量指标

📋 核心要点

  1. 现有的机器翻译系统在质量上仍存在不足，尤其是在大型语言模型尚未充分应用的情况下。
  2. 本研究提出通过外部反馈引导大型语言模型进行机器翻译的后编辑，结合多维质量指标的注释信息。
  3. 实验结果表明，使用提示策略后编辑机器翻译显著提高了翻译质量，尤其是在TER、BLEU和COMET评分上表现突出。

📝 摘要（中文）

机器翻译（MT）仍然是自然语言处理（NLP）任务中，大型语言模型（LLMs）尚未取代专用监督系统的最后领域之一。本研究利用LLMs和监督MT的互补优势，通过外部反馈（来自多维质量指标（MQM）注释）引导LLMs自动后编辑MT。我们使用LLaMA-2模型，考虑不同的提示策略，并对LLM进行微调，以提高其利用所提供指导的能力。通过对中英、英德和英俄MQM数据的实验，我们证明了提示LLMs进行后编辑可以改善TER、BLEU和COMET分数，尽管细粒度反馈的好处尚不明确。微调有助于更有效地整合细粒度反馈，并进一步提高基于自动和人工评估的翻译质量。

🔬 方法详解

问题定义：本研究旨在解决机器翻译中大型语言模型未能有效替代专用监督系统的问题，尤其是在翻译质量评估和后编辑方面的不足。

核心思路：通过引入外部反馈（MQM注释），引导大型语言模型进行自动后编辑，利用其强大的生成能力来提升翻译质量。

技术框架：整体流程包括数据准备、提示策略设计、模型微调和性能评估。首先，收集带有MQM注释的翻译数据，然后设计不同的提示策略以引导模型，最后对模型进行微调以优化其性能。

关键创新：本研究的创新在于将细粒度的质量反馈与大型语言模型结合，显著提升了机器翻译的后编辑效果，区别于传统的单一监督学习方法。

关键设计：在模型微调过程中，采用特定的损失函数来优化模型对细粒度反馈的响应，同时调整模型的超参数以适应不同语言对的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提示大型语言模型进行后编辑后，TER、BLEU和COMET评分均有显著提升，具体提升幅度在不同语言对中表现出一致性。微调后的模型在整合细粒度反馈方面表现更佳，进一步提升了翻译质量，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括翻译服务、内容本地化和跨语言信息检索等。通过提高机器翻译的质量，能够更好地满足全球化背景下的语言需求，提升用户体验和信息获取效率。未来，该方法还可能扩展到其他自然语言处理任务中，推动相关技术的发展。

📄 摘要（原文）

Machine Translation (MT) remains one of the last NLP tasks where large language models (LLMs) have not yet replaced dedicated supervised systems. This work exploits the complementary strengths of LLMs and supervised MT by guiding LLMs to automatically post-edit MT with external feedback on its quality, derived from Multidimensional Quality Metric (MQM) annotations. Working with LLaMA-2 models, we consider prompting strategies varying the nature of feedback provided and then fine-tune the LLM to improve its ability to exploit the provided guidance. Through experiments on Chinese-English, English-German, and English-Russian MQM data, we demonstrate that prompting LLMs to post-edit MT improves TER, BLEU and COMET scores, although the benefits of fine-grained feedback are not clear. Fine-tuning helps integrate fine-grained feedback more effectively and further improves translation quality based on both automatic and human evaluation.