Aligning Translation-Specific Understanding to General Understanding in Large Language Models

📄 arXiv: 2401.05072v2 📥 PDF

作者: Yichong Huang, Baohang Li, Xiaocheng Feng, Chengpeng Fu, Wenshuai Huo, Ting Liu, Bing Qin

分类: cs.CL

发布日期: 2024-01-10 (更新: 2024-10-21)

备注: EMNLP2024 (Main)

💡 一句话要点

提出DUAT以解决大型语言模型翻译理解不一致问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 翻译理解 DUAT 跨语言解释 机器翻译 理解对齐 翻译质量

📋 核心要点

  1. 现有大型语言模型在翻译复杂概念时，存在翻译特定理解与一般理解的错位，导致翻译质量下降。
  2. 论文提出DUAT方法，通过结合一般理解来指导翻译，特别是对难以翻译的词汇进行跨语言解释。
  3. 实验结果显示，DUAT在高资源和低资源语言对上均显著提高了翻译质量，并减少了字面翻译的比例。

📝 摘要（中文）

大型语言模型（LLMs）在理解复杂文本方面表现出色，为实现类人翻译性能提供了有希望的路径。然而，本研究揭示了LLMs中翻译特定理解与一般理解之间的错位。这种理解错位导致LLMs在翻译一些复杂概念时出现误解或字面翻译。为此，我们提出了一种新颖的翻译过程DUAT（困难词汇理解对齐翻译），明确结合一般理解来指导翻译。DUAT对难以翻译的词汇进行跨语言解释，并增强翻译质量。此外，我们重新构建了外部工具，以提高DUAT在检测困难词汇和生成有用解释方面的能力。实验结果表明，DUAT显著改善了理解对齐，提高了翻译质量（最高提升3.85 COMET），并减少了翻译的字面性（降低25%至51%）。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在翻译复杂概念时的理解错位问题。现有方法在处理翻译特定理解与一般理解时存在显著差距，导致翻译质量下降。

核心思路：DUAT方法通过引入一般理解来指导翻译，特别是针对难以翻译的词汇进行跨语言解释，从而改善翻译的准确性和流畅性。

技术框架：DUAT的整体架构包括两个主要模块：一是检测困难词汇，二是生成相应的跨语言解释。这两个模块协同工作，以增强翻译过程中的理解对齐。

关键创新：DUAT的核心创新在于将一般理解与翻译过程结合，特别是在处理复杂概念时，通过跨语言解释来提升翻译质量。这一方法与传统的翻译方法相比，显著改善了理解的一致性。

关键设计：在DUAT中，关键设计包括对困难词汇的检测算法和生成解释的模型架构，采用了特定的损失函数来优化翻译质量，同时确保生成的解释能够有效辅助翻译过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DUAT在高资源和低资源语言对上的翻译质量显著提高，具体表现为COMET评分提升最高达3.85，同时字面翻译的比例减少了25%至51%。这些结果表明DUAT在改善翻译理解对齐方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器翻译、跨语言信息检索和多语言对话系统等。通过提升翻译质量和理解一致性，DUAT能够为多语言环境中的信息交流提供更为可靠的支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language models (LLMs) have exhibited remarkable abilities in understanding complex texts, offering a promising path towards human-like translation performance. However, this study reveals the misalignment between the translation-specific understanding and the general understanding inside LLMs. This understanding misalignment leads to LLMs mistakenly or literally translating some complicated concepts that they accurately comprehend in the general scenarios (e.g., QA). To align the translation-specific understanding to the general one, we propose a novel translation process, DUAT (Difficult words Understanding Aligned Translation), explicitly incorporating the general understanding on the complicated content incurring inconsistent understanding to guide the translation. Specifically, DUAT performs cross-lingual interpretation for the difficult-to-translate words and enhances the translation with the generated interpretations. Furthermore, we reframe the external tools to improve DUAT in detecting difficult words and generating helpful interpretations. We conduct experiments on the self-constructed benchmark Challenge-WMT, consisting of samples that are prone to mistranslation. Human evaluation results on high-resource and low-resource language pairs indicate that DUAT significantly facilitates the understanding alignment, which improves the translation quality (up to +3.85 COMET) and reduces the literality of the translation by -25% to -51%.