Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning

📄 arXiv: 2403.14399v1 📥 PDF

作者: Changtong Zan, Liang Ding, Li Shen, Yibing Zhen, Weifeng Liu, Dacheng Tao

分类: cs.CL, cs.AI

发布日期: 2024-03-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出双阶段微调算法以解决低资源语言翻译问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 翻译系统 微调算法 低资源语言 指令跟随能力 不可能损失 翻译质量提升

📋 核心要点

  1. 现有方法未能有效提升LLMs对翻译指令的跟随能力，尤其是语言方向信息的处理。
  2. 本文提出双阶段微调算法，通过最大似然估计损失和额外的不可能损失来增强翻译能力。
  3. 在IWSLT和WMT基准测试中，所提方法在16个零样本方向上显著降低了偏离翻译比例，提升了翻译质量。

📝 摘要（中文）

翻译定制的大型语言模型（LLMs）展现出卓越的翻译能力，甚至与监督训练的商业翻译系统相竞争。然而，针对低资源语言的偏离翻译问题仍未得到解决，限制了基于LLMs的翻译模型的准确性。为缓解这一问题，本文设计了一种双阶段微调算法，旨在提升LLMs的指令跟随能力，尤其是翻译方向的信息。实验结果表明，与竞争基线相比，所提方法有效降低了偏离翻译比例，提升了翻译质量。

🔬 方法详解

问题定义：本文旨在解决低资源语言翻译中的偏离翻译问题。现有方法主要依赖于提示策略和少量示例，但未能有效提升LLMs对翻译指令的理解和执行能力。

核心思路：提出双阶段微调算法，第一阶段通过最大似然估计损失进行基本翻译能力的训练，第二阶段通过构造指令冲突样本并引入不可能损失来强化模型对翻译方向的理解。

技术框架：整体流程分为两个阶段。第一阶段在翻译数据集上进行最大似然估计微调，第二阶段构造错误翻译方向的样本并引入不可能损失进行进一步训练。

关键创新：最重要的创新在于引入了不可能损失，通过学习指令冲突样本来提升模型对翻译方向的敏感性，与现有方法相比，显著增强了模型的指令跟随能力。

关键设计：在损失函数中，结合最大似然估计和不可能损失，确保模型不仅能生成正确翻译，还能避免错误翻译的生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，与竞争基线（翻译微调的LLaMA模型）相比，所提方法有效降低了偏离翻译比例，平均减少53.3%，同时在SacreBLEU和BLEURT指标上分别提升了5.7和16.4，证明了方法的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在低资源语言翻译领域。通过提升LLMs的翻译能力，可以为多语言交流、国际化应用和跨文化沟通提供更为准确的翻译支持，推动全球信息的无障碍传播。

📄 摘要（原文）

Translation-tailored Large language models (LLMs) exhibit remarkable translation capabilities, even competing with supervised-trained commercial translation systems. However, off-target translation remains an unsolved problem, especially for low-resource languages, hindering us from developing accurate LLMs-based translation models. To mitigate the off-target translation problem and enhance the performance of LLMs on translation, recent works have either designed advanced prompting strategies to highlight the functionality of translation instructions or exploited the in-context learning ability of LLMs by feeding few-shot demonstrations. However, these methods essentially do not improve LLM's ability to follow translation instructions, especially the language direction information. In this work, we design a two-stage fine-tuning algorithm to improve the instruction-following ability (especially the translation direction) of LLMs. Specifically, we first tune LLMs with the maximum likelihood estimation loss on the translation dataset to elicit the basic translation capabilities. In the second stage, we construct instruction-conflicting samples by randomly replacing the translation directions with a wrong one within the instruction, and then introduce an extra unlikelihood loss to learn those samples. Experiments on IWSLT and WMT benchmarks upon the LLaMA model spanning 16 zero-shot directions show that, compared to the competitive baseline -- translation-finetuned LLama, our method could effectively reduce the off-target translation ratio (averagely -53.3\%), thus improving translation quality with average +5.7 SacreBLEU and +16.4 BLEURT. Analysis shows that our method could preserve the model's general task performance on AlpacaEval. Code and models will be released at \url{https://github.com/alphadl/LanguageAware_Tuning}.