MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation

📄 arXiv: 2403.09522v2 📥 PDF

作者: Jiahuan Li, Shanbo Cheng, Shujian Huang, Jiajun Chen

分类: cs.CL

发布日期: 2024-03-14 (更新: 2024-04-01)

备注: Accepted to NAACL-2024 main conference

💡 一句话要点

提出MT-PATCHER以解决大语言模型知识蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 机器翻译 大语言模型 错误识别 上下文合成 模型优化 深度学习

📋 核心要点

  1. 现有的知识蒸馏方法未考虑学生和教师模型的能力，导致重复教授已学知识，无法适应新情境。
  2. MT-Patcher框架通过选择性地识别和纠正学生模型的翻译错误，利用LLM的强大语言能力进行知识转移。
  3. 实验结果显示，微调学生模型在10%示例上可达到与传统方法相当的效果，且在未见情境下表现更佳。

📝 摘要（中文）

大语言模型（LLM）在机器翻译领域展现出强大的能力，但其高计算成本和延迟问题亟待解决。将LLM的翻译知识转移到中型机器翻译模型是一个有前景的研究方向。传统的知识蒸馏方法未能考虑学生和教师模型的能力，导致重复教授已学知识，无法扩展到新情境和知识。本文提出的MT-Patcher框架以选择性、全面和主动的方式从LLM向现有MT模型转移知识，专注于识别和纠正学生模型的翻译错误，而非整体蒸馏。实验结果表明，在约10%的示例上微调学生模型可实现与传统知识蒸馏方法相当的效果，并且合成的潜在错误和多样化情境进一步提升了在未见情境和词汇上的翻译性能。

🔬 方法详解

问题定义：本文旨在解决从大型语言模型（LLM）向中型机器翻译模型的知识转移问题。现有方法未能有效利用学生和教师模型的能力，导致知识蒸馏效率低下，无法适应新情境。

核心思路：MT-Patcher框架的核心在于选择性地识别学生模型的翻译错误，而不是全面蒸馏教师模型的知识。通过这种方式，能够更有效地利用LLM的强大语言能力，合成多样化的上下文并预测潜在错误。

技术框架：MT-Patcher的整体架构包括三个主要模块：错误识别模块、知识转移模块和上下文合成模块。错误识别模块负责检测学生模型的翻译错误，知识转移模块则将LLM的知识应用于这些错误的修正，而上下文合成模块则生成多样化的上下文以增强模型的适应性。

关键创新：MT-Patcher的创新在于其选择性知识蒸馏策略，能够根据学生模型的当前能力进行针对性教学。这一方法与传统的知识蒸馏方法本质上不同，后者通常是全面地传授教师模型的知识。

关键设计：在关键设计上，MT-Patcher采用了特定的损失函数来优化错误修正过程，并设计了适应性强的网络结构，以便在不同的翻译任务中灵活应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用MT-Patcher微调学生模型在约10%的示例上可实现与传统知识蒸馏方法相当的翻译效果。此外，合成的潜在错误和多样化上下文在未见情境和词汇上的翻译性能有显著提升，展示了该方法的有效性。

🎯 应用场景

该研究的潜在应用场景包括机器翻译系统的优化，尤其是在资源受限的环境中。通过有效地转移大语言模型的知识，MT-Patcher能够提升中型翻译模型的性能，降低计算成本，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large Language Models (LLM) have demonstrated their strong ability in the field of machine translation (MT), yet they suffer from high computational cost and latency. Therefore, transferring translation knowledge from giant LLMs to medium-sized machine translation models is a promising research direction. However, traditional knowledge distillation methods do not take the capability of student and teacher models into consideration, therefore repeatedly teaching student models on the knowledge they have learned, and failing to extend to novel contexts and knowledge. In this paper, we propose a framework called MT-Patcher, which transfers knowledge from LLMs to existing MT models in a selective, comprehensive and proactive manner. Considering the current translation ability of student MT models, we only identify and correct their translation errors, instead of distilling the whole translation from the teacher. Leveraging the strong language abilities of LLMs, we instruct LLM teachers to synthesize diverse contexts and anticipate more potential errors for the student. Experiment results on translating both specific language phenomena and general MT benchmarks demonstrate that finetuning the student MT model on about 10% examples can achieve comparable results to the traditional knowledge distillation method, and synthesized potential errors and diverse contexts further improve translation performances on unseen contexts and words.