Question Translation Training for Better Multilingual Reasoning
作者: Wenhao Zhu, Shujian Huang, Fei Yuan, Shuaijie She, Jiajun Chen, Alexandra Birch
分类: cs.CL
发布日期: 2024-01-15 (更新: 2024-06-29)
备注: Accepted to Findings of ACL 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出问题翻译训练以提升多语言推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言推理 问题对齐 大型语言模型 翻译训练 机器学习
📋 核心要点
- 现有的翻译训练方法在多语言推理任务中表现不佳，主要由于翻译质量低和高成本问题。
- 本文提出通过问题对齐的方式，利用X-English平行问题数据微调模型，提升多语言推理能力。
- 在LLaMA2-13B模型上进行的实验表明，该方法在十种语言上平均提升了11.3%和16.1%的准确率。
📝 摘要（中文）
大型语言模型在推理任务上表现出色，但在英语以外的语言上表现较差，主要由于训练数据以英语文本为主。传统的解决方案是将指令数据翻译成多种语言进行训练，但这种方法成本高且翻译质量差。本文提出了一种问题对齐的方法，通过在X-English平行问题数据上微调模型，使其能够将推理问题翻译成英语，从而实现针对性的语言对齐，充分利用英语指令数据，提升大型语言模型的多语言推理能力。实验结果表明，该方法在MGSM和MSVAMP多语言推理基准上，相较于传统翻译训练方法，平均提升了11.3%和16.1%的准确率。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在多语言推理任务中的表现不佳问题。现有的翻译训练方法不仅成本高，而且翻译质量往往较差，尤其是在数学推理链条的非标准格式下。
核心思路：论文提出的核心思路是通过问题对齐训练模型，使其能够将推理问题翻译成英语。这种方法能够更好地利用已有的英语指令数据，从而提升模型在多语言环境下的推理能力。
技术框架：整体架构包括数据收集、模型微调和评估三个主要阶段。首先收集X-English平行问题数据，然后在此数据上对模型进行微调，最后在多语言推理基准上进行评估。
关键创新：该研究的关键创新在于通过问题对齐的方式进行针对性训练，与传统的翻译训练方法相比，能够显著提升模型的多语言推理能力。
关键设计：在模型微调过程中，采用了特定的损失函数以优化翻译质量，并结合了多种超参数设置，以确保模型在不同语言上的适应性和准确性。实验中使用的LLaMA2-13B模型为研究提供了强大的基础。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用问题对齐方法的模型在MGSM和MSVAMP多语言推理基准上，平均准确率分别提升了11.3%和16.1%。这一结果显著优于传统的翻译训练方法，证明了问题对齐的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括多语言教育、跨国企业的客户服务和国际化产品开发等。通过提升多语言推理能力，能够更好地满足不同语言用户的需求，增强用户体验，推动全球化进程。未来，该方法还可以扩展到更多语言和更复杂的推理任务中，进一步提升大型语言模型的实用性。
📄 摘要（原文）
Large language models show compelling performance on reasoning tasks but they tend to perform much worse in languages other than English. This is unsurprising given that their training data largely consists of English text and instructions. A typical solution is to translate instruction data into all languages of interest, and then train on the resulting multilingual data, which is called translate-training. This approach not only incurs high cost, but also results in poorly translated data due to the non-standard formatting of mathematical chain-of-thought. In this paper, we explore the benefits of question alignment, where we train the model to translate reasoning questions into English by finetuning on X-English parallel question data. In this way we perform targeted, in-domain language alignment which makes best use of English instruction data to unlock the LLMs' multilingual reasoning abilities. Experimental results on LLaMA2-13B show that question alignment leads to consistent improvements over the translate-training approach: an average improvement of 11.3% and 16.1% accuracy across ten languages on the MGSM and MSVAMP multilingual reasoning benchmarks. The project will be available at: https://github.com/NJUNLP/QAlign.