MAPO: Advancing Multilingual Reasoning through Multilingual Alignment-as-Preference Optimization

📄 arXiv: 2401.06838v3 📥 PDF

作者: Shuaijie She, Wei Zou, Shujian Huang, Wenhao Zhu, Xiang Liu, Xiang Geng, Jiajun Chen

分类: cs.CL

发布日期: 2024-01-12 (更新: 2024-04-13)

备注: The project is available at https://github.com/NJUNLP/MAPO

💡 一句话要点

提出MAPO框架以提升多语言推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多语言推理 偏好优化 翻译模型 深度学习 自然语言处理

📋 核心要点

  1. 现有大型语言模型在不同语言的推理能力存在不一致性，尤其是非主流语言的推理能力较弱，主要由于多语言训练数据的不平衡。
  2. 本文提出的MAPO框架通过对齐非主流语言与主流语言的推理过程，利用翻译模型确保答案一致性，采用直接偏好优化或近端策略优化进行优化。
  3. 实验结果显示，MAPO在MSVAMP、MGSM和MNumGLUESub三个基准上分别提升了16.2%、6.1%和13.3%的推理能力，且增强了不同语言间的推理一致性。

📝 摘要（中文）

尽管推理能力被认为是语言无关的，但现有的大型语言模型在不同语言上的推理能力表现不一致，尤其在主流语言（如英语）中表现优于其他语言。为增强非主流语言的推理能力，本文提出了一种多语言对齐作为偏好优化框架（MAPO），旨在将其他语言的推理过程与主流语言对齐。具体而言，我们利用现成的翻译模型来确保非主流语言和主流语言答案的一致性，并将其作为优化的偏好，例如直接偏好优化（DPO）或近端策略优化（PPO）。实验表明，MAPO在三个基准测试上显著提升了多语言推理能力，且在不同语言间的推理一致性得到了改善。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在多语言推理能力上的不一致性问题，尤其是非主流语言的推理能力较弱，主要源于多语言训练数据的不平衡。

核心思路：论文提出的MAPO框架通过对齐非主流语言与主流语言的推理过程，利用翻译模型确保答案的一致性，从而提升非主流语言的推理能力。

技术框架：MAPO框架主要包括两个阶段：首先，使用翻译模型生成非主流语言和主流语言的答案；其次，采用直接偏好优化（DPO）或近端策略优化（PPO）来优化推理过程，以确保答案的一致性。

关键创新：MAPO的核心创新在于将翻译模型与偏好优化相结合，利用主流语言的推理能力作为非主流语言的优化参考，这一方法在现有多语言推理研究中尚属首次。

关键设计：在设计中，选择了适合的翻译模型以确保答案一致性，并在优化过程中引入了DPO和PPO两种策略，以提高推理的稳定性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAPO在多语言推理能力上取得了显著提升，具体表现为在MSVAMP基准上提升了16.2%，在MGSM上提升了6.1%，在MNumGLUESub上提升了13.3%。这些结果显示了MAPO在增强不同语言间推理一致性方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括多语言智能助手、跨语言信息检索和多语言教育工具等。通过提升非主流语言的推理能力，MAPO框架能够促进不同语言用户之间的交流与理解，具有重要的社会价值和实际影响。

📄 摘要（原文）

Though reasoning abilities are considered language-agnostic, existing LLMs exhibit inconsistent reasoning abilities across different languages, e.g., reasoning in the dominant language like English is superior to other languages due to the imbalance of multilingual training data. To enhance reasoning abilities in non-dominant languages, we propose a Multilingual-Alignment-as-Preference Optimization framework (MAPO), aiming to align the reasoning processes in other languages with the dominant language. Specifically, we harness an off-the-shelf translation model for the consistency between answers in non-dominant and dominant languages, which we adopt as the preference for optimization, e.g., Direct Preference Optimization (DPO) or Proximal Policy Optimization (PPO). Experiments show that MAPO stably achieves significant improvements in the multilingual reasoning of various models on all three benchmarks (MSVAMP +16.2%, MGSM +6.1%, and MNumGLUESub +13.3%), with improved reasoning consistency across languages.