MathGenie: Generating Synthetic Data with Question Back-translation for Enhancing Mathematical Reasoning of LLMs

📄 arXiv: 2402.16352v2 📥 PDF

作者: Zimu Lu, Aojun Zhou, Houxing Ren, Ke Wang, Weikang Shi, Junting Pan, Mingjie Zhan, Hongsheng Li

分类: cs.CL, cs.AI

发布日期: 2024-02-26 (更新: 2024-09-11)

备注: ACL 2024 camera ready

💡 一句话要点

提出MathGenie以提升大型语言模型的数学推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学推理 大型语言模型 数据增强 反向翻译 代码集成解决方案 模型训练 教育技术

📋 核心要点

  1. 现有的开源大型语言模型在数学推理方面的表现仍然落后于封闭源模型，存在性能差距。
  2. 论文提出MathGenie，通过反向翻译生成新的数学问题，并结合代码集成解决方案来增强模型的推理能力。
  3. 实验结果表明，MathGenieLM系列模型在多个数学推理数据集上均超越了之前的开源模型，取得了显著的性能提升。

📝 摘要（中文）

大型语言模型（LLMs）在数学推理方面展现出巨大潜力，但现有开源模型与封闭源模型（如GPT-4）之间仍存在性能差距。本文提出了MathGenie，一种从小规模问题-解决方案数据集中生成多样且可靠的数学问题的新方法。通过增强种子数据的真实解决方案并训练反向翻译模型，将增强的解决方案翻译回新问题，进而生成代码集成的解决方案。为确保解决方案的正确性，采用基于推理的策略进行验证。通过在新生成的数据上训练多种预训练模型，MathGenieLM系列模型在五个代表性的数学推理数据集上表现优异，尤其是MathGenieLM-InternLM2在GSM8K和MATH数据集上分别达到了87.7%和55.7%的准确率，成为开源语言模型中的最佳表现者。

🔬 方法详解

问题定义：本文旨在解决现有开源大型语言模型在数学推理任务中的性能不足，尤其是在复杂问题生成和解决方案验证方面的挑战。

核心思路：MathGenie通过增强种子数据的解决方案并利用反向翻译生成新问题，旨在提高模型的数学推理能力和问题多样性。这样的设计使得模型能够学习到更丰富的数学问题形式。

技术框架：整体流程包括三个主要阶段：首先，增强种子数据的真实解决方案；其次，训练反向翻译模型将增强的解决方案转化为新问题；最后，生成代码集成的解决方案并进行验证。

关键创新：最重要的创新在于引入了反向翻译机制和基于推理的解决方案验证策略，这与传统的直接数据增强方法有本质区别，能够有效提升生成问题的质量和模型的推理能力。

关键设计：在模型训练中，采用了多种预训练模型（从7B到70B），并在新生成的数据上进行训练，确保了模型的多样性和适应性，同时在损失函数设计上注重了推理过程的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MathGenieLM系列模型在五个数学推理数据集上均超越了之前的开源模型，特别是MathGenieLM-InternLM2在GSM8K数据集上达到了87.7%的准确率，在MATH数据集上达到了55.7%的准确率，表现出色，成为开源语言模型中的最佳选择。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化数学题生成等。通过提升大型语言模型的数学推理能力，能够为学生提供更高效的学习工具，并推动教育领域的智能化发展。未来，MathGenie的技术也可能扩展到其他领域的问答系统和知识推理任务中。

📄 摘要（原文）

Large language models (LLMs) have exhibited great potential in mathematical reasoning. However, there remains a performance gap in this area between existing open-source models and closed-source models such as GPT-4. In this paper, we introduce MathGenie, a novel method for generating diverse and reliable math problems from a small-scale problem-solution dataset (denoted as seed data). We augment the ground-truth solutions of our seed data and train a back-translation model to translate the augmented solutions back into new questions. Subsequently, we generate code-integrated solutions for the new questions. To ensure the correctness of the code-integrated solutions, we employ rationale-based strategy for solution verification. Various pretrained models, ranging from 7B to 70B, are trained on the newly curated data to test the effectiveness of the proposed augmentation technique, resulting in a family of models known as MathGenieLM. These models consistently outperform previous open-source models across five representative mathematical reasoning datasets, achieving state-of-the-art performance. In particular, MathGenieLM-InternLM2 achieves an accuracy of 87.7% on GSM8K and 55.7% on MATH, securing the best overall score among open-source language models.