Augmenting Math Word Problems via Iterative Question Composing

📄 arXiv: 2401.09003v5 📥 PDF

作者: Haoxiong Liu, Yifan Zhang, Yifan Luo, Andrew Chi-Chih Yao

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-17 (更新: 2024-12-16)

💡 一句话要点

提出MMIQC数据集以增强数学推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学推理 大型语言模型 数据集构建 迭代问题构建 模型微调 性能评估

📋 核心要点

  1. 现有的大型语言模型在解决竞赛级数学问题时面临显著挑战，尤其是开源模型缺乏外部工具支持。
  2. 本文提出了MMIQC数据集，并引入了迭代问题构建（IQC）方法，通过迭代生成新问题来增强模型的数学推理能力。
  3. 实验结果表明，经过MMIQC微调的模型在MATH基准测试中表现优异，Qwen-72B-MMIQC的准确率达到45.0%，超越了之前的开源最优状态。

📝 摘要（中文）

尽管大型语言模型在数学推理方面取得了进展，但解决竞赛级数学问题仍然是一个重大挑战，尤其是对于没有外部工具的开源大型语言模型。本文介绍了MMIQC数据集，该数据集由处理过的网络数据和合成问答对组成，旨在增强基础语言模型的数学推理能力。经过MMIQC微调的模型在不同规模的MATH基准测试中表现优异，Qwen-72B-MMIQC的准确率达到45.0%，超越了之前的开源最优状态8.2%，并且优于2023年发布的初始版本GPT-4。对匈牙利高中期末考试的广泛评估结果表明，这种改进能够推广到未见数据。对MMIQC的消融研究显示，改进的很大一部分归因于我们提出的新增强方法——迭代问题构建（IQC），该方法通过一个大型语言模型迭代生成新问题，并通过另一个大型语言模型应用拒绝采样。

🔬 方法详解

问题定义：本文旨在解决开源大型语言模型在处理竞赛级数学问题时的性能不足，尤其是在缺乏外部工具的情况下。现有方法在复杂数学推理任务中表现不佳，限制了其应用范围。

核心思路：论文提出的核心思路是通过MMIQC数据集和迭代问题构建（IQC）方法，利用大型语言模型生成新问题，从而增强模型的数学推理能力。通过这种方式，可以有效扩展训练数据，提高模型的泛化能力。

技术框架：整体架构包括数据集构建、模型微调和性能评估三个主要模块。首先，构建MMIQC数据集，其次对基础语言模型进行微调，最后在MATH基准测试和匈牙利高中期末考试上进行评估。

关键创新：最重要的技术创新点在于提出的迭代问题构建（IQC）方法，该方法通过一个大型语言模型生成新问题，并通过另一个模型进行拒绝采样。这一过程显著提高了模型的数学推理能力，与传统方法相比具有本质区别。

关键设计：在模型微调过程中，采用了特定的损失函数和参数设置，以确保模型能够有效学习到复杂的数学推理模式。具体的网络结构和训练策略在实验中经过多次调整，以优化性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Qwen-72B-MMIQC在MATH基准测试中的准确率达到了45.0%，相比之前的开源最优状态提升了8.2%。此外，模型在匈牙利高中期末考试中的表现也表明其改进具有良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括教育、自动化评测和智能辅导系统。通过增强模型的数学推理能力，可以为学生提供更高效的学习工具，帮助他们解决复杂的数学问题，提升学习效果。未来，该方法还可能扩展到其他学科的推理任务中。

📄 摘要（原文）

Despite the advancements in large language models (LLMs) for mathematical reasoning, solving competition-level math problems remains a significant challenge, especially for open-source LLMs without external tools. We introduce the MMIQC dataset, comprising a mixture of processed web data and synthetic question-response pairs, aimed at enhancing the mathematical reasoning capabilities of base language models. Models fine-tuned on MMIQC consistently surpass their counterparts in performance on the MATH benchmark across various model sizes. Notably, Qwen-72B-MMIQC achieves a 45.0% accuracy, exceeding the previous open-source state-of-the-art by 8.2% and outperforming the initial version GPT-4 released in 2023. Extensive evaluation results on Hungarian high school finals suggest that such improvement can generalize to unseen data. Our ablation study on MMIQC reveals that a large part of the improvement can be attributed to our novel augmentation method, Iterative Question Composing (IQC), which involves iteratively composing new questions from seed problems using an LLM and applying rejection sampling through another LLM.