OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset
作者: Shubham Toshniwal, Ivan Moshkov, Sean Narenthiran, Daria Gitman, Fei Jia, Igor Gitman
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-02-15 (更新: 2024-11-03)
备注: Camera-ready version for NeurIPS 2024
💡 一句话要点
提出OpenMathInstruct-1以解决数学指令调优数据集不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数学指令调优 合成数据集 开源模型 机器学习 自然语言处理
📋 核心要点
- 现有的大规模数学指令调优数据集主要依赖闭源LLMs，限制了开源LLMs的应用，造成数学技能的差距。
- 本文提出OpenMathInstruct-1数据集，通过合成代码解释器解决方案，利用Mixtral模型生成数学问题及其解答。
- OpenMath-CodeLlama-70B模型在GSM8K和MATH基准测试中表现优异，分别达到了84.6%和50.7%的得分，具有竞争力。
📝 摘要（中文）
近期研究表明，合成生成的数据集在训练大型语言模型（LLMs）方面具有巨大潜力，尤其是在获取特定技能方面。目前的大规模数学指令调优数据集如MetaMathQA和MAmmoTH，主要依赖于闭源LLMs的输出，限制了开源LLMs的使用。为此，本文提出了OpenMathInstruct-1，一个包含180万个问题-解决对的数据集，利用Mixtral模型合成GSM8K和MATH的代码解释器解决方案。我们的最佳模型OpenMath-CodeLlama-70B在GSM8K和MATH上分别取得84.6%和50.7%的得分，表现与最佳的gpt蒸馏模型相当。我们将代码、模型和OpenMathInstruct-1数据集以商业许可方式发布。
🔬 方法详解
问题定义：当前大规模数学指令调优数据集的构建主要依赖闭源LLMs，导致开源LLMs在数学技能上存在显著差距，限制了其应用。
核心思路：本文通过合成生成的方式，利用Mixtral模型生成数学问题及其解决方案，从而构建OpenMathInstruct-1数据集，旨在提升开源LLMs的数学能力。
技术框架：整体流程包括使用Mixtral模型生成GSM8K和MATH的代码解释器解决方案，构建问题-解决对，并进行模型训练与评估。
关键创新：最重要的创新在于利用开源模型生成高质量的数学问题解决方案，打破了以往依赖闭源模型的局限性。
关键设计：在模型训练中，采用了特定的参数设置和损失函数，以确保生成的数学问题和解决方案的质量，同时优化了网络结构以提高模型的推理能力。
🖼️ 关键图片
📊 实验亮点
在实验中，OpenMath-CodeLlama-70B模型在GSM8K基准测试中取得了84.6%的得分，在MATH基准测试中达到了50.7%的得分，表现与最佳的gpt蒸馏模型相当，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和自动化数学问题解决工具。通过提供高质量的数学指令数据集，OpenMathInstruct-1可以帮助开发更强大的开源数学教育工具，促进数学学习和研究的进步。
📄 摘要（原文）
Recent work has shown the immense potential of synthetically generated datasets for training large language models (LLMs), especially for acquiring targeted skills. Current large-scale math instruction tuning datasets such as MetaMathQA (Yu et al., 2024) and MAmmoTH (Yue et al., 2024) are constructed using outputs from closed-source LLMs with commercially restrictive licenses. A key reason limiting the use of open-source LLMs in these data generation pipelines has been the wide gap between the mathematical skills of the best closed-source LLMs, such as GPT-4, and the best open-source LLMs. Building on the recent progress in open-source LLMs, our proposed prompting novelty, and some brute-force scaling, we construct OpenMathInstruct-1, a math instruction tuning dataset with 1.8M problem-solution pairs. The dataset is constructed by synthesizing code-interpreter solutions for GSM8K and MATH, two popular math reasoning benchmarks, using the recently released and permissively licensed Mixtral model. Our best model, OpenMath-CodeLlama-70B, trained on a subset of OpenMathInstruct-1, achieves a score of 84.6% on GSM8K and 50.7% on MATH, which is competitive with the best gpt-distilled models. We release our code, models, and the OpenMathInstruct-1 dataset under a commercially permissive license.