Bidirectional Curriculum Generation: A Multi-Agent Framework for Data-Efficient Mathematical Reasoning
作者: Boren Hu, Xiao Liu, Boci Peng, Xinping Zhao, Xiaoran Shang, Yun Zhu, Lijun Wu
分类: cs.AI
发布日期: 2026-03-05
💡 一句话要点
提出双向课程生成框架，提升大语言模型在数学推理中的数据效率。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 课程学习 数学推理 大语言模型 数据效率 双向生成
📋 核心要点
- 现有课程学习方法在数学推理中存在数据利用率低的问题，无法有效针对模型的薄弱环节进行训练。
- 提出双向课程生成框架，通过多智能体协作，动态调整问题难度，实现自适应的课程学习。
- 实验表明，该方法在显著减少训练样本的同时，提升了数学推理性能，优于现有基线方法。
📝 摘要（中文）
为了提升大语言模型在数学推理方面的能力，通常需要大规模数据集，但数据效率仍然是一个关键瓶颈。课程学习旨在构建结构化的学习过程，但标准的单向方法（由简入繁）存在样本利用率低下的问题：即使基础知识存在差距，它们也会盲目地增加复杂性，导致在无法解决的问题上浪费计算资源。我们引入了一种新颖的双向课程生成框架，该框架模拟自适应教学，建立了一个闭环反馈系统。它通过增加问题难度来挑战模型，或者通过简化问题来修复特定的推理失败，从而动态地生成数据。这种机制确保模型在任何给定阶段只消耗最有效的数据。基于最优步调定理，我们的方法优化了学习轨迹，在显著减少指令样本的同时，优于基线方法，并实现了卓越的推理性能。
🔬 方法详解
问题定义：论文旨在解决大语言模型在数学推理任务中数据效率低下的问题。现有的课程学习方法通常采用单向的由简入繁的策略，但这种策略无法根据模型的实际学习情况动态调整难度，导致模型在已经掌握的简单问题上浪费计算资源，而在模型尚未掌握的基础问题上缺乏针对性训练。
核心思路：论文的核心思路是引入双向课程生成机制，模拟人类教师的自适应教学过程。通过构建一个多智能体系统，该系统可以根据模型的表现，动态地生成更难或更简单的问题，从而优化模型的学习轨迹，提高数据利用率。
技术框架：该框架包含两个主要智能体：一个负责生成更难的问题（Complicating Agent），另一个负责生成更简单的问题（Simplifying Agent）。模型在训练过程中会接收来自这两个智能体生成的问题，并根据其表现，智能体调整生成问题的策略。整个过程形成一个闭环反馈系统，确保模型始终在最具挑战性和最适合其当前能力水平的问题上进行训练。
关键创新：该方法最重要的创新点在于双向课程生成机制。与传统的单向课程学习方法不同，该方法能够根据模型的实际学习情况，动态地调整问题的难度，从而更有效地利用训练数据。这种双向调整机制使得模型能够更快地掌握数学推理技能。
关键设计：论文基于最优步调定理来设计智能体的行为。具体来说，智能体通过评估模型在不同难度问题上的表现，来决定是生成更难的问题还是更简单的问题。此外，论文还设计了特定的奖励函数，鼓励智能体生成能够最大程度提升模型性能的问题。具体的网络结构和参数设置在论文中有详细描述，但摘要中未提及。
🖼️ 关键图片
📊 实验亮点
论文提出的双向课程生成框架在数学推理任务上取得了显著的性能提升。实验结果表明，该方法在使用了更少训练样本的情况下，优于现有的基线方法。具体的性能数据和提升幅度在摘要中未给出，需要在论文正文中查找。
🎯 应用场景
该研究成果可应用于各种需要数学推理能力的场景，例如自动定理证明、科学计算、金融建模等。通过提高数据效率，可以降低训练成本，并使得大语言模型能够在资源受限的环境下进行部署。此外，该方法还可以推广到其他需要课程学习的领域，例如自然语言处理、计算机视觉等。
📄 摘要（原文）
Enhancing mathematical reasoning in Large Language Models typically demands massive datasets, yet data efficiency remains a critical bottleneck. While Curriculum Learning attempts to structure this process, standard unidirectional approaches (simple-to-complex) suffer from inefficient sample utilization: they blindly escalate complexity even when foundational gaps persist, leading to wasted computation on unsolvable problems. To maximize the instructional value of every training sample, we introduce a novel Bidirectional Curriculum Generation framework. Unlike rigid trajectories, our multi-agent ecosystem mimics adaptive pedagogy to establish a closed feedback loop. It dynamically generates data by either complicating problems to challenge the model or, crucially, simplying them to repair specific reasoning failures. This mechanism ensures that the model consumes only the most effective data at any given stage. Grounded in the Optimal Pacing Theorem, our approach optimizes the learning trajectory, significantly outperforming baselines while achieving superior reasoning performance with substantially fewer instruction samples.