DIAG: Diagnostic Iterative Alignment and Generation for Data-Efficient Mathematical Preference Distillation

📄 arXiv: 2608.22806v1 📥 PDF

作者: Guhan Chen, Songtao Tian, Bohan Li, Hejin Wang, YeXin Xie, Zixiong Yu

分类: cs.CL

发布日期: 2026-08-24

备注: Accepted by EMNLP 2026 findings

💡 一句话要点

提出DIAG框架以解决数学推理任务中的数据稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学推理 偏好蒸馏 自适应学习 教师引导 信息性监督

📋 核心要点

  1. 现有方法在数学推理任务中面临信号稀缺的问题，导致生成的样本无法有效指导模型的学习。
  2. DIAG框架通过自适应调整实践分布，优化有效偏好对的生成，聚焦于学生能力的边界区域。
  3. 实验结果显示，DIAG在多个迭代中显著提高了有效偏好对的产出，并在推理性能上超越了基线模型。

📝 摘要（中文）

迭代偏好优化对于大型语言模型在数学推理任务中的对齐至关重要，但其效率常因信号稀缺而受限。随着模型的提升，静态问题集与模型能力的匹配度降低，导致生成的样本要么过于简单，要么过于困难，从而缺乏有效的偏好对。为此，本文提出DIAG框架，通过自适应重塑实践分布，增加信息性监督，并聚焦于学生当前能力边界附近的训练。DIAG包括两个阶段：首先，诊断有效偏好对的产出，以校准探索与利用的权衡，并通过经验贝叶斯收缩估计分配主题配额；其次，生成针对性的练习，由教师根据学生的失败轨迹合成变体。实验表明，DIAG在迭代中提升了有效产出，并在同等训练预算下实现了更强的推理性能。

🔬 方法详解

问题定义：本文旨在解决在数学推理任务中，随着模型能力提升而导致的信号稀缺问题。现有方法依赖静态问题集，无法有效匹配模型的学习需求，导致生成的样本缺乏信息性。

核心思路：DIAG框架通过两个阶段的迭代优化，首先诊断有效偏好对的产出，然后生成针对性的练习，以提高信息性监督的质量。这样的设计旨在动态调整训练内容，使其更贴近学生的能力边界。

技术框架：DIAG框架分为两个主要阶段：第一阶段是诊断阶段，使用经验贝叶斯收缩估计来校准探索与利用的权衡；第二阶段是生成阶段，教师根据学生的失败轨迹合成新的练习变体。

关键创新：DIAG的创新在于其自适应重塑实践分布的能力，通过教师引导的方式最大化有效偏好对的产出。这一方法与传统的静态问题集生成方式有本质区别。

关键设计：在设计上，DIAG使用了经验贝叶斯收缩估计来优化主题配额分配，并通过教师模型合成针对性的练习，以确保生成的样本具有高信息性和针对性。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，DIAG在多个迭代中有效提升了有效偏好对的产出，推理性能在相同训练预算下超越了基线模型，具体提升幅度达到了XX%。这一结果验证了DIAG在数学推理任务中的有效性和实用性。

🎯 应用场景

DIAG框架的潜在应用领域包括教育技术、智能辅导系统和自适应学习平台。通过提供更有效的练习和反馈，能够显著提升学生在数学推理方面的学习效果，未来可能对个性化学习和教育公平产生积极影响。

📄 摘要（原文）

Iterative preference optimization is essential for aligning Large Language Models on mathematical reasoning tasks, yet its efficiency is often throttled by signal scarcity: as the model improves, static problem sets become increasingly mismatched to the model's evolving competence, producing rollouts that are either too easy or too hard and therefore non-informative, which leads to a scarcity of valid preference pairs. We propose DIAG, a Diagnostic Iterative Alignment and Generation framework that adaptively reshapes the practice distribution to increase informative supervision and focus training near the student's current competence boundary. DIAG consists of two phases: (1) diagnosing valid preference-pair yield to calibrate the exploration-exploitation trade-off and allocate topic quotas via an Empirical Bayes shrinkage estimator, thereby prioritizing high-yield concepts; and (2) generating targeted practice, where a teacher synthesizes variants from the student's failure traces. We further provide a theoretical view interpreting DIAG as a teacher-mediated approximation to KL-regularized reweighting of the practice distribution toward the student's competence boundary, where valid preference-pair yield is maximized. Experiments show that DIAG boosts yield across iterations and delivers stronger reasoning performance under an iso-effective training budget, demonstrating that it can distill more informative preference supervision for mathematical reasoning.