DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models

📄 arXiv: 2608.06243v2 📥 PDF

作者: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

分类: cs.AI

发布日期: 2026-08-06 (更新: 2026-08-07)

备注: 17 pages, 4 figures, 9 tables. Code at https://github.com/DBtxy/DASH-OPSD

🔗 代码/项目: GITHUB

💡 一句话要点

提出DASH以解决标准OPSD在时间结构利用上的不足

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 自蒸馏 推理模型 时间结构 自适应监督

📋 核心要点

  1. 现有的在政策自蒸馏方法未能充分利用时间结构，导致局部偏差的处理不够灵活。
  2. DASH通过自适应传播门调整标记级监督权重，以适应局部偏差在生成过程中的演变。
  3. 在三个数学推理基准上，DASH在所有模型规模上均表现出显著提升，验证了其有效性。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）通过自动可验证的结果信号提升大型语言模型的推理能力，但这些信号通常稀疏且仅在序列级别。论文提出的在政策自蒸馏（OPSD）方法通过在学生访问的前缀处查询特权教师，提供密集的标记级分布监督，缓解了信号稀疏性。然而，标准OPSD未能充分利用回滚的时间结构，导致每个局部偏差被赋予相同的系数。为了解决这一问题，本文提出了Divergence-Adaptive Supervision Horizons（DASH），通过将每个局部蒸馏信号与序列级均值之间的差距映射为自适应传播门，调整标记级监督权重，从而更好地反映局部偏差的演变。实验表明，DASH在三个数学推理基准上均优于匹配的标准OPSD。

🔬 方法详解

问题定义：论文要解决的问题是现有的在政策自蒸馏（OPSD）方法未能充分利用生成过程中的时间结构，导致局部偏差的处理不够灵活。标准OPSD对每个局部偏差赋予相同的权重，无法适应不同的时间上下文。

核心思路：论文提出DASH，通过将局部蒸馏信号与序列级均值之间的差距映射为自适应传播门，来动态调整标记级监督权重。这种设计旨在更好地反映局部偏差的演变，从而提高模型的推理能力。

技术框架：DASH的整体架构包括局部蒸馏信号的计算、序列级均值的获取以及自适应传播门的生成。通过这些模块，DASH能够在生成过程中动态调整监督权重，实现更有效的自蒸馏。

关键创新：DASH的核心创新在于引入自适应传播门，能够根据局部偏差的演变动态调整监督权重。这一方法与标准OPSD的静态权重分配形成鲜明对比，显著提升了模型的推理能力。

关键设计：DASH在参数设置上采用了动态调整机制，损失函数设计上考虑了局部偏差与序列均值的关系，网络结构上则保持了与OPSD一致，确保了计算效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DASH在三个数学推理基准上均优于匹配的标准OPSD，所有模型规模均取得了显著提升，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理等。通过提升模型的推理能力，DASH可以在复杂任务中提供更准确的结果，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) improves the reasoning capabilities of large language models using automatically verifiable outcome signals, but these signals are typically sparse and at the sequence-level. On-policy self-distillation (OPSD) mitigates this sparsity by querying a privileged teacher at student-visited prefixes and providing dense token-level distributional supervision. Although this dense supervision alleviates signal sparsity, we find that standard OPSD still underexploits the temporal structure of the rollout. It assigns every local divergence the same coefficient, regardless of its position or the divergence sequence in which it occurs. In on-policy autoregressive generation, the same divergence magnitude can follow different discrepancy histories, reflecting different evolutions of the mismatch between the teacher and student. Since the local scalar alone cannot distinguish these temporal contexts, standard OPSD cannot adapt its token-level weights to the realized discrepancy sequence. To address this limitation, we propose Divergence-Adaptive Supervision Horizons (DASH). DASH maps the gap between each local distillation signal and the sequence-level mean to an adaptive propagation gate and then uses these gates to control backward multi-step aggregation. By doing so, DASH adjusts token-level supervision weights according to how local divergences evolve during generation. Experiments on three mathematical reasoning benchmarks across three model scales show that DASH improves over our matched vanilla OPSD reruns on every benchmark at all three scales. DASH reuses the teacher and student distributions that OPSD already computes, so the gains require no additional teacher or student forward pass. Code: https://github.com/DBtxy/DASH-OPSD