DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models

📄 arXiv: 2608.06243v1 📥 PDF

作者: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

分类: cs.AI

发布日期: 2026-08-06

备注: 17 pages, 4 figures, 9 tables. Code at https://github.com/DBtxy/DASH-OPSD

🔗 代码/项目: GITHUB

💡 一句话要点

提出DASH以解决标准OPSD在时间结构利用上的不足

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 自蒸馏 推理模型 动态调整 时间结构

📋 核心要点

  1. 现有的在政策自蒸馏方法未能充分利用生成过程中的时间结构，导致局部偏差处理不够灵活。
  2. DASH通过映射局部蒸馏信号与序列均值的差距，动态调整标记级监督权重，以适应偏差演变。
  3. 在三个数学推理基准上，DASH在所有模型规模上均表现出显著的性能提升，超越了标准OPSD的结果。

📝 摘要（中文）

强化学习中的可验证奖励（RLVR）通过自动可验证的结果信号提升大语言模型的推理能力，但这些信号通常稀疏且仅在序列级别。论文提出的在政策自蒸馏（OPSD）方法通过在学生访问的前缀处查询特权教师，提供密集的标记级分布监督，缓解了信号稀疏的问题。然而，标准OPSD未能充分利用回滚的时间结构，导致对局部偏差的处理不够灵活。为此，本文提出了Divergence-Adaptive Supervision Horizons（DASH），通过映射局部蒸馏信号与序列级均值之间的差距，调整标记级监督权重，从而更好地适应生成过程中的局部偏差演变。实验表明，DASH在三个数学推理基准上均优于匹配的标准OPSD。

🔬 方法详解

问题定义：本文旨在解决标准OPSD在处理局部偏差时未能考虑时间结构的问题。现有方法对每个局部偏差赋予相同的权重，无法适应其在生成过程中的演变。

核心思路：DASH的核心思想是通过映射局部蒸馏信号与序列级均值之间的差距，生成自适应传播门，以此动态调整标记级监督权重，从而更好地反映局部偏差的演变。

技术框架：DASH的整体架构包括信号映射模块、传播门生成模块和多步反向聚合模块。信号映射模块负责计算局部信号与均值的差距，传播门生成模块根据差距生成自适应门，最后通过多步聚合模块调整监督权重。

关键创新：DASH的主要创新在于引入了自适应传播门机制，使得标记级监督权重能够根据局部偏差的历史演变进行动态调整，这一设计显著提升了模型的推理能力。

关键设计：在DASH中，关键参数包括局部信号与均值的差距计算方式，以及传播门的生成策略。此外，损失函数设计上也考虑了动态调整的需求，以确保模型在训练过程中能够有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DASH在三个数学推理基准上均优于匹配的标准OPSD，所有模型规模的性能提升均显著，具体提升幅度未知。该方法有效利用了教师和学生分布，未增加额外的计算开销。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理等。通过提升模型的推理能力，DASH能够在复杂任务中提供更准确的结果，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) improves the reasoning capabilities of large language models using automatically verifiable outcome signals, but these signals are typically sparse and at the sequence-level. On-policy self-distillation (OPSD) mitigates this sparsity by querying a privileged teacher at student-visited prefixes and providing dense token-level distributional supervision. Although this dense supervision alleviates signal sparsity, we find that standard OPSD still underexploits the temporal structure of the rollout. It assigns every local divergence the same coefficient, regardless of its position or the divergence sequence in which it occurs. In on-policy autoregressive generation, the same divergence magnitude can follow different discrepancy histories, reflecting different evolutions of the mismatch between the teacher and student. Since the local scalar alone cannot distinguish these temporal contexts, standard OPSD cannot adapt its token-level weights to the realized discrepancy sequence. To address this limitation, we propose Divergence-Adaptive Supervision Horizons (DASH). DASH maps the gap between each local distillation signal and the sequence-level mean to an adaptive propagation gate and then uses these gates to control backward multi-step aggregation. By doing so, DASH adjusts token-level supervision weights according to how local divergences evolve during generation. Experiments on three mathematical reasoning benchmarks across three model scales show that DASH improves over our matched vanilla OPSD reruns on every benchmark at all three scales. DASH reuses the teacher and student distributions that OPSD already computes, so the gains require no additional teacher or student forward pass. Code: https://github.com/DBtxy/DASH-OPSD