Finding the Evidence: Discovering Decision-Supporting Tokens for On-Policy Reasoning Distillation
作者: Jinwei Xiao, Zhuowen Han, Yueqing Sun, Zhengxi Lu, Yuxin Liu, Zhiyuan Yao, Wentao Chen, Qi Gu, Xunliang Cai
分类: cs.AI
发布日期: 2026-06-22
💡 一句话要点
提出DEAR方法以解决决策支持信号转移不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 策略蒸馏 推理能力 知识转移 决策支持 证据发现 机器学习 教育技术
📋 核心要点
- 现有的策略蒸馏方法仅能捕获决策信号，未能有效转移推理过程中的证据知识，导致知识转移不完整。
- 论文提出的DEAR方法通过学生的不确定性识别决策，并利用余弦相似度发现支持证据，从而实现更全面的知识转移。
- 实验结果表明，DEAR在数学和代码生成任务上均显著优于传统方法，验证了其有效性和优越性。
📝 摘要（中文）
在策略蒸馏中，通过密集的令牌级监督来转移推理能力，但可转移信号的本质仍不清晰。我们发现推理链包含两种知识：决策和证据。现有方法仅捕获决策，而证据令牌中的实质性知识未能转移。我们提出DEAR（决策-证据感知推理蒸馏），通过学生熵识别决策，再通过隐藏状态余弦相似度发现支持证据，结合教师-学生差异优先考虑知识差距。在数学和代码基准的三种学生-教师配置中，DEAR始终优于标准的策略蒸馏，数学任务提升高达2.5个百分点，代码生成任务提升高达5.7个百分点。
🔬 方法详解
问题定义：本论文旨在解决现有策略蒸馏方法在知识转移过程中仅捕获决策信号而忽略证据知识的问题，导致推理能力的转移不完整。
核心思路：DEAR方法的核心思路是通过学生的不确定性来识别决策，并通过隐藏状态的余弦相似度来发现支持证据，从而实现更全面的知识转移。
技术框架：DEAR的整体架构包括两个主要模块：首先，通过计算学生的熵值来识别决策；其次，通过与决策锚点的余弦相似度来发现证据，同时结合教师-学生之间的差异来优先考虑知识差距。
关键创新：DEAR的关键创新在于同时关注决策和证据的知识转移，尤其是通过学生的不确定性和隐藏状态的相似度来实现这一目标，这与现有方法的单一决策捕获机制本质上不同。
关键设计：在设计上，DEAR采用了熵值计算作为决策识别的依据，并使用余弦相似度来评估证据的相关性。此外，教师-学生之间的差异被用作优先级调整的依据，以确保知识转移的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DEAR在数学任务上相较于标准策略蒸馏方法提升了2.5个百分点，在代码生成任务上提升了5.7个百分点，验证了其在知识转移方面的显著优势。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和自动化代码生成等。通过更有效的知识转移，DEAR方法能够提升机器学习模型在复杂推理任务中的表现，具有广泛的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation transfers reasoning ability through dense token-level supervision, yet the nature of the transferable signal remains unclear. We discover that reasoning chains contain two types of knowledge that require different discovery mechanisms: decisions (where to branch), which surface through student uncertainty, and evidence (intermediate steps that justify decisions), which hides in positions where the student is confident yet wrong. Current methods capture only decisions; the substantive knowledge in evidence tokens remains untransferred. We propose DEAR(Decision-Evidence Aware Reasoning Distillation), which first identifies decisions via student entropy, then discovers their supporting evidence through hidden-state cosine similarity to decision anchors, boosted by teacher-student divergence to prioritize the largest knowledge gaps. Across three student-teacher configurations on math and code benchmarks, DEAR consistently outperforms standard OPD, with up to +2.5pp on competition math and +5.7pp on code generation.