Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation

📄 arXiv: 2608.09263v1 📥 PDF

作者: Xuan-Phi Nguyen, Shrey Pandit, Yiran Zhao, Anurag Koul, Zeyu Liu, Shafiq Joty

分类: cs.AI, cs.LG

发布日期: 2026-08-10

备注: Preprint

💡 一句话要点

提出三项检查以验证自蒸馏中的令牌信用问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自蒸馏 令牌信用 反馈构建 训练损失 模型评估

📋 核心要点

  1. 现有的自蒸馏方法未能有效分配中间令牌的信用，导致评分不准确。
  2. 论文提出通过明确区分评分、反馈构建和训练行为来解决这一问题，确保评分的有效性。
  3. 实验结果显示，使用反馈构建的评分接近随机，强调了验证评分意义的重要性。

📝 摘要（中文）

现有的结果验证器对完成的推理轨迹进行评分，但未能对中间令牌分配信用。特权自蒸馏试图通过使用仅限训练的信息重新评分模型的回滚来填补这一空白。然而，令牌的可能性变化并不自动等同于结果信用。本文明确区分了三个问题：评分是否跟踪更好的动作、反馈构建是否改变比较内容，以及训练损失强化了什么行为。通过在AIME 2025上对20B模型进行的匹配实验，实施的加法评分接近随机（AUC=0.505），并在长度调整后略微偏向错误轨迹。

🔬 方法详解

问题定义：本文旨在解决现有自蒸馏方法在中间令牌信用分配上的不足，现有方法未能有效评估中间步骤的贡献，导致评分不准确。

核心思路：论文的核心思路是通过明确区分评分的来源和反馈构建，来确保评分的有效性和可靠性，避免自依赖性的问题。

技术框架：整体架构包括三个主要模块：1) 评分模块，评估动作的质量；2) 反馈构建模块，生成与回滚相关的反馈；3) 行为强化模块，分析训练损失对模型行为的影响。

关键创新：最重要的技术创新在于明确了评分、反馈和训练行为之间的关系，提出了三项检查以验证评分的有效性，这与现有方法的自依赖性形成鲜明对比。

关键设计：在实验中，采用了20B模型，使用AIME 2025数据集进行评估，设计了加法评分机制，并进行了长度调整，以确保对比的公平性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，实施的加法评分接近随机（AUC=0.505），并在长度调整后略微偏向错误轨迹。与结果控制组的64.2%相比，五种令牌评分变体的表现仅为24.2%-33.9%，强调了验证评分意义的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的自蒸馏技术、强化学习中的策略优化，以及任何需要中间步骤信用分配的复杂决策系统。通过提高评分的准确性，能够显著提升模型的学习效率和性能，推动相关领域的研究进展。

📄 摘要（原文）

Outcome verifiers score completed reasoning traces but do not assign credit to intermediate tokens. Privileged self-distillation attempts to fill this gap by rescoring a model's own rollout with training-only information. A token likelihood change, however, is not automatically outcome credit. We separate three questions: whether the score tracks better actions, whether feedback construction changes what is compared, and what behavior the training loss reinforces. We establish these distinctions formally. When a rollout is scored using hindsight feedback written about that same rollout, its content determines both the tokens and the scoring context, creating direct self-dependence. Using feedback from another rollout of the same problem removes this dependence but does not guarantee a useful score. In matched experiments with a 20B model on AIME 2025, the implemented additive score is near chance (AUC=0.505) and slightly favors incorrect traces after length adjustment. In the paired comparison, the outcome-only control records 64.2\%, versus 24.2\%--33.9\% for five token-score variants. The results motivate validating score meaning, feedback construction, and training behavior separately before calling a likelihood signal credit.