DAPD: Dual-Anchored Policy Distillation

📄 arXiv: 2608.01735v1 📥 PDF

作者: Jianyu Wu, Yizhou Wang, Encheng Su, Chen Tang, Shixiang Tang

分类: cs.AI

发布日期: 2026-08-03

💡 一句话要点

提出双锚政策蒸馏以解决信息不对称问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 政策蒸馏 信息不对称 自蒸馏 自然语言处理 机器学习 模型优化 深度学习

📋 核心要点

  1. 现有的基于策略的自蒸馏方法存在信息不对称问题，导致学生模型在推理时表现不佳。
  2. 论文提出双锚政策蒸馏（DAPD），通过双路径和双源锚定来解决特权信息依赖问题。
  3. 实验结果显示，DAPD在多个任务上平均提升2.00分，且在不同模型规模下均有显著提升。

📝 摘要（中文）

在这篇论文中，作者探讨了在语言模型后训练中，基于策略的自蒸馏（OPSD）所面临的信息不对称问题。OPSD通过利用特权信息增强教师模型，但可能导致学生模型在推理时表现出特权依赖行为，从而影响性能。为了解决这一问题，作者提出了双锚政策蒸馏（DAPD），通过双路径锚定和双源锚定的方式，减少了对特权参考指导的依赖，同时保持了正确性监督。实验结果表明，DAPD在多个任务上显著优于OPSD，尤其在Qwen3-4B模型上平均提升了2.00分，且在不同规模下均表现出持续的性能提升。

🔬 方法详解

问题定义：论文要解决的问题是现有的基于策略的自蒸馏（OPSD）方法中，教师模型与学生模型之间存在的信息不对称，导致学生模型在推理时无法复现训练时的特权信息，从而影响性能。

核心思路：论文的核心解决思路是提出双锚政策蒸馏（DAPD），通过双路径锚定和双源锚定来减少学生模型对特权信息的依赖，同时确保其行为的正确性。

技术框架：DAPD的整体架构包括两个主要模块：双路径锚定（DPA）和双源锚定（DSA）。DPA通过自条件桥接对参考行为和推理行为进行对齐，DSA则在参考到推理和推理到参考的方向上应用这些路径。

关键创新：最重要的技术创新点在于双路径锚定和双源锚定的结合，这一设计有效防止了特权依赖行为的转移，与现有方法相比，显著减少了信息不对称带来的负面影响。

关键设计：在实现中，论文设计了特定的损失函数以平衡参考行为和推理行为的对齐，同时调整了网络结构以支持双路径锚定的实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DAPD在Qwen3-4B模型上平均提升了2.00分，且在4B和32B规模下分别达到了2.69和2.78的提升，显示出其在不同任务和模型规模上的优越性，显著优于传统的OPSD方法。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等场景，能够有效提升模型在实际推理过程中的表现，减少因特权信息依赖导致的性能下降。未来，DAPD方法有望在更广泛的机器学习任务中得到应用，推动自蒸馏技术的发展。

📄 摘要（原文）

On-policy (self) distillation (OPSD) is increasingly adopted for language-model post-training. It strengthens the teacher with privileged information but can induce a privilege illusion: the student learns privilege-dependent behavior it cannot reproduce from its inference-time context, yet behaves as if the training-time privileged information remained available, ultimately degrading performance. In this paper, we identify information asymmetry between the privileged teacher and the student at inference as the root cause of this failure in OPSD. To resolve this asymmetry, we propose Dual-Anchored Policy Distillation (DAPD), a unified framework with two levels of anchoring. Dual-Path Anchoring (DPA) introduces a self-conditioned bridge and aligns reference and rollout behavior along two matched-information paths, preventing privilege-dependent behavior from being transferred to the inference-time student. Dual-Source Anchoring (DSA) applies these paths in both reference-to-rollout and rollout-to-reference directions, reducing reliance on privileged reference guidance while preserving correctness supervision. Extensive experiments show that DAPD significantly alleviates privilege illusion, outperforming OPSD on Qwen3-4B by +2.00 points on average across tasks. Notably, its gains persist across scales, reaching +2.69 at 4B and +2.78 at 32B.