Trust Region Policy Distillation

📄 arXiv: 2607.04751v1 📥 PDF

作者: Zhengpeng Xie, Li Lyna Zhang, Zeke Xie, Mao Yang

分类: cs.LG, cs.AI

发布日期: 2026-07-06

💡 一句话要点

提出信任区域策略蒸馏以解决不稳定训练问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 信任区域 策略蒸馏 在线学习 梯度方差 训练稳定性 样本效率 数学推理

📋 核心要点

  1. 现有的在线策略蒸馏方法（OPD）存在高方差和不稳定性的问题，导致训练效果不理想。
  2. 本文提出的信任区域策略蒸馏（TOP-D）通过动态构建近端教师，旨在提高训练的稳定性和效率。
  3. 实验结果表明，TOP-D在数学推理任务上显著提升了训练稳定性和最终性能，同时没有增加计算开销。

📝 摘要（中文）

大目标难以一次性实现，分解为小步骤更为明智。本文提出信任区域策略蒸馏（TOP-D），通过动态构建近端教师，将著名的不稳定、高方差的在线策略蒸馏（OPD）转变为稳定的训练范式。理论上，我们建立了一个严格的框架，证明TOP-D本质上控制了梯度方差。通过提供正式的全局收敛分析及单调改进界限，我们数学上形式化了整体训练动态的可靠性和稳定性。在经验上，TOP-D显著提高了数学推理任务的训练稳定性、样本效率和最终性能。更重要的是，TOP-D没有引入额外的计算开销，成为成熟的OPD范式的有前景的替代方案。

🔬 方法详解

问题定义：本文旨在解决在线策略蒸馏（OPD）方法中的高方差和不稳定性问题，这些问题导致训练效果不佳，尤其在复杂任务中表现明显。

核心思路：TOP-D通过动态构建近端教师，提供了一种新的训练范式，从而有效控制梯度方差，提高训练的稳定性和样本效率。

技术框架：TOP-D的整体架构包括动态教师的构建、梯度方差控制和训练动态的监控。主要模块包括教师模型的生成、策略更新和性能评估。

关键创新：TOP-D的核心创新在于其动态构建的近端教师，这一设计使得训练过程更加稳定，与传统的OPD方法相比，显著降低了梯度方差。

关键设计：在TOP-D中，关键参数设置包括教师模型的学习率和更新频率，损失函数设计上采用了控制梯度方差的策略，同时网络结构上保持了与OPD相似的架构，以便于比较和验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TOP-D在数学推理任务上相比于传统的OPD方法，训练稳定性提高了显著的百分比，样本效率也得到了明显提升，最终性能在多个基准测试中超越了现有的最佳结果，且没有增加计算开销。

🎯 应用场景

该研究的潜在应用领域包括强化学习、机器人控制和复杂决策系统等。通过提高训练的稳定性和效率，TOP-D可以在实际应用中更好地处理复杂任务，推动智能系统的发展。未来，TOP-D有望在更多领域中得到应用，提升智能体的学习能力和适应性。

📄 摘要（原文）

Big goals are hard to achieve all at once; breaking them into small steps is wiser. We present Trust Region Policy Distillation (TOP-D), which transforms the notoriously unstable, high-variance On-Policy Distillation (OPD) into a stable training paradigm by dynamically constructing a proximal teacher. Theoretically, we establish a rigorous framework demonstrating that TOP-D inherently controls gradient variance. By providing a formal global convergence analysis alongside a monotonic improvement bound, we mathematically formalize the reliability and stability of the overall training dynamics. Empirically, TOP-D dramatically enhances training stability, sample efficiency, and final performance on mathematical reasoning tasks. More importantly, TOP-D introduces zero additional computational overhead, positioning itself as a promising alternative to the well-established OPD paradigm.