Agentic Reinforcement Learning with Observation-Calibrated Self-Distillation

📄 arXiv: 2608.04788v1 📥 PDF

作者: Yi Yang, Cong Qin, Xiaodan Liu, Chishui Chen, Qing Dong, Yan Zhang, Cao Liu, Zhao Yang, Lu Pan, Jiaye Lin, Yi Feng

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-08-05

🔗 代码/项目: GITHUB

💡 一句话要点

提出观察校准自蒸馏以解决稀疏奖励问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 观察校准 自蒸馏 强化学习 稀疏奖励 环境反馈 模型训练 智能代理 决策优化

📋 核心要点

  1. 现有的在线自蒸馏方法在稀疏奖励环境中难以有效指导标记更新，导致学习效率低下。
  2. 本文提出观察校准自蒸馏（OCSD），通过对比不同的重放视图，提取观察残差以改善标记级更新。
  3. 在ALFWorld、WebShop和Search-QA等任务上，OCSD在多个Qwen3模型规模下均表现出显著的性能提升。

📝 摘要（中文）

大型语言模型代理通常通过稀疏的轨迹级奖励进行强化学习，这对单个标记的更新指导有限。现有的在线自蒸馏方法通过特权重放视图重新评分生成的标记，以获得密集的标记级监督。然而，重放视图中的特权信息和评分变化会混淆支持的归因。为了解决这一问题，本文提出了观察校准自蒸馏（OCSD），通过对比完整和观察消融的重放视图，提取观察残差，从而调节高不确定性步骤的标记级更新。实验表明，OCSD在多个基准任务上均优于强基线，且校准残差与环境反馈更为一致。

🔬 方法详解

问题定义：本文旨在解决在稀疏奖励环境中，现有在线自蒸馏方法难以有效指导标记更新的问题。现有方法的痛点在于重放视图中的特权信息和评分变化混淆了支持的归因，尤其是在未来环境观察作为特权信息时。

核心思路：论文提出观察校准自蒸馏（OCSD），通过对比完整重放视图和观察消融重放视图，提取观察残差，从而消除重放支架引起的评分变化的影响。这种设计旨在提高标记级更新的准确性，尤其是在高不确定性步骤中。

技术框架：OCSD的整体架构包括两个主要阶段：首先，通过完整和观察消融的重放视图进行对比，提取观察残差；其次，利用该残差调节标记级的GRPO更新，同时保持轨迹级更新方向。

关键创新：OCSD的核心创新在于通过对比两种结构匹配的重放视图，提取观察残差，从而有效消除重放支架引起的评分变化。这一方法与现有的自蒸馏方法相比，能够更准确地归因于环境反馈。

关键设计：在设计中，OCSD采用了特定的损失函数来优化标记级更新，并在高不确定性步骤中应用观察残差。具体的网络结构和参数设置在实验中进行了详细调优，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OCSD在ALFWorld、WebShop和Search-QA任务上均显著优于强基线，具体提升幅度达到10%以上，且校准残差与环境反馈的对齐度更高，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器人控制和智能代理系统等。通过提高模型在稀疏奖励环境中的学习效率，OCSD能够在实际应用中显著提升智能体的决策能力和适应性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language model agents are commonly trained through reinforcement learning with sparse trajectory-level rewards, which offer limited guidance on how strongly individual tokens should be updated. On-Policy Self-Distillation (OPSD) addresses this by re-scoring generated tokens under a privileged replay view to obtain dense, token-level supervision. However, we identify a confounding issue: the resulting support may reflect both the privileged information contained in the replay view and score shifts induced by the replay scaffold, making it difficult to attribute the support specifically to that information. This issue is especially pronounced when future environment observations serve as privileged information, since replaying them requires reconstructing an extended scaffold that itself perturbs token scores. To resolve this confounding, we propose Observation-Calibrated Self-Distillation (OCSD), which contrasts two structurally matched replay views, Full and Observation-Ablated, differing only in whether the actual future observation is present, to derive an observation residual that discounts score changes shared by the replay scaffold. OCSD then applies this residual to modulate token-level GRPO updates at high-uncertainty steps, while preserving the trajectory-level update direction. Experiments on ALFWorld, WebShop, and Search-QA across three Qwen3 model scales show that OCSD consistently outperforms strong baselines. Diagnostic analyses further confirm that the calibrated residual aligns better with local environment feedback. Our code is publicly available at https://github.com/yiy1x/OCSD.