Look Ahead Before You Distill: Future Trajectory Validation of Teacher Guidance for Agentic On-Policy Distillation

📄 arXiv: 2608.01953v1 📥 PDF

作者: Chishui Chen, Yaoyou Fan, Te Sun, Yi Yang, Chenghao Sun, Delin Mao, Hongbo Qiao, Zuowei Zhang, Junxi Wang, Chenxing Sun, Yangen Hu, Lu Pan, Xuyang Liu, Linfeng Zhang

分类: cs.CL, cs.LG

发布日期: 2026-08-03

备注: 15 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出FutureBridge-OPD以解决多回合任务中的教师指导有效性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线蒸馏 教师指导 轨迹评估 智能体学习 多回合任务

📋 核心要点

  1. 现有的在线蒸馏方法在多回合任务中，学生的轨迹偏离教师指导有效状态，导致指导效果减弱。
  2. 本文提出FutureBridge-OPD，通过在高不一致状态下执行教师桥接，评估其对后续轨迹的影响。
  3. FTB在多个任务上表现优异，相比传统方法平均提升了16.6分和7.6分，具有广泛适用性。

📝 摘要（中文）

在多回合的智能任务中，现有的在线蒸馏方法（OPD）面临学生偏差逐渐累积的问题，导致学生的轨迹偏离教师指导有效的状态。本文提出FutureBridge-OPD（FTB），在高不一致状态下执行短期教师桥接，并利用学生的后续轨迹评估桥接是否增加了正向蒸馏信号的密度。实验结果表明，FTB在ALFWorld、WebShop和ScienceWorld等任务上，相较于传统OPD和TCOD，平均提升了16.6和7.6分，且在不同学生规模和教师设置下均表现出色。

🔬 方法详解

问题定义：本文旨在解决在线蒸馏方法在多回合智能任务中，学生轨迹偏离教师指导有效状态的问题。现有方法未能有效处理学生偏差累积，导致指导效果减弱。

核心思路：提出FutureBridge-OPD（FTB），在高不一致状态下执行短期教师桥接，通过观察学生的后续轨迹来评估教师指导的有效性。这样的设计旨在确保教师指导能够在关键时刻提供有效支持。

技术框架：FTB的整体架构包括教师桥接模块和学生轨迹评估模块。首先，在高不一致状态下进行教师指导，然后根据学生的后续行为评估指导的有效性。

关键创新：FTB的核心创新在于通过短期教师桥接来动态评估教师指导的有效性，与传统方法相比，能够更好地适应学生的轨迹变化。

关键设计：在FTB中，关键参数包括教师和学生模型的选择，以及损失函数的设计，确保在评估过程中能够准确反映教师指导的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FTB在ALFWorld、WebShop和ScienceWorld等任务上，相较于传统在线蒸馏方法（OPD）和TCOD，平均提升了16.6分和7.6分，显示出其在不同学生规模和教师设置下的广泛有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、游戏AI等多种需要实时决策的场景。通过提升教师指导的有效性，FTB能够帮助智能体在复杂环境中更好地学习和适应，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation (OPD) provides teacher supervision on states visited by the student, reducing the distribution gap between training and inference. However, in multi-turn agentic tasks, student deviations may accumulate over time, gradually moving the trajectory away from states where teacher guidance remains effective. Our quantitative analysis further shows that high-disagreement states offer promising opportunities for teacher guidance, but determining whether such guidance is beneficial requires examining its effect on subsequent student trajectories. We propose FutureBridge-OPD (FTB), which executes a short teacher bridge at a high disagreement state and uses the resulting student continuation to assess whether the bridge increases the density of positive distillation signals relative to the teacher. On ALFWorld, WebShop, and ScienceWorld, under the main Qwen3-32B teacher to Qwen3-1.7B student setting, FTB outperforms vanilla OPD and TCOD by an average of 16.6 and 7.6 points, respectively, and remains effective across student scales and teacher settings. Our code is publicly available at https://github.com/ChenChiShui/FutureBridge-OPD.