ATOD: Annealed Turn-aware On-policy Distillation for Multi-turn Autonomous Agents

📄 arXiv: 2606.27814v1 📥 PDF

作者: Qitai Tan, Zefang Zong, Yang Li, Peng Chen

分类: cs.AI

发布日期: 2026-06-26

💡 一句话要点

提出ATOD以解决多轮自主智能体训练效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间交互 在线蒸馏 强化学习 多轮对话 智能体训练

📋 核心要点

  1. 现有的在线蒸馏方法在早期阶段表现良好，但随着学习进程，性能提升会趋于饱和，限制了最终效果。
  2. ATOD通过退火的在线蒸馏与强化学习结合，早期以OPD为主，后期逐步引入RL以促进探索性学习。
  3. 实验表明，ATOD在多个任务上成功率提升显著，平均成功率比OPD提高3.03点，比GRPO提高23.62点。

📝 摘要（中文）

训练小型语言模型智能体以完成长时间交互任务需要快速模仿和基于奖励的改进。现有的在线蒸馏方法（OPD）在早期阶段提供密集的教师指导，但随着学生接近教师，其性能提升会饱和。强化学习（RL）直接优化环境奖励，促进探索性改进，但稀疏和延迟的反馈使得早期学习效率低下。本文提出ATOD（退火轮次感知在线蒸馏），一种混合在线蒸馏算法，利用OPD和RL的互补性。ATOD通过退火的OPD-RL调度，在早期训练中以OPD为主，逐步增强RL以推动基于奖励的探索。同时引入轮次级不确定性重加权（T-DUR），放大高效轮次，改善长轨迹中的密集监督。实验结果表明，ATOD在多个基准测试中均优于竞争对手，成功率显著提升。

🔬 方法详解

问题定义：本文旨在解决小型语言模型智能体在长时间交互任务中的训练效率问题。现有的在线蒸馏方法在早期阶段表现良好，但随着学生接近教师，其性能提升会饱和，限制了最终效果。

核心思路：ATOD结合了在线蒸馏和强化学习的优点，采用退火策略，在训练初期以OPD为主，逐步引入RL以促进基于奖励的探索，从而提高学习效率和最终性能。

技术框架：ATOD的整体架构包括两个主要阶段：初期使用OPD进行密集监督，后期逐步增强RL以推动探索。引入轮次级不确定性重加权（T-DUR）来放大高效轮次，改善长轨迹中的监督效果。

关键创新：ATOD的核心创新在于退火的OPD-RL调度和T-DUR机制。与传统方法相比，ATOD能够更有效地结合密集监督与奖励驱动的探索，克服了早期学习效率低下的问题。

关键设计：ATOD在参数设置上采用了动态调整的策略，损失函数设计上结合了OPD和RL的目标，同时在网络结构上优化了对长轨迹的处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ATOD在ALFWorld、WebShop和Search-QA等任务上的实验结果显示，其平均成功率比OPD提高3.03点，比GRPO提高23.62点，同时超越了对应的教师模型2.16点，展现了显著的性能优势。

🎯 应用场景

ATOD的研究成果在多轮对话系统、智能客服、游戏AI等领域具有广泛的应用潜力。通过提高智能体在复杂任务中的学习效率，ATOD能够推动更智能的交互系统的发展，提升用户体验和系统性能。

📄 摘要（原文）

Training small language-model agents for long-horizon interactive tasks requires both fast imitation and reward-driven improvement. On-policy distillation (OPD) provides dense teacher guidance and typically improves rapidly in the early stage, but its gains saturate once the student approaches the teacher, limiting the final performance ceiling. Reinforcement learning (RL) directly optimizes environment rewards and encourages exploratory improvement toward a higher reward-defined ceiling, but sparse and delayed feedback makes early-stage learning much less efficient than OPD. In this paper, we propose ATOD (Annealed Turn-aware On-policy Distillation), a hybrid online distillation algorithm that explicitly exploits this complementarity. (1) ATOD uses an annealed OPD-RL schedule: OPD dominates early training to approach teacher-level behavior, while RL is gradually strengthened to drive reward-based exploration. (2) ATOD introduces Turn-level Disagreement-Uncertainty Reweighting (T-DUR), which softly amplifies high-utility turns and improves dense supervision in long trajectories. Experiments on ALFWorld, WebShop, and Search-QA show that ATOD consistently outperforms competing post-training baselines: across the three student sizes, ATOD improves average success rate by 3.03 points over OPD and 23.62 points over GRPO, while surpassing the corresponding teacher models by 2.16 points.