Latent On-Policy Self-Distillation
作者: Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan
分类: cs.LG, cs.CL
发布日期: 2026-08-13
💡 一句话要点
提出潜在的在线自蒸馏方法以解决自我进化AI的学习效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线自蒸馏 自我进化 智能体学习 潜在标记 密集监督 学习效率 机器人控制 代码生成
📋 核心要点
- 现有的在线自蒸馏方法依赖于设计者指定的特权工件，限制了学习的灵活性和可扩展性。
- 本文提出的潜在在线自蒸馏方法通过使教师的特权上下文可学习，解决了现有方法的局限性。
- 实验结果显示，LOPD在多个任务上表现优异，学习效率高于现有的对比方法，具有显著的提升。
📝 摘要（中文）
使智能体能够从经验中学习并将其内化为策略已成为自我进化AI中的核心问题。在线自蒸馏（OPSD）通过使用特权自教师对学生自身轨迹提供密集监督，提供了一条有效的路径。然而，现有方法仍然严重依赖设计者指定的特权工件（如答案、反馈、技能或轨迹），限制了端到端学习和可扩展性。本文提出潜在在线自蒸馏（LOPD），使教师的特权上下文能够从经验中端到端学习。LOPD从相关经验中检索并将其组合成连续的潜在标记，以此来调节自教师，同时学生从任务和交互历史中生成轨迹，并在每个访问的前缀上接收密集的标记级监督。实验表明，LOPD在智能工具使用和代码生成方面的表现优于现有方法，并且学习效率高，展示了其在智能体进化中的潜在应用价值。
🔬 方法详解
问题定义：本文旨在解决现有在线自蒸馏方法对特权工件的依赖问题，这限制了智能体的端到端学习能力和可扩展性。
核心思路：提出潜在在线自蒸馏（LOPD），使教师的特权上下文能够从经验中学习，而不是依赖手工设计的特权信息。
技术框架：LOPD的整体架构包括经验检索模块、潜在标记生成模块和自教师模块。经验检索模块从历史交互中提取相关经验，潜在标记生成模块将这些经验组合成连续的潜在标记，自教师模块则根据这些标记进行指导。
关键创新：LOPD的核心创新在于将特权上下文的学习过程内嵌于智能体的学习框架中，使得特权信息不再是静态的，而是动态学习的。
关键设计：在设计中，LOPD引入了特权边际目标，以稳定和调节潜在上下文的学习过程，同时在损失函数中加入了密集的标记级监督，确保学生在每个访问的前缀上都能获得有效的反馈。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LOPD在智能工具使用和代码生成任务中表现优异，超越了RLVR和多种代表性的OPSD方法，包括OPSD、SDPO和Skill-SD。此外，LOPD在学习效率上也显著优于GRPO和Skill-SD，使用的回合预算不到30%。
🎯 应用场景
该研究的潜在应用领域包括智能体自主学习、机器人控制和自动化代码生成等。通过提高学习效率和自我改进能力，LOPD有望在智能体的自我进化和适应性方面产生深远影响，推动智能系统在复杂环境中的应用。
📄 摘要（原文）
Enabling agents to learn from experience and internalize it into their policy has become a central problem in self-evolving AI. On-policy self-distillation (OPSD) offers an effective pathway by using a privileged self-teacher to provide dense supervision on the student's own trajectories; however, existing methods still rely heavily on designer-specified privileged artifacts (e.g., answers, feedback, skills, or trajectories), limiting the end-to-end learnability and scalability required for continual self-improvement. In this work, we introduce Latent On-Policy Self-Distillation (LOPD), which, rather than proposing another hand-crafted OPSD variant with a newly prescribed form of privileged context, makes the teacher's privileged context itself learnable end-to-end from experience. Technically, LOPD retrieves relevant experiences and composes them into continuous latent tokens that condition a self-teacher, while the student generates trajectories from the task and interaction history and receives dense token-level supervision at every visited prefix. We further introduce a privileged-margin objective to stabilize and regulate the learning of latent context. Empirically, LOPD demonstrates (I) strong performance, outperforming RLVR and representative OPSD methods including OPSD, SDPO, and Skill-SD across both agentic tool use and code generation; and (II) high learning efficiency, surpassing GRPO and Skill-SD with less than 30% of their rollout budget. Ablation studies further provide direct evidence that making privileged context learnable is necessary for realizing these gains. Together, these results position LOPD as a step toward a more scalable and self-directed paradigm for agent evolution.