OPD-Evolver: Cultivating Holistic Agent Evolver via On-Policy Distillation

📄 arXiv: 2606.17628v1 📥 PDF

作者: Guibin Zhang, Xun Xu, Yanwei Yue, Zikun Su, Wangchunshu Zhou, Xiaobin Hu, Shuicheng Yan

分类: cs.CL

发布日期: 2026-06-16

💡 一句话要点

提出OPD-Evolver以解决自我进化智能体的经验管理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自我进化 在线自蒸馏 经验管理 智能体学习 多领域测试

📋 核心要点

  1. 现有的内存智能体在经验选择和知识管理方面存在不足，无法有效地进行自我进化。
  2. OPD-Evolver通过慢快共进化框架和在线自蒸馏，提升智能体在经验管理和知识应用方面的能力。
  3. 在多领域基准测试中，OPD-Evolver显著超越了现有内存系统和训练方法，展示了其优越性。

📝 摘要（中文）

内存已成为自我进化智能体的标准基础，但保留经验并不等同于通过经验学习如何进化。现有的内存智能体可以存储轨迹、检索反思或积累技能，但往往缺乏选择有用经验、应用经验、编写可重用知识和维护不断增长的知识库的整体能力。我们提出了OPD-Evolver，一个通过在线自蒸馏培养智能体进化者的慢快共进化框架。在快速循环中，OPD-Evolver与四级内存层次结构交互，以快速读取、使用、写入和维护经验。在慢速循环中，结果校准的内存归因和特权回顾将这四种能力蒸馏为可部署策略。在多领域基准测试中，OPD-Evolver的表现超越了ReasoningBank等内存系统，提升幅度达到11.5%，并且比基于训练的方法Skill0提高了约5.8%。进一步分析表明，OPD-Evolver内化了高价值经验和内存管理，使得OPD-Evolver-9B能够挑战Qwen3.5-397B-A17B和Step-3.5-Flash等大型对手，指向真正合格的智能体进化者。

🔬 方法详解

问题定义：本论文旨在解决自我进化智能体在经验选择和知识管理方面的不足，现有方法无法有效整合和利用存储的经验以实现智能体的进化。

核心思路：OPD-Evolver采用慢快共进化的框架，通过在线自蒸馏机制，提升智能体在经验的读取、使用、写入和维护方面的能力，从而实现更高效的自我进化。

技术框架：整体架构包括快速循环和慢速循环两个部分。在快速循环中，智能体与四级内存层次结构交互，快速处理经验；在慢速循环中，通过结果校准的内存归因和特权回顾，将经验转化为可部署策略。

关键创新：最重要的创新在于引入了慢快共进化框架和在线自蒸馏机制，使得智能体能够在经验管理上实现更高的灵活性和适应性，与现有方法相比，具备更强的整体能力。

关键设计：在设计中，OPD-Evolver的内存层次结构分为四个级别，采用特定的损失函数来优化经验的选择和应用，同时在蒸馏过程中引入了结果校准机制，以确保策略的有效性和可部署性。

📊 实验亮点

在多领域基准测试中，OPD-Evolver的性能超越了ReasoningBank等内存系统，提升幅度达到11.5%，并且比基于训练的方法Skill0提高了约5.8%。这些结果表明OPD-Evolver在智能体进化能力方面的显著优势。

🎯 应用场景

OPD-Evolver的研究成果在智能体自我进化、机器人学习和自动化决策等领域具有广泛的应用潜力。通过提升智能体的经验管理能力，该方法可用于开发更智能的自主系统，推动人工智能在复杂环境中的应用和发展。

📄 摘要（原文）

Memory has become a standard substrate for self-evolving agents, yet retaining experience is not the same as learning how to evolve through it. Existing memory agents can store trajectories, retrieve reflections, or accumulate skills, but often lack the holistic competence to select useful experience, act on it, write reusable knowledge, and maintain a growing repository. We introduce OPD-Evolver, a slow-fast co-evolution framework that cultivates such an agent evolver through on-policy self-distillation. In the fast loop, OPD-Evolver interacts with a four-level memory hierarchy to read, use, write, and maintain experience for rapid test-time evolution. In the slow loop, outcome-calibrated memory attribution and privileged hindsight distill these four abilities into the deployable policy. Across multi-domain benchmarks, OPD-Evolver surpasses memory systems such as ReasoningBank by up to 11.5%, and training-based methods such as Skill0 by ~5.8%. Further analysis shows that OPD-Evolver internalizes high-value experience and memory management, enabling OPD-Evolver-9B to challenge giant counterparts such as Qwen3.5-397B-A17B and Step-3.5-Flash, pointing beyond memory-augmented agents toward genuinely qualified agent evolvers.