Can Coding Agents Sustain Continual Evolution without Forgetting?
作者: Shangziqi Zhao, Yitong Zhang, Jia Li
分类: cs.SE, cs.AI
发布日期: 2026-11-02
🔗 代码/项目: GITHUB
💡 一句话要点
提出持续自我进化的方法以解决编码代理遗忘问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自我进化 编码代理 灾难性遗忘 多任务学习 软件工程 性能评估 智能代理
📋 核心要点
- 现有方法主要集中于单一任务的代理进化，缺乏对多任务环境下的研究，导致灾难性遗忘问题未得到有效解决。
- 本文通过组织三种软件工程任务数据集，应用两种代表性的进化方法，探讨了持续自我进化的可能性。
- 实验结果显示，后续任务的进化会显著降低在先前任务上的性能，提供了对持续自我进化的深刻见解。
📝 摘要（中文）
近年来，自我进化已成为提升代理性能的重要范式。以往研究主要集中在单一任务上的代理进化，而实际应用中，编码代理需要处理多种任务类型。本文通过全面的实证研究，探讨了编码代理在多任务环境中持续自我进化的能力，尤其是如何避免灾难性遗忘。实验结果表明，后续数据集的进化会显著降低在先前数据集上的性能，提供了持续自我进化的若干见解，并为未来研究指明了方向。
🔬 方法详解
问题定义：本文旨在解决编码代理在多任务环境中持续自我进化时面临的灾难性遗忘问题。现有方法多集中于单一任务，未能有效应对多任务的挑战。
核心思路：通过对三种软件工程任务数据集进行组织，探索代理在不同任务间的持续自我进化能力，重点关注如何在进化过程中保持对先前任务的性能。
技术框架：研究采用了两种代表性的进化方法，分别在六个不同的进化方向上进行实验。整体流程包括数据集准备、进化方法应用及性能评估三个主要模块。
关键创新：本文的主要创新在于系统性地探讨了多任务环境下的持续自我进化，揭示了后续任务进化对先前任务性能的影响，这在现有文献中尚属首次。
关键设计：在实验中，采用了DeepSeek-V4-Flash-0731和Meta-Harness等技术，设置了不同的进化参数，并通过多轮实验评估性能变化，确保了结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Meta-Harness在SWE-Bench上的性能在进化后提升至94.0%，但在对FeatureBench进行进一步进化后，其在SWE-Bench上的性能降至32.0%，相对下降幅度达到66%。这一结果突显了多任务进化中的遗忘现象。
🎯 应用场景
该研究的潜在应用领域包括软件工程、智能代理系统和机器人技术等。通过提升编码代理在多任务环境中的自我进化能力，可以显著提高其在复杂场景下的适应性和性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
Recently, harness self-evolution has emerged as an important paradigm for improving agent performance. Prior studies show that evolving the agent harness can effectively enhance agent capabilities without modifying the foundation model's parameters. We find that existing approaches largely study agent evolution on a single task. In practice, coding agents may need to handle multiple task types over time. Whether an agent harness can continuously evolve across multiple tasks without suffering from catastrophic forgetting remains an important open question. In this paper, we investigate this open question through a comprehensive empirical study of continual harness self-evolution. We organize three software engineering task datasets into six different evolution directions and apply two representative harness evolution methods to perform continual evolution along these directions. Our experimental results show that evolution on a subsequent dataset can substantially undermine the performance on previously seen datasets. For example, with DeepSeek-V4-Flash-0731, Meta-Harness improves its performance on SWE-Bench to 94.0% after evolution. However, after further evolution on FeatureBench, its performance on SWE-Bench drops to 32.0% by the fifth round, corresponding to a 66% relative decrease. Finally, based on our experimental findings, we identify several insights, providing directions for the continual self-evolution of agent harnesses. Code is available at https://github.com/THU-Agent/continual-harness-evolution.