Harness Continual Learning: Continual Adaptation Beyond Model Parameters
作者: Borui Kang, Jinrui Gu, Junhan Lv, Wenbin Li, Lei Wang, Yang Gao
分类: cs.LG, cs.AI
发布日期: 2026-08-19
💡 一句话要点
提出Harness Continual Learning以解决模型参数外的持续学习问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 持续学习 工具带演化 智能体适应 多模态感知 文本推理 能力积累 故障恢复
📋 核心要点
- 现有的持续学习方法主要集中在模型参数的更新，忽视了如何在不改变模型的情况下进行有效的适应。
- 本文提出的HCL范式通过更新工具带而非模型参数来实现持续学习，解决了传统方法中的遗忘问题。
- 实验结果显示，HCL在文本推理和多模态感知等任务中，相较于基线模型提升超过10%，并有效实现能力的积累与故障恢复。
📝 摘要（中文）
持续学习通常以模型为中心，关注模型参数随经验的变化。然而，现代智能体还可以通过提示、记忆、工具、技能和路由规则进行适应。本文提出了Harness Continual Learning (HCL)的新范式，定义了在冻结基础模型的情况下，如何通过更新“工具带”来持续改进智能体的状态，同时保持早期获得的行为。通过四个执行组件的实例化，HCL展示了在文本推理、多模态感知和开放世界交互中的能力积累和故障恢复，实验结果表明在多个设置中相较于基线有超过10%的相对提升。
🔬 方法详解
问题定义：本文解决的问题是如何在冻结基础模型的情况下，通过更新工具带来实现持续学习，避免传统方法中因参数更新导致的遗忘现象。
核心思路：HCL的核心思路是将持续学习的焦点从模型参数转移到工具带的演化，通过更新工具带来适应新任务，同时保持已有行为的稳定性。
技术框架：HCL框架包括四个主要组件：任务接口、经验记忆、能力图和自适应路由器。这些组件共同作用，支持智能体在执行过程中不断适应和优化。
关键创新：HCL的关键创新在于引入了“受保护的工具带演化”机制，允许在生成更新时与状态承诺分离，从而有效管理工具带的更新与行为保持。
关键设计：在设计中，使用了持续优化器来提出候选工具带，并通过持续评估器在确认改进、历史保留和有效性后才进行承诺，确保更新的可靠性。实验中还进行了组件消融实验，以评估各个组件的贡献。
🖼️ 关键图片
📊 实验亮点
实验结果表明，HCL在文本推理和多模态感知等任务中，相较于基线模型提升超过10%。此外，控制保留实验揭示了可测量的工具带遗忘现象，并显示出稳定性与可塑性之间的权衡可以被明确调整。
🎯 应用场景
该研究的潜在应用领域包括智能助手、机器人控制和自适应系统等。通过实现工具带的持续更新，智能体能够在动态环境中保持高效的适应能力，提升用户体验和系统的整体性能。未来，这一方法可能推动更广泛的智能体在复杂任务中的应用。
📄 摘要（原文）
Continual learning has largely been model-centric, treating model parameters as the state that changes with sequential experience. Modern agents can also adapt through a harness of prompts, memories, tools, skills, and routing rules. Because these contents jointly shape later execution, a harness update can disrupt previously reliable behavior even when the model is frozen. This raises a new question: how can an agent continually improve its state outside the model while retaining behavior acquired earlier? We formulate Harness Continual Learning (HCL), a new continual learning paradigm in which the harness evolves around a frozen foundation model, and define the resulting loss of earlier behavior as harness-level forgetting. We instantiate HCL with four execution-facing components: the Task Interface, Experience Memory, Capability Map, and Adaptive Router. We further introduce guarded harness evolution to separate update generation from state commitment. A Continual Optimizer proposes candidate harnesses from post-execution feedback, and a Continual Evaluator commits the resulting candidate harness only after checking current improvement, historical retention, and validity. Experiments on textual reasoning, multimodal perception, and open-world interaction demonstrate capability accumulation and failure recovery, with relative gains exceeding 10% over corresponding baselines in multiple settings. Component ablations assess the contribution of each harness component, while controlled retention sweeps reveal measurable harness-level forgetting and show that the stability--plasticity trade-off can be explicitly adjusted.