Modular Memory is the Key to Continual Learning Agents

📄 arXiv: 2603.01761v1 📥 PDF

作者: Vaggelis Dorovatas, Malte Schwerin, Andrew D. Bagdanov, Lucas Caccia, Antonio Carta, Laurent Charlin, Barbara Hammer, Tyler L. Hayes, Timm Hess, Christopher Kanan, Dhireesha Kudithipudi, Xialei Liu, Vincenzo Lomonaco, Jorge Mendez-Mendez, Darshan Patil, Ameya Prabhu, Elisa Ricci, Tinne Tuytelaars, Gido M. van de Ven, Liyuan Wang, Joost van de Weijer, Jonghyun Choi, Martin Mundt, Rahaf Aljundi

分类: cs.LG, cs.AI

发布日期: 2026-03-02

备注: This work stems from discussions held at the Dagstuhl seminar on Continual Learning in the Era of Foundation Models (October 2025)

💡 一句话要点

提出模块化记忆架构，融合In-Weight Learning和In-Context Learning，解决持续学习中的灾难性遗忘问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 灾难性遗忘 权重内学习 情境学习 模块化记忆 自适应智能 知识积累

📋 核心要点

  1. 现有持续学习方法主要依赖于权重内学习（IWL），容易导致灾难性遗忘，限制了模型在持续学习场景下的性能。
  2. 论文提出一种模块化记忆架构，结合权重内学习（IWL）和情境学习（ICL）的优势，实现快速适应和知识积累。
  3. 该框架旨在克服传统持续学习方法的局限性，为构建能够持续学习的智能代理提供新的思路和方向。

📝 摘要（中文）

大型预训练模型通过大规模预训练和增加测试时计算，已经改变了机器学习领域。尽管这些模型在某些领域超越了人类的表现，但它们在持续运行、经验积累和个性化方面仍然存在根本性的局限性，而这些能力对于自适应智能至关重要。持续学习研究长期以来一直致力于实现这些目标，但其历史重点在于权重内学习（IWL），即更新单个模型的参数以吸收新知识，这使得灾难性遗忘成为一个持续存在的挑战。我们的观点是，通过模块化记忆的设计，结合权重内学习（IWL）的优势和情境学习（ICL）的新兴能力，是实现大规模持续适应的关键。我们概述了一个以模块化记忆为中心的架构的概念框架，该框架利用ICL进行快速适应和知识积累，并利用IWL对模型能力进行稳定更新，从而规划出一条通往持续学习代理的实际路线。

🔬 方法详解

问题定义：持续学习旨在使模型能够不断学习新的任务或数据，而不会忘记之前学到的知识。现有的权重内学习（IWL）方法，通过更新模型参数来适应新知识，但容易导致灾难性遗忘，即在学习新任务时忘记旧任务的知识。这种遗忘限制了模型在实际应用中的持续学习能力。

核心思路：论文的核心思路是结合权重内学习（IWL）和情境学习（ICL）的优势，利用模块化记忆架构来实现持续学习。IWL负责稳定地更新模型的核心能力，而ICL则负责快速适应新任务和积累知识。通过模块化设计，可以将不同任务的知识存储在不同的模块中，从而减少任务之间的干扰，降低灾难性遗忘的风险。

技术框架：该框架包含两个主要组成部分：权重内学习（IWL）模块和情境学习（ICL）模块。IWL模块负责更新模型的主干网络，使其具备通用的知识表示能力。ICL模块则利用外部记忆存储不同任务的知识，并通过情境学习的方式，将相关知识传递给主干网络，从而实现快速适应。整体流程如下：首先，利用IWL模块对模型进行预训练，使其具备一定的通用知识。然后，当遇到新任务时，利用ICL模块将该任务的知识存储到外部记忆中。在进行推理时，根据输入样本的上下文，从外部记忆中检索相关知识，并将其传递给主干网络，从而实现对新任务的快速适应。

关键创新：该论文的关键创新在于提出了模块化记忆架构，将权重内学习（IWL）和情境学习（ICL）相结合，从而克服了传统持续学习方法中的灾难性遗忘问题。与现有方法相比，该方法能够更好地平衡稳定性和可塑性，实现更有效的持续学习。

关键设计：模块化记忆的设计是关键。具体来说，外部记忆可以采用多种形式，例如，可以使用基于Transformer的记忆网络，或者使用基于向量数据库的记忆存储。情境学习模块的设计也至关重要，需要能够有效地从外部记忆中检索相关知识，并将其传递给主干网络。损失函数的设计需要考虑IWL和ICL之间的平衡，既要保证模型能够稳定地学习通用知识，又要保证模型能够快速适应新任务。

🖼️ 关键图片

fig_0

📊 实验亮点

论文提出了一个概念框架，目前没有具体的实验结果。未来的工作将集中在验证该框架的有效性，并与其他持续学习方法进行比较。预期的结果是，该方法能够在多个持续学习基准测试中取得显著的性能提升，并降低灾难性遗忘的程度。

🎯 应用场景

该研究成果可应用于各种需要持续学习的场景，例如机器人、自动驾驶、智能助手等。通过不断学习新的技能和知识，这些系统可以更好地适应复杂多变的环境，提供更智能、更个性化的服务。此外，该研究还有助于推动通用人工智能的发展，使机器能够像人类一样不断学习和进化。

📄 摘要（原文）

Foundation models have transformed machine learning through large-scale pretraining and increased test-time compute. Despite surpassing human performance in several domains, these models remain fundamentally limited in continuous operation, experience accumulation, and personalization, capabilities that are central to adaptive intelligence. While continual learning research has long targeted these goals, its historical focus on in-weight learning (IWL), i.e., updating a single model's parameters to absorb new knowledge, has rendered catastrophic forgetting a persistent challenge. Our position is that combining the strengths of In-Weight Learning (IWL) and the newly emerged capabilities of In-Context Learning (ICL) through the design of modular memory is the missing piece for continual adaptation at scale. We outline a conceptual framework for modular memory-centric architectures that leverage ICL for rapid adaptation and knowledge accumulation, and IWL for stable updates to model capabilities, charting a practical roadmap toward continually learning agents.