SYNAPSE: Empowering LLM Agents with Episodic-Semantic Memory via Spreading Activation
作者: Hanqi Jiang, Junhao Chen, Yi Pan, Ling Chen, Weihang You, Yifan Zhou, Ruidong Zhang, Yohannes Abate, Tianming Liu
分类: cs.CL
发布日期: 2026-01-06
💡 一句话要点
SYNAPSE:通过激活扩散赋能LLM Agent以情景-语义记忆,解决长期记忆的断连问题。
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: LLM Agent 情景-语义记忆 激活扩散 长期记忆 知识图谱 认知科学 上下文隧道
📋 核心要点
- 现有检索增强方法无法有效连接LLM Agent的长期记忆,导致推理能力受限。
- Synapse将记忆建模为动态图,通过激活扩散动态地发现相关信息,模拟人类认知过程。
- 实验表明,Synapse在时序和多跳推理任务中显著优于现有方法,有效缓解了上下文隧道问题。
📝 摘要(中文)
大型语言模型(LLM)在通用推理方面表现出色,但标准的检索增强方法未能解决长期Agent记忆的断连性问题。为了弥合这一差距,我们引入了Synapse(协同关联处理语义编码),这是一种超越静态向量相似性的统一记忆架构。Synapse借鉴认知科学,将记忆建模为一个动态图,其中相关性从激活扩散中涌现,而不是预先计算的链接。通过整合侧向抑制和时间衰减,该系统动态地突出显示相关的子图,同时过滤干扰。我们实现了一种三重混合检索策略,将几何嵌入与基于激活的图遍历融合。在LoCoMo基准上的综合评估表明,Synapse在复杂的时序和多跳推理任务中显著优于最先进的方法,为“上下文隧道”问题提供了一个强大的解决方案。我们的代码和数据将在接受后公开。
🔬 方法详解
问题定义:现有的大型语言模型Agent在处理长期记忆时,面临着“上下文隧道”问题,即难以有效地将分散在不同时间点或不同情境下的相关信息联系起来,导致在需要进行复杂推理时,无法充分利用历史信息。传统的检索增强方法依赖于静态的向量相似度,无法捕捉记忆之间的动态关联和上下文依赖性。
核心思路:Synapse的核心思路是借鉴认知科学中的激活扩散机制,将Agent的记忆表示为一个动态的图结构,其中节点代表记忆片段,边代表记忆之间的关联强度。通过模拟神经元之间的激活传递过程,动态地激活与当前任务相关的记忆片段,从而实现对长期记忆的有效利用。这种方法能够更好地捕捉记忆之间的语义关系和上下文依赖性,从而提高Agent的推理能力。
技术框架:Synapse的整体架构包含以下几个主要模块:1) 记忆图构建模块:将Agent的经验转化为图结构,节点表示记忆片段,边表示记忆之间的关联。2) 激活扩散模块:根据当前任务,在记忆图中进行激活扩散,动态地激活与任务相关的记忆片段。3) 侧向抑制模块:抑制不相关的记忆片段,减少干扰。4) 时间衰减模块:对记忆片段的激活强度进行时间衰减,模拟记忆的遗忘过程。5) 三重混合检索模块:融合几何嵌入和基于激活的图遍历,检索最相关的记忆片段。
关键创新:Synapse最重要的技术创新点在于其动态的记忆表示和激活扩散机制。与传统的静态向量相似度检索方法不同,Synapse能够根据当前任务动态地调整记忆之间的关联强度,从而更好地捕捉记忆之间的语义关系和上下文依赖性。此外,Synapse还引入了侧向抑制和时间衰减机制,进一步提高了记忆检索的准确性和效率。
关键设计:Synapse的关键设计包括:1) 记忆图的构建方式:如何将Agent的经验有效地转化为图结构。2) 激活扩散算法:如何设计激活扩散算法,使其能够有效地激活与任务相关的记忆片段。3) 侧向抑制和时间衰减的参数设置:如何设置侧向抑制和时间衰减的参数,以达到最佳的性能。4) 三重混合检索策略:如何有效地融合几何嵌入和基于激活的图遍历。
🖼️ 关键图片
📊 实验亮点
Synapse在LoCoMo基准测试中取得了显著的性能提升,尤其是在复杂的时序和多跳推理任务中。实验结果表明,Synapse显著优于现有的最先进方法,例如在某些任务中,Synapse的性能提升超过了10%。这些结果表明,Synapse能够有效地解决长期记忆的断连性问题,提高Agent的推理能力。
🎯 应用场景
Synapse具有广泛的应用前景,例如在智能客服、对话系统、游戏AI等领域,可以帮助Agent更好地理解用户意图,进行更自然的对话,并做出更合理的决策。此外,Synapse还可以应用于知识图谱构建、信息检索等领域,提高知识的利用效率和检索的准确性。未来,Synapse有望成为构建更智能、更可靠的Agent系统的关键技术。
📄 摘要(原文)
While Large Language Models (LLMs) excel at generalized reasoning, standard retrieval-augmented approaches fail to address the disconnected nature of long-term agentic memory. To bridge this gap, we introduce Synapse (Synergistic Associative Processing Semantic Encoding), a unified memory architecture that transcends static vector similarity. Drawing from cognitive science, Synapse models memory as a dynamic graph where relevance emerges from spreading activation rather than pre-computed links. By integrating lateral inhibition and temporal decay, the system dynamically highlights relevant sub-graphs while filtering interference. We implement a Triple Hybrid Retrieval strategy that fuses geometric embeddings with activation-based graph traversal. Comprehensive evaluations on the LoCoMo benchmark show that Synapse significantly outperforms state-of-the-art methods in complex temporal and multi-hop reasoning tasks, offering a robust solution to the "Contextual Tunneling" problem. Our code and data will be made publicly available upon acceptance.