Accept Changes, Reject Attacks: Robust Memory Management for LLM Agents

📄 arXiv: 2610.41056v1 📥 PDF

作者: Runze Zhao, Dongruo Zhou, Sumit Kumar Jha, Nathaniel D. Bastian, Ankit Shah

分类: cs.CR, cs.AI

发布日期: 2026-10-29

备注: 24 pages, 9 figures, 6 tables

💡 一句话要点

提出一种鲁棒内存管理方法以解决LLM代理的记忆问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 内存管理 鲁棒性 记忆中毒 过时记忆 证据条件准确性 微调

📋 核心要点

  1. 现有内存管理方法在处理过时记忆和内存中毒时存在相互矛盾的写入决策，导致鲁棒性不足。
  2. 本文提出了一种新的内存管理方法，通过在特定对话中合成变化和攻击进行微调，提升内存的鲁棒性。
  3. 在三种基础模型上，实验结果显示该方法在各类别得分上均有提升，整体ECA超过未调优管理器的两倍。

📝 摘要（中文）

大型语言模型（LLM）代理依赖于长期记忆，其存储内容影响后续行为。内存管理器决定如何更新记忆及代理的操作记录。现有研究分别关注过时记忆和内存中毒问题，但缺乏统一的写入规则。本文将内存鲁棒性形式化为同时处理这两种情况，并提出了一种基于证据条件准确性（ECA）的新评估方法。通过在单一对话中合成插入变化和攻击的情景进行微调，显著提升了内存管理器的鲁棒性，尽管仍存在不足。

🔬 方法详解

问题定义：本文旨在解决大型语言模型代理的内存管理问题，特别是如何同时应对过时记忆和内存中毒的挑战。现有方法通常分别处理这两种情况，缺乏有效的统一策略。

核心思路：论文提出了一种新的内存管理策略，通过在合成的对话场景中插入变化和攻击进行微调，从而提升内存管理器的鲁棒性。该方法旨在确保内存中的信息既是最新的，又不受攻击影响。

技术框架：整体架构包括内存管理器、输入处理模块和评估模块。内存管理器负责更新和选择内存记录，输入处理模块用于生成合成对话场景，评估模块则使用证据条件准确性（ECA）来衡量鲁棒性。

关键创新：最重要的创新在于提出了基于ECA的鲁棒性评估方法，并通过合成对话场景进行微调，显著提升了内存管理器的性能。这一方法与现有的单一处理策略有本质区别。

关键设计：在微调过程中，设计了特定的损失函数以平衡更新和选择的准确性，同时确保内存记录的完整性和安全性。

📊 实验亮点

实验结果表明，所提出的方法在三种基础模型上均显著提升了鲁棒性，整体ECA超过未调优管理器的两倍，显示出在处理复杂记忆管理任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动问答系统和其他依赖长期记忆的人工智能代理。通过提升内存管理的鲁棒性，可以显著改善这些系统的可靠性和用户体验，未来可能推动更广泛的AI应用落地。

📄 摘要（原文）

Since large language model (LLM) agents rely on long-term memory, what they store now shapes what they do later. A memory manager decides how each input changes this memory and which records the agent acts on. It can fail in two ways: keeping a fact that has since changed (outdated memory), or storing a planted passage or injected instruction (memory poisoning). Most prior work studies them separately, yet they call for opposite write decisions, so no fixed write rule handles both. We therefore formalize memory robustness as handling both without doing worse on other inputs. Since accuracy checks only the answer, we measure robustness with evidence-conditioned accuracy (ECA), which also checks that the records the manager selects include all the evidence the answer needs, updated and free of attacks. However, existing memory systems and defenses are not more robust than an untuned manager on our test sets. We improve robustness with a simple one-shot recipe that fine-tunes the manager on episodes synthesized around a single conversation with inserted changes and attacks. On three backbones, it improves every category score on our test sets and more than doubles the untuned manager's overall ECA, though robustness remains incomplete.