Are We Ready For An Agent-Native Memory System?
作者: Wei Zhou, Xuanhe Zhou, Shaokun Han, Hongming Xu, Guoliang Li, Zhiyu Li, Feiyu Xiong, Fan Wu
分类: cs.CL, cs.DB, cs.IR
发布日期: 2026-06-23
备注: Paper list available at: https://github.com/OpenDataBox/awesome-agent-memory. Source code available at: https://github.com/OpenDataBox/MemoryData
🔗 代码/项目: GITHUB
💡 一句话要点
提出一种系统化的代理原生记忆系统评估框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代理记忆 数据管理 系统评估 内存结构 动态更新 性能优化 智能代理
📋 核心要点
- 现有的代理记忆系统评估主要依赖于任务成功指标，忽视了系统级的关键问题，如操作成本和鲁棒性。
- 本文提出了一个分析框架，将代理记忆分解为四个核心模块，从而系统性地评估记忆系统的性能。
- 通过对12个记忆系统的评估，发现没有单一架构在所有场景中表现最佳，效果依赖于内存结构与工作负载的匹配程度。
📝 摘要（中文）
大型语言模型（LLM）代理的记忆系统已经从简单的检索增强机制发展为支持持久信息存储、检索、更新、整合和动态生命周期管理的数据管理系统。尽管如此，现有评估仍主要通过端到端任务成功指标（如F1、BLEU）来衡量代理记忆，忽视了系统级的关键问题，如操作成本、内存模块间的架构权衡及动态知识更新下的鲁棒性。本文从数据管理的角度系统性地研究代理记忆，提出一个分析框架，将代理记忆分解为四个核心模块，并对12个代表性记忆系统进行评估，揭示了成本与性能的权衡，指明了构建真正代理原生记忆系统的方向。
🔬 方法详解
问题定义：本文旨在解决现有代理记忆系统评估方法的不足，尤其是对系统级问题的忽视，如操作成本和动态更新的鲁棒性。
核心思路：提出一个系统化的分析框架，将代理记忆分解为四个核心模块，以便更全面地评估和理解不同记忆系统的性能。
技术框架：整体架构包括四个主要模块：记忆表示与存储、提取、检索与路由、维护。通过对这四个模块的分析，可以更好地理解记忆系统的工作原理和性能瓶颈。
关键创新：最重要的创新在于提出了一个系统化的评估框架，能够量化不同记忆系统在表示保真度、检索精度、更新正确性和长期稳定性等方面的表现。
关键设计：在实验中，采用了12个代表性记忆系统和两个基线进行评估，设计了多种基准工作负载，重点关注内存结构与工作负载瓶颈的匹配程度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，没有单一架构在所有场景中表现最佳，效果高度依赖于内存结构与工作负载的匹配。通过细粒度的消融研究，量化了各个模块对性能的影响，揭示了局部维护比全局重组更具成本效益。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化客服和其他需要长期记忆的智能代理系统。通过优化记忆系统的设计，可以显著提升代理在动态环境中的表现和用户体验，推动智能代理技术的进一步发展。
📄 摘要（原文）
Memory for large language model (LLM) agents has rapidly evolved from simple retrieval-augmented mechanisms into a data management system that supports persistent information storage, retrieval, update, consolidation, and dynamic lifecycle governance throughout agent execution. Despite this evolution, existing evaluations still benchmark agent memory mainly through end-to-end task success metrics (e.g., F1, BLEU), while treating the underlying system as a monolithic black box. As a result, critical system-level concerns, including operational costs, architectural trade-offs across memory modules, and robustness under dynamic knowledge updates, remain insufficiently explored. In this paper, we present a systematic experimental study of agent memory from a data management perspective. We propose an analytical framework that decomposes agent memory into four core modules: memory representation and storage, extraction, retrieval and routing, and maintenance. Under this framework, we evaluate 12 representative memory systems and two reference baselines across five benchmark workloads spanning 11 datasets. Our extensive end-to-end evaluation shows that no single architecture dominates across all scenarios; instead, effectiveness depends heavily on how well the memory structure aligns with the workload bottleneck. Furthermore, through fine-grained ablation studies, we quantify their individual effects on representation fidelity, retrieval precision, update correctness, and long-horizon stability. Finally, we reveal cost-performance trade-offs under realistic workloads, showing localized maintenance is more cost-efficient than global reorganization. Based on these findings, we identify promising directions towards building truly agent-native memory systems. The code is publicly available at https://github.com/OpenDataBox/MemoryData.