Verifiable Memory: Learning Unified Memory Management with Local and Global Verifiers for Large Language Model Agents

📄 arXiv: 2608.03137v1 📥 PDF

作者: Xiaolong Sun, Qichao Wang, Hangyu Li, Liang Chen

分类: cs.AI

发布日期: 2026-08-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出可验证内存框架以优化大语言模型的记忆管理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 记忆管理 强化学习 局部验证器 全球验证器 长时间交互 智能助手

📋 核心要点

  1. 现有方法通常将长期记忆和短期记忆分开优化，导致个体记忆决策的信用不足。
  2. 提出的VerMem框架通过统一的记忆操作策略管理LTM和STM，增强了记忆管理的有效性。
  3. 在五个基准测试中，VerMem在大多数指标上表现最佳，并在效率上超越了其他方法。

📝 摘要（中文）

大语言模型（LLM）代理需要保留可重用信息、控制有限的活动上下文，并在长时间交互中恢复早期证据。现有方法通常分别优化长期记忆（LTM）和短期记忆（STM），而统一策略主要通过轨迹级反馈进行训练，导致对个体记忆决策的信用不足。本文提出可验证内存（VerMem）框架，将LTM、活动上下文和情节历史表示为不同状态，并通过单一的记忆操作策略进行控制。VerMem通过监督微调初始化，并采用三阶段强化学习课程进行训练。局部验证器对可执行的记忆转换进行评分，全球验证器在任务完成后评估证据一致性和终端记忆一致性。实验结果表明，VerMem在多个基准测试中表现优异，超越了强大的记忆基线。

🔬 方法详解

问题定义：本文旨在解决大语言模型在长时间交互中对记忆的管理问题。现有方法将长期记忆和短期记忆分开处理，导致对个体记忆决策的反馈不足，影响模型的整体表现。

核心思路：VerMem框架通过将长期记忆、活动上下文和情节历史视为不同状态，采用统一的记忆操作策略来进行管理。这种设计使得模型能够更有效地控制和利用记忆信息。

技术框架：VerMem的整体架构包括三个主要模块：局部验证器、全球验证器和记忆操作策略。局部验证器负责评分可执行的记忆转换，全球验证器则在任务完成后评估证据的一致性和记忆的完整性。

关键创新：VerMem的主要创新在于其通过统一的记忆操作策略来管理不同类型的记忆状态，并引入了局部和全球验证器来增强记忆决策的可靠性。这与现有方法的分开处理方式形成了鲜明对比。

关键设计：在训练过程中，VerMem首先通过监督微调进行初始化，随后采用三阶段的强化学习课程进行训练。局部和全球验证器的评分与任务、证据回忆、效率和约束信号结合，通过层次化的信用分配来优化记忆决策。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个基准测试中，VerMem在大多数指标上表现最佳，超越了强大的记忆基线。在控制的在线令牌预算下，VerMem在三个交互基准中实现了最强的效率-性能前沿，显示出其在实际应用中的优越性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、对话系统和长时间交互的机器人等。通过优化记忆管理，VerMem能够提升这些系统在复杂任务中的表现，增强用户体验，未来可能在多种人机交互场景中发挥重要作用。

📄 摘要（原文）

Large language model (LLM) agents must retain reusable information, control a bounded active context, and recover earlier evidence during long-horizon interaction. Existing methods commonly optimize long-term memory (LTM) and short-term memory (STM) separately, while unified policies are often trained primarily with trajectory-level feedback, which provides weak credit for individual memory decisions. We present Verifiable Memory (VerMem), a framework that represents LTM, active context, and episodic history as distinct states and controls them with one memory operation policy. Seven atomic operations let the policy add, revise, or soft-delete LTM entries; retrieve LTM into the active context; filter or summarize the active context; and restore selected episodic fragments. VerMem is initialized by supervised fine-tuning and trained with a three-stage reinforcement-learning curriculum. The local verifier scores executable memory transitions, and a global verifier assesses evidence coherence and terminal-memory consistency after task completion. These scores are combined with programmatically computed task, evidence-recall, efficiency, and constraint signals through hierarchical credit assignment. The verifiers are used only during training. Across five benchmarks and two LLM backbones, VerMem achieves the best result on the vast majority of reported metrics and consistently outperforms strong memory baselines. Under controlled online-token budgets on three interactive benchmarks, it also achieves the strongest efficiency--performance frontier among the compared methods. Code is available at https://github.com/Sun-SYSU-24/VerMem.