KEEPER: Learning Control-Sufficient Textual Memory for Long-Horizon LLM Agents

📄 arXiv: 2610.41482v1 📥 PDF

作者: Jinkyeong Choi, Chaebin Jeong, Junsung Jeon, Donghyeon Park

分类: cs.CL, cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出KEEPER以解决长时间跨度LLM代理的记忆可靠性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 递归记忆 长时间跨度 自一致性偏差 强化学习 任务表现

📋 核心要点

  1. 现有方法在处理递归文本记忆时，无法有效避免早期错误影响后续更新，导致记忆可靠性不足。
  2. 论文提出KEEPER，通过比较四个辅助目标，探索信息内容与更新敏感性之间的关系，以提高长时间跨度LLM代理的表现。
  3. 实验结果显示，奖励相关的预测在任务表现上优于其他方法，尤其是在离线强化学习的应用中，表现提升显著。

📝 摘要（中文）

递归文本记忆可能将早期错误带入后续更新，而仅凭任务表现无法确立记忆的可靠性。我们定义了自一致性偏差，即在输入记忆中已存在的不正确声明的持续性。本文提出了KEEPER，通过在共享递归接口中比较四个辅助目标，分析信息内容和更新敏感性，探讨监督目标与代理表现之间的关系。在评估的条件中，奖励相关的预测在离线强化学习前后均实现了最高的任务表现，超越了联合监督。对一个基线轨迹的声明级分析记录了尽管有纠正观察，错误依然存在。这些分析共同促使我们在评估任务结果时考虑错误持续性和有效信息保留。

🔬 方法详解

问题定义：本文旨在解决递归文本记忆中早期错误对后续更新的影响，现有方法未能有效评估记忆的可靠性和错误的持续性。

核心思路：提出KEEPER，通过分析不同辅助目标在信息内容和更新敏感性上的表现，探讨如何优化记忆更新过程，以提升代理的任务表现。

技术框架：整体架构包括一个共享的递归接口，结合四个不同的辅助目标进行比较，主要模块包括信息内容评估、更新敏感性分析和任务表现评估。

关键创新：最重要的创新在于定义了自一致性偏差，并通过奖励相关的预测实现了显著的任务表现提升，这与传统的联合监督方法存在本质区别。

关键设计：在设计中，采用了特定的损失函数来平衡信息保留与错误纠正，同时在网络结构上优化了递归记忆的更新机制，以增强对有效信息的保留能力。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，KEEPER在离线强化学习前后均实现了最高的任务表现，尤其是奖励相关的预测方法在多次实验中超越了其他联合监督方法，提升幅度显著，具体性能数据未详述。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够提升长时间跨度任务中的记忆管理能力，增强系统的智能化水平。未来，随着技术的进步，KEEPER可能在更复杂的多模态学习场景中发挥重要作用。

📄 摘要（原文）

Recursive textual memory can carry earlier errors into later updates, yet task performance alone does not establish memory reliability. We define self-consistency bias as the persistence of incorrect claims already present in the incoming memory. We present KEEPER, a comparative analysis of four auxiliary objectives along information-content and update-sensitivity axes within a shared recursive interface, examining how supervision targets relate to agent performance. Among evaluated conditions, reward-related prediction achieve the highest task performance before and after offline reinforcement learning, outperforming joint supervision. A claim-level analysis of one baseline trajectory documents error persistence despite corrective observations. Together, these analyses motivate evaluating error persistence and valid-information retention alongside task outcomes.