Organize then Retrieve: Hierarchical Memory Navigation for Efficient Agents
作者: Hao-Lun Hsu, Nikki Lijing Kuang, Boyi Liu, Zhewei Yao, Yuxiong He
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-06-10
💡 一句话要点
提出HORMA以解决长任务中的记忆效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 层次化记忆 长任务处理 信息检索 强化学习 智能代理
📋 核心要点
- 现有的LLM代理在长任务中由于无状态性，导致推理质量下降和效率低下。
- HORMA通过层次化的记忆结构组织经验，优化了信息检索过程，提升了任务执行效率。
- 在多个基准测试中，HORMA在上下文预算受限的情况下显著提高了任务性能。
📝 摘要（中文）
大型语言模型（LLM）代理在长时间任务中面临固有的无状态性挑战，导致推理质量下降和推理成本增加。现有方法依赖于有损压缩或相似性检索，无法有效捕捉多步骤任务所需的时间结构和因果依赖。本文提出了HORMA，一个层次化的组织与检索记忆代理，通过将经验组织成类似文件系统的层次结构，实现高效访问而不丢失详细信息。HORMA将工作记忆分为结构化记忆构建和基于导航的检索两个阶段，显著提高了在受限上下文预算下的任务表现，并在长对话任务中仅需最多22.17%的基线令牌使用量。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在长时间任务中由于无状态性导致的推理质量下降和效率低下的问题。现有方法往往依赖于有损压缩或相似性检索，无法有效捕捉任务所需的时间结构和因果关系。
核心思路：HORMA的核心思路是将经验组织成层次化结构，类似文件系统，使得信息检索更加高效且不丢失细节。通过分阶段的工作记忆构建和导航检索，优化了信息的存储和访问方式。
技术框架：HORMA的整体架构包括两个主要模块：结构化记忆构建模块和基于导航的检索模块。结构化记忆构建模块负责迭代优化经验的组织方式，而导航模块则利用轻量级代理进行任务相关上下文的检索。
关键创新：HORMA的创新在于其层次化的组织方式和双阶段的检索机制，能够有效捕捉时间结构和因果依赖，与现有方法相比，显著提高了效率和性能的平衡。
关键设计：在设计中，HORMA采用了强化学习训练的轻量级代理，以选择最小但足够的上下文，从而降低延迟。此外，构建模块能够区分因信息缺失和上下文过载导致的失败，进一步提升了记忆的有效性。
🖼️ 关键图片
📊 实验亮点
在ALFWorld、LoCoMo和LongMemEval等基准测试中，HORMA在上下文预算受限的情况下，任务表现显著提升，使用的令牌量最多仅为基线的22.17%。与现有方法相比，HORMA在效率与性能的权衡上表现更佳，并能有效泛化到未见任务。
🎯 应用场景
该研究的潜在应用领域包括智能助手、机器人导航和复杂任务的自动化处理等。通过提高长任务的执行效率，HORMA能够在实际应用中显著提升用户体验和系统性能，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Large language model (LLM) agents struggle with long-horizon tasks due to their inherent statelessness, requiring all task-relevant information to be encoded in growing input contexts. The resulting degraded reasoning quality, increased inference cost, and higher latency necessitate efficient working memory mechanisms. However, existing approaches either rely on lossy compression or similarity-based retrieval, which often fail to capture temporal structure and causal dependencies required for multi-step agentic tasks. In this work, we present HORMA, a Hierarchical Organize-and-Retrieve Memory Agent that organizes experience into a file-system-like hierarchical structure, where summarized entities are linked to the corresponding raw trajectories, enabling efficient access without losing detailed information. HORMA decomposes working memory into two stages: structured memory construction and navigation-based retrieval. The construction module iteratively refines how experiences are structured by distinguishing between failures caused by missing information and those caused by misleading or overloaded context. The navigation module retrieves task-relevant context by traversing the hierarchy using a lightweight agent trained with reinforcement learning to select minimal yet sufficient context, thereby reducing latency along the critical execution path. Across ALFWorld, LoCoMo, and LongMemEval, HORMA improves task performance under constrained context budgets while requiring at most 22.17% of the baseline token usage in long conversation tasks. Compared to existing methods, it consistently achieves better efficiency-performance trade-offs and generalizes effectively to unseen tasks.