HeLM: Hierarchical Explicit Language Memory for Non-Markovian Manipulation

📄 arXiv: 2611.02660v1 📥 PDF

作者: Gyeonghun Kim, Donghoon Kim, Minsoo Choi, Suyun Lee

分类: cs.RO

发布日期: 2026-11-02

备注: 32 pages, 14 figures, including supplementary material. Project page: https://kimspacehuni.github.io/HeLM/

💡 一句话要点

提出HeLM以解决非马尔可夫环境中的工作记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 工作记忆 非马尔可夫环境 层次化记忆 事件检测 任务成功率 组合泛化 智能机器人

📋 核心要点

  1. 现有的视觉-语言-动作模型在处理需要工作记忆的非马尔可夫任务时表现不佳，导致操作失败。
  2. 本文提出的HeLM框架通过层次化的显式语言记忆，维护任务相关的历史信息，从而解决了这一问题。
  3. 实验结果显示，HeLM在任务内成功率上提高了12.8个百分点，并在组合泛化任务中实现了78%的成功率，且内存使用显著减少。

📝 摘要（中文）

近年来，视觉-语言-动作（VLA）模型的进展使得精细操作能力得以实现，但在需要工作记忆的任务中仍然面临重大挑战。大多数现有的VLA架构基于马尔可夫假设，仅将当前观察映射到动作，这在非马尔可夫环境中会导致失败。受人类“内心独白”的启发，本文提出了层次显式语言记忆（HeLM），一个通过因子化事件检测和事件触发的记忆更新来维护任务相关历史的层次VLA框架。我们在10个非马尔可夫的真实任务上评估HeLM，包含56个变体，其中包括五个新制定的跨任务边界的任务。HeLM在任务内成功率上比最强基线提高了12.8个百分点，并在组合泛化任务中实现了78%的子任务成功率，同时在长时间跨度下使用的内存减少了4.5倍，运行速度比关键帧基线快2.5倍。

🔬 方法详解

问题定义：本文旨在解决在非马尔可夫环境中执行任务时，现有视觉-语言-动作模型缺乏有效工作记忆的问题。现有方法通常只依赖当前观察，无法处理需要长期上下文的任务。

核心思路：HeLM框架通过层次化的显式语言记忆，模拟人类的内心独白，维护任务相关的历史信息，从而增强模型在复杂任务中的表现。

技术框架：HeLM的整体架构包括因子化事件检测模块和事件触发的记忆更新机制。该框架能够有效地捕捉和存储任务相关的历史信息，并在执行任务时进行动态更新。

关键创新：HeLM的主要创新在于其层次化的显式语言记忆设计，使得模型能够在非马尔可夫环境中保持长期的上下文信息，这与传统的马尔可夫假设方法有本质区别。

关键设计：在模型设计中，HeLM采用了特定的参数设置和损失函数，以优化记忆更新过程，并通过高效的网络结构减少内存使用和提高运行速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，HeLM在10个非马尔可夫任务上表现出色，任务内成功率提高了12.8个百分点，组合泛化任务的子任务成功率达78%。此外，HeLM在长时间跨度下的内存使用减少了4.5倍，运行速度比关键帧基线快2.5倍，显示出显著的性能优势。

🎯 应用场景

HeLM框架在机器人操作、智能助手和人机交互等领域具有广泛的应用潜力。通过增强模型的工作记忆能力，HeLM能够在复杂和动态的环境中执行更为精细的任务，提升自动化系统的智能水平和用户体验。

📄 摘要（原文）

Recent advances in Vision-Language-Action (VLA) models have enabled fine manipulation capabilities, yet performing tasks that require working memory remains a key challenge. Most existing VLA architectures operate under a Markovian assumption, mapping only the current observation to an action, which leads to failure in non-Markovian environments. Inspired by the human 'inner monologue', we propose Hierarchical Explicit Language Memory (HeLM), a hierarchical VLA framework that maintains task-relevant history in explicit language through factorized event detection and event-triggered memory updates. We evaluate HeLM across 10 non-Markovian real-world tasks with 56 variants, including five newly formulated inter-episode tasks that require persistent context across task boundaries. HeLM improves intra-episode success by 12.8 percentage points over the strongest baseline and achieves 78% subtask success on compositional generalization tasks, while using up to 4.5x less memory and running 2.5x faster than the keyframe baseline at long horizons.