Explicit Language Memory for Long-Horizon Planning in Vision-Language-Action Models

📄 arXiv: 2608.04765v1 📥 PDF

作者: Houze Xu, Jizhong Li, Ziyi Ye

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-08-05

备注: 11 pages, 4 figures

💡 一句话要点

提出显式语言记忆以解决长时间规划中的挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间规划 视觉-语言-动作 显式语言记忆 机器人控制 语义推理 动态修正 多模态学习

📋 核心要点

  1. 现有VLA模型在长时间任务中面临稀疏演示、时间一致性和错误累积等多重挑战。
  2. 提出的架构通过显式语言记忆模块，将时间观察转化为连贯的文本序列，增强了任务执行的连贯性。
  3. 实验表明，显式语言记忆显著提高了模型在复杂任务中的成功率和鲁棒性，且决策过程更具可解释性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型为连接视觉感知、语言理解和机器人控制提供了统一的范式。然而，现有VLA模型在长时间任务中面临诸多挑战，包括稀疏的专家演示限制了跨任务的组合泛化，非马尔可夫性质使得仅基于当前观察的策略难以保持时间一致性，有限的闭环误差修正导致执行错误的累积，以及端到端的动作微调可能削弱视觉-语言模型（VLM）骨干的高层语义表示。为了解决这些问题，本文提出了一种具有显式语言记忆模块的分层长时间VLA架构。该系统将离散的时间观察转换为具有时间逻辑的连贯文本记忆序列，分为高层VLM和低层VLA，前者通过视觉问答训练范式进行语义推理，后者则基于子任务指令和视觉观察执行精确的连续控制。实验结果表明，显式语言记忆提高了VLA模型在复杂长时间任务中的成功率和鲁棒性，同时提供了决策过程的可解释语义。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在长时间任务中面临的稀疏演示、时间一致性和执行错误累积等问题。这些问题导致模型在复杂任务中的表现不佳。

核心思路：论文提出通过显式语言记忆模块，将离散的时间观察转化为连贯的文本记忆序列，从而增强模型在长时间任务中的时间跟踪和动态修正能力。

技术框架：整体架构分为高层视觉-语言模型（VLM）和低层视觉-语言-动作模型（VLA）。高层VLM负责语义推理，低层VLA则基于子任务指令和视觉观察执行控制。高层VLM还会递归更新语言记忆和子任务指令。

关键创新：显式语言记忆模块是本文的核心创新，它使得模型能够在长时间任务中保持上下文一致性和动态调整，显著改善了现有方法的局限性。

关键设计：在设计中，语言记忆的更新机制和子任务指令的处理方式是关键，确保了模型在执行过程中能够有效利用历史信息进行决策。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，采用显式语言记忆的模型在多个模拟环境中的成功率提高了20%以上，并在真实机器人平台上的sim-to-real实验中表现出更强的鲁棒性，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、以及人机交互等场景。通过提升长时间任务的执行能力，能够在复杂环境中实现更高效的自动化操作，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language-action (VLA) models provide a unified paradigm for connecting visual perception, language understanding, and robotic control. However, existing VLA models still face major challenges in long-horizon tasks: sparse expert demonstrations constrain cross-task compositional generalization; the non-Markovian nature of long-horizon tasks makes it difficult for policies conditioned only on current observations to maintain temporal consistency; limited closed-loop error correction allows execution errors to accumulate; and end-to-end action fine-tuning may weaken the high-level semantic representations of vision-language model (VLM) backbones. To address these issues, we propose a hierarchical long-horizon VLA architecture with an explicit language-memory module. The central idea is to convert discrete temporal observations into a coherent textual memory sequence with temporal logic. The system is decoupled into a high-level VLM and a low-level VLA: the high-level VLM performs semantic reasoning through a visual question answering training paradigm, while the low-level VLA executes precise continuous control conditioned on subtask instructions and visual observations. The high-level VLM recursively updates both language memory and subtask instructions using the previous memory as a contextual anchor, enabling persistent temporal tracking and dynamic correction during long-horizon execution. We evaluate the proposed method in multiple simulation environments and conduct sim-to-real experiments on a real robotic platform. The results demonstrate that explicit language memory improves the success rate and robustness of VLA models on complex long-horizon tasks while providing an interpretable semantic account of the decision process.