Non-Markovian Long-Horizon Robot Manipulation via Keyframe Chaining
作者: Yipeng Chen, Wentao Tan, Lei Zhu, Fengling Li, Jingjing Li, Guoli Yang, Heng Tao Shen
分类: cs.RO, cs.AI
发布日期: 2026-03-02
🔗 代码/项目: GITHUB
💡 一句话要点
提出Keyframe-Chaining VLA模型，解决长时程非马尔可夫机器人操作任务
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 长时程任务 非马尔可夫决策 视觉语言动作模型 关键帧选择
📋 核心要点
- 现有VLA模型在长时程任务中泛化性差，无法有效处理非马尔可夫依赖关系。
- 提出Keyframe-Chaining VLA，通过提取和链接关键帧来建模长时程依赖，提升性能。
- 在ManiSkill模拟器上构建的非马尔可夫操作任务中，该方法取得了优异的性能。
📝 摘要（中文）
现有的视觉-语言-动作(VLA)模型由于过度依赖即时观测，难以泛化到长时程任务。尽管最近的研究通过引入检索机制或扩展上下文窗口来处理程序性任务，但它们通常难以捕捉非马尔可夫依赖关系，即最优动作仅依赖于特定的过去状态，而非当前观测。为了解决这个问题，我们提出了Keyframe-Chaining VLA，该框架提取并链接关键历史帧以建模长时程依赖关系。具体来说，我们提出了一个自动关键帧选择器，它学习一个判别性嵌入空间，有效地识别不同的状态转换。为了捕捉任务关键信息，我们设计了一种进度感知查询机制，该机制根据历史帧与当前执行阶段的时间相关性动态检索历史帧。这些选定的关键帧作为交错的视觉token集成到VLA中，从而将策略显式地建立在长时程时间上下文中。最后，我们引入了一套基于ManiSkill模拟器的四个非马尔可夫操作任务，以衡量任务成功率。实验结果表明，我们的方法取得了优异的性能，有效地解决了以长时程时间依赖关系为特征的机器人操作任务。
🔬 方法详解
问题定义：现有VLA模型在处理长时程机器人操作任务时，过度依赖当前观测，忽略了历史状态的影响，尤其是在非马尔可夫任务中，最优动作往往依赖于特定的历史状态而非当前状态。这导致模型难以泛化到需要长期记忆和规划的任务中。现有方法如检索机制或扩展上下文窗口，虽然有所改进，但仍无法有效捕捉这种非马尔可夫依赖关系。
核心思路：Keyframe-Chaining VLA的核心思路是通过提取和链接关键的历史帧，显式地建模长时程时间依赖关系。该方法认为，在长时程任务中，某些关键帧包含了任务执行的关键信息，通过将这些关键帧与当前状态相结合，可以帮助模型更好地理解任务进度和做出决策。这样设计的目的是为了克服传统VLA模型对即时观测的过度依赖，并提高模型在非马尔可夫任务中的泛化能力。
技术框架：Keyframe-Chaining VLA框架主要包含三个模块：自动关键帧选择器、进度感知查询机制和VLA模型集成。首先，自动关键帧选择器学习一个判别性嵌入空间，用于识别不同的状态转换，从而选择出具有代表性的关键帧。然后，进度感知查询机制根据当前执行阶段的时间相关性，动态检索相关的历史关键帧。最后，这些选定的关键帧作为视觉token集成到VLA模型中，从而将策略显式地建立在长时程时间上下文中。
关键创新：该方法最重要的技术创新在于自动关键帧选择器和进度感知查询机制的结合。自动关键帧选择器能够有效地识别任务中的关键状态转换，而进度感知查询机制能够根据任务的执行进度动态地检索相关的历史帧。这种结合使得模型能够更加精准地捕捉任务中的关键信息，并更好地理解任务的上下文。与现有方法相比，该方法能够更有效地处理非马尔可夫依赖关系，并提高模型在长时程任务中的泛化能力。
关键设计：自动关键帧选择器通过学习一个判别性嵌入空间来实现，该嵌入空间旨在最大化不同状态转换之间的距离。进度感知查询机制使用注意力机制来计算当前状态与历史帧之间的相关性，并根据相关性选择最相关的关键帧。VLA模型使用Transformer架构，并将选定的关键帧作为视觉token与当前观测一起输入到模型中。损失函数包括任务完成的奖励和关键帧选择的正则化项。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Keyframe-Chaining VLA在ManiSkill模拟器上构建的四个非马尔可夫操作任务中取得了显著的性能提升。与基线方法相比，该方法在任务成功率方面取得了明显的优势，证明了其在处理长时程时间依赖关系方面的有效性。具体的数据提升幅度在论文中给出，表明该方法能够有效地解决非马尔可夫机器人操作任务。
🎯 应用场景
该研究成果可应用于各种需要长时程规划和记忆的机器人操作任务，例如装配、烹饪、家庭服务等。通过Keyframe-Chaining VLA，机器人可以更好地理解任务的上下文，并做出更合理的决策，从而提高任务的完成效率和成功率。该技术还有潜力应用于其他领域，如视频理解、对话系统等，以提升模型对长时程依赖关系的建模能力。
📄 摘要（原文）
Existing Vision-Language-Action (VLA) models often struggle to generalize to long-horizon tasks due to their heavy reliance on immediate observations. While recent studies incorporate retrieval mechanisms or extend context windows to handle procedural tasks, they often struggle to capture Non-Markovian dependencies, where optimal actions rely solely on specific past states rather than the current observation. To address this, we introduce Keyframe-Chaining VLA, a framework that extracts and links key historical frames to model long-horizon dependencies. Specifically, we propose an automatic keyframe selector that learns a discriminative embedding space, effectively identifying distinct state transitions. To capture task-critical information, we design a progress-aware query mechanism that dynamically retrieves historical frames based on their temporal relevance to the current execution phase. These selected keyframes are integrated into the VLA as interleaved visual tokens, explicitly grounding the policy in the long-horizon temporal context. Finally, we introduce a suite of four Non-Markovian manipulation tasks built upon the ManiSkill simulator to measure task success rates. Experimental results demonstrate that our method achieves superior performance, effectively tackling robot manipulation tasks characterized by long-horizon temporal dependencies. Code is available at https://github.com/cytoplastm/KC-VLA.