KEMO: Event-Driven Keyframe Memory for Long-Horizon Robot Manipulation with VLA Policies

📄 arXiv: 2606.23589v1 📥 PDF

作者: Yihan Zeng, Minghao Ye, Yiyuan Chen, Yide Shentu, Philipp Wu, Zike Yan, Zhongyu Li

分类: cs.RO

发布日期: 2026-06-22

💡 一句话要点

提出KEMO框架以解决长时间机器人操作中的记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间操作 机器人记忆 关键帧选择 视觉过滤 策略优化 事件驱动 双臂操作

📋 核心要点

  1. 长时间机器人操作中，现有方法难以有效处理相似观察与历史操作之间的关系，导致决策不准确。
  2. KEMO框架通过自动选择与任务相关的关键帧，结合视觉特征与记忆标记，提升了策略的决策能力。
  3. 实验结果表明，KEMO在任务成功率上提高了23.6%，阶段完成率提高了34.1%，显著优于无记忆基线。

📝 摘要（中文）

长时间机器人操作面临挑战，因为相似的观察可能在不同执行阶段出现，而适当的动作依赖于先前完成的操作。现有的记忆增强方法往往保留密集历史记录，或主要依赖于近期上下文，可能会丢失早期任务相关事件。本文提出KEMO，一个轻量级的插件记忆框架，自动选择与任务相关的状态变化的关键帧。KEMO结合机器人运动学与视觉过滤来检测事件，将选定的关键帧编码为紧凑的时间序列记忆标记，并通过交叉注意力和门控残差融合与当前视觉特征集成。我们在多种真实世界的双臂操作任务上评估KEMO，结果显示其在任务成功率和阶段完成率上均有显著提升。

🔬 方法详解

问题定义：长时间机器人操作中，类似观察在不同执行阶段可能出现，导致决策依赖于历史操作的模糊性。现有方法通常保留密集历史或仅依赖近期上下文，可能丢失早期重要事件。

核心思路：KEMO框架通过自动选择与任务相关的关键帧，利用机器人运动学和视觉过滤检测事件，从而为策略提供更有效的记忆支持。

技术框架：KEMO的整体架构包括事件检测模块、关键帧选择模块和记忆集成模块。事件检测模块负责识别状态变化，关键帧选择模块则根据任务相关性进行筛选，最后通过交叉注意力和门控残差融合将记忆与当前视觉特征结合。

关键创新：KEMO的主要创新在于事件驱动的关键帧选择机制，相较于传统的均匀采样和近期帧保留方法，能够更有效地捕捉任务关键转折点。

关键设计：在设计中，KEMO使用了门控残差网络结构，结合关键帧对损失函数的加权，使得训练样本在关键转折点附近具有更高的权重，从而提升学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

KEMO在多种真实世界双臂操作任务中表现出色，相较于无记忆基线，其任务成功率提高了23.6%，阶段完成率提高了34.1%。这些结果表明，KEMO在长时间操作中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人和自动化生产线等，能够显著提升机器人在复杂环境中的操作能力和效率。未来，KEMO框架可能推动更智能的机器人系统发展，适应多变的任务需求。

📄 摘要（原文）

Long-horizon robot manipulation remains challenging because similar observations may occur at different execution stages, while the appropriate action depends on previously completed operations. Memory can address this ambiguity by enabling policies to infer task progress from execution history. However, existing memory-augmented approaches often either retain dense histories that require compression or rely primarily on recent context that may discard earlier task-relevant events. In this work, we propose propose KEMO, a lightweight plug-in memory framework that automatically selectively preserves keyframes associated with task-relevant state changes for VLA policies. KEMO combines robot kinematics with visual filtering to detect events, encodes the selected keyframes as compact temporally ordered memory tokens, and integrates them with current visual features through cross-attention and gated residual fusion for VLA training. The detected events also define higher-weight training samples near critical transitions. We evaluate KEMO on various real-world dual-arm manipulation tasks spanning 2 to 6 scored subtasks, and trajectory length ranging from 830 steps to 2846 execution steps (durations from 28 to 95 seconds). Compared with the memory-free baseline (e.g., $π_{0.5}$), KEMO improves aggregate Task Success Rate by 23.6\% and Stage Completion Rate by 34.1\%. Ablations show that event-driven keyframe selection outperforms uniform sampling and recent-frame retention, while the proposed gated fusion and keyframe-aligned loss weighting provide complementary gains.