EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action Policies

📄 arXiv: 2606.20092v1 📥 PDF

作者: Ganlin Yang, Zhangzheng Tu, Yuqiang Yang, Sitong Mao, Junyi Dong, Tianxing Chen, Jiaqi Peng, Jing Xiong, Jiafei Cao, Jifeng Dai, Wengang Zhou, Yao Mu, Tai Wang

分类: cs.CV

发布日期: 2026-06-18

💡 一句话要点

提出EventVLA以解决长时间机器人操作中的记忆瓶颈问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间操作 视觉-语言-动作 记忆增强 动态关键帧 机器人技术 稀疏视觉证据 因果推理

📋 核心要点

  1. 现有的视觉-语言-动作策略在长时间操作中面临记忆瓶颈，无法有效处理遮挡或不可观察的任务线索。
  2. 本文提出EventVLA框架，通过稀疏视觉证据记忆和动态关键帧证据记忆模块，提升了任务相关视觉信息的捕捉和存储能力。
  3. 在多个仿真和真实任务中，EventVLA的成功率平均提高了40%，显著优于现有的记忆增强方法。

📝 摘要（中文）

记忆在长时间机器人操作中仍然是一个关键瓶颈，标准的视觉-语言-动作（VLA）策略在任务相关线索被遮挡或不可观察时常常失效。现有的增强记忆方法利用历史上下文，但存在严重的信息瓶颈、高延迟或依赖于不选择性缓冲区的问题。为了解决这些限制，本文提出了EventVLA，一个基于稀疏视觉证据记忆的端到端框架，包含基础视觉锚点和动态关键帧证据记忆（KEM）模块。KEM直接从VLA的潜在嵌入中预测未来关键帧概率，动态评估当前观察的因果效用，保存瞬态视觉证据。实验表明，EventVLA在17个需要记忆的仿真任务和4个真实双手任务中，成功率平均提高了40%。

🔬 方法详解

问题定义：本文旨在解决长时间机器人操作中的记忆瓶颈问题，现有方法在处理任务相关线索遮挡时表现不佳，导致信息丢失和操作失败。

核心思路：EventVLA通过引入稀疏视觉证据记忆，结合动态关键帧证据记忆模块，能够有效捕捉和存储重要的视觉事件，从而提升策略的长期决策能力。

技术框架：整体架构包括基础视觉锚点用于保留初始和短期上下文，以及KEM模块用于预测和存储关键帧。KEM模块通过分析VLA的潜在嵌入，动态评估当前观察的因果效用。

关键创新：最重要的创新在于KEM模块的设计，使得系统能够自主捕捉稀疏的、任务关键的视觉事件，避免了传统方法中的信息冗余和延迟。

关键设计：在设计中，KEM模块采用了特定的损失函数来优化关键帧的预测，同时基础视觉锚点的选择也经过精心设计，以确保保留最相关的视觉信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在17个需要记忆的仿真任务和4个真实双手任务中，EventVLA的成功率平均提高了40%，显著优于现有的记忆增强视觉-语言-动作策略，展示了其在复杂任务中的有效性和优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人操作、自动化制造和人机交互等领域。通过提升机器人在复杂环境中的决策能力，EventVLA能够促进更智能的自动化系统的发展，推动智能机器人在实际应用中的普及和效率提升。

📄 摘要（原文）

Memory remains a critical bottleneck for long-horizon robotic manipulation, as standard Vision-Language-Action (VLA) policies often fail when task-relevant cues become occluded or unobservable over time. While existing memory-augmented methods utilize historical context, they either suffer from severe information bottlenecks, incur high latency via decoupled dual systems, or rely on unselective buffers that accumulate massive visual redundancies. To address these limitations, we introduce EventVLA, an end-to-end framework founded on the concept of sparse visual evidence memory that comprises two core components: foundational visual anchors to retain initial and short-term contexts, and a dynamic Keyframe Evidence Memory (KEM) module. Specifically, KEM directly predicts future keyframe probabilities from the VLA's latent embeddings to autonomously capture and store sparse, task-critical visual events. This foresight-driven mechanism empowers the policy to dynamically evaluate the future causal utility of current observations, preserving transient visual evidence before it becomes unobservable. Furthermore, we propose RoboTwin-MeM, a diagnostic benchmark specifically designed to evaluate non-Markovian manipulation tasks with interactive visual evidence. Extensive evaluations show that across 17 memory-requiring simulation tasks and 4 real-world bimanual tasks, EventVLA achieves an average success rate improvement of +40% over state-of-the-art memory-augmented VLAs.