WeaveLA: Event Driven Cross-Subtask Latent Memory Weaving for Repetitive Robot Manipulation
作者: Shoujing Zhu, Zhenyang Liu, Fungmiu Wang, Jiafeng Wang, Bo Yue, Guiliang Liu, Simo Wu, Xiangyang Xue, Taiping Zeng
分类: cs.CV, cs.RO
发布日期: 2026-06-16
💡 一句话要点
提出WeaveLA以解决跨子任务信息传递问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 跨子任务记忆 机器人操作 事件驱动设计 潜在记忆交织 信息传递 自动化制造 人机交互
📋 核心要点
- 现有的视觉-语言-动作策略在处理跨子任务信息时存在结构性不足，导致操作脆弱。
- WeaveLA通过识别子目标完成事件作为跨子任务记忆交接的自然时间单位，提出了一种新的记忆接口。
- 在RoboMME上的分层评估中，WeaveLA在最具挑战性的重复任务中成功率从0%提升至47.8%，验证了其有效性。
📝 摘要（中文）
视觉-语言-动作（VLA）策略在单步操作中取得了显著成果，但在每个阶段依赖于刚完成的内容时仍显脆弱。现有的记忆增强变体在信息传递上存在结构性不足。本文提出WeaveLA（视觉-语言-动作策略的潜在记忆交织），通过事件驱动的跨子任务记忆接口，将每个完成的子任务压缩为潜在标记，并直接路由到下一个子任务的动作生成路径，从而提升了策略的有效性。
🔬 方法详解
问题定义：本文旨在解决现有视觉-语言-动作策略在跨子任务信息传递中的脆弱性，现有方法在子任务之间缺乏有效的信息路由机制，导致操作不稳定。
核心思路：WeaveLA的核心思想是将子目标完成事件作为跨子任务记忆交接的单位，通过查询驱动的注意力池化将完成的子任务压缩为潜在标记，并将其直接路由到下一个子任务的动作生成路径。
技术框架：WeaveLA建立在一个冻结的VLA骨干网络之上，主要包括潜在记忆的压缩模块和事件触发的动作生成路径。该框架在保持短窗口接口的同时，增加了轻量级的跨子任务通道。
关键创新：WeaveLA的创新点在于其事件驱动的设计，能够在子任务完成时有效地进行信息交接，与现有方法在每帧写入或从演示阶段检索信息的方式有本质区别。
关键设计：在WeaveLA中，使用了查询驱动的注意力池化技术来压缩潜在标记，并在动作生成路径中实现了直接路由，确保了信息的高效传递。
🖼️ 关键图片
📊 实验亮点
在RoboMME的实验中，WeaveLA在最具挑战性的重复任务SwingXtimes（N=3）中，成功率从0%提升至47.8%，显示出其在跨子任务信息传递中的显著优势，且单次执行的表现保持不变，验证了方法的有效性。
🎯 应用场景
WeaveLA的研究成果在机器人操作、自动化制造和人机交互等领域具有广泛的应用潜力。通过提升机器人在复杂任务中的操作稳定性和效率，该技术能够推动智能机器人在实际场景中的应用，提升生产力和安全性。
📄 摘要（原文）
Vision-Language-Action (VLA) policies have achieved remarkable single-step manipulation, yet they remain brittle precisely where each stage depends on what was just completed. The core issue is structural: short-window VLAs lack an explicit channel for rouxting information across sub-task boundaries, and existing memory-augmented variants either write at every frame, retrieve from demonstration-time stages, or fire at sub-goal events without performing an explicit sub-task-to-sub-task hand-off into the action expert. We identify the sub-goal completion event as the natural temporal unit for cross-subtask memory hand-off, and present WeaveLA (Weave Latent memory for Vision-Language-Action policies), a cross-subtask memory interface that, on top of a frozen VLA backbone, compresses each completed segment into latent tokens via query-driven attention pooling and routes them directly into the action-generation path of the next sub-task. This event-triggered, action-side design preserves the base policy's short-window interface while adding a lightweight cross-subtask channel. Through stratified evaluation on RoboMME with a $π_{0.5}$ backbone, WeaveLA's gains land exactly where the channel is needed: on the hardest repetition slice (SwingXtimes, $N{=}3$), success rises from $0\%$ to $47.8\%$, while single-execution episodes remain unchanged. Per-episode paired analysis confirms the gains are confined to tasks whose causal structure requires cross-subtask information.