Retrieve to Act: Motion Primitive Graph Retrieval for Robust VLA Execution
作者: Pham Tri Quang, Bao-Ngoc Dao, Minh Duc Nguyen, Duc-Duy Nguyen, Hung T. Ho, Linh Dang Le, Trong-Bao Ho, Thien-Loc Ha, Tan Q. Nguyen, Tuan Dam, Vu N. Duong, Daniel Sonntag, Ngan Le, Khoa D. Doan, Jan Peters, An Thai Le, Duy M. H. Nguyen, Vien Anh Ngo
分类: cs.RO, cs.AI
发布日期: 2026-10-27
备注: 20 pages, 9 figures, 7 tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出R2A框架以解决视觉-语言-动作执行中的OOD鲁棒性问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 运动原语 图神经网络 鲁棒性 多模态学习
📋 核心要点
- 现有的视觉-语言-动作策略在面对分布外视觉变化时表现脆弱，难以保持鲁棒性。
- 本文提出的R2A框架通过运动原语图检索来增强OOD鲁棒性，避免依赖脆弱的视觉特征。
- 在多项实验中，R2A在模拟基准和实际部署中分别提升了成功率12%和40%，无需对基础策略进行微调。
📝 摘要（中文）
视觉-语言-动作（VLA）策略在语义泛化方面表现出色，但在执行过程中对分布外（OOD）视觉变化高度敏感。现有的测试时方法虽然试图抑制虚假视觉线索，但忽视了策略训练经验中蕴含的丰富运动先验。本文提出了Retrieve to Act（R2A）框架，将OOD鲁棒性问题重新定义为几何运动原语检索问题。R2A通过构建成功的训练演示为离线时空运动原语图，在推理时，依赖查询的图神经网络动态定位机器人当前执行状态，从图中检索结构兼容的未来运动原语。这些几何先验通过学习的维度门控机制与冻结的VLA预测动作无缝结合，适应性地修正错误的空间轨迹，同时保持策略的局部反应性。实验表明，R2A在三种最先进的VLA架构上显著提升了鲁棒性。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-动作策略在执行过程中对分布外视觉变化的脆弱性。现有方法未能有效利用训练经验中的运动先验，导致在OOD情况下的性能下降。
核心思路：R2A框架将OOD鲁棒性视为几何运动原语检索问题，通过构建运动原语图来实现对未来动作的有效检索，从而增强策略的鲁棒性。
技术框架：R2A的整体架构包括离线构建运动原语图和在线检索两个阶段。在离线阶段，成功的训练演示被组织成时空运动原语图；在在线推理阶段，图神经网络根据当前执行状态动态检索未来运动原语。
关键创新：R2A的主要创新在于将OOD鲁棒性问题转化为几何运动原语的检索，利用图神经网络动态定位并检索运动原语，与传统方法相比，避免了对脆弱视觉特征的依赖。
关键设计：R2A采用了学习的维度门控机制，以适应性地整合检索到的运动原语与VLA的预测动作，确保在修正轨迹的同时保持策略的反应性。
🖼️ 关键图片
📊 实验亮点
R2A在三种最先进的VLA架构上进行的实验表明，成功率在模拟基准上提升了12%，在实际部署中提升了40%。这些结果显示出R2A在应对多样化上下文扰动方面的显著优势，且无需对基础策略进行微调。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶和人机交互等场景，能够显著提升系统在复杂环境下的执行鲁棒性。未来，R2A框架有望推动更广泛的多模态学习应用，提升智能系统的适应能力。
📄 摘要（原文）
Vision-Language-Action (VLA) policies demonstrate remarkable semantic generalization, yet remain highly vulnerable to out-of-distribution (OOD) visual shifts during execution. While existing test-time methods attempt to suppress spurious visual cues, they fundamentally overlook the rich, uncorrupted kinematic priors embedded in the policy's own training experience. We introduce Retrieve to Act (R2A), a test-time scaling framework that formulates OOD robustness purely as a geometric motion primitive retrieval problem. R2A bypasses fragile visual features by structuring successful training demonstrations into an offline spatiotemporal motion primitive graph. During inference, a query-dependent Graph Neural Network dynamically localizes the robot's ongoing execution within this graph, retrieving structurally compatible future motion primitives. These retrieved geometric priors are then seamlessly harmonized with the frozen VLA's predicted actions via a learned, dimension-wise gating mechanism, adaptively rectifying erroneous spatial trajectories while preserving the policy's local reactivity. Extensive experiments across three state-of-the-art VLA architectures, GR00T N1.7, $π_{0.5}$, and StableVLA, demonstrate that R2A consistently and significantly enhances robustness against diverse contextual perturbations. R2A achieves absolute success rate improvements of up to +12% in simulation benchmarks (LIBERO-Plus, RoboTwin2.0-Plus) and +40% in real-world deployments, without requiring any finetuning of the base policies. Project page: https://retrieve2act.github.io/r2a/