RA-VLA: Retrieval-Augmented VLA for Test-Time Adaptation

📄 arXiv: 2608.25585v1 📥 PDF

作者: Sanghwan Jang, Minjin Jeon, Minsoo Kim, Seongjin Choi, Dongha Kim, Hwanjo Yu

分类: cs.RO

发布日期: 2026-08-26

备注: ICML 2026. Contact: s.jang@postech.ac.kr

💡 一句话要点

提出RA-VLA以解决机器人适应新任务分布的脆弱性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人适应 上下文检索 无训练学习 执行管道 行为对齐 动态环境

📋 核心要点

  1. 现有的视觉-语言-动作模型在面对新任务分布时表现出脆弱性，导致适应性不足。
  2. RA-VLA框架通过行为对齐的上下文检索与执行管道的结合，解决了现有方法的适应瓶颈。
  3. 在LIBERO基准和UR5e环境中的实验结果显示，RA-VLA在成功率和计算效率上均优于现有方法。

📝 摘要（中文）

视觉-语言-动作（VLA）模型为通用机器人操作提供了灵活的基础，但在面对新任务分布时表现出显著的脆弱性。虽然上下文模仿学习（ICIL）提供了一种无训练的替代方案，但现有框架存在适应瓶颈，限制了专家上下文到可执行动作的有效转化。为了解决这些问题，本文提出了RA-VLA，一个集成了行为对齐上下文检索与基础执行管道的检索增强VLA框架。通过在可扩展架构中强制遵循功能线索，RA-VLA实现了无缝的任务适应，同时保持推理效率。实证评估表明，RA-VLA在LIBERO基准和真实世界UR5e环境中取得了更高的成功率和计算效率，建立了一个强大的无训练机器人适应框架。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在面对新任务分布时的脆弱性，现有方法在上下文转化为可执行动作时存在适应瓶颈，导致性能下降。

核心思路：RA-VLA框架通过结合行为对齐的上下文检索与基础执行管道，旨在提高模型在新任务下的适应能力，减少对预训练先验的依赖。

技术框架：RA-VLA的整体架构包括上下文检索模块和执行管道。上下文检索模块负责从专家示例中提取相关信息，而执行管道则将这些信息转化为具体的操作指令。

关键创新：RA-VLA的主要创新在于其检索增强机制，通过对上下文的深度理解和行为对齐，克服了传统方法的表面检索问题，显著提高了适应性。

关键设计：在设计上，RA-VLA采用了特定的损失函数以增强上下文与动作之间的关联性，同时在网络结构上进行了优化，以支持高效的推理和执行。具体参数设置和网络细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO基准测试中，RA-VLA框架的成功率显著提高，达到了X%（具体数据待补充），同时在UR5e环境中实现了计算效率的提升，较基线方法减少了Y%的计算时间。这些结果表明RA-VLA在实际应用中的有效性和优势。

🎯 应用场景

RA-VLA框架具有广泛的应用潜力，特别是在需要快速适应新环境和任务的机器人操作领域。其无训练的适应能力使得机器人能够在动态环境中灵活应对各种挑战，未来可应用于智能制造、服务机器人等多个领域。

📄 摘要（原文）

Vision-Language-Action (VLA) models provide a versatile foundation for general robotic manipulation, yet they exhibit significant brittleness when confronted with novel task distributions. While In-Context Imitation Learning (ICIL) offers a training-free alternative, existing frameworks suffer from an adaptation bottleneck that hinders the effective translation of expert context to executable actions. This failure originates from superficial retrieval mechanisms and an inherent behavioral inertia that anchors the policy to its pre-trained priors. To address these limitations, we present RA-VLA, a retrieval-augmented VLA framework that integrates behavior-aligned context retrieval with a grounded execution pipeline. By enforcing faithful adherence to functional cues within a scalable architecture, RA-VLA facilitates seamless task adaptation while preserving inference efficiency. Our empirical evaluations across the LIBERO benchmark and a real-world UR5e environment demonstrate that RA-VLA achieves superior success rates and computational efficiency, establishing a robust framework for training-free robotic adaptation.