StellaVLA: In-Context Structured Demonstration for Generalizable Vision-Language-Action Models

📄 arXiv: 2608.11671v1 📥 PDF

作者: Siyu Xu, Yunke Wang, Zijian Wang, Dihao Zhu, Chenghao Xia, Chengbin Du, Daochang Liu, Tao Huang, Chang Xu

分类: cs.RO

发布日期: 2026-08-12

💡 一句话要点

提出StellaVLA以解决视觉-语言-动作模型在OOD任务中的适应性问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 模型适应性 结构化示范 推理能力 机器人操作 增强现实 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在面对分布外场景时，性能显著下降，通常需要额外的数据和微调。
  2. StellaVLA框架通过在测试时利用单个示范进行条件适应，转变了模型的学习方式，强调推理而非模仿。
  3. 在VLA-Arena排行榜上，StellaVLA以0.63的得分领先，且在LIBERO和LIBERO-Plus任务中表现出色，成功率分别达到98.8%和85.1%。

📝 摘要（中文）

视觉-语言-动作（VLA）模型能够遵循指令并操控物体，但在分布外（OOD）情况下表现往往不佳。针对这一问题，本文提出了StellaVLA框架，通过在测试时基于单个检索到的示例进行条件适应，而不是依赖于额外的数据收集和微调。该框架通过自动化的离线流程将原始轨迹转换为结构化示范，提供任务的计划、子目标描述和3D运动的语言化表达，从而使策略能够推理任务而非简单模仿像素轨迹。实验结果表明，StellaVLA在VLA-Arena排行榜中表现优异，成功率显著高于现有模型。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在分布外（OOD）任务中的适应性问题。现有方法通常依赖于大量数据收集和微调，导致在新场景下性能下降。

核心思路：StellaVLA框架的核心思路是通过在测试时利用单个检索到的示范进行条件适应，强调推理过程而非简单模仿专家的动作。这种方法减少了对额外数据的需求，提升了模型的灵活性。

技术框架：该框架包括一个自动化的离线流程，将原始轨迹转换为结构化示范，提供任务计划、子目标描述和语言化的3D运动信息。训练阶段采用双重训练设计，通过联合的动作和语言目标来内化推理过程，而推理阶段则仅使用动作专家，确保实时高频控制。

关键创新：StellaVLA的最大创新在于其结构化示范的生成方式，能够在零人类标注成本下提供有效的任务指导。这一方法与现有模型的主要区别在于其强调推理能力而非单纯的轨迹模仿。

关键设计：在模型设计中，采用了联合损失函数来平衡动作和语言的学习，同时确保在推理时的低延迟。具体的网络结构和参数设置在实验中经过优化，以实现最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VLA-Arena排行榜上，StellaVLA以0.63的得分位列第一，显著高于强基线模型（0.44和0.22）。在LIBERO任务中，其成功率达到98.8%，在LIBERO-Plus任务中成功率为85.1%，显示出卓越的适应能力。

🎯 应用场景

StellaVLA框架具有广泛的应用潜力，尤其在机器人操作、智能助手和增强现实等领域。通过提供灵活的适应能力，该模型能够在多样化的任务和环境中有效执行，推动人机交互和自动化技术的发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models can follow instructions and manipulate objects, but their performance often collapses out of distribution (OOD), when the scene, viewpoint, or object differs from training. Adapting to each new situation typically requires collecting more data and fine-tuning. We present StellaVLA, a framework that instead adapts at test time by conditioning on a single retrieved demonstration. The key idea is to move beyond imitating what an expert did and instead convey why: an automated offline pipeline converts each raw trajectory into a structured demonstration, e.g., a task plan, sub-goal descriptions, and verbalized 3D motion, at zero human-annotation cost. Provided as in-context guidance, this structured demonstration lets the policy reason about the task rather than mimic a pixel trajectory, which also makes it transferable across embodiments (real-robot, human-hand, or XR demonstrations). A parallel dual-training design internalizes this reasoning during training through a joint action-and-language objective, while inference uses the action expert alone, preserving real-time, high-frequency control with no added latency. On the VLA-Arena leaderboard(Aug 1, 2026), StellaVLA ranks first with an overall score of 0.63, versus 0.44 and 0.22 for the strong prior models ($π_{0.5}$ and LingBot-VLA), and it further leads on LIBERO with 98.8% average success rate and LIBERO-Plus with 85.1% success rate. Our real-robot benchmark demonstrates that StellaVLA can use both human/robot demos and human-to-robot (XR) demos as in-context structured demonstration to help VLA model adapt to OOD tasks.