In-Context VLA: Endowing Vision-Language-Action Models with Language via In-Context Post-Training and Agentic Tool Use

📄 arXiv: 2608.05738v1 📥 PDF

作者: Jiarui Yang, Wen Huang, Jiale Zhang, Maowei Hu, Hang Guo

分类: cs.RO

发布日期: 2026-08-06

💡 一句话要点

提出In-Context VLA以解决VLA模型语言理解不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 行为克隆 上下文后训练 主动工具使用 机器人操作 多模态学习 智能系统

📋 核心要点

  1. 现有的VLA模型普遍依赖行为克隆，导致低级控制能力不足，且生成的推理往往缺乏基础，影响闭环时序。
  2. 本文提出In-Context VLA框架，通过上下文后训练和主动工具使用接口，增强模型对有根语言的理解能力，而非单纯生成语言。
  3. 在多个仿真基准和真实任务中，In-Context VLA方法在性能和效率上均超越了传统的链式思维方法，展现出显著的优势。

📝 摘要（中文）

视觉-语言-动作（VLA）模型已成为通用操作的主流方法，但几乎所有模型都通过行为克隆进行训练，导致低级控制能力不足。本文提出In-Context VLA框架，通过在上下文中进行后训练和主动工具使用接口，增强模型的语言理解能力。实验结果表明，该方法在RoboCasa-GR1、SimplerEnv和LIBERO等仿真基准以及8个真实机器人操作任务中，性能和效率均优于基于链式思维的方法。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在语言理解和低级控制方面的不足，尤其是行为克隆方法导致的推理与动作之间的矛盾。

核心思路：提出In-Context VLA框架，强调模型应具备理解有根语言的能力，而非仅仅生成语言。通过上下文后训练和主动工具使用，模型能够更有效地获取任务相关信息。

技术框架：该框架包括两个主要模块：一是上下文后训练，在此过程中将感知证据作为结构化上下文注入模型，二是主动工具使用接口，允许模型查询开放词汇检测器和单目深度信息，以获取任务相关信息。

关键创新：最重要的创新在于通过上下文后训练和主动工具使用，模型能够在未见过的语言环境中学习理解能力，而不是简单的语言生成。这一设计显著改善了模型的控制能力。

关键设计：在训练过程中，模型的损失函数专注于动作的监督，而非语言生成，确保模型的学习目标一致。此外，模型架构中引入了开放词汇检测器和视觉-语言模型，以增强信息获取能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboCasa-GR1、SimplerEnv和LIBERO仿真基准上，In-Context VLA方法在性能上达到了SOTA水平，相较于基于链式思维的方法，效率提升显著，具体数据表明在多个任务中均实现了超过10%的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、智能家居系统和人机交互等。通过提升VLA模型的语言理解能力，能够使机器人更好地理解和执行复杂任务，进而推动智能机器人在实际场景中的应用和普及。

📄 摘要（原文）

Vision-Language-Action (VLA) models have become the dominant recipe for generalist manipulation, yet they are almost universally trained by behavior cloning: a policy imitates expert action chunks conditioned on a static image and a fixed instruction. A natural remedy is to inject explicit reasoning through textual chain-of-thought (CoT). We show, both empirically and analytically, that free-form textual CoT degrades low-level control: the reasoning it produces is ungrounded, its latency breaks closed-loop timing, and, crucially, the reasoning and action tokens are optimized against conflicting objectives so that the policy learns to narrate rather than to act. We argue that what a VLA needs is not the ability to generate language, but the ability to consume grounded language. To this end we introduce \textbf{\ourmethod{}}, a framework that endows a VLA with language competence through (i) in-context post-training, in which perceptual evidence is injected as structured context and the model is supervised only on actions, and (ii) an agentic tool-use interface, in which the policy queries open-vocabulary detectors, monocular depth, and a vision--language model to actively acquire task-relevant information. Rather than emitting a single templated caption, our data engine produces diverse, paraphrased, and evidence-conditioned spatial descriptions, so that the policy learns to interpret language it has never seen verbatim. Across the RoboCasa-GR1, SimplerEnv, and LIBERO simulation benchmarks, together with 8 real-world robot manipulation tasks, our method consistently achieves SOTA results in both performance and efficiency when compared with CoT-based approaches under matched configurations.