Evolve Vision-Language-Action Model into an Agent with On-the-fly Tool-use

📄 arXiv: 2608.14047v1 📥 PDF

作者: Yi Ding, Yanzhao Yu, Xili Dai, Xianbiao Qi, Peiwen Sun, Xueqian Wang, Xiangyu Yue, Jianan Wang

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-08-14

备注: 12 pages, 4 figures, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern (CVPR) Findings

期刊: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern (CVPR) Findings Recognition (CVPR) Findings, 2026, pp. 1346-1357

💡 一句话要点

提出Agentic Robot with Tool-use以解决VLA模型复杂性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 工具使用 代理机器人 泛化能力 数据依赖性 复杂环境 模块化设计

📋 核心要点

  1. 现有的VLA模型在处理复杂任务时面临高复杂度的动作解决方案空间，导致泛化能力差和数据依赖性强。
  2. 本文提出的ART框架通过工具使用来简化动作空间，增强了模型的泛化能力并降低了对数据的需求。
  3. 实验结果显示，ART在多种任务中成功率提高了20%，展示了其在复杂环境中的有效性和优势。

📝 摘要（中文）

本文将端到端的视觉-语言-动作（VLA）模型与工具使用相结合，提出了具有工具使用能力的代理机器人（ART）。ART是一个工具注入框架，能够调整任何VLA模型，以利用现成的工具模块进行低级视觉、高级可用性和体现增强。与传统的VLA模型相比，ART通过工具使用降低了动作解决方案空间的复杂性，从而提高了在不同任务中的泛化能力，并减少了数据依赖性。实验表明，ART在模拟和现实任务中成功率比主流基线高出20%。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在复杂任务中面临的高复杂度动作解决方案空间问题，导致泛化能力不足和对大量数据的依赖。

核心思路：ART框架通过引入工具使用，简化了动作解决方案空间，使得模型能够更灵活地应对不同任务，提升泛化能力并减少数据需求。

技术框架：ART的整体架构包括工具模块的注入、低级视觉处理、高级可用性推理和体现增强，形成一个端到端的学习系统。

关键创新：ART的主要创新在于将工具使用与VLA模型结合，显著降低了动作空间的复杂性，提升了模型的适应性和扩展性。

关键设计：在训练过程中，ART采用了长轨迹工具使用推理的训练方案，并设计了适应性损失函数，以优化模型在复杂环境中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ART在模拟和现实任务中成功率比主流基线高出20%，尤其在复杂环境下如黑暗中的拾取与放置任务中表现优异，展示了其高泛化能力和低数据依赖性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化生产、服务机器人等，能够在复杂的现实场景中实现更高效的工具使用和任务执行。未来，ART框架有望推动VLA系统在多种实际应用中的广泛部署，提升机器人在动态环境中的适应能力。

📄 摘要（原文）

This paper integrates end-to-end Visual-Language-Action (VLA) models with agentic tool-use to propose Agentic Robot with Tool-use (ART). ART is a tool-injection framework that tunes any VLA model to leverage off-the-shelf tool modules for low-level vision, high-level affordance, and embodiment enhancement. Compared to vanilla VLA models with a whole continuous action solution space, ART reduces the complexity of the action solution space through tool-use, which not only improves generalizability across different tasks but also reduces data dependency. To demonstrate the advantages (high generalizability and low data dependency) of this framework, we first built a dataset of 30K tool-use trajectories and action demonstrations, which is much smaller than those used by baseline methods. We then designed a training regimen for long-trajectory tool-use reasoning in challenging environments. Experiments show that ART achieves a 20% higher success rate than mainstream baselines on simulation and real-world tasks, such as pick-and-place in the dark at novel viewpoints. Empirical results highlight the benefits of an agent-based approach: modular tool utilization enables more efficient training, lightweight deployment, and scalable integration of new tools. This design fosters robustness, adaptability, and extensibility, paving the way for the practical deployment of VLA systems in complex real-world scenarios.