Vision-Language-Action Models for Robotics: A Review Towards Real-World Applications

📄 arXiv: 2510.07077v1 📥 PDF

作者: Kento Kawaharazuka, Jihoon Oh, Jun Yamada, Ingmar Posner, Yuke Zhu

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2025-10-08

备注: Accepted to IEEE Access, website: https://vla-survey.github.io

DOI: 10.1109/ACCESS.2025.3609980

💡 一句话要点

综述：面向真实机器人应用的视觉-语言-动作模型研究进展

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作模型 机器人学习 多模态融合 深度学习 机器人应用

📋 核心要点

  1. 现有机器人学习方法难以泛化到不同任务和环境，需要大量特定任务数据。
  2. VLA模型通过统一视觉、语言和动作信息，学习通用策略，提升泛化能力。
  3. 该综述全面回顾VLA系统的软硬件组件，为实际机器人应用提供指导。

📝 摘要（中文）

视觉-语言-动作(VLA)模型通过统一视觉、语言和动作数据，旨在学习能够泛化到不同任务、对象、形态和环境的策略，从而解决传统上分别研究这些数据的问题。这种泛化能力有望使机器人能够以最少或无需额外任务特定数据来解决新的下游任务，从而促进更灵活和可扩展的现实世界部署。本综述提供了一个全面的、全栈的VLA系统回顾，整合了软件和硬件组件，而之前的综述主要关注动作表示或高层模型架构。本文系统地回顾了VLA，涵盖了它们的策略和架构演变、架构和构建块、模态特定处理技术和学习范式。此外，为了支持VLA在真实机器人应用中的部署，我们还回顾了常用的机器人平台、数据收集策略、公开数据集、数据增强方法和评估基准。本综述旨在为机器人社区在将VLA应用于真实机器人系统时提供实用指导。

🔬 方法详解

问题定义：现有机器人学习方法通常针对特定任务进行优化，缺乏跨任务和环境的泛化能力。收集和标注大量特定任务数据成本高昂，限制了机器人应用的扩展性。因此，如何使机器人能够像人类一样，通过少量示例或自然语言指令，快速适应新任务，是当前机器人学习领域面临的关键挑战。

核心思路：VLA模型的核心思路是将视觉、语言和动作信息统一到一个模型中进行学习，从而使机器人能够理解自然语言指令，感知周围环境，并执行相应的动作。通过大规模数据训练，VLA模型可以学习到通用的知识和技能，从而实现跨任务和环境的泛化。这种方法借鉴了自然语言处理领域预训练语言模型的成功经验，旨在构建一个通用的机器人智能体。

技术框架：VLA系统的整体框架通常包括以下几个主要模块：1) 感知模块：负责从视觉传感器（如摄像头）获取图像或视频数据，并提取视觉特征。2) 语言模块：负责处理自然语言指令，并将其转换为模型可以理解的语义表示。3) 动作模块：负责生成机器人的动作指令，控制机器人的运动。4) 策略模块：负责根据感知信息和语言指令，选择合适的动作策略。这些模块通常通过深度神经网络进行实现，并通过端到端的方式进行训练。

关键创新：VLA模型最重要的技术创新在于将视觉、语言和动作信息统一到一个模型中进行学习。这种统一建模方法使得模型可以同时学习到视觉、语言和动作之间的关联，从而实现更强的泛化能力。与传统的机器人学习方法相比，VLA模型不需要针对每个任务进行单独训练，而是可以通过少量示例或自然语言指令，快速适应新任务。

关键设计：VLA模型的关键设计包括：1) 多模态融合方法：如何有效地融合视觉、语言和动作信息是VLA模型设计的关键。常用的融合方法包括注意力机制、Transformer网络等。2) 损失函数设计：如何设计合适的损失函数，使得模型能够学习到通用的知识和技能，是VLA模型训练的关键。常用的损失函数包括对比损失、交叉熵损失等。3) 数据增强方法：如何通过数据增强方法，提高模型的泛化能力，是VLA模型训练的重要手段。常用的数据增强方法包括图像增强、文本增强等。

📊 实验亮点

该综述全面回顾了VLA领域的研究进展，并对常用的机器人平台、数据收集策略、公开数据集、数据增强方法和评估基准进行了总结。该综述为机器人社区在将VLA应用于真实机器人系统时提供了实用指导，并指出了未来研究方向。

🎯 应用场景

VLA模型具有广泛的应用前景，例如：家庭服务机器人、工业自动化机器人、医疗辅助机器人等。它们可以帮助机器人更好地理解人类指令，适应复杂环境，完成各种任务。未来，VLA模型有望成为通用机器人智能体的核心技术，推动机器人技术的发展。

📄 摘要（原文）

Amid growing efforts to leverage advances in large language models (LLMs) and vision-language models (VLMs) for robotics, Vision-Language-Action (VLA) models have recently gained significant attention. By unifying vision, language, and action data at scale, which have traditionally been studied separately, VLA models aim to learn policies that generalise across diverse tasks, objects, embodiments, and environments. This generalisation capability is expected to enable robots to solve novel downstream tasks with minimal or no additional task-specific data, facilitating more flexible and scalable real-world deployment. Unlike previous surveys that focus narrowly on action representations or high-level model architectures, this work offers a comprehensive, full-stack review, integrating both software and hardware components of VLA systems. In particular, this paper provides a systematic review of VLAs, covering their strategy and architectural transition, architectures and building blocks, modality-specific processing techniques, and learning paradigms. In addition, to support the deployment of VLAs in real-world robotic applications, we also review commonly used robot platforms, data collection strategies, publicly available datasets, data augmentation methods, and evaluation benchmarks. Throughout this comprehensive survey, this paper aims to offer practical guidance for the robotics community in applying VLAs to real-world robotic systems. All references categorized by training approach, evaluation method, modality, and dataset are available in the table on our project website: https://vla-survey.github.io .