Vision-Language-Action Models: Experimental Insights from a Real-World UR5 Platform

📄 arXiv: 2606.30456v1 📥 PDF

作者: Mathilde Hochedel, Marc Lalonde

分类: cs.RO, cs.CV

发布日期: 2026-06-29

备注: 23 pages, 16 figures

💡 一句话要点

提出VLA模型在真实机器人平台上的应用框架以解决控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人控制 数据采集 系统级设计 模型微调

📋 核心要点

  1. 现有的VLA模型在真实机器人平台上的应用面临控制不稳定和性能不一致的挑战。
  2. 本研究提出了一个完整的数据采集和处理框架，强调数据-模型-控制管道的精确控制。
  3. 实验结果显示，模型的成功部署依赖于系统级的设计，而非单纯的模型能力提升。

📝 摘要（中文）

本项目研究了近期的视觉-语言-动作（VLA）模型能否有效转移到真实的UR5e机器人平台上。研究整合了真实机器人数据采集、数据集工程、模型微调和部署，并对动作表示和控制接口进行了系统验证。项目成果包括完整的真实机器人数据采集管道、符合RLDS标准的数据集转换工作流、初步的VLA模型微调和推理基础设施，以及基于真实机器人实验的结构化观察。这些要素共同建立了一个可重复的框架，用于评估基于学习的操作系统在模拟之外的表现。实验证明，离线指标与物理系统的闭环行为之间存在一致的差距，这一差距不仅仅归因于模型的局限性，还受到动作语义、坐标框架约定、模态间的时间对齐、图像预处理一致性以及数据集覆盖和质量的强烈影响。

🔬 方法详解

问题定义：本论文旨在解决VLA模型在真实机器人平台上应用时的控制不稳定性和性能差距问题。现有方法在模拟环境中表现良好，但在真实环境中却面临诸多挑战，如动作语义不一致和数据质量问题。

核心思路：论文的核心思路是建立一个全面的数据采集和处理框架，强调在真实环境中对数据、模型和控制的整体协调，以提高VLA系统的可靠性和稳定性。

技术框架：整体架构包括数据采集管道、数据集转换工作流、模型微调和推理基础设施。数据采集管道负责收集真实环境中的操作数据，转换工作流确保数据格式符合RLDS标准，微调和推理模块则用于优化模型性能。

关键创新：最重要的技术创新在于将VLA模型的应用从单一的模型优化转变为系统级的挑战，强调了数据处理和控制策略对模型成功部署的重要性。这一视角的转变为未来的研究提供了新的方向。

关键设计：在参数设置上，研究采用了与RLDS标准兼容的数据集格式，确保数据的高质量和一致性。同时，设计了针对动作语义和时间对齐的损失函数，以提高模型在真实环境中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，尽管模型在离线指标上表现良好，但在真实环境中的闭环控制表现不稳定，强调了数据处理和控制策略的重要性。这一发现为VLA系统的实际部署提供了重要的实验依据。

🎯 应用场景

该研究的潜在应用领域包括工业自动化、服务机器人和智能制造等。通过建立可靠的VLA系统，能够提升机器人在复杂环境中的操作能力，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

This project investigates whether recent Vision-Language-Action (VLA) models can be transferred from controlled research benchmarks to a real-world robotic platform, specifically a UR5e manipulator, in a reproducible and operationally meaningful manner. The work integrates real-robot data acquisition, dataset engineering (compatible with the RLDS format), and the fine-tuning and deployment of OpenVLA and OpenVLA-OFT models, with systematic validation of action representations and control interfaces. The project resulted in several foundational assets: (i) a complete real-robot data acquisition pipeline, (ii) a dataset conversion workflow aligned with RLDS standards, (iii) an initial fine-tuning and inference infrastructure for VLA models, and (iv) a structured set of experimental observations grounded in real-robot trials. These elements collectively establish a reproducible framework for evaluating learning-based manipulation systems beyond simulation. Empirically, the experiments reveal a consistent gap between promising offline indicators and unstable closed-loop behavior on the physical system: this gap cannot be attributed solely to model limitations, it is strongly influenced by action semantics, coordinate frame conventions, temporal alignment between modalities, image preprocessing consistency, and dataset coverage and quality. These observations lead to a key interpretation: the successful deployment of VLA systems in real-world settings depends less on incremental improvements in model capacity and more on precise control of the entire data-model-control pipeline. The project reframes VLA-based robotics from a primarily model-centric challenge to a system-level problem; it highlights the difficulty of running robust task execution on the real robot and provides a clear, experimentally grounded understanding of the conditions required for reliable deployment.