Running VLAs at Real-time Speed

📄 arXiv: 2510.26742v1 📥 PDF

作者: Yunchao Ma, Yizhuang Zhou, Yunhuan Yang, Tiancai Wang, Haoqiang Fan

分类: cs.RO

发布日期: 2025-10-30

备注: Code is available at https://github.com/Dexmal/realtime-vla

🔗 代码/项目: GITHUB

💡 一句话要点

提出加速策略，单GPU实现30Hz多视角VLA实时运行，赋能动态机器人任务

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作模型 实时机器人控制 模型优化 GPU加速 多视角学习

📋 核心要点

  1. 现有大型VLA模型推理开销大，难以满足动态实时任务对速度的需求。
  2. 通过一系列优化策略，消除模型推理中的开销，提升VLA运行速度。
  3. 实验表明，优化后的pi0策略在抓取掉落笔的任务中成功率达到100%。

📝 摘要（中文）

本文展示了如何使用单消费级GPU以30Hz帧率和高达480Hz的轨迹频率运行pi0级别的多视角VLA。这使得以前被认为大型VLA模型无法实现的动态和实时任务成为可能。为了实现这一目标，我们引入了一系列策略来消除模型推理中的开销。真实世界的实验表明，采用我们策略的pi0策略在抓取掉落的笔的任务中实现了100%的成功率。基于这些结果，我们进一步提出了一个完整的流式推理框架，用于VLA的实时机器人控制。代码可在https://github.com/Dexmal/realtime-vla 获取。

🔬 方法详解

问题定义：论文旨在解决大型视觉语言动作模型（VLA）在实时机器人控制应用中推理速度不足的问题。现有的VLA模型计算复杂度高，难以在消费级GPU上实现高帧率的实时推理，限制了其在动态环境中的应用，例如快速抓取、动态避障等任务。

核心思路：论文的核心思路是通过一系列优化策略，降低VLA模型推理过程中的计算开销，从而在单GPU上实现实时推理。这些策略针对VLA模型的不同组成部分，例如视觉编码器、语言编码器和动作解码器，进行有针对性的优化。

技术框架：论文提出了一个完整的流式推理框架，用于VLA的实时机器人控制。该框架包含以下主要模块：1) 多视角图像输入；2) 视觉特征提取；3) 语言指令输入；4) 视觉-语言特征融合；5) 动作预测；6) 机器人控制。该框架支持实时图像和语言输入，并能够以高频率生成动作指令，从而实现机器人的实时控制。

关键创新：论文的关键创新在于提出了一系列针对VLA模型推理过程的优化策略，这些策略包括：1) 模型压缩和量化，降低模型大小和计算复杂度；2) 算子融合，减少GPU上的kernel启动开销；3) 内存优化，减少数据传输和存储开销；4) 并行计算，充分利用GPU的计算资源。这些策略的组合使用，使得VLA模型能够在单GPU上实现实时推理。与现有方法相比，该方法能够在保证性能的同时，显著提高推理速度。

关键设计：论文中没有详细说明关键参数设置、损失函数、网络结构等技术细节。这些细节可能与所使用的具体VLA模型（例如pi0）相关，需要在代码库中进一步研究。

📊 实验亮点

实验结果表明，通过论文提出的优化策略，pi0策略在抓取掉落的笔的任务中实现了100%的成功率。此外，该方法能够在单消费级GPU上实现30Hz的帧率和高达480Hz的轨迹频率，显著提高了VLA模型的推理速度，使其能够满足实时机器人控制的需求。具体的性能提升数据（例如与基线方法的对比）需要在论文或代码库中进一步查找。

🎯 应用场景

该研究成果可广泛应用于需要实时交互的机器人应用中，例如高速抓取、动态避障、人机协作等。通过提高VLA模型的推理速度，可以使机器人能够更快地响应环境变化，从而提高其在复杂环境中的适应性和鲁棒性。此外，该研究还可以促进VLA模型在工业自动化、智能家居等领域的应用。

📄 摘要（原文）

In this paper, we show how to run pi0-level multi-view VLA at 30Hz frame rate and at most 480Hz trajectory frequency using a single consumer GPU. This enables dynamic and real-time tasks that were previously believed to be unattainable by large VLA models. To achieve it, we introduce a bag of strategies to eliminate the overheads in model inference. The real-world experiment shows that the pi0 policy with our strategy achieves a 100% success rate in grasping a falling pen task. Based on the results, we further propose a full streaming inference framework for real-time robot control of VLA. Code is available at https://github.com/Dexmal/realtime-vla.