VLALagBench: Understanding When and Why VLA Inference Latency Matters

📄 arXiv: 2611.03103v1 📥 PDF

作者: Qi Wen, Borui Xu, Hussein Amro, Hongshi Tan, Hanmin Lin, Chaoyi Ruan, Shanghao Liu, Gang Yang, Yuejiang Liu, Jiafei Duan, Bingsheng He, Jason Clemons, Christos Kozyrakis, Wenqi Jiang

分类: cs.RO

发布日期: 2026-11-02

备注: Code will be released at https://github.com/codestrongestx/VLALagBench

💡 一句话要点

提出VLALagBench以研究VLA推理延迟对任务成功率的影响

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 推理延迟 任务成功率 异步执行 基准测试

📋 核心要点

  1. 现有的VLA模型在推理延迟对任务成功率的影响上缺乏深入理解，尤其是在动态环境中。
  2. 本文提出VLALagBench基准，系统性地研究VLA推理延迟的敏感性，并提出异步执行策略以提高任务成功率。
  3. 实验结果表明，100毫秒的推理延迟会显著降低移动目标的任务成功率，且通过异步执行可部分恢复成功率。

📝 摘要（中文）

视觉-语言-动作（VLA）模型为通用机器人操作提供了有希望的路径。然而，推理延迟如何影响任务成功率在不断变化的物理世界中仍然不够明确。本文介绍了VLALagBench，一个全面的基准，用于研究不同任务类型、物体速度、执行模式（同步与异步）和VLA策略下的VLA推理延迟敏感性。研究发现，即使是100毫秒的适度推理延迟也能将移动目标的任务成功率几乎减半，且敏感性在任务和策略间差异显著。通过将推理与动作执行重叠，异步执行可以在频繁的推理请求下恢复部分成功率。基于这些发现，本文开发了一个经验模型，能够从有限的校准数据中预测任务成功率，预测误差仅为5.7-7.8%。

🔬 方法详解

问题定义：本文旨在解决VLA推理延迟对任务成功率影响的理解不足，现有方法未能充分考虑动态环境中的延迟问题。

核心思路：提出VLALagBench基准，通过系统性实验分析不同任务类型和执行模式下的推理延迟敏感性，探索异步执行的潜力。

技术框架：整体架构包括数据收集、延迟敏感性分析和模型预测三个主要模块。数据收集阶段涵盖不同任务和物体速度的实验，延迟敏感性分析则评估不同策略下的任务成功率。

关键创新：引入了异步执行策略，通过重叠推理与动作执行来提高任务成功率，这是与传统同步执行方法的本质区别。

关键设计：在模型中，使用了有限的校准数据进行任务成功率预测，设计了适应不同VLA策略的参数设置，确保预测误差控制在5.7-7.8%之间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，100毫秒的推理延迟几乎将移动目标的任务成功率减半，而异步执行策略能够在频繁推理请求下恢复部分成功率。模型的预测误差仅为5.7-7.8%，为系统特定的VLA算法配置选择提供了指导。

🎯 应用场景

该研究为机器人操作中的推理延迟问题提供了新的视角，VLALagBench基准可用于优化VLA算法的设计与选择，提升机器人在动态环境中的操作能力，具有广泛的应用潜力，尤其是在工业自动化和服务机器人领域。

📄 摘要（原文）

Vision-language-action (VLA) models offer a promising path toward general-purpose robot manipulation. While inference latency can affect task success in a constantly evolving physical world, the relationship between latency and task success rate remains poorly understood. In this paper, we introduce VLALagBench, a comprehensive benchmark for studying VLA inference latency sensitivity across task types, object speeds, execution modes (synchronous and asynchronous), and VLA policies. Using VLALagBench, we find that even a modest inference latency of 100 ms can nearly halve task success on moving targets, with sensitivity varying substantially across tasks and policies. These differences reflect task-specific requirements for precision and continuous motion. By overlapping inference with action execution, asynchronous execution can recover some of the lost success at the cost of more frequent inference requests. Building on these findings, we develop an empirical model that predicts task success from limited calibration data, achieving root-mean-square prediction errors of only 5.7-7.8% across various VLA policies. Given an inference system's latency and per-robot throughput, these predictions guide the selection of system-specific VLA algorithm configurations to maximize task success. We believe VLALagBench and these findings provide a solid foundation for future robotics algorithm-system co-design.