VLA-Arena: An Open-Source Framework for Benchmarking Vision-Language-Action Models

📄 arXiv: 2512.22539 📥 PDF

作者: Borong Zhang, Jiahao Li, Jiachen Shen, Yuhao Zhang, Yishuai Cai, Hailu Ji, Yuanpei Chen, Juntao Dai, Jiaming Ji, Yaodong Yang

分类: cs.RO, cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出VLA-Arena以解决视觉-语言-动作模型的评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 基准测试 任务设计 模型评估 机器人学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在量化评估其能力和局限性方面存在困难，尤其是在理解失败模式时。
  2. 论文提出了VLA-Arena基准框架，通过结构化任务设计来系统性地量化任务难度，涵盖多个维度。
  3. 实验结果显示，当前VLA模型在记忆与泛化、鲁棒性不对称、安全约束考虑不足等方面存在显著局限。

📝 摘要（中文）

尽管视觉-语言-动作模型（VLA）在通用机器人策略方面快速发展，但量化理解其局限性和失败模式仍然困难。为此，我们引入了一个全面的基准测试框架VLA-Arena。该框架通过结构化任务设计，量化任务的难度，涵盖任务结构、语言指令和视觉观察三个正交轴。VLA-Arena包含170个任务，分为安全性、干扰、外推和长时间跨度四个维度，并为每个任务设计了三个难度级别。我们的评估揭示了当前VLA模型的多项关键局限性，包括对记忆的强烈依赖、对安全约束的忽视等。我们提供了完整的VLA-Arena框架，以促进相关研究并确保可重复性。

🔬 方法详解

问题定义：本论文旨在解决视觉-语言-动作模型在评估时的局限性，现有方法难以量化模型的能力和失败模式。

核心思路：通过引入VLA-Arena基准框架，系统性地设计任务以量化难度，涵盖任务结构、语言指令和视觉观察三个维度，从而实现对模型能力的精确测量。

技术框架：VLA-Arena的整体架构包括任务定义、任务执行和自动评估三个主要模块。任务被分为170个，按照安全性、干扰、外推和长时间跨度进行分类，并设定不同的难度级别。

关键创新：VLA-Arena的创新在于其结构化的任务设计框架，能够在多个维度上量化任务难度，这与现有方法的单一评估方式形成鲜明对比。

关键设计：每个任务设定了三个难度级别（L0-L2），并在L0上进行微调以评估模型的通用能力。同时，语言和视觉的扰动（W0-W4和V0-V4）可应用于任何任务，以实现鲁棒性分析。

📊 实验亮点

在对当前最先进的VLA模型进行评估时，发现其在记忆与泛化方面存在显著的局限性，表现出对安全约束的忽视和长时间任务技能组合能力的不足。这些发现为未来的研究指明了方向。

🎯 应用场景

VLA-Arena框架具有广泛的应用潜力，特别是在机器人学习、自动化控制和人机交互等领域。通过提供系统化的评估标准，研究人员可以更好地理解和改进视觉-语言-动作模型的性能，从而推动智能机器人技术的发展。

📄 摘要（原文）

While Vision-Language-Action models (VLAs) are rapidly advancing towards generalist robot policies, it remains difficult to quantitatively understand their limits and failure modes. To address this, we introduce a comprehensive benchmark called VLA-Arena. We propose a novel structured task design framework to quantify difficulty across three orthogonal axes: (1) Task Structure, (2) Language Command, and (3) Visual Observation. This allows us to systematically design tasks with fine-grained difficulty levels, enabling a precise measurement of model capability frontiers. For Task Structure, VLA-Arena's 170 tasks are grouped into four dimensions: Safety, Distractor, Extrapolation, and Long Horizon. Each task is designed with three difficulty levels (L0-L2), with fine-tuning performed exclusively on L0 to assess general capability. Orthogonal to this, language (W0-W4) and visual (V0-V4) perturbations can be applied to any task to enable a decoupled analysis of robustness. Our extensive evaluation of state-of-the-art VLAs reveals several critical limitations, including a strong tendency toward memorization over generalization, asymmetric robustness, a lack of consideration for safety constraints, and an inability to compose learned skills for long-horizon tasks. To foster research addressing these challenges and ensure reproducibility, we provide the complete VLA-Arena framework, including an end-to-end toolchain from task definition to automated evaluation and the VLA-Arena-S/M/L datasets for fine-tuning. Our benchmark, data, models, and leaderboard are available atthis https URL.