ManipArena: Comprehensive Real-world Evaluation of Reasoning-Oriented Generalist Robot Manipulation

📄 arXiv: 2603.28545 📥 PDF

作者: Yu Sun, Meng Cao, Yang Ping, Kaidong Zhang, Qingxuan Chen, Rongtao Xu, Liangwang Ruan, Xuecheng Chen, Dongxiu Liu, Yunxiao Yan, Zunnan Xu, Runze Xu, Charles Yang, Peilun Zhang, Xiaofan Li, Ruyi Gan, Liang Ma, Yuehao Yin, Jincheng Yu, Lufang Chen, Yuxin Liang, Peng Zhai, Hao Wang, Ivan Laptev, Ian Reid, Qian Wang, Xiaodan Liang

分类: cs.RO, cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出ManipArena框架以解决机器人操作评估的现实差距问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 评估框架 视觉-语言-动作 操作泛化 标准化评估 多任务学习 真实机器人

📋 核心要点

  1. 现有的机器人操作评估方法缺乏真实和可诊断的评估协议，导致结果的可比性差。
  2. ManipArena框架通过标准化评估流程和任务设计，提供了一个全面的真实机器人操作评估平台。
  3. 实验结果表明，真实机器人操作的表现不仅依赖于模型架构，还受到模型来源、微调策略和数据采样的影响。

📝 摘要（中文）

视觉-语言-动作（VLA）模型和世界-动作模型已成为通用机器人智能的核心范式，但缺乏既真实又可诊断的评估协议限制了其实证进展。现有的模拟基准无法充分捕捉感知噪声、接触动态、延迟、校准误差和硬件限制所引起的现实差距，而真实机器人评估往往在平台、场景、物体和评分规则上分散，导致公平比较和失败归因困难。为此，本文提出了ManipArena，一个标准化的真实机器人评估框架，旨在研究在匹配物理条件下的操作泛化。该框架包含20个任务、10,812条专家轨迹、13.5M帧和约188小时的机器人操作时间，结合了任务变异、分层领域内和语义外部试验、部分信用评分、三层语言注释等多种元素。

🔬 方法详解

问题定义：本文旨在解决现有机器人操作评估中缺乏真实和可诊断的评估协议的问题。现有的模拟基准无法充分反映现实中的各种复杂因素，如感知噪声和硬件限制。

核心思路：ManipArena框架通过设计标准化的评估任务和流程，结合多种试验类型，提供了一个全面的评估平台，以便更好地理解和比较不同模型的操作能力。

技术框架：ManipArena包含20个任务和多个试验类型，包括视觉转移和语义外部试验，采用分层评分和多层语言注释，确保评估的全面性和准确性。

关键创新：ManipArena的最大创新在于其标准化的评估流程和多维度的任务设计，使得不同模型在相同条件下的表现可以被公平比较，填补了现有评估方法的空白。

关键设计：框架中采用了部分信用评分机制，允许对子任务进行评分，同时结合了低级运动信号和真实与模拟环境的配对重建，以提高评估的真实性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ManipArena框架下的七种桌面配置在VLA和世界-动作模型策略的评估中，真实机器人操作的表现受多种因素影响，包括模型架构和数据采样，提供了对能力边界和失败模式的深入理解。

🎯 应用场景

ManipArena框架可广泛应用于机器人操作领域，尤其是在需要进行多任务学习和泛化能力评估的场景中。其标准化的评估方法能够为机器人研究提供可靠的基准，推动智能机器人在复杂环境中的应用和发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models and world-action models have emerged as central paradigms for general-purpose robotic intelligence, yet their empirical progress remains constrained by the absence of evaluation protocols that are both physically realistic and diagnostically controlled. Simulator-centric benchmarks provide scale and reproducibility, but cannot fully capture the reality gap induced by perception noise, contact dynamics, latency, calibration error, and hardware constraints. Conversely, real-robot evaluations are often fragmented across platforms, scenes, objects, and scoring rules, making fair comparison and failure attribution difficult. We introduce ManipArena, a standardized real-robot evaluation framework for studying manipulation generalization under matched physical conditions. ManipArena comprises 20 tasks, 10,812 expert trajectories, 13.5M frames, and approximately 188 robot hours across tabletop and mobile manipulation. The framework combines schema-defined task variation, stratified in-domain, visualshift, and semantic-OOD trials, subtask-level partial-credit scoring, three-level language annotations, low-level motor signals, and paired real-to-sim environments reconstructed from physical scenes. Using ManipArena, we evaluate seven tabletop configurations spanning VLA and world-action-model policies. The results show that real-robot conclusions depend not only on architecture, but also on model provenance, fine-tuning regime, data sampling, and annotation granularity. ManipArena thus provides a reproducible and interpretable foundation for diagnosing capability boundaries and failure modes in embodied generalization.