RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild

📄 arXiv: 2611.02497v1 📥 PDF

作者: Tan Sang Nguyen, Yi Ru Wang, Shailesh Shailesh, Gang Yang, Jiamo Hu, Jianuo Jiang, Haoquan Fang, Zhongzheng Ren, Zhongyi Luo, Ian Chong, Aaron Tung, Santiago Pravisani, Minghui Lin, Yao Mo, Ishneet Singh, Benjamin Tee, Harold Soh, Siddhartha Srinivasa, Dieter Fox, David Hsu, Haoming Song, Maxime Ellerbach, Thomas Wolf, Pepijn Kooijmans, Ruijie He, Michael Cho, Jiafei Duan

分类: cs.RO, cs.AI

发布日期: 2026-11-02

备注: 34 Pages, project page: https://robocolosseum.ai/

💡 一句话要点

提出RoboColosseum以解决机器人政策评估的可重复性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人政策评估 分布式评估框架 视觉-语言-动作 开放世界任务 适应性学习

📋 核心要点

  1. 现有的机器人政策评估方法在不同环境和任务中的可重复性较差，限制了其广泛应用。
  2. RoboColosseum框架通过统一政策服务和标准化协议，支持多种机器人在多样环境中的评估。
  3. 实验结果表明，前沿代理在多项任务中表现接近专用VLA政策，且微调后性能显著提升。

📝 摘要（中文）

通用机器人政策必须在不同的机器人、任务和环境中有效工作，但物理试验的变异性使得其难以重复。本文介绍了RoboColosseum，一个分布式评估框架，结合了统一的政策服务和标准化协议，适用于多种环境中的本地操作机器人。初步研究评估了五种视觉-语言-动作（VLA）政策和三种前沿AI代理在四种不同机器人上的表现。结果显示，前沿代理在开放世界任务中表现不佳，而经过微调后，GR00T N1.7在SO-101上表现最佳，pi0.5在Franka和Bimanual-YAM上表现最佳。整体结果揭示了机器人政策的泛化能力及其在新任务中的适应性。

🔬 方法详解

问题定义：本文旨在解决现有机器人政策评估方法在不同任务和环境中的可重复性不足的问题。现有方法在物理试验中存在较大的变异性，导致评估结果难以复现。

核心思路：RoboColosseum框架的核心思想是通过分布式评估和标准化协议，提供一个统一的政策服务平台，使得不同机器人在多样环境中进行有效评估。

技术框架：该框架包括多个主要模块：统一政策服务、标准化评估协议、分布式机器人网络和数据收集与分析模块。通过这些模块，框架能够在多种环境中进行大规模的政策评估。

关键创新：RoboColosseum的主要创新在于其分布式评估能力和标准化协议的结合，使得不同机器人在相似条件下进行评估成为可能。这一设计与传统方法的单一环境评估形成鲜明对比。

关键设计：在实验中，采用了100个演示样本来评估每个任务的适应性，并通过盲测和配对试验来确保评估的公正性。此外，采用了Kendall W指标来衡量不同任务间的排名一致性。实验结果显示，随着试验的积累，开放轨道排名逐渐稳定。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在5,699次配对比较中，前沿代理在多个任务上与专用VLA政策表现相当。经过微调后，GR00T N1.7在SO-101上表现最佳，pi0.5在Franka和Bimanual-YAM上表现最佳。开放轨道的排名与微调后的性能预测存在显著差异，显示出评估方法的有效性。

🎯 应用场景

RoboColosseum框架的潜在应用领域包括机器人教育、智能制造和服务机器人等。通过提供一个标准化的评估平台，研究人员和开发者可以更有效地比较和优化不同的机器人政策，从而推动机器人技术的进步和应用。未来，该框架可能在机器人自主学习和适应性任务执行中发挥重要作用。

📄 摘要（原文）

General-purpose robot policies must work across robots, tasks, and environments, yet the variation that makes physical trials informative also makes them difficult to reproduce. We introduce RoboColosseum, a distributed evaluation framework that combines unified policy serving and standardized protocols across a network of locally operated robots in diverse environments. Our initial study evaluates five vision-language-action (VLA) policies and three frontier AI agents across four embodiments (SO-101, Franka, Bimanual-YAM, and G1 Humanoid). The Open Track compares models without task-specific adaptation in blinded, pairwise trials under matched local conditions. The Fine-tune Track measures how well VLA policies adapt to 20 tasks across all four embodiments when each policy receives the same 100 demonstrations per task. Across 5,699 pairwise Open Track comparisons at 124 sites, frontier agents rival specialized VLA policies, while all systems struggle to complete open-world tasks reliably. After fine-tuning, GR00T N1.7 leads on SO-101 and pi0.5 leads on Franka and Bimanual-YAM. Policy rankings show weak agreement across embodiment-specific task suites (Kendall W = 0.24). Open Track rankings poorly predict relative performance after fine-tuning, with substantial rank reversals on all three embodiments shared between tracks. Measuring partial progress reveals differences that task success alone misses. On the G1 Humanoid, no policy completes any of the five tasks, yet average progress ranges from 13.3% to 23.2% across policies. Open Track rankings stabilize as trials accumulate, and active matchmaking achieves comparable ranking agreement with substantially fewer physical trials than uniform sampling. These results show how distributed physical evaluation can reveal where robot policies generalize, how well they adapt to new tasks, and how far they progress on tasks they fail to complete.