RobotAgentBench: Towards Open-world Robot Autonomy

📄 arXiv: 2610.34649v1 📥 PDF

作者: Lingjun Mao, Jinglin Cao, Lukun He, Wenpeng Xu, Yuchen Yan, Hengyu Jin, Zijun Zhang, Jinzhou Tang, Songyao Jin, Ziche Liu, Yifei Shao, Junbo Huang, Fang Nan, Ruobing Han, Ziqiao Xi, Ziming Xu, Shuang Liang, Sibo Zhu, Wenyi Wu, Xinyue Wang, Yiming Huang, Xinkai Zou, Gao Zhu, Kun Zhou, Biwei Huang

分类: cs.RO, cs.AI

发布日期: 2026-10-26

备注: Project page: https://aetherlabsai.github.io/RobotAgentBench/

💡 一句话要点

提出RobotAgentBench以解决开放世界机器人自主性评估问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人自主性 开放世界 任务发现 上下文推理 物理执行 评估基准

📋 核心要点

  1. 现有基准主要评估机器人能力的孤立部分，无法反映开放世界中复杂的自主性需求。
  2. 提出RobotAgentBench（RAB），通过构建多样化的家庭环境和任务，评估机器人代理的综合能力。
  3. 实验结果显示，操作能力与自主性之间存在显著差距，代理架构和自我改进方法展现出明显优势。

📝 摘要（中文）

近年来，视觉-语言-动作（VLA）和世界-动作模型（WAMs）的进展显著提升了机器人操作能力，但在开放世界中部署机器人需要更高水平的自主性。现有基准主要评估孤立能力，无法捕捉开放世界机器人自主性的复杂性。本文提出RobotAgentBench（RAB），这是一个全面的基准，用于评估机器人代理在现实开放世界家庭环境中的表现。RAB通过人机协作的真实到仿真管道构建了50个多样化的家庭布局，涵盖90个原子任务、18个短期任务、8个长期任务和4个开放式场景。RAB提供多层次的评估，包括任务级评估和场景级评估，揭示了操作与自主性之间的差距，并展示了代理架构和递归自我改进的优势。

🔬 方法详解

问题定义：本文旨在解决现有机器人评估基准无法有效捕捉开放世界自主性复杂性的问题。现有方法往往只关注单一能力，缺乏对机器人在真实环境中综合表现的全面评估。

核心思路：论文提出RobotAgentBench（RAB），通过构建真实家庭环境和多样化任务，整合任务发现、上下文推理、物理执行和自适应恢复，形成闭环交互。

技术框架：RAB的整体架构包括任务级评估和场景级评估两个层面，任务级评估系统地考察任务发现、上下文推理、操作、失败恢复和鲁棒性等五个维度，场景级评估则关注代理如何整合这些能力以满足高层次用户需求。

关键创新：RAB的创新在于其全面的多层次评估机制，能够系统比较独立的VLA/WAM模型和不同的机器人代理架构，填补了现有评估方法的空白。

关键设计：RAB构建了50个家庭布局，包含90个原子任务和多种任务类型，采用人机协作的真实到仿真管道，确保任务的物理基础和互动性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，机器人在操作能力与自主性之间存在显著差距，RAB的评估机制揭示了这一问题。通过与基线模型的对比，代理架构和递归自我改进方法展现出更高的性能，进一步推动了开放世界机器人自主性的研究。

🎯 应用场景

该研究的潜在应用领域包括家庭服务机器人、工业自动化和智能家居系统。通过提供一个标准化的评估平台，RAB能够推动机器人技术的进步，提升机器人在开放世界环境中的自主性和适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent advances in vision-language-action (VLA) and world-action models (WAMs) have significantly improved robotic manipulation, yet deploying robots in the open world demands a higher level of autonomy beyond executing predefined tasks. Robot agents offer a promising paradigm for this transition, integrating task discovery, contextual reasoning, physical execution, and adaptive recovery into a closed interaction loop. However, existing benchmarks largely evaluate isolated capabilities, failing to capture the complexity of open-world robot autonomy. We introduce RobotAgentBench (RAB), a comprehensive benchmark for evaluating robot agents in realistic, open-world household environments. Through an agent-assisted, human-in-the-loop real-to-sim pipeline, RAB constructs 50 diverse household layouts with interactive objects and physically grounded tasks, encompassing 90 atomic tasks, 18 short-horizon tasks, 8 long-horizon tasks, and 4 open-ended scenarios. RAB provides a multi-level evaluation of robot agent capabilities: (1) task-level assessments systematically examine five complementary dimensions: task discovery, context reasoning, manipulation, failure recovery, and robustness; (2) scenario-level evaluation assesses how agents integrate these capabilities to autonomously fulfill high-level user needs. Furthermore, RAB enables systematic comparisons of standalone VLA/WAM models and diverse robot agent architectures under a unified planning-execution-verification framework. Extensive experiments reveal substantial gaps between manipulation and autonomy, demonstrate the advantages of agentic architectures and recursive self-improvement, and highlight the remaining challenges toward open-world robot autonomy.