EBench: Elemental Diagnosis of Generalist Mobile Manipulation Policies
作者: Ning Gao, Jinliang Zheng, Xing Gao, Haoxiang Ma, Hanqing Wang, Yukai Wang, Jiantong Chen, Zanxin Chen, Shujie Zhang, Mingda Jia, Xuekun Jiang, Zihou Zhu, Xinyu Li, Shuai Wang, Hao Li, Wenzhe Cai, Yuqiang Yang, Xudong Xu, Zhaoyang Lyu, Yao Mu, Tai Wang, Jiangmiao Pang, Jia Zeng, Weinan Zhang, Chunhua Shen
分类: cs.RO
发布日期: 2026-06-16
💡 一句话要点
提出EBench以诊断通用移动操控策略的能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 移动操控 能力评估 泛化能力 机器人技术 多任务学习
📋 核心要点
- 现有的通用移动操控策略评估方法主要依赖单一的成功率指标，无法全面反映模型的能力特征。
- EBench通过设计多样化的操控任务和能力维度，提供了一个全面的评估框架，能够深入分析模型的能力和泛化能力。
- 实验结果表明，尽管某些模型的成功率相近，但它们在能力特征和泛化能力上存在显著差异，揭示了模型的优势和劣势。
📝 摘要（中文）
我们提出了EBench，这是一个模拟基准，用于诊断通用移动操控策略，超越单一成功率指标。EBench包含26个多样且具有挑战性的操控任务，按照5个能力维度和4个泛化维度进行标注。我们评估了包括$π_0$、$π_{0.5}$、XVLA和InternVLA-A1在内的最先进的通用操控模型，揭示了成功率接近的模型在能力特征上存在显著差异：$π_{0.5}$在测试成功率和训练-测试保持性方面表现最佳，而InternVLA-A1在移动操控上占优势，但在灵巧任务上表现不佳，XVLA则在一组原子技能上展现出优势。除了能力分析，EBench还从四个代表性角度分析了模型的泛化能力，识别了不同分布转移因素的影响。我们希望这个基准能够提供广泛的诊断信号，以指导通用操控模型的迭代。
🔬 方法详解
问题定义：本论文旨在解决现有通用移动操控策略评估方法的不足，特别是单一成功率指标无法全面反映模型能力的问题。
核心思路：EBench通过设计26个多样化的操控任务，结合5个能力维度和4个泛化维度，提供了一个全面的评估框架，以深入分析不同模型的能力特征和泛化能力。
技术框架：EBench的整体架构包括任务设计、能力维度标注和泛化能力分析三个主要模块。任务设计涵盖了多种操控场景，能力维度标注则为每个任务提供了详细的能力特征描述。
关键创新：EBench的最大创新在于其多维度的评估方法，能够揭示模型在不同任务和能力维度下的表现差异，这与传统的单一成功率评估方法有本质区别。
关键设计：在任务设计中，EBench考虑了多种操控任务的复杂性，并通过标注系统对能力维度进行细致划分，确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，$π_{0.5}$在测试成功率和训练-测试保持性方面表现最佳，而InternVLA-A1在移动操控任务中占据优势，但在灵巧任务上表现不佳。XVLA在一组原子技能上展现出独特的优势。这些发现揭示了模型能力的多样性，推动了对通用操控策略的深入理解。
🎯 应用场景
EBench的研究成果可广泛应用于机器人操控、自动化生产线和智能家居等领域。通过提供全面的能力分析，研究人员和工程师可以更好地优化和迭代通用移动操控模型，从而提升机器人在复杂环境中的适应能力和操作效率。
📄 摘要（原文）
We present EBench, a simulation benchmark that diagnoses generalist mobile manipulation policies beyond a single success-rate scalar. EBench comprises 26 diverse and challenging manipulation tasks annotated along 5 capability dimensions and 4 generalization dimensions. We evaluate state-of-the-art generalist manipulation models including $π_0$, $π_{0.5}$, XVLA, and InternVLA-A1, and reveal that models with near success rates exhibit strikingly different capability profiles: $π_{0.5}$ achieves the highest test success rate and the best train--test retention, whereas InternVLA-A1 dominates mobile manipulation but collapses on dexterous tasks, and XVLA exhibits strengths on a disjoint set of atomic skills compared to other policies. Beyond capability profiling, EBench analyzes the generalization ability from 4 representative perspectives, identifying the impact of different distribution shift factors. The results reveal strengths and weaknesses of models behind an overall score. We hope this benchmark offers a broad set of diagnostic signals to guide iteration on generalist manipulation models.