Profiling a Frontier Agent with EBench: From Direct Control to Harness with Policy
作者: Yifei Yao, Yude Zou, Guanbo Jiao, Xing Gao, Ning Gao, Yukai Wang, Jiantong Chen, Zihou Zhu, Xinyu Li, Ningyu Yan, Shuai Wang, Jianming Ma, Haoyu Guo, Weinan Zhang, Chunhua Shen
分类: cs.RO, cs.AI
发布日期: 2026-10-26
备注: Project page: https://internrobotics.github.io/EBench-Astra-Tech-Report/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出EBench评估框架以优化多模态大语言模型的机器人控制能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 机器人控制 视觉-语言-动作 世界动作模型 EBench评估
📋 核心要点
- 现有方法在机器人控制中面临挑战，尤其是在长期任务和高精度操作中的表现不足。
- 论文提出通过EBench评估框架，比较直接控制与策略驱动的控制方式，以优化多模态大语言模型的机器人控制能力。
- 实验结果显示，策略驱动的控制方式在任务成功率上显著提升，但仍未达到独立组件的最佳性能。
📝 摘要（中文）
前沿多模态大语言模型（MLLMs）能够在无需特定机器人训练的情况下控制机器人，但其能力与后训练的视觉-语言-动作（VLA）和世界动作模型（WAM）策略在操作需求上的比较尚未得到充分评估。本报告评估了GPT-6-Astra在EBench上的表现，研究了两种代理配置：直接控制和策略驱动的控制。在直接控制下，代理在短期任务中表现优异，但在长期任务和高精度操作中表现不佳。而在策略驱动的控制中，结合后训练的VLA或WAM策略显著提高了任务成功率，同时降低了令牌成本。尽管如此，性能仍低于独立组件的最佳表现，主要由于策略调用的亚最优性和执行过程中的干扰。整体而言，本研究界定了前沿MLLM代理的能力边界，并为未来的代理设计提供了改进方向。
🔬 方法详解
问题定义：本论文旨在解决前沿多模态大语言模型在机器人控制中的能力评估问题，尤其是其在不同任务需求下的表现不足。现有方法未能充分比较直接控制与后训练策略的优劣。
核心思路：通过EBench评估框架，论文提出将GPT-6-Astra作为核心代理，比较直接控制与策略驱动控制的效果，旨在结合两者的优势以提升整体性能。
技术框架：整体架构包括两个主要模块：直接控制模块，代理生成路径命令；策略驱动模块，代理调用后训练的VLA或WAM策略进行动作执行。
关键创新：最重要的创新在于通过EBench评估框架系统性地比较了两种控制方式的表现，揭示了前沿MLLM代理的能力边界，并提出了改进建议。
关键设计：在实验中，设置了不同的任务场景，采用固定指令执行和策略调用的方式，评估了在不同任务中的成功率和性能波动。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在直接控制模式下，代理在短期任务中表现优异，整体性能与后训练策略相当。而在策略驱动模式下，任务成功率显著提高，达到最强后训练策略的水平，同时令牌成本大幅降低。尽管如此，整体性能仍低于独立组件的最佳表现，显示出进一步优化的空间。
🎯 应用场景
该研究的潜在应用领域包括机器人自动化、智能制造和人机交互等。通过优化多模态大语言模型的控制能力，可以提升机器人在复杂环境中的操作效率和准确性，推动智能机器人技术的发展。
📄 摘要（原文）
Frontier multimodal large language models (MLLMs) can control robots without robot-specific training, but how their capabilities compare and interact with post-trained vision-language-action (VLA) and world action model (WAM) policies across manipulation demands remains to be thoroughly evaluated. In this report, we evaluate GPT-6-Astra on EBench as the core of an agent that controls a robot through an agent harness under the same visual and proprioceptive observation protocol as post-trained policies. We study two agent configurations: direct control, in which the agent generates waypoint commands directly, and harness with policy, in which it can also invoke a post-trained VLA or WAM policy for action execution. Under direct control, the agent achieves competitive overall performance relative to post-trained policies. It leads on short-horizon tasks and exhibits the least performance variation across generalization dimensions, whereas it underperforms post-trained policies on long-horizon tasks, tabletop manipulation, and high-precision contact-rich tasks. In the harness with policy, invoking a post-trained VLA or WAM combines the complementary strengths of both components, raising overall task success to the level of the strongest compared post-trained policies while substantially reducing token cost. However, performance remains below the per-task upper bound of the standalone components due to suboptimal policy invocation, fixed-instruction execution without subgoals, and grasp disruption when the agent resumes control. Overall, our study characterizes the capability boundary of a frontier MLLM agent and suggests directions for improving future agent harness design. Project page: https://internrobotics.github.io/EBench-Astra-Tech-Report/