ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents
作者: Kaiwen Xiong, Haonian Ji, Shi Qiu, Zeyu Zheng, Cihang Xie, Xinyu Ye, Huaxiu Yao
分类: cs.AI
发布日期: 2026-07-05
💡 一句话要点
提出ClawArena-Team基准以评估语言模型代理的管理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 多代理系统 管理能力 动态工作流 基准评估
📋 核心要点
- 现有方法未能有效评估单一LLM作为领导者的管理能力，导致管理技能的测量缺乏标准化。
- 本文提出ClawArena-Team基准，通过设定特定的限制条件，专注于评估LLM的管理能力而非单纯的任务解决能力。
- 实验结果表明，管理瓶颈主要在于权限授予，且成本与管理质量之间存在显著差异，提供了新的研究视角。
📝 摘要（中文）
随着大型语言模型（LLM）代理的应用日益广泛，它们不仅仅是单一问题的解决者，而是作为管理者进行工作分配和协调。现有基准主要评估模型的任务解决能力或固定多代理系统的行为，而未能单独测量LLM作为领导者的管理能力。为此，本文提出了ClawArena-Team基准，涵盖41个多轮、多模态、多目录场景，评估管理能力。主代理在感知和工作空间访问上受到限制，得分反映管理技能而非原始能力。所有评分基于执行，最终得分为子代理管理得分（SMS），通过任务正确性与权限和模态路由因子的乘积计算。实验结果显示，管理瓶颈在于权限授予而非感知，成本与管理质量解耦，且大多数得分集中在9.9分的范围内。
🔬 方法详解
问题定义：本文旨在解决现有基准未能有效测量单一LLM作为管理者的能力这一问题。现有方法主要集中在任务解决或固定多代理系统的行为，缺乏对管理能力的独立评估。
核心思路：提出ClawArena-Team基准，通过设计特定的场景和限制条件，专注于评估LLM在管理子代理方面的能力，确保得分反映管理技能而非单纯的任务能力。
技术框架：整体架构包括主代理和固定的子代理池，主代理仅能感知文本并访问部分工作空间。评分基于执行结果，最终得分为子代理管理得分（SMS），通过任务正确性与权限和模态路由因子的乘积计算。
关键创新：最重要的创新在于通过动态工作流和多轮场景的设计，独立测量LLM的管理能力，填补了现有研究的空白。
关键设计：在设计中，主代理的感知能力和权限授予受到限制，确保得分反映管理技能而非原始能力。所有评分均为执行基础，避免了使用LLM作为评判者的偏差。实验中，权限授予的精度未超过50%。
🖼️ 关键图片
📊 实验亮点
实验结果显示，管理瓶颈主要在于权限授予，且没有模型在工作空间权限精度上超过50%。成本与管理质量解耦，API成本差异超过100倍，而整体得分差异不足4倍。大多数得分集中在9.9分的范围内，表明管理能力的差异显著。
🎯 应用场景
该研究的潜在应用领域包括多代理系统的管理、智能助手的开发以及复杂任务的自动化处理。通过评估和优化LLM的管理能力，可以提升其在实际应用中的效率和可靠性，推动智能系统的进一步发展。
📄 摘要（原文）
Production large language-model (LLM) agents are increasingly deployed not as lone problem-solvers but as managers: a main model creates specialized subagents, delegates work, and orchestrates their parallel, asynchronous returns through dynamic workflows. Whether one model can actually run such a team is largely unmeasured: existing benchmarks score a policy's own task-solving or a fixed multi-agent system's emergent behavior, but none isolate the management ability of the single LLM acting as leader. We introduce ClawArena-Team, a benchmark of 41 multi-turn, multimodal, multi-directory scenarios spanning 258 evaluation rounds and 72 staged updates that measures this management ability. The main agent is deliberately constrained: it natively perceives only text and directly accesses only part of the workspace. It commands a fixed, locally served subagent pool, so score differences reflect management skill, not raw capability. All scoring is execution-based with no LLM judge: an overall score -- the Subagent-Management Score (SMS) -- multiplies task correctness by a least-privilege and modality-routing factor. Across twelve proprietary, community-hosted, and self-hosted models, experiments show that the management bottleneck is privilege granting rather than perception (no model exceeds 50% workspace-permission precision); that cost and management quality are decoupled (API cost spans over 100 times while the overall score spans under 4 times, with the cheapest open models on the Pareto frontier); and that most leaderboard scores cluster within a 9.9-point band while orchestration behaviors diverge by more than an order of magnitude. Code is available atthis https URL.