ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents
作者: Kaiwen Xiong, Haonian Ji, Shi Qiu, Zeyu Zheng, Cihang Xie, Xinyu Ye, Huaxiu Yao
分类: cs.AI
发布日期: 2026-06-30
备注: 24 pages, 10 figures, website: https://www.clawarena.cc/
💡 一句话要点
提出ClawArena-Team基准以评估语言模型代理的子代理管理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 子代理管理 动态工作流 多模态场景 基准评估
📋 核心要点
- 现有方法未能有效评估单一LLM作为管理者的能力，缺乏针对管理能力的专门基准。
- 提出ClawArena-Team基准，通过限制主代理的感知和访问，专注于评估其管理子代理的能力。
- 实验显示，管理瓶颈在于权限授予，且成本与管理质量之间存在显著差异，提供了新的视角。
📝 摘要（中文）
随着大型语言模型（LLM）代理的应用日益广泛，它们不仅作为单一问题解决者存在，更作为管理者进行工作分配和协调。现有基准主要评估单一模型的任务解决能力或固定多代理系统的行为，但缺乏对单一LLM作为领导者的管理能力的测量。为此，本文提出了ClawArena-Team基准，涵盖41个多轮、多模态、多目录场景，通过258轮评估和72次阶段更新，专注于评估管理能力。主代理在感知和工作空间访问上受到限制，评分基于执行结果，最终得出子代理管理分数（SMS）。实验结果表明，管理瓶颈主要在于权限授予，而非感知能力，且成本与管理质量之间存在解耦关系。
🔬 方法详解
问题定义：本文旨在解决现有基准无法有效评估单一大型语言模型（LLM）作为管理者的能力这一问题。现有方法主要关注单一模型的任务解决能力或固定多代理系统的行为，未能独立测量LLM的管理能力。
核心思路：提出ClawArena-Team基准，通过设计一个限制主代理感知和访问的环境，专注于评估其管理子代理的能力。这样设计的目的是为了确保评分反映的是管理技能，而非原始能力。
技术框架：整体架构包括主代理和固定的子代理池，主代理仅能感知文本并访问部分工作空间。评分机制基于执行结果，计算子代理管理分数（SMS），该分数结合了任务正确性和权限授予因素。
关键创新：最重要的创新在于引入了子代理管理分数（SMS），通过执行结果评估管理能力，而非依赖于LLM的判断。这一方法与现有基准的本质区别在于其专注于管理能力的独立评估。
关键设计：在实验中，主代理的权限授予能力被限制，确保其感知能力不成为评分的主要影响因素。此外，评分机制设计为无LLM评判，确保了评估的客观性和准确性。实验结果显示，管理能力与感知能力之间存在显著差异。
🖼️ 关键图片
📊 实验亮点
实验结果表明，管理瓶颈主要在于权限授予，且没有任何模型在工作空间权限精度上超过50%。此外，API成本与管理质量之间存在显著解耦，最便宜的开放模型在性能上表现出色，整体得分差异不超过4倍，而管理行为的差异则超过一个数量级。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化工作流管理和多代理系统的协调等。通过评估和优化语言模型的管理能力，可以提升多任务处理的效率，推动智能系统在复杂环境中的应用。未来，该基准可能成为评估和比较不同语言模型管理能力的重要工具。
📄 摘要（原文）
Production large language-model (LLM) agents are increasingly deployed not as lone problem-solvers but as managers: a main model creates specialized subagents, delegates work, and orchestrates their parallel, asynchronous returns through dynamic workflows. Whether one model can actually run such a team is largely unmeasured: existing benchmarks score a policy's own task-solving or a fixed multi-agent system's emergent behavior, but none isolate the management ability of the single LLM acting as leader. We introduce ClawArena-Team, a benchmark of 41 multi-turn, multimodal, multi-directory scenarios spanning 258 evaluation rounds and 72 staged updates that measures this management ability. The main agent is deliberately constrained: it natively perceives only text and directly accesses only part of the workspace. It commands a fixed, locally served subagent pool, so score differences reflect management skill, not raw capability. All scoring is execution-based with no LLM judge: an overall score -- the Subagent-Management Score (SMS) -- multiplies task correctness by a least-privilege and modality-routing factor. Across twelve proprietary, community-hosted, and self-hosted models, experiments show that the management bottleneck is privilege granting rather than perception (no model exceeds 50% workspace-permission precision); that cost and management quality are decoupled (API cost spans over 100 times while the overall score spans under 4 times, with the cheapest open models on the Pareto frontier); and that most leaderboard scores cluster within a 9.9-point band while orchestration behaviors diverge by more than an order of magnitude. Code and data will be released.