Evolving Agent Teams

📄 arXiv: 2610.36848v1 📥 PDF

作者: Shiyi Cao, Ziming Mao, Dacheng Li, Joseph E. Gonzalez, Ion Stoica

分类: cs.AI

发布日期: 2026-10-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出进化代理团队以解决GPU内核优化中的局部最优问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: GPU内核优化 多代理系统 局部最优 中央监督者 持久文件系统 性能提升 机器人操作 CUDA

📋 核心要点

  1. 现有的编码代理在处理真实世界的专家编写内核时，容易陷入局部最优，限制了其性能提升。
  2. 论文提出的进化代理团队通过中央监督者和持久文件系统的设计，能够有效重组代理团队，避免局部最优。
  3. 实验结果表明，进化代理团队在多个任务上表现优异，尤其是在CUDA内核生成和机器人操作等领域，显著提升了性能。

📝 摘要（中文）

软件工程代理的快速进展引发了对将其应用于开放性问题（如GPU内核优化）的兴趣。然而，我们发现现有的编码代理在真实世界的专家编写内核（如FlashInfer）上容易陷入局部最优。为此，我们提出了进化代理团队，这是一种多代理框架，能够逃离局部最优。该框架包括一个中央监督者，用于诊断每个局部最优并重组代理团队；以及一个持久文件系统，包含学习文档、演化历史和每个团队的工件，以积累经验为重组提供基础。在匹配的令牌预算下，进化代理团队始终优于强大的编码代理基线。在扩展的令牌预算下，进化代理团队生成的CUDA内核在从头开始的情况下比生产的FlashInfer MLA分页解码内核快1.2倍，并在FlashInfer-Bench的47个生产工作负载中赢得了36个。

🔬 方法详解

问题定义：论文要解决的问题是现有编码代理在真实世界内核优化中容易陷入局部最优，导致性能无法进一步提升。现有方法缺乏有效的重组机制，无法利用历史经验进行优化。

核心思路：论文的核心思路是通过引入中央监督者和持久文件系统，动态重组代理团队以逃避局部最优。中央监督者负责诊断当前的局部最优，而持久文件系统则记录学习过程和演化历史，为重组提供依据。

技术框架：整体架构包括中央监督者、持久文件系统和多个代理。中央监督者监控代理的表现，识别局部最优并进行团队重组；持久文件系统存储学习文档和演化历史，确保重组基于累积经验。

关键创新：最重要的技术创新点在于引入了中央监督者和持久文件系统的结合，形成了一个自适应的多代理框架。这与现有方法的本质区别在于，现有方法通常缺乏有效的动态重组机制。

关键设计：在设计上，团队重组的参数设置基于历史表现，损失函数考虑了多种性能指标，确保生成的内核在速度和效率上达到最佳平衡。

📊 实验亮点

实验结果显示，进化代理团队在扩展的令牌预算下生成的CUDA内核比FlashInfer的生产内核快1.2倍，并在47个生产工作负载中赢得了36个。此外，在AMD MI350X和NVIDIA B200上的其他任务中，分别实现了3.01倍和3.44倍的性能提升，展示了其卓越的性能。

🎯 应用场景

该研究的潜在应用领域包括GPU内核优化、机器人操作和其他需要高效计算的任务。通过有效的团队重组机制，进化代理团队能够在复杂的计算环境中提供更优的解决方案，具有广泛的实际价值和未来影响。

📄 摘要（原文）

The rapid progress of software engineering agents drives interest in applying them to open-ended problems such as GPU kernel optimization. However, we find that existing coding agents converge to local optima on real-world, expert-written kernels (e.g., FlashInfer). We introduce Evolving Agent Teams, a multi-agent framework that escapes such local optima. It features (1) a central supervisor that diagnoses each local optimum and restructures a team of agents; and (2) a persistent file system that comprises a learning document, an evolution history, and per-team artifacts, grounding restructuring with accumulated experience. Under a matched token budget, Evolving Agent Teams consistently outperforms strong coding-agent baselines. With an extended token budget, Evolving Agent Teams generates a CUDA kernel that reaches 1.2x mean speedup over the production FlashInfer MLA paged decode kernel from scratch and wins on 36 of 47 production workloads from FlashInfer-Bench (0.86-0.99x on the remaining 11). It also demonstrates superior performance on tasks such as KDA prefill on AMD MI350X (3.01x over vLLM) and NVIDIA B200 (3.44x over FlashKDA), MoE expert-offload serving on Apple silicon (30.3 tokens/s decode for Qwen3.8-Flash-Next in MLX 4-bit on a 48 GB M4 Pro), and RoboDojo robot manipulation (62.1 on held-out seeds vs. 55.3 for the best leaderboard entry). Code is available at https://github.com/caoshiyi/EAT.