EvoRouter: Cost-Efficient Multi-Agent Routing via Insight-Guided On-Policy Distillation
作者: Yitao Xiao, Xu Zhang, Ye Cheng, Shaoyong Guo, Yan Sun, Ziyue Zhu, Sitao Xie, Guo Tong, Haoran Luo
分类: cs.AI, cs.MA
发布日期: 2026-10-26
备注: 13 pages, 12 figures, 4 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出EvoRouter以解决多智能体路由的成本效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体系统 路由优化 强化学习 在线蒸馏 成本感知 自我演化 性能提升
📋 核心要点
- 现有多智能体系统在配置时面临组合爆炸的问题，导致执行效率低下。
- EvoRouter通过洞察引导的在线蒸馏，利用专家反馈和强化学习优化路由策略。
- 在19个领域内数据集上，EvoRouter实现68.69%的准确率，较基线提升7.23个百分点，计算成本降低50.95%。
📝 摘要（中文）
在大规模服务网络查询的多智能体系统中，需要联合配置大型语言模型、协作模式、智能体数量、交互轮次和技能。然而，配置空间呈组合增长，稀疏的执行奖励为相互依赖的规划决策提供的细粒度监督有限。本文提出EvoRouter，一个自我演化的多智能体路由框架，通过洞察引导的在线蒸馏来驱动。专门的专家定期从任务的配置轨迹中合成性能-成本反馈，形成可重用的条件路由洞察。特权教师结合这些演变的洞察与当前执行反馈，为路由器的规划轨迹提供密集的标记级监督。成本感知的强化学习共同优化任务性能和计算成本。EvoRouter在19个领域内数据集上评估，平均准确率达到68.69%，超越最强基线7.23个百分点，同时减少50.95%的推理计算成本。
🔬 方法详解
问题定义：本文旨在解决多智能体系统中配置空间组合增长带来的效率低下问题。现有方法在稀疏奖励下难以提供有效的监督，导致规划决策的相互依赖性难以处理。
核心思路：EvoRouter的核心思想是通过洞察引导的在线蒸馏，结合专家反馈与当前执行信息，提供密集的监督信号，从而优化路由策略并降低计算成本。
技术框架：EvoRouter的整体架构包括专家反馈模块、特权教师模块和成本感知强化学习模块。专家定期提取配置轨迹中的性能-成本反馈，特权教师将这些反馈与执行信息结合，形成密集的监督信号。
关键创新：EvoRouter的创新在于其自我演化的机制，通过不断提取和利用执行洞察，形成一个执行驱动的自我改进循环。这一机制与传统方法的静态学习方式形成鲜明对比。
关键设计：在设计上，EvoRouter采用了条件路由洞察来指导智能体的决策，使用成本感知的强化学习算法来平衡任务性能与计算成本，确保在优化过程中能够有效利用资源。
🖼️ 关键图片
📊 实验亮点
EvoRouter在19个领域内数据集上实现了68.69%的平均准确率，超越了最强基线7.23个百分点，同时将推理计算成本降低了50.95%。这一显著的性能提升展示了其在多智能体路由中的有效性和成本效率。
🎯 应用场景
EvoRouter的研究成果在大规模网络服务、智能体协作和资源优化等领域具有广泛的应用潜力。其自我演化的路由策略能够提高多智能体系统的效率，降低计算成本，适用于云计算、在线服务和智能制造等场景，未来可能推动智能系统的进一步发展。
📄 摘要（原文）
Serving web queries at scale with multi-agent systems requires jointly configuring large language models, collaboration modes, agent counts, interaction rounds, and skills. However, the resulting configuration space grows combinatorially, while sparse execution rewards provide limited fine-grained supervision for interdependent planning decisions. We propose EvoRouter, a self-evolving multi-agent routing framework driven by insight-guided on-policy distillation. A dedicated expert periodically synthesizes performance-cost feedback from configuration trajectories across tasks into reusable conditional routing insights about capability requirements, returns from resource scaling, and interactions among configuration choices. A privileged teacher combines these evolving insights with current execution feedback to provide dense token-level supervision for the router's own planning trajectories through on-policy distillation. Cost-aware reinforcement learning jointly optimizes task performance and computational cost. Together, these training signals internalize execution insights into the routing policy. The updated policy generates new trajectories that support subsequent insight extraction, forming an execution-driven self-improvement loop. We evaluate EvoRouter on 19 in-domain datasets spanning five domains and two out-of-domain benchmarks. EvoRouter achieves an average in-domain accuracy of 68.69%, outperforming the strongest routing baseline by 7.23 percentage points while reducing inference compute cost by 50.95%. Our code is open-sourced at https://github.com/CenYangtze/EvoRouter.