MoRSE: Task-Oriented Multi-Agent System with Mixture of Role-Subtask Experts

📄 arXiv: 2608.09251v1 📥 PDF

作者: Peiwen Li, Shiyang Zhang, Yangtian Zhang, Sizhuang He, David van Dijk, Rex Ying

分类: cs.MA, cs.AI, cs.CL, cs.LG

发布日期: 2026-08-10

备注: 25 pages, 8 figures, 9 tables

💡 一句话要点

提出MoRSE以解决多智能体系统中的任务细分与角色适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 任务导向 角色适应 参数适应 代码生成 深度学习 协作智能体

📋 核心要点

  1. 现有多智能体系统在处理复杂任务时，缺乏针对不同子任务的参数适应，导致性能瓶颈。
  2. 本文提出MoRSE，通过任务结构和参数层面的角色与子任务条件化，增强智能体的专业化能力。
  3. 实验结果显示，MoRSE在代码生成任务上显著提升了整体和逐步性能，且专业化效果在不同任务类别中具有良好泛化性。

📝 摘要（中文）

基于大型语言模型的多智能体系统在处理复杂长时任务中展现出强大潜力。然而，现有方法主要依赖粗略的提示级别区分，缺乏针对多样化子任务的参数适应，导致智能体之间的异质性不足，限制了其在复杂任务中的专门能力。为此，本文提出了一种任务导向的多智能体系统MoRSE，通过在任务结构和参数层面上实现（角色，子任务）条件化的专业化，明确智能体的责任。我们还提出了动态的（角色，子任务）LoRA专家模块，结合原型基础的语义路由器，增强了智能体在共享LLM基础上的参数级专业化。实验结果表明，该方法在代码生成基准测试中有效提升了整体任务和逐步性能。

🔬 方法详解

问题定义：本文旨在解决现有多智能体系统在处理复杂任务时的异质性不足和专业能力限制，现有方法主要依赖粗略的提示区分，未能有效适应多样化的子任务需求。

核心思路：论文提出的MoRSE系统通过在任务结构和参数层面实现（角色，子任务）条件化的专业化，明确智能体的责任，从而提升其在复杂任务中的协作效率和性能。

技术框架：MoRSE的整体架构包括任务分解为依赖感知的有向无环图（DAG），为每个智能体分配特定的（角色，子任务），以及动态的LoRA专家模块和语义路由器，以实现参数级的专业化。

关键创新：最重要的创新在于引入了动态的Mixture of (role, subtask) LoRA Experts模块和原型基础的语义路由器，能够有效地在共享LLM基础上实现智能体的参数适应，显著提升了智能体的专业能力。

关键设计：在设计中，采用了层次化的群体相对策略优化方法，结合两层信用分配机制，以隔离专家更新与路由决策引入的交叉方差，从而更好地优化专家质量与路由质量。具体的损失函数和参数设置在实验中进行了详细调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在代码生成基准测试中，MoRSE相较于基线方法在整体任务和逐步性能上均有显著提升，具体表现为任务完成率提高了XX%，步骤执行效率提升了YY%。这些结果表明，训练的专业化在不同任务类别和领域中具有良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括复杂任务的自动化处理，如代码生成、智能客服和多机器人协作等。通过提升智能体的专业化能力，MoRSE能够在实际应用中显著提高任务完成的效率和准确性，未来可能对智能体系统的设计与应用产生深远影响。

📄 摘要（原文）

Large language model-based multi-agent systems have recently shown strong potential for complex, long-horizon tasks. However, existing methods mainly rely on coarse prompt-level differentiation without parameter adaptation for diverse subtasks, resulting in insufficient inter-agent heterogeneity and limited specialized capability that bottleneck performance on tasks with complex requirements. To address this, we introduce a Task-Oriented Multi-Agent System with Mixture of Role-Subtask Experts (MoRSE) that distinguishes agents with (role, subtask)-conditional specialization at both the task structure and parameter levels. To make agents' responsibility explicit at the task structure level, we formulate a task-oriented multi-agent system that decomposes each task into a dependency-aware Directed Acyclic Graph of subtasks and assigns each agent a specific (role, subtask), introducing task-level specialization across collaborating agents. Additionally, to address the diverse role and subtask parameter adaptation demands, we propose a dynamic Mixture of (role, subtask) LoRA Experts module with a prototype-based semantic router for subtasks, augmenting agents with parameter-level specialization on a shared LLM substrate cost-effectively. Then, to co-optimize experts and router stably under sparse task rewards, we further propose a hierarchical group-relative policy optimization with two-layer credit assignment that isolates expert updates from the cross-route variance introduced by routing decisions, disentangling expert quality from routing quality. Experiments on code-generation benchmarks across three backbones demonstrate the effectiveness of our approach, with improvements in both whole-task and step-wise performance, and the gains from trained specialization generalize across held-out task categories and domains.