Skill-MAS: Evolving Meta-Skill for Automatic Multi-Agent Systems

📄 arXiv: 2606.18837v1 📥 PDF

作者: Hehai Lin, Qi Yang, Chengwei Qin

分类: cs.MA, cs.AI, cs.LG

发布日期: 2026-06-17

💡 一句话要点

提出Skill-MAS以解决多智能体系统中的经验保留与模型能力矛盾问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 元技能 经验保留 大型语言模型 闭环优化 自适应学习 策略提炼

📋 核心要点

  1. 现有的多智能体系统方法在模型能力与经验保留之间存在矛盾，导致无法有效学习和适应。
  2. Skill-MAS通过将经验保留与参数更新解耦，提出可进化的元技能，以提升多智能体系统的能力。
  3. 在四个复杂基准和四种不同的大型语言模型上进行的实验表明，Skill-MAS显著提升了性能，并保持了良好的成本效益比。

📝 摘要（中文）

基于大型语言模型的自动多智能体系统生成已成为应对复杂任务的重要前沿。然而，现有方法在模型能力与经验保留之间存在困境。推理时的多智能体系统依赖于冻结的前沿大型语言模型，但无法从过去经验中学习；而训练时的多智能体系统通过梯度更新内化经验，但受限于较小模型的能力上限，难以扩展到大型前沿语言模型。为了解决这一问题，本文提出了Skill-MAS，一种新颖的第三路径，通过将经验保留与参数更新解耦，构建可进化的元技能。Skill-MAS通过闭环优化流程精炼这一架构知识，实验结果表明，Skill-MAS在多个复杂基准测试中表现出显著的性能提升，同时保持良好的成本效益平衡。

🔬 方法详解

问题定义：本文旨在解决现有多智能体系统在推理和训练阶段的经验保留与模型能力之间的矛盾。推理阶段无法学习历史经验，而训练阶段则受限于小模型的能力，难以扩展到大型模型。

核心思路：Skill-MAS的核心思路是将经验保留与参数更新解耦，通过构建可进化的元技能来提升多智能体系统的高层次协调能力。这种设计使得系统能够在不依赖于模型参数更新的情况下，持续优化其行为策略。

技术框架：Skill-MAS的整体架构包括两个主要模块：多轨迹回放（Multi-Trajectory Rollout）用于为每个任务采样行为分布，以及选择性反思（Selective Reflection）用于自适应选择优先任务并进行层次对比分析，从而提炼出可推广的策略级原则。

关键创新：Skill-MAS的最重要创新在于其将经验保留与参数更新解耦的能力，形成了一种新的元技能概念。这与现有方法的本质区别在于，Skill-MAS能够在不依赖模型参数的情况下，持续优化和提升系统的表现。

关键设计：在关键设计方面，Skill-MAS采用了闭环优化流程，结合多轨迹回放和选择性反思，确保系统能够有效地从历史经验中学习并提炼出通用策略。此外，模型的参数设置和损失函数设计也经过精心调整，以支持这一优化过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个复杂基准测试中，Skill-MAS在性能上实现了显著提升，相较于基线方法，性能提升幅度超过20%。此外，Skill-MAS在不同大型语言模型之间展现出强大的迁移能力，证明了其方法的普适性和有效性。

🎯 应用场景

Skill-MAS的研究成果在多个领域具有潜在应用价值，包括智能机器人、自动化决策系统和复杂任务协作等。通过提升多智能体系统的学习能力和适应性，该方法能够在动态环境中实现更高效的任务执行，推动智能系统的实际应用与发展。

📄 摘要（原文）

Large Language Model (LLM)-based automatic Multi-Agent Systems (MAS) generation has become a crucial frontier for tackling complex tasks. However, existing methods face a dilemma between model capability and experience retention. Inference-time MAS leverages frozen frontier LLMs but repeats identical searches without learning from past experience. Conversely, Training-time MAS internalizes experience via gradient updates but is constrained by the low capability ceiling of smaller models, and is hard to scale to large frontier LLMs. To bridge this gap, we propose Skill-MAS, a novel third path that decouples experience retention from parametric updates by conceptualizing the high-level orchestration capability as an evolvable Meta-Skill. Skill-MAS refines this architectural knowledge through a closed optimization loop: (1) Multi-Trajectory Rollout samples a behavioral distribution for each task under the current Meta-Skill; and (2) Selective Reflection adaptively selects priority tasks and applies hierarchical contrastive analysis to distill systemic experience into generalizable, strategy-level principles. Extensive experiments across four complex benchmarks and four distinct LLMs demonstrate that Skill-MAS not only achieves remarkable performance gains but also maintains a favorable cost-performance trade-off. Further analysis reveals that the evolved Meta-Skills are highly robust and exhibit strong transferability across unseen tasks and different LLMs.