ACPO: Agent-Chained Policy Optimization for Multi-Agent Reinforcement Learning

📄 arXiv: 2606.30072v1 📥 PDF

作者: Daiki E. Matsunaga, Junho Na, Tri Wahyu Guntara, Scott Sanner, Pascal Poupart, Jongmin Lee, Kee-Eung Kim

分类: cs.AI

发布日期: 2026-06-29

备注: Accepted at RLC 2026

💡 一句话要点

提出ACPO以解决多智能体强化学习中的策略优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 策略优化 集中训练 分散执行 智能体协作 性能提升 算法创新

📋 核心要点

  1. 现有的多智能体强化学习方法在策略梯度计算上存在困难，尤其是在缺乏价值分解假设的情况下。
  2. 本文提出的ACPO方法通过将联合策略梯度解构为每个智能体的独立更新，解决了这一问题，允许智能体独立训练。
  3. 实验结果表明，ACPO在多个基准任务上超越了强基线，且随着智能体数量的增加，性能提升更为显著。

📝 摘要（中文）

在多智能体强化学习（MARL）中，合作任务要求智能体共同最大化共享回报。在集中训练与分散执行（CTDE）框架下，策略梯度的直接计算一直困难。现有方法主要有两种：独立因子化更新与集中式评论者，缺乏在没有价值分解假设下的联合改进保证；或交替最佳响应更新，可能收敛到次优的纳什均衡。本文展示了联合策略梯度可以精确解构为每个智能体的独立项，基于此，我们提出了智能体链式策略优化（ACPO），使得演员独立训练，其更新共同构成联合策略梯度的单步更新。关键在于智能体依次承诺动作的序列化视图，信念作为协调机制将独立的每个智能体更新结合成联合梯度步骤。我们在多机器人仓库、SMACv2和MA-MuJoCo上评估ACPO，结果优于强基线，且随着智能体数量的增加，性能差距扩大。

🔬 方法详解

问题定义：本文旨在解决多智能体强化学习中策略梯度计算困难的问题。现有方法如独立因子化更新和交替最佳响应更新存在缺陷，无法保证有效的联合改进或可能收敛到次优解。

核心思路：论文的核心思路是通过将联合策略梯度精确解构为每个智能体的独立项，进而实现智能体的独立训练。每个智能体的更新共同构成联合策略梯度的一步更新，提升了训练效率和效果。

技术框架：ACPO的整体架构包括智能体的独立训练模块和集中式评论者模块。智能体依次承诺动作，形成序列化的决策过程，信念作为协调机制将独立更新结合。

关键创新：最重要的创新在于提出了智能体链式策略优化（ACPO），实现了联合策略梯度的精确解构，克服了现有方法的局限性，确保了更有效的策略优化。

关键设计：在设计上，ACPO采用了独立更新的策略，结合了每个智能体的得分函数和去中心化评论者，确保了每个智能体的更新能够有效地反映在联合策略梯度中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多机器人仓库、SMACv2和MA-MuJoCo等基准任务上，ACPO的表现优于强基线，尤其在智能体数量增加时，性能提升显著，展示了其在复杂环境中的有效性和可扩展性。

🎯 应用场景

该研究的潜在应用领域包括多机器人系统、智能交通管理和分布式控制等场景。通过提升多智能体系统的协作能力，ACPO能够在实际应用中实现更高效的资源管理和任务执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Cooperative tasks in Multi-Agent Reinforcement Learning (MARL) require agents to collectively maximize a shared return. Under the Centralized Training with Decentralized Execution (CTDE) paradigm, policy gradients have remained difficult to compute directly. Prior methods largely follow two approaches: independent factorized updates with centralized critics, which lack general joint-improvement guarantees without value decomposition assumptions, or alternating best-response updates, which can converge to suboptimal Nash Equilibria. In this paper, we show the joint policy gradient admits an exact decentralized decomposition of per-agent terms, each formed from per-agent score functions and decentralized critics. Based on this decomposition, we develop Agent-Chained Policy Optimization (ACPO), where actors are trained independently, with their updates together constituting a single step on the joint policy gradient. Central to this result is a serialized view of the simultaneous joint decision in which agents commit actions one at a time, each conditioning on a belief over preceding actions. The belief acts as the coordination mechanism which ties the independent per-agent updates into a joint gradient step. We evaluate ACPO on Multi-Robot Warehouse, SMACv2, and MA-MuJoCo, where it outperforms strong baselines, with the gap widening as the number of agents grows.