PPS-QMIX: Periodically Parameter Sharing for Accelerating Convergence of Multi-Agent Reinforcement Learning

📄 arXiv: 2403.02635v1 📥 PDF

作者: Ke Zhang, DanDan Zhu, Qiuhan Xu, Hao Zhou, Ce Zheng

分类: cs.AI

发布日期: 2024-03-05

备注: 10 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出PPS-QMIX以加速多智能体强化学习的收敛

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 周期性参数共享 Q值网络 联邦学习 StarCraft挑战

📋 核心要点

  1. 现有的多智能体强化学习方法在训练过程中面临分布偏移问题，导致收敛速度慢。
  2. 本文提出的周期性参数共享机制通过共享Q值网络来提高训练效率，灵感来源于联邦学习。
  3. 在StarCraft多智能体挑战中，所提方法的性能提升显著，平均提高10%-30%，超越了QMIX的能力。

📝 摘要（中文）

多智能体强化学习（MARL）的训练过程因各智能体的分布偏移而耗时较长。现有方法中，各智能体的策略独立但实际上是协作的，导致训练效率低下。为了解决这一问题，本文借鉴联邦学习的思想，提出了三种新颖的周期性参数共享机制：平均周期性参数共享（A-PPS）、奖励可扩展性周期性参数共享（RS-PPS）和部分个性化周期性参数共享（PP-PPS）。这些方法通过周期性共享Q值网络来加速MARL的训练。实验结果表明，所提方法在StarCraft多智能体挑战（SMAC）环境中表现出显著提升，平均提高10%-30%，并能够完成QMIX无法解决的任务。

🔬 方法详解

问题定义：本文旨在解决多智能体强化学习中由于各智能体策略独立而导致的训练效率低下问题。现有的集中式方法引入了来自其他智能体的联合误差，影响了价值网络的估计。

核心思路：论文提出的周期性参数共享机制允许智能体在训练过程中定期共享Q值网络，从而减少训练中的分布偏移，提高收敛速度。通过借鉴联邦学习的思想，智能体可以在共享的同时保持一定的个性化。

技术框架：整体架构包括三个主要模块：1）周期性参数共享机制，2）奖励可扩展性调整，3）部分个性化网络更新。智能体在训练过程中定期共享Q值网络，并根据相同身份的智能体调整奖励。

关键创新：最重要的创新点在于引入了三种新的周期性参数共享机制（A-PPS、RS-PPS和PP-PPS），这些机制有效减少了联合误差，显著提高了训练效率。与现有方法相比，这些机制在保持智能体个性化的同时，增强了协作效果。

关键设计：在参数设置上，智能体共享的频率和更新策略是关键设计因素。此外，损失函数的设计考虑了奖励的可扩展性和智能体间的协作关系，以优化训练效果。网络结构上，采用了适应性更新的部分神经网络以实现参数共享。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PPS-QMIX在StarCraft多智能体挑战中的表现显著优于传统QMIX方法，平均提升10%-30%。在某些任务中，PPS-QMIX能够完成QMIX无法解决的挑战，展示了其在复杂环境中的优势。

🎯 应用场景

该研究的潜在应用领域包括多智能体系统的协作任务，如无人机编队、智能交通系统和机器人团队合作等。通过加速训练过程，PPS-QMIX能够在复杂环境中实现更高效的决策和协作，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Training for multi-agent reinforcement learning(MARL) is a time-consuming process caused by distribution shift of each agent. One drawback is that strategy of each agent in MARL is independent but actually in cooperation. Thus, a vertical issue in multi-agent reinforcement learning is how to efficiently accelerate training process. To address this problem, current research has leveraged a centralized function(CF) across multiple agents to learn contribution of the team reward for each agent. However, CF based methods introduce joint error from other agents in estimation of value network. In so doing, inspired by federated learning, we propose three simple novel approaches called Average Periodically Parameter Sharing(A-PPS), Reward-Scalability Periodically Parameter Sharing(RS-PPS) and Partial Personalized Periodically Parameter Sharing(PP-PPS) mechanism to accelerate training of MARL. Agents share Q-value network periodically during the training process. Agents which has same identity adapt collected reward as scalability and update partial neural network during period to share different parameters. We apply our approaches in classical MARL method QMIX and evaluate our approaches on various tasks in StarCraft Multi-Agent Challenge(SMAC) environment. Performance of numerical experiments yield enormous enhancement, with an average improvement of 10\%-30\%, and enable to win tasks that QMIX cannot. Our code can be downloaded from https://github.com/ColaZhang22/PPS-QMIX