Selectively Sharing Experiences Improves Multi-Agent Reinforcement Learning

📄 arXiv: 2311.00865v2 📥 PDF

作者: Matthias Gerstgrasser, Tom Danino, Sarah Keren

分类: cs.LG, cs.AI, cs.MA, cs.RO

发布日期: 2023-11-01 (更新: 2024-04-23)

备注: published at NeurIPS 2023

期刊: Advances in Neural Information Processing Systems, 36 (2023)

🔗 代码/项目: GITHUB

💡 一句话要点

提出选择性经验共享方法以提升多智能体强化学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 经验共享 去中心化训练 深度Q网络 强化学习算法 机器人协作 智能交通管理

📋 核心要点

  1. 现有多智能体强化学习方法往往依赖于全面的经验共享，导致通信开销大且训练效率低下。
  2. 本文提出的选择性多智能体优先经验共享方法，通过限制共享的经验数量，优化了学习过程，减少了通信需求。
  3. 实验结果显示，该方法在多个基准测试中超越了无共享的去中心化训练和最先进的多智能体强化学习算法，提升效果显著。

📝 摘要（中文）

本文提出了一种新颖的多智能体强化学习方法——选择性多智能体优先经验共享（Selective Multi-Agent Prioritized Experience Relay），该方法允许智能体在训练过程中仅与其他智能体共享有限数量的观察到的转移。其核心思想是，即使是少量相关的经验也能显著帮助每个智能体的学习。与许多其他多智能体强化学习算法不同，该方法实现了相对去中心化的训练，仅需有限的通信通道。实验结果表明，该方法在性能上优于无共享的去中心化训练和现有的多智能体强化学习算法。此外，仅共享少量高度相关的经验比共享所有经验更为有效，并且选择性经验共享带来的性能提升在多种超参数和DQN变体下均表现出稳健性。

🔬 方法详解

问题定义：本文旨在解决多智能体强化学习中由于全面经验共享导致的通信开销大和训练效率低的问题。现有方法在共享经验时往往没有针对性，造成了资源浪费。

核心思路：论文提出的选择性多智能体优先经验共享方法，允许智能体仅共享少量相关的经验，从而提高学习效率。通过这种方式，智能体能够在保持去中心化的同时，利用其他智能体的有效经验。

技术框架：该方法的整体架构包括多个智能体，每个智能体在训练过程中观察环境并记录经验。智能体之间通过有限的通信通道共享优先级高的经验，形成一个经验池供其他智能体使用。

关键创新：最重要的技术创新在于选择性共享经验的机制，允许智能体根据经验的相关性进行选择性共享，而不是盲目共享所有经验。这一设计显著提高了学习效率和效果。

关键设计：在参数设置上，论文对共享经验的数量进行了优化，并设计了相应的优先级评估机制，以确保共享的经验对学习过程的贡献最大化。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，选择性经验共享的方法在多个基准测试中表现优异，相较于无共享的去中心化训练，性能提升达到了显著的水平。此外，选择性共享的效果在不同超参数和DQN变体下均表现出稳健性，进一步验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括多智能体系统、机器人协作、智能交通管理等。通过优化智能体之间的经验共享，该方法能够提升系统的整体学习效率和决策能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

We present a novel multi-agent RL approach, Selective Multi-Agent Prioritized Experience Relay, in which agents share with other agents a limited number of transitions they observe during training. The intuition behind this is that even a small number of relevant experiences from other agents could help each agent learn. Unlike many other multi-agent RL algorithms, this approach allows for largely decentralized training, requiring only a limited communication channel between agents. We show that our approach outperforms baseline no-sharing decentralized training and state-of-the art multi-agent RL algorithms. Further, sharing only a small number of highly relevant experiences outperforms sharing all experiences between agents, and the performance uplift from selective experience sharing is robust across a range of hyperparameters and DQN variants. A reference implementation of our algorithm is available at https://github.com/mgerstgrasser/super.