Imagine, Initialize, and Explore: An Effective Exploration Method in Multi-Agent Reinforcement Learning

📄 arXiv: 2402.17978v2 📥 PDF

作者: Zeyang Liu, Lipeng Wan, Xinrui Yang, Zhuoran Chen, Xingyu Chen, Xuguang Lan

分类: cs.LG, cs.AI, cs.MA

发布日期: 2024-02-28 (更新: 2024-03-01)

备注: The 38th Annual AAAI Conference on Artificial Intelligence

💡 一句话要点

提出IIE方法以解决多智能体强化学习中的有效探索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 有效探索 变换器模型 关键状态初始化 稀疏奖励任务

📋 核心要点

  1. 现有的多智能体强化学习方法在长时间任务中难以获取特定的联合动作序列，导致探索效率低下。
  2. 本文提出的IIE方法通过想象关键状态并在此状态下初始化环境，促进智能体的有效探索。
  3. 实验结果显示，IIE在SMAC和SMACv2环境中超越了多智能体探索基线，尤其在稀疏奖励任务中表现显著提升。

📝 摘要（中文）

有效的探索对于在复杂协调任务中发现多智能体强化学习（MARL）的最佳策略至关重要。现有方法主要利用内在奖励促进探索或采用基于角色的学习来分解联合动作空间，而不是直接在整个动作-观察空间中进行集体搜索。这些方法在长时间任务中获取特定的联合动作序列以达到成功状态时面临挑战。为了解决这一局限性，本文提出了Imagine, Initialize, and Explore (IIE)方法，利用变换器模型想象智能体如何达到影响彼此转移函数的关键状态，并在探索阶段前使用模拟器初始化环境。通过这种方式，IIE显著提高了发现潜在重要的未充分探索区域的可能性。实验证明，该方法在StarCraft多智能体挑战（SMAC）和SMACv2环境中优于现有的多智能体探索基线，尤其在稀疏奖励任务中表现更佳。

🔬 方法详解

问题定义：本文旨在解决多智能体强化学习中有效探索的难题，现有方法在长时间任务中难以获取特定的联合动作序列，导致探索效率低下。

核心思路：IIE方法的核心思想是利用变换器模型想象智能体如何达到影响彼此转移函数的关键状态，并在此状态下初始化环境，从而提高探索效率。

技术框架：IIE的整体架构包括三个主要阶段：想象阶段、初始化阶段和探索阶段。在想象阶段，模型预测状态、观察、提示、动作和奖励；在初始化阶段，环境在关键状态下被设置；最后，在探索阶段，智能体在初始化的环境中进行探索。

关键创新：IIE的主要创新在于将想象过程建模为序列建模问题，并通过关键状态的初始化显著提高了探索的有效性。这与现有方法的直接探索方式形成了本质区别。

关键设计：IIE方法中，提示包括时间步数、回报值、影响值和一次性演示，指导动作生成。模型采用自回归方式进行预测，确保生成的动作序列符合预期的状态和轨迹。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IIE方法在StarCraft多智能体挑战（SMAC）和SMACv2环境中显著优于现有的多智能体探索基线，尤其在稀疏奖励任务中，IIE的表现提升幅度达到XX%（具体数据待补充），并且在初始化状态下生成的课程学习效果更佳。

🎯 应用场景

该研究的潜在应用领域包括复杂的多智能体系统，如自动驾驶、机器人协作和游戏AI等。通过提高探索效率，IIE方法能够帮助智能体在复杂环境中更快地学习和适应，从而提升整体系统的性能和智能水平。

📄 摘要（原文）

Effective exploration is crucial to discovering optimal strategies for multi-agent reinforcement learning (MARL) in complex coordination tasks. Existing methods mainly utilize intrinsic rewards to enable committed exploration or use role-based learning for decomposing joint action spaces instead of directly conducting a collective search in the entire action-observation space. However, they often face challenges obtaining specific joint action sequences to reach successful states in long-horizon tasks. To address this limitation, we propose Imagine, Initialize, and Explore (IIE), a novel method that offers a promising solution for efficient multi-agent exploration in complex scenarios. IIE employs a transformer model to imagine how the agents reach a critical state that can influence each other's transition functions. Then, we initialize the environment at this state using a simulator before the exploration phase. We formulate the imagination as a sequence modeling problem, where the states, observations, prompts, actions, and rewards are predicted autoregressively. The prompt consists of timestep-to-go, return-to-go, influence value, and one-shot demonstration, specifying the desired state and trajectory as well as guiding the action generation. By initializing agents at the critical states, IIE significantly increases the likelihood of discovering potentially important under-explored regions. Despite its simplicity, empirical results demonstrate that our method outperforms multi-agent exploration baselines on the StarCraft Multi-Agent Challenge (SMAC) and SMACv2 environments. Particularly, IIE shows improved performance in the sparse-reward SMAC tasks and produces more effective curricula over the initialized states than other generative methods, such as CVAE-GAN and diffusion models.