Fully Decentralized Cooperative Multi-Agent Reinforcement Learning is A Context Modeling Problem

📄 arXiv: 2509.15519v1 📥 PDF

作者: Chao Li, Bingkun Bao, Yang Gao

分类: cs.LG

发布日期: 2025-09-19

💡 一句话要点

提出动态感知上下文(DAC)方法，解决完全去中心化合作多智能体强化学习中的非平稳性和过度泛化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 去中心化学习 上下文建模 非平稳性 过度泛化 合作博弈 强化学习

📋 核心要点

  1. 现有去中心化多智能体强化学习方法难以同时解决值函数更新的非平稳性和值函数估计的相对过度泛化问题。
  2. DAC方法将每个智能体的局部任务建模为上下文马尔可夫决策过程，通过动态感知上下文建模解决非平稳性和过度泛化问题。
  3. 实验结果表明，DAC在矩阵博弈、捕食者和猎物、SMAC等合作任务上优于现有基线方法，验证了其有效性。

📝 摘要（中文）

本文研究完全去中心化合作多智能体强化学习，其中每个智能体仅观察自身状态、局部动作和共享奖励。由于无法访问其他智能体的动作，导致值函数更新期间的非平稳性和值函数估计期间的相对过度泛化，阻碍了有效的合作策略学习。然而，现有工作未能同时解决这两个问题，因为它们无法在完全去中心化的环境中对其他智能体的联合策略进行建模。为了克服这个限制，我们提出了一种名为动态感知上下文(DAC)的新方法，该方法将每个智能体局部感知的任务形式化为上下文马尔可夫决策过程，并通过动态感知上下文建模来解决非平稳性和相对过度泛化问题。具体来说，DAC将每个智能体的非平稳局部任务动态归因于未观察到的上下文之间的切换，每个上下文对应于不同的联合策略。然后，DAC使用潜在变量对逐步动态分布进行建模，并将它们称为上下文。对于每个智能体，DAC引入了一个基于上下文的值函数来解决值函数更新期间的非平稳性问题。对于值函数估计，推导出一个乐观的边际值，以促进合作动作的选择，从而解决相对过度泛化问题。在实验中，我们在各种合作任务（包括矩阵博弈、捕食者和猎物以及SMAC）上评估了DAC，其优于多个基线的性能验证了其有效性。

🔬 方法详解

问题定义：论文旨在解决完全去中心化合作多智能体强化学习中的非平稳性和相对过度泛化问题。在完全去中心化的环境中，每个智能体只能观察到自己的局部状态、动作和共享奖励，无法直接获取其他智能体的动作信息。这导致智能体在更新值函数时面临环境非平稳的问题，因为其他智能体的策略也在不断变化。同时，由于缺乏全局信息，智能体容易产生相对过度泛化，难以学习到有效的合作策略。

核心思路：论文的核心思路是将每个智能体所处的局部环境建模为一个上下文马尔可夫决策过程(Contextual Markov Decision Process, CMDP)。智能体所处的上下文代表了其他智能体的联合策略，而环境的非平稳性则被认为是不同上下文之间的切换。通过对上下文进行建模，智能体可以更好地适应环境的变化，从而解决非平稳性问题。同时，论文还引入了乐观的边际值，鼓励智能体选择合作的动作，从而缓解相对过度泛化的问题。

技术框架：DAC方法的技术框架主要包括以下几个模块：1) 上下文编码器：使用潜在变量对逐步动态分布进行建模，并将这些潜在变量作为上下文。2) 基于上下文的值函数：每个智能体维护一个基于上下文的值函数，用于评估在特定上下文下的动作价值。3) 乐观边际值：为了促进合作动作的选择，论文推导了一个乐观的边际值，用于指导智能体的策略学习。整体流程是，每个智能体根据自身观察到的状态和奖励，推断当前所处的上下文，然后根据基于上下文的值函数和乐观边际值选择动作。

关键创新：DAC方法的关键创新在于其动态感知上下文建模的思想。与现有方法不同，DAC方法能够显式地对其他智能体的联合策略进行建模，从而更好地适应环境的非平稳性。此外，DAC方法还引入了乐观边际值，鼓励智能体选择合作的动作，从而缓解相对过度泛化的问题。

关键设计：DAC方法的关键设计包括：1) 上下文编码器的网络结构和训练方式；2) 基于上下文的值函数的表示和更新方式；3) 乐观边际值的计算方法。论文中具体使用了GRU来建模上下文的动态变化，并使用变分推断来学习上下文的后验分布。对于值函数，可以使用任何标准的强化学习算法进行更新，例如Q-learning或Actor-Critic方法。乐观边际值的计算涉及到对其他智能体动作的期望，可以使用采样或者近似的方法进行估计。

📊 实验亮点

实验结果表明，DAC方法在矩阵博弈、捕食者和猎物以及SMAC等多个合作任务上都取得了显著的性能提升。例如，在SMAC任务中，DAC方法在多个地图上的胜率都超过了现有基线方法，并且在一些困难地图上取得了显著的优势。这些实验结果验证了DAC方法在解决完全去中心化合作多智能体强化学习问题上的有效性。

🎯 应用场景

DAC方法具有广泛的应用前景，可以应用于各种需要多智能体合作的场景，例如机器人协同、自动驾驶、交通调度、资源分配等。该方法能够有效地解决去中心化环境下的非平稳性和过度泛化问题，提高多智能体系统的协作效率和鲁棒性。未来，DAC方法还可以与其他技术相结合，例如联邦学习、知识图谱等，以进一步提升多智能体系统的性能。

📄 摘要（原文）

This paper studies fully decentralized cooperative multi-agent reinforcement learning, where each agent solely observes the states, its local actions, and the shared rewards. The inability to access other agents' actions often leads to non-stationarity during value function updates and relative overgeneralization during value function estimation, hindering effective cooperative policy learning. However, existing works fail to address both issues simultaneously, due to their inability to model the joint policy of other agents in a fully decentralized setting. To overcome this limitation, we propose a novel method named Dynamics-Aware Context (DAC), which formalizes the task, as locally perceived by each agent, as an Contextual Markov Decision Process, and further addresses both non-stationarity and relative overgeneralization through dynamics-aware context modeling. Specifically, DAC attributes the non-stationary local task dynamics of each agent to switches between unobserved contexts, each corresponding to a distinct joint policy. Then, DAC models the step-wise dynamics distribution using latent variables and refers to them as contexts. For each agent, DAC introduces a context-based value function to address the non-stationarity issue during value function update. For value function estimation, an optimistic marginal value is derived to promote the selection of cooperative actions, thereby addressing the relative overgeneralization issue. Experimentally, we evaluate DAC on various cooperative tasks (including matrix game, predator and prey, and SMAC), and its superior performance against multiple baselines validates its effectiveness.