Adaptive Event-Triggered Policy Gradient for Multi-Agent Reinforcement Learning

📄 arXiv: 2509.20338v1 📥 PDF

作者: Umer Siddique, Abhinav Sinha, Yongcan Cao

分类: eess.SY, cs.AI, cs.MA, math.DS

发布日期: 2025-09-24

💡 一句话要点

提出ET-MAPG和AET-MAPG，解决多智能体强化学习中计算和通信开销大的问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 事件触发控制 策略梯度 注意力机制 通信优化

📋 核心要点

  1. 传统多智能体强化学习（MARL）依赖固定时间间隔采样和通信，计算和通信开销大。
  2. ET-MAPG联合学习控制策略和事件触发策略，AET-MAPG通过注意力机制优化智能体间通信。
  3. 实验表明，该方法在性能与现有方法相当的同时，显著降低了计算负载和通信开销。

📝 摘要（中文）

本文提出事件触发的多智能体策略梯度强化学习框架ET-MAPG，该框架联合学习智能体的控制策略和事件触发策略。与解耦这两种机制的先前工作不同，ET-MAPG将它们集成到一个统一的学习过程中，使智能体不仅能学习采取什么行动，还能学习何时执行该行动。对于智能体间存在通信的场景，我们引入了AET-MAPG，这是一种基于注意力的变体，利用自注意力机制来学习选择性的通信模式。AET-MAPG使智能体不仅能够确定何时触发行动，还能确定与谁通信以及交换什么信息，从而优化协作。这两种方法都可以与任何策略梯度MARL算法集成。在各种MARL基准上的大量实验表明，我们的方法在实现与最先进的、时间触发的基线相当的性能的同时，显著降低了计算负载和通信开销。

🔬 方法详解

问题定义：传统多智能体强化学习方法通常采用时间触发机制，即智能体以固定的时间间隔采样动作并进行通信。这种方法的缺点在于，无论环境状态是否发生显著变化，智能体都会进行计算和通信，导致大量的计算资源和通信带宽被浪费。因此，如何降低多智能体强化学习中的计算和通信开销是一个重要的问题。

核心思路：本文的核心思路是引入事件触发机制，让智能体根据环境状态的变化自适应地决定何时执行动作和进行通信。具体来说，智能体学习一个事件触发策略，该策略决定了在什么情况下触发动作的执行和信息的通信。通过这种方式，智能体可以在环境状态变化较小时减少计算和通信，从而降低整体开销。

技术框架：ET-MAPG框架包含两个关键模块：控制策略模块和事件触发策略模块。控制策略模块负责学习智能体的最优动作，事件触发策略模块负责决定何时触发动作的执行。AET-MAPG在ET-MAPG的基础上增加了注意力机制，用于学习智能体之间的通信模式。整体流程是，智能体首先根据当前状态和事件触发策略判断是否需要执行动作或通信。如果需要，则执行相应的动作或通信，并更新控制策略和事件触发策略。

关键创新：本文的关键创新在于将事件触发机制与多智能体强化学习相结合，并提出了ET-MAPG和AET-MAPG两种算法。与以往将控制策略和事件触发策略解耦的方法不同，本文将它们集成到一个统一的学习框架中，使得智能体可以同时学习如何行动和何时行动。此外，AET-MAPG通过注意力机制学习智能体之间的通信模式，进一步提高了协作效率。

关键设计：ET-MAPG和AET-MAPG可以与任何策略梯度MARL算法集成。事件触发策略通常使用神经网络进行参数化，其输入是智能体的局部观测，输出是触发概率。损失函数包括控制策略的损失和事件触发策略的损失，其中事件触发策略的损失旨在鼓励智能体在必要时才触发动作和通信。AET-MAPG中的注意力机制采用自注意力机制，用于学习智能体之间的依赖关系。

📊 实验亮点

实验结果表明，ET-MAPG和AET-MAPG在多个MARL基准测试中取得了与最先进的时间触发方法相当的性能，同时显著降低了计算负载和通信开销。具体来说，在某些任务中，计算量和通信量降低了20%-50%，而性能没有明显下降。

🎯 应用场景

该研究成果可应用于机器人集群控制、智能交通系统、无线传感器网络等领域。通过降低计算和通信开销，可以提高系统的效率和可扩展性，使其能够适应更复杂的环境和更大规模的智能体群体。未来，该方法有望在资源受限的边缘计算设备上部署大规模多智能体系统。

📄 摘要（原文）

Conventional multi-agent reinforcement learning (MARL) methods rely on time-triggered execution, where agents sample and communicate actions at fixed intervals. This approach is often computationally expensive and communication-intensive. To address this limitation, we propose ET-MAPG (Event-Triggered Multi-Agent Policy Gradient reinforcement learning), a framework that jointly learns an agent's control policy and its event-triggering policy. Unlike prior work that decouples these mechanisms, ET-MAPG integrates them into a unified learning process, enabling agents to learn not only what action to take but also when to execute it. For scenarios with inter-agent communication, we introduce AET-MAPG, an attention-based variant that leverages a self-attention mechanism to learn selective communication patterns. AET-MAPG empowers agents to determine not only when to trigger an action but also with whom to communicate and what information to exchange, thereby optimizing coordination. Both methods can be integrated with any policy gradient MARL algorithm. Extensive experiments across diverse MARL benchmarks demonstrate that our approaches achieve performance comparable to state-of-the-art, time-triggered baselines while significantly reducing both computational load and communication overhead.