Multi-Agent Off-Policy Deep Reinforcement Learning for Smart Campus Coverage

📄 arXiv: 2608.19049v1 📥 PDF

作者: Omar Rady, Mohamed Ayman, Ali Arafa, Mohamed Shalma

分类: cs.LG, eess.SP

发布日期: 2026-08-19

💡 一句话要点

提出多智能体离线深度强化学习以优化智能校园覆盖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 多智能体系统 毫米波基站 校园网络 优化部署 公平性 马尔可夫决策过程

📋 核心要点

  1. 现有方法在复杂校园环境中基站部署面临NP难的优化问题，尤其是最大最小公平目标的非凸性和非光滑性。
  2. 本文提出将基站布置视为马尔可夫决策过程（MDP），并比较多种深度强化学习方案以优化基站部署。
  3. 实验结果显示，多智能体DDPG方法在密集场景中显著优于单智能体方案，达成全覆盖并获得高公平性指数。

📝 摘要（中文）

深度强化学习（DRL）因其实时适应性和在复杂优化问题中的有效性而受到广泛关注。本文研究了在现实非凸校园拓扑中毫米波基站（BS）的最佳部署。由于最大最小公平目标的非凸和非光滑特性，优化问题是NP难的。为克服这些限制，我们将基站布置形式化为马尔可夫决策过程（MDP），并系统性地基准测试了四种DRL方案：离散单智能体深度Q网络（DQN）、空间划分的多智能体DQN、连续单智能体深度确定性策略梯度（DDPG）和地理划分的多智能体DDPG框架。数值评估表明，在密集场景中，多智能体DDPG方法显著优于单智能体，且实现了全覆盖，获得了0.94的公平性Jain指数。最后，多智能体在400个用户的密集场景中表现出高效的计算收敛性。

🔬 方法详解

问题定义：本文旨在解决毫米波基站在复杂校园环境中的最佳部署问题，现有方法在处理非凸和非光滑的最大最小公平目标时面临挑战，导致优化过程困难。

核心思路：通过将基站布置建模为马尔可夫决策过程（MDP），利用深度强化学习（DRL）方法进行优化，特别是多智能体框架以提高在密集用户场景中的性能。

技术框架：整体架构包括四个主要模块：单智能体DQN、空间划分的多智能体DQN、单智能体DDPG和地理划分的多智能体DDPG。每个模块通过不同的策略和网络结构进行基站部署优化。

关键创新：本文的主要创新在于引入多智能体DDPG框架，显著提升了在密集场景中的性能，相较于传统单智能体方法，展示了更高的效率和公平性。

关键设计：在设计中，采用了适应性损失函数和优化的网络结构，确保了在复杂环境下的快速收敛和高效决策。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，多智能体DDPG方法在密集用户场景中显著优于单智能体方案，达成全覆盖并获得0.94的公平性Jain指数，展示了高效的计算收敛性，尤其在400个用户的情况下表现突出。

🎯 应用场景

该研究的潜在应用领域包括智能校园网络的优化部署、5G及未来6G网络的基站布局，以及其他需要高效资源分配的复杂系统。其实际价值在于提升网络覆盖率和用户公平性，未来可能对智能城市和物联网环境的建设产生深远影响。

📄 摘要（原文）

Deep reinforcement learning (DRL) has recently gained a great attention due to its real-time adaptation and effectiveness in complex optimization problems. This paper investigates the optimal deployment of millimeter-wave (mmWave) base stations (BSs) in a realistic, non-convex campus topology. The optimization problem is NP-hard, due to the non-convex, non-smooth nature of the max-min fairness objective. To overcome these constraints, we formulate the BS placement as a Markov Decision Process (MDP) and systematically benchmark four DRL schemes: a discrete single-agent Deep Q-Network (DQN), a spatially partitioned Multi-Agent DQN, a continuous single-agent Deep Deterministic Policy Gradient (DDPG), and a geographically partitioned multi-agent DDPG framework. Numerical evaluations reveal that the multi-agent DDPG approach substantially outperforms single-agent in dense scenarios. Additionally full coverage is achieved, and a fairness Jain's index of 0.94 is obtained. Finally, the multi-agent demonstrates highly efficient computational convergence of dense scenarios with $400$ users.