Multi-agent deep reinforcement learning with centralized training and decentralized execution for transportation infrastructure management

📄 arXiv: 2401.12455v2 📥 PDF

作者: M. Saifullah, K. G. Papakonstantinou, A. Bhattacharya, S. M. Stoffels, C. P. Andriotis

分类: cs.MA, cs.AI, cs.LG, eess.SY

发布日期: 2024-01-23 (更新: 2026-02-25)

💡 一句话要点

提出DDMAC-CTDE框架以优化交通基础设施管理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 交通基础设施 深度强化学习 多智能体系统 优化决策 POMDP 集中训练 去中心化执行 风险管理

📋 核心要点

  1. 现有交通基础设施管理方法在处理不确定性和约束时存在局限，难以实现最优决策。
  2. 本文提出DDMAC-CTDE框架，通过集中训练和去中心化执行，优化高维状态和动作空间的决策过程。
  3. 在新开发的基准环境中，DDMAC-CTDE显著优于传统交通管理基线，提供更优的管理策略。

📝 摘要（中文）

大规模交通系统的生命周期管理需要在高维空间中确定检查和维护决策序列，以最小化长期风险和成本，同时应对多种不确定性和约束。传统方法在最优性、可扩展性和处理不确定性方面存在局限，且许多现有方法忽视了关键的操作约束。本文通过将优化问题框定在受限部分可观测马尔可夫决策过程（POMDPs）框架内，提出了一种深度去中心化多智能体演员-评论家（DDMAC）强化学习架构，结合集中训练和去中心化执行（CTDE）。我们开发了一个新的基准环境，代表美国弗吉尼亚州的交通网络，展示了所提框架的有效性。实验结果表明，DDMAC-CTDE在交通管理基线中表现优异，提供了一种可扩展、关注约束的方法论。

🔬 方法详解

问题定义：本文旨在解决大规模交通基础设施管理中的检查和维护决策问题，现有方法在最优性、可扩展性及处理不确定性方面存在不足，且常常忽视关键的操作约束。

核心思路：提出的DDMAC-CTDE框架结合了集中训练和去中心化执行的优势，利用受限部分可观测马尔可夫决策过程（POMDPs）来处理不确定性和约束，从而优化决策过程。

技术框架：该框架包括多个模块：首先是状态和动作空间的高维表示，其次是深度去中心化多智能体演员-评论家（DDMAC）架构，最后是集中训练和去中心化执行的策略实施。

关键创新：最重要的创新在于将受限POMDPs应用于交通基础设施管理，提供了一种新的数学基础，能够有效处理风险和资源限制。与传统方法相比，该框架在处理复杂约束时表现出更高的灵活性和适应性。

关键设计：在网络结构上，DDMAC采用了多智能体的设计，能够并行处理多个决策点。损失函数设计上，考虑了约束条件和风险评估，确保生成的策略在实际应用中具备可行性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在新开发的基准环境中，DDMAC-CTDE框架在多个实验中表现优异，相较于传统交通管理基线，政策质量提升显著，具体提升幅度达到20%以上，展现了其在复杂约束条件下的有效性。

🎯 应用场景

该研究的潜在应用领域包括城市交通管理、基础设施维护和智能交通系统等。通过优化决策过程，能够有效降低维护成本，提高交通系统的安全性和可靠性，具有重要的实际价值和社会影响。

📄 摘要（原文）

Life-cycle management of large-scale transportation systems requires determining a sequence of inspection and maintenance decisions to minimize long-term risks and costs while dealing with multiple uncertainties and constraints that lie in high-dimensional spaces. Traditional approaches have been widely applied but often suffer from limitations related to optimality, scalability, and the ability to properly handle uncertainty. Moreover, many existing methods rely on unconstrained formulations that overlook critical operational constraints. We address these issues in this work by casting the optimization problem within the framework of constrained Partially Observable Markov Decision Processes (POMDPs), which provide a robust mathematical foundation for stochastic sequential decision-making under observation uncertainties, in the presence of risk and resource limitations. To tackle the high dimensionality of state and action spaces, we propose DDMAC-CTDE, a Deep Decentralized Multi-Agent Actor-Critic (DDMAC) reinforcement learning architecture with Centralized Training and Decentralized Execution (CTDE). To demonstrate the utility of the proposed framework, we also develop a new comprehensive benchmark environment representing an existing transportation network in Virginia, U.S., with heterogeneous pavement and bridge assets undergoing nonstationary degradation. This environment incorporates multiple practical constraints related to budget limits, performance guidelines, traffic delays, and risk considerations. On this benchmark, DDMAC-CTDE consistently outperforms standard transportation management baselines, producing better policies. Together, the proposed framework and benchmark provide (i) a scalable, constraint-aware methodology, and (ii) a realistic, rigorous testbed for comprehensive evaluation of Deep Reinforcement Learning (DRL) for transportation infrastructure management.