Sharing the Control Authority Between Deep Reinforcement Learning and Model Predictive Control: Application to Multi-Class Transportation Networks

📄 arXiv: 2608.20858v1 📥 PDF

作者: Giray Onur, Azita Dabiri, Bart De Schutter

分类: eess.SY, cs.LG

发布日期: 2026-08-21

💡 一句话要点

提出DRL-MPC框架以解决多类交通网络控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 模型预测控制 交通网络 控制策略 智能交通系统 实时控制 多类车辆

📋 核心要点

  1. 现有的深度强化学习和模型预测控制在多类交通网络中面临非线性动态和高维状态空间的挑战，限制了实时控制的有效性。
  2. 本文提出的DRL-MPC框架通过分配控制权，结合DRL的快速计算和MPC的优化能力，提供了一种新的解决方案。
  3. 实验结果显示，该框架在多类高速公路网络中显著减少了在线计算时间，并在模型不匹配情况下更有效地执行约束。

📝 摘要（中文）

交通网络，特别是多类交通网络（即混合车辆类型的网络），是复杂的系统，控制难度较大。近年来，深度强化学习（DRL）和模型预测控制（MPC）在交通网络控制中得到了广泛应用。然而，非线性系统动态和高维状态空间限制了DRL在时间受限训练下的学习能力，同时增加了MPC的计算时间，阻碍了实时实施。本文提出了一种新颖的DRL-MPC框架，分配DRL和MPC之间的控制权，结合DRL的快速在线计算和模型独立性与MPC的优化和约束处理能力。该框架在多类高速公路网络上进行了评估，结果表明其在计算时间和约束执行方面优于现有方法。

🔬 方法详解

问题定义：本文旨在解决多类交通网络控制中的非线性动态和高维状态空间带来的挑战，现有的DRL和MPC方法在实时性和模型准确性方面存在不足。

核心思路：提出的DRL-MPC框架通过将控制权分配给DRL和MPC，利用DRL的快速在线计算能力和MPC的优化特性，旨在提高控制效率和准确性。

技术框架：该框架采用分层结构，MPC在高层负责低频控制输入的生成，而DRL在低层负责高频控制输入的快速决策。

关键创新：该框架的创新在于将DRL与MPC结合，利用两者的优势，解决了传统MPC对模型依赖性强和计算时间长的问题。

关键设计：在设计中，MPC的更新频率较低以适应其高计算时间，而DRL则通过快速在线部署来实现高频控制，确保了系统的实时响应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的DRL-MPC框架在多类高速公路网络中相比于层次MPC控制器显著减少了在线计算时间，并在模型不匹配情况下提供了更有效的约束执行，性能优于混合状态反馈-MPC控制器。

🎯 应用场景

该研究的潜在应用领域包括城市交通管理、智能交通系统和自动驾驶车辆的控制策略优化。通过有效结合DRL和MPC，该框架能够在复杂交通环境中实现更高效的控制，具有重要的实际价值和未来影响。

📄 摘要（原文）

Transportation networks, in particular multi-class transportation networks (i.e., networks with mixed vehicle types), are complex systems that are challenging to control. Recently, Deep Reinforcement Learning (DRL), which learns control policies from interactions with the environment, and Model Predictive Control (MPC), which uses a system model to optimize control inputs, have been increasingly utilized for transportation network control. However, nonlinear system dynamics and high-dimensional state spaces in large-scale networks limit DRL's learning capacity under time-constrained training and increase MPC's computation time, hindering real-time implementation with limited computational resources. Moreover, MPC depends on an accurate network model, which is often unavailable for complex systems such as multi-class transportation networks. This paper proposes a novel DRL-MPC framework for multi-class transportation networks that divides control authority between DRL and MPC, combining DRL's fast online computation and model independence with MPC's built-in optimization and constraint-handling capabilities. In the hierarchical framework, MPC operates at the higher level and determines low-frequency control inputs whose slower update rate accommodates its high computation time, while DRL operates at the lower level and determines high-frequency control inputs using its fast online deployment. The framework is evaluated on a multi-class freeway network against a hierarchical MPC controller and a hybrid state-feedback-MPC controller, including scenarios with model mismatch and noisy traffic demands. Results show that the proposed framework outperforms the hybrid state-feedback-MPC controller, substantially reduces online computation time compared with the hierarchical MPC controller, and provides more effective constraint enforcement under model mismatch.