SelectLight: Learning to Select Signal Plans Generated by Distributed Model Predictive Control for Urban Traffic Networks
作者: Lyuzhou Luo, Chaopeng Tan, Zhengyong Gao, Hong Zhu, Andrea D'Ariano, Keshuang Tang
分类: eess.SY
发布日期: 2026-08-12
备注: 37 pages, 14 figures, 13 tables. Submitted to Transportation Research Part C: Emerging Technologies
💡 一句话要点
提出SelectLight以优化城市交通信号控制方案选择
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 交通信号控制 多智能体强化学习 模型预测控制 动态规划 城市交通管理 智能交通系统
📋 核心要点
- 现有的交通信号控制方法无法有效适应动态变化的交通需求，且选择信号计划的规则缺乏学习能力。
- SelectLight通过多智能体强化学习策略，从在线生成的信号计划中进行选择，提升了信号控制的适应性和效率。
- 在两个28交叉口的SUMO网络实验中，SelectLight在高需求情况下显著降低了排队延迟和等待时间，表现优于最强基线。
📝 摘要（中文）
协调城市网络的交通信号控制需要适应变化的需求，同时满足操作约束。多目标分布式模型预测控制（DMPC）能够在线构建可行的信号计划，但现有选择规则无法从实际闭环结果中学习。本文提出SelectLight，通过允许多智能体强化学习（MARL）策略直接从DMPC生成的计划中进行选择，实现后优化选择。每次控制更新时，状态修剪的多目标动态规划（SP-MODP）使用Newellian点-空间排队模型评估计划，并返回一组互不支配的候选信号计划。通过独立近端策略优化（IPPO）训练的拓扑感知注意力策略从每个可变大小的集合中选择一个未修改的计划。实验表明，SelectLight在延迟相关性能上表现最佳，尤其在需求增加时更为显著。
🔬 方法详解
问题定义：本文旨在解决城市交通信号控制中，现有方法在动态需求下选择信号计划的不足，尤其是无法从实际结果中学习的问题。
核心思路：SelectLight通过引入多智能体强化学习策略，允许系统从DMPC生成的信号计划中进行选择，从而实现更灵活的信号控制。
技术框架：整体架构包括状态修剪的多目标动态规划（SP-MODP）模块用于评估信号计划，和拓扑感知注意力策略模块用于选择最佳计划。
关键创新：SelectLight的创新在于结合了MARL与DMPC，允许系统在满足信号时序约束的同时，进行有效的候选计划选择，显著提升了性能。
关键设计：采用独立近端策略优化（IPPO）训练注意力策略，确保选择过程中的学习仅限于候选选择，保持了信号时序的约束。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SelectLight在需求翻倍的情况下，相较于最强基线，排队延迟和等待时间分别降低了5.57%和6.44%。此外，SelectLight在所有测试的需求变化下均表现出最低的转移损失，展现了其优越的适应性。
🎯 应用场景
该研究的潜在应用领域包括城市交通管理、智能交通系统和自动驾驶车辆的信号控制。通过优化信号控制策略，SelectLight能够有效提升城市交通流量，减少拥堵，具有重要的实际价值和社会影响。
📄 摘要（原文）
Coordinated traffic signal control across urban networks must adapt to changing demand while satisfying operational constraints. Multi-objective distributed model predictive control (DMPC) can construct feasible signal plans online, but prescribed rules for selecting among trade-off solutions cannot learn from realized closed-loop outcomes. We propose SelectLight, which implements post-optimization selection by allowing a multi-agent reinforcement learning (MARL) policy to choose directly from plans generated online by DMPC. At each control update, state-pruned multi-objective dynamic programming (SP-MODP) evaluates plans with a Newellian point--spatial queue model and returns a bounded set of mutually nondominated candidate signal plans for total queueing delay, peak queue accumulation, and total number of stops. A topology-aware attention policy trained with independent proximal policy optimization (IPPO) selects one unmodified plan from each variable-size set. This confines learning to candidate selection, preserves the prescribed signal timing constraints, and leaves the selected plan and its predicted objective trade-offs available for inspection. Experiments on two 28-intersection SUMO networks show that SelectLight achieves the best delay-related performance and that its advantage widens with demand. At twice the baseline demand, it reduces queueing delay and waiting time by 5.57% and 6.44%, respectively, relative to the strongest baseline. SelectLight also incurs the lowest transfer loss under every tested demand shift. With a 120 s prediction horizon, the per-intersection 99th-percentile SP-MODP solution time is 5.408 ms, well below the 5 s control interval.