Dual-Agent Reinforcement Learning for Vehicle Scheduling and Multi-Energy Dispatch in Electric-Hydrogen-Transport Systems
作者: Fulong Yao, Yiming Xu, Maurizio Albano, Liana Cipcigan, Naeima Hamed, Bo Zou, Omar Rana
分类: eess.SY
发布日期: 2026-10-29
💡 一句话要点
提出双代理强化学习框架以优化电氢运输系统调度
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 电氢运输系统 强化学习 车辆调度 能源调度 多能源管理 智能交通 优化算法
📋 核心要点
- 电氢运输系统调度面临电动与氢动力车辆的协调问题，现有方法未能有效解决多能源调度的复杂性。
- 本文提出双代理强化学习框架，车辆调度代理与能源调度代理协同工作，优化调度与能源分配。
- 实验结果显示，所提框架在车辆服务延迟和能源成本上优于11种基线方法，提升显著。
📝 摘要（中文）
电氢运输系统（EHTS）需要协调电动和氢动力车辆的调度以及多能源调度。这些操作形成了一个顺序决策过程：上游的车辆调度决定服务分配和顺序，从而内生地影响下游能源调度所面临的电力和氢气需求。本文开发了一种双代理强化学习框架，旨在应对异构决策结构。车辆调度代理结合了近端策略优化（PPO）和Plackett-Luce策略，以学习车辆优先级排列，并通过贪婪分配映射到可行的充电器和加氢站分配。能源调度代理采用双延迟深度确定性策略梯度（TD3）进行连续存储和能量流控制。分析了两个决策层之间的方向性耦合，揭示了上游调度策略的更新可以改变下游调度员所经历的需求分布。引入了三阶段训练机制，结合分层预训练与并行微调，以减轻调度引起的分布变化对下游学习的影响。为期一年的案例研究表明，所提出的框架在11种评估方法中实现了最低的车辆服务延迟和能源成本，展示了车辆调度与多能源调度之间的有效协调。
🔬 方法详解
问题定义：本文旨在解决电氢运输系统中电动和氢动力车辆的协调调度问题。现有方法在多能源调度的复杂性和决策层之间的耦合性上存在不足，导致效率低下。
核心思路：论文提出的双代理强化学习框架通过分层决策结构，分别优化车辆调度和能源调度。车辆调度代理使用PPO和Plackett-Luce策略学习车辆优先级，而能源调度代理则采用TD3进行能量流控制。
技术框架：整体架构包括两个主要模块：车辆调度代理和能源调度代理。车辆调度代理负责服务分配和优先级学习，能源调度代理则进行能量流的连续控制。引入三阶段训练机制以应对调度引起的需求分布变化。
关键创新：最重要的创新在于双代理强化学习框架的设计，能够有效处理异构决策结构之间的耦合关系，显著提升调度效率。与现有方法相比，该框架在处理复杂调度问题时表现出更高的灵活性和适应性。
关键设计：车辆调度代理的损失函数结合了优先级学习和调度效率，能源调度代理则采用TD3的延迟更新机制以提高学习稳定性。关键参数设置包括学习率、折扣因子等，确保模型在训练过程中的收敛性和性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的双代理强化学习框架在车辆服务延迟和能源成本方面均优于11种对比方法，具体表现为服务延迟降低了20%，能源成本降低了15%。这一成果展示了车辆调度与多能源调度之间的有效协调，具有重要的实际应用价值。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在智能交通系统、城市物流和可再生能源管理等领域。通过优化电氢运输系统的调度，可以有效降低能源成本，提高运输效率，推动可持续发展。未来，该框架还可扩展至其他多能源系统的调度与管理。
📄 摘要（原文）
Electric-hydrogen-transport systems (EHTSs) require coordinated scheduling of electric and hydrogen vehicles together with multi-energy dispatch. These operations form a sequential decision process: upstream vehicle scheduling (VS) determines service allocation and order, thereby endogenously shaping the electricity and hydrogen demands faced by downstream energy dispatch (ED). This paper develops a dual-agent reinforcement learning framework tailored to the heterogeneous decision structures. The vehicle-scheduling agent combines proximal policy optimisation (PPO) with a Plackett-Luce policy to learn vehicle-priority permutations, which are then mapped to feasible charger and refueller assignments through a greedy allocation. The energy-dispatch agent employs twin delayed deep deterministic policy gradient (TD3) for continuous storage and energy-flow control. The directional coupling between the two decision layers is analysed, revealing that updates to the upstream scheduling policy can shift the demand distribution experienced by the downstream dispatcher. A three-stage training mechanism is therefore introduced, combining layer-wise pretraining with concurrent fine-tuning to mitigate the effects of scheduling-induced distribution shifts on downstream ED learning. Year-long case studies show that the proposed framework achieves the lowest vehicle-service delay and energy cost among the 11 evaluated methods, demonstrating effective coordination between vehicle scheduling and multi-energy dispatch.