Dynamic Multi-Depot Vehicle Routing with Online Requests: Event-Driven Transformer--DRL and Rolling-Horizon Benchmarking
作者: Faezeh Ardali, Gerald M. Knapp
分类: cs.LG
发布日期: 2026-08-13
备注: 7 Pages
💡 一句话要点
提出事件驱动的动态多仓库车辆调度框架以应对在线请求问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 动态调度 车辆路径规划 事件驱动 深度强化学习 在线请求处理
📋 核心要点
- 现有的动态多仓库车辆调度方法在处理逐步揭示的请求和车辆状态变化时存在效率低下的问题。
- 论文提出了一种基于事件驱动的学习框架，通过行为克隆和近端策略优化训练掩码MLP和Transformer，以提高调度效率。
- 实验结果表明，尽管学习的策略在某些方面有所提升，但最强启发式方法在路由效率和服务响应性上仍表现更佳。
📝 摘要（中文）
本文提出了一种事件驱动的学习和基准测试框架，旨在解决动态多仓库车辆调度问题，该问题涉及逐步揭示的请求和不断变化的车辆状态。通过行为克隆和近端策略优化训练了掩码多层感知机（MLP）和变换器（Transformer）策略。确定性可行性掩码防止无效的车辆-请求分配，而固定前缀/灵活后缀的路线承诺保护已完成、活动和近期决策，并分别测量车辆重新分配和重新排序。学习的策略与动态插入启发式和时间限制的滚动视野优化进行了比较。在20个场景的政策基准测试中，所有方法都完成了每个请求且没有无效操作，但最近可行的方法在路由质量、等待时间、稳定性、完成时间和运行时间方面表现最佳。
🔬 方法详解
问题定义：本文解决动态多仓库车辆调度问题，特别是在请求逐步揭示和车辆状态不断变化的情况下，现有方法在效率和响应性上存在不足。
核心思路：通过事件驱动的学习框架，结合行为克隆和近端策略优化，训练掩码MLP和Transformer，以实现高效的车辆调度。设计中引入确定性可行性掩码和固定前缀/灵活后缀的路线承诺，以确保调度决策的有效性和稳定性。
技术框架：整体架构包括数据输入模块、策略学习模块和决策输出模块。数据输入模块负责接收逐步揭示的请求和车辆状态，策略学习模块通过行为克隆和PPO进行训练，决策输出模块则生成车辆调度方案。
关键创新：最重要的创新在于引入了确定性可行性掩码和固定前缀/灵活后缀的路线承诺，这些设计有效避免了无效的车辆-请求分配，提升了调度的稳定性和响应性。
关键设计：在训练过程中，采用了特定的损失函数以优化策略的收敛性，网络结构上结合了MLP和Transformer的优点，确保了决策的实时性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在20个场景的政策基准测试中，所有方法均成功完成请求且无无效操作。尽管学习的策略在某些方面有所提升，但最近可行的方法在路由质量、等待时间和稳定性等指标上表现最佳，显示出更低的平均目标和路线干扰。
🎯 应用场景
该研究的潜在应用领域包括物流配送、公共交通调度和应急响应等场景。通过提高车辆调度的效率和响应性，能够显著降低运营成本并提升服务质量，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
This paper presents an event-driven learning and benchmarking framework for the Dynamic Multi-Depot Vehicle Routing Problem with progressively revealed requests and evolving vehicle states. Masked MLP and Transformer policies are trained through behavior cloning and proximal policy optimization. Deterministic feasibility masking prevents invalid vehicle--request assignments, while fixed-prefix/flexible-suffix route commitments protect completed, active, and near-term decisions and separately measure vehicle reassignment and resequencing. The learned policies are compared with dynamic insertion heuristics and time-limited rolling-horizon optimization. In a 20-scenario policy benchmark, all methods completed every request without invalid actions, but nearest feasible achieved the lowest mean objective and outperformed the learned policies in routing quality, waiting time, stability, makespan, and runtime. Across five independent training runs, PPO had little average effect on the MLP and improved the Transformer on average, although with greater seed variability. Under the common protocol, nearest feasible achieved the lowest combined objective and route disruption, whereas rolling horizon achieved the lowest waiting times and makespan at substantially higher computational cost. The learned policies retained millisecond-level decisions and transferred to instances with up to 80 requests without retraining, but did not outperform the strongest heuristic. No single method was best across routing efficiency, service responsiveness, stability, and online computation.