Online Estimation of Dynamic Origin-Destination Matrices Using Reinforcement Learning with Link-Flow Propagation Guidance

📄 arXiv: 2608.30317v1 📥 PDF

作者: Donggyu Min, Dong-Kyu Kim

分类: cs.LG, cs.AI

发布日期: 2026-08-31

💡 一句话要点

提出LFPG-RL以解决动态OD矩阵在线估计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动态OD矩阵 在线估计 强化学习 链路流量传播 交通流量预测 近端策略优化 城市交通管理

📋 核心要点

  1. 现有的OD矩阵估计方法在处理动态和随机环境时面临计算负担重和反馈模糊的问题。
  2. LFPG-RL通过将链路流量传播指导与近端策略优化相结合，提供了一种新的在线OD需求估计方法。
  3. 在墨尔本的实验中，LFPG-RL显著提高了OD需求校准的准确性，RMSE和MAPE指标表现优异。

📝 摘要（中文）

在线动态起讫点（OD）矩阵估计（DODE）旨在通过观察到的链路流量轨迹来校准时间依赖的OD需求。在在线环境中，OD需求需要根据当前观察和传播的网络状态进行估计，而后续观察和随机动态网络负载（DNL）结果仍然存在不确定性。本文提出的LFPG-RL方法将链路流量传播指导（LFPG）集成到近端策略优化（PPO）中，通过将链路流量误差敏感性与每个OD时间需求组件对模拟链路流量的贡献结合，转化为OD特定的优势塑造。实验结果表明，LFPG-RL在墨尔本一个 arterial 网络的250个工作日轨迹上表现出色，RMSE为4.69，MAPE为20.15%，Pearson相关系数为0.995，显示出其在在线OD需求校准中的高效性和准确性。

🔬 方法详解

问题定义：本文旨在解决在线动态OD矩阵估计中的不确定性和反馈模糊问题。现有方法在处理链路流量误差时，往往无法有效适应不同的目标链路流量轨迹，导致反馈信息不明确。

核心思路：LFPG-RL方法通过引入链路流量传播指导（LFPG），将链路流量误差与OD需求的贡献结合，形成针对特定OD的优势塑造，从而优化策略更新。

技术框架：该方法基于近端策略优化（PPO）框架，主要包括链路流量误差计算、优势塑造和策略更新三个模块。通过单次前向传播实现在线估计，简化了计算过程。

关键创新：LFPG-RL的核心创新在于将链路流量误差敏感性与OD需求的具体贡献结合，解决了传统方法中反馈模糊的问题，使得策略更新更加明确和有效。

关键设计：在LFPG-RL中，损失函数设计考虑了链路流量误差的敏感性，网络结构采用了适应性调整的PPO架构，确保在动态环境中能够快速响应变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LFPG-RL在墨尔本的实验中表现出色，RMSE为4.69，MAPE为20.15%，Pearson相关系数达到0.995，显著优于现有方法，证明了其在动态OD需求校准中的高效性和准确性。

🎯 应用场景

该研究的潜在应用领域包括城市交通管理、智能交通系统和实时交通流量预测等。通过提高OD需求的在线估计精度，能够为交通规划和调度提供更为可靠的数据支持，进而优化交通流量，减少拥堵，提高出行效率。

📄 摘要（原文）

Online dynamic origin-destination (OD) matrix estimation (DODE) calibrates time-dependent OD demand to reproduce observed link-flow trajectories. In online, OD demand should be estimated from current observations and propagated network states while subsequent observations and stochastic dynamic network loading (DNL) outcomes remain uncertain. Recently, reinforcement learning (RL) has emerged as a promising alternative, reducing computational burden by replacing iterative algorithms while being applicable to stochastic environments. However, because the policy is trained offline and deployed online, it must handle varying target link-flow trajectories; since each target trajectory defines the link-flow error used in the reward, the same OD demand vector can require different adjustments, making conventional scalar feedback ambiguous. To address this gap, this study proposes LFPG-RL, which integrates link-flow propagation guidance (LFPG) into proximal policy optimization (PPO). LFPG combines link-flow error sensitivities with the contribution of each OD-time demand component to simulated link flows, transforming aggregate mismatch into OD-specific advantage shaping for PPO actor updates. At deployment, the policy requires only a single forward pass. LFPG-RL is developed and evaluated on 250 weekday trajectories of 15-min link-flow data from a Melbourne arterial network modeled by a link transmission model with stochastic route choice. On held-out trajectories, LFPG-RL achieved an RMSE of 4.69, MAPE of 20.15%, and Pearson correlation of 0.995. These results support the contention that our method is a more efficient and accurate online OD demand calibration method compared to existing ones.