Purpose in the Machine: Do Traffic Simulators Produce Distributionally Equivalent Outcomes for Reinforcement Learning Applications?

📄 arXiv: 2311.08429v1 📥 PDF

作者: Rex Chen, Kathleen M. Carley, Fei Fang, Norman Sadeh

分类: cs.LG, cs.CE

发布日期: 2023-11-14

备注: 12 pages; accepted version, published at the 2023 Winter Simulation Conference (WSC '23)

DOI: 10.1109/WSC60868.2023.10407855

💡 一句话要点

揭示交通模拟器在强化学习中的局限性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 交通模拟器 强化学习 智能交通系统 分布等价性 虚拟实验 模型评估 数据生成

📋 核心要点

  1. 现有交通模拟器在强化学习应用中可能导致不一致的训练结果，影响ITS的实际部署效果。
  2. 本研究通过对CityFlow和SUMO模拟器进行对比实验，探讨其在不同驾驶行为和模拟规模下的表现差异。
  3. 实验结果显示，两个模拟器在强化学习相关指标上存在显著差异，强调了理解模拟器间差异的重要性。

📝 摘要（中文）

交通模拟器用于生成智能交通系统（ITS）学习的数据。关键问题在于其建模假设对ITS在现实场景中适应能力的影响。本研究聚焦于两个常用的交通模拟器CityFlow和SUMO，通过控制虚拟实验，发现这些模拟器在与强化学习相关的指标上并未产生分布等价性，所有评估指标的均方根误差和KL散度均显著大于0。这表明交通模拟器并非强化学习训练的万能工具，理解不同模拟器之间的差异对训练和部署基于强化学习的ITS至关重要。

🔬 方法详解

问题定义：本研究旨在解决交通模拟器在强化学习应用中可能导致的分布不等价性问题。现有方法未能充分考虑不同模拟器的建模假设对训练结果的影响。

核心思路：通过控制虚拟实验，系统地比较CityFlow和SUMO在不同驾驶行为和模拟规模下的表现，以揭示其在强化学习训练中的局限性。

技术框架：研究采用了虚拟实验的设计，主要包括模拟器选择、实验参数设置、数据收集与分析等模块。通过对比不同模拟器的输出，评估其在强化学习相关指标上的表现。

关键创新：本研究的创新点在于首次系统性地验证了交通模拟器在强化学习训练中的分布不等价性，挑战了其作为万能工具的假设。

关键设计：实验中设置了多种驾驶行为和不同的模拟规模，使用均方根误差和KL散度作为评估指标，以量化模拟器输出的差异性。具体参数设置和实验流程详见论文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CityFlow和SUMO在与强化学习相关的指标上存在显著差异，均方根误差和KL散度均大于0，强调了交通模拟器在强化学习训练中的局限性。这一发现对未来的ITS设计具有重要指导意义。

🎯 应用场景

该研究的结果对智能交通系统的设计与实施具有重要意义。通过深入理解交通模拟器的局限性，研究人员和工程师可以更有效地选择和调整模拟器，以提高ITS在现实世界中的适应能力和性能。

📄 摘要（原文）

Traffic simulators are used to generate data for learning in intelligent transportation systems (ITSs). A key question is to what extent their modelling assumptions affect the capabilities of ITSs to adapt to various scenarios when deployed in the real world. This work focuses on two simulators commonly used to train reinforcement learning (RL) agents for traffic applications, CityFlow and SUMO. A controlled virtual experiment varying driver behavior and simulation scale finds evidence against distributional equivalence in RL-relevant measures from these simulators, with the root mean squared error and KL divergence being significantly greater than 0 for all assessed measures. While granular real-world validation generally remains infeasible, these findings suggest that traffic simulators are not a deus ex machina for RL training: understanding the impacts of inter-simulator differences is necessary to train and deploy RL-based ITSs.