Traffic Smoothing Controllers for Autonomous Vehicles Using Deep Reinforcement Learning and Real-World Trajectory Data
作者: Nathan Lichtlé, Kathy Jang, Adit Shah, Eugene Vinitsky, Jonathan W. Lee, Alexandre M. Bayen
分类: eess.SY, cs.AI, cs.MA
发布日期: 2024-01-18
备注: Accepted to be published as part of the 26th IEEE International Conference on Intelligent Transportation Systems (ITSC) 2023, Bilbao, Spain, September 24-28, 2023
💡 一句话要点
提出深度强化学习交通平滑控制器以改善自主车辆交通流
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 深度强化学习 交通平滑 自主车辆 燃油效率 真实轨迹数据 交通流优化 智能交通系统
📋 核心要点
- 现有方法在设计交通平滑控制器时，通常需要对复杂的交通微观模拟器进行精细调优，难度较大。
- 本文提出了一种利用真实世界轨迹数据和深度强化学习的方法，训练能量减少的波动平滑策略，简化了控制器设计过程。
- 实验结果表明，在低渗透率下，控制器能显著提高燃油效率，减少停走波现象，具有良好的实际应用前景。
📝 摘要（中文）
设计可部署于自主车辆的交通平滑巡航控制器是改善交通流、减少拥堵和提高燃油效率的重要步骤。本文利用来自田纳西州I-24高速公路的真实轨迹数据，避免了对大型交通微观模拟器的精细调优。通过标准的深度强化学习方法，我们训练了能量减少的波动平滑策略。作为输入，代理观察前方车辆的速度和距离，以及关于下游交通状态的非局部观察。在仅4%的自主车辆渗透率下，我们在表现出许多停走波的轨迹上实现了超过15%的显著燃油节省。最后，我们分析了控制器的平滑效果，并展示了在模拟中添加变道和去除下游信息的鲁棒性。
🔬 方法详解
问题定义：本文旨在解决自主车辆在混合交通环境中如何有效平滑交通流的问题。现有方法依赖复杂的交通微观模拟器，难以快速部署和调优。
核心思路：通过利用真实世界的交通轨迹数据，结合深度强化学习，设计出无需复杂调优的交通平滑控制器。该方法关注前方车辆的局部状态和下游交通的非局部信息，以实现更高效的控制策略。
技术框架：整体架构包括数据采集、深度强化学习训练和控制策略应用三个主要模块。首先，从真实轨迹数据中提取特征，然后使用深度强化学习算法训练代理，最后将训练好的策略应用于模拟环境中。
关键创新：本研究的创新点在于通过真实世界数据训练控制器，避免了传统方法对微观模拟器的依赖，显著提高了控制器的实用性和适应性。
关键设计：在训练过程中，使用了前方车辆的速度和距离作为输入特征，同时引入了下游交通状态的非局部观察。损失函数设计为优化燃油效率，网络结构采用标准深度强化学习框架，确保了训练的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在仅4%的自主车辆渗透率下，所提出的控制器在多次停走波的轨迹上实现了超过15%的燃油节省。这一显著提升表明该方法在实际应用中的有效性和潜力。
🎯 应用场景
该研究的潜在应用领域包括智能交通系统、自主驾驶车辆的巡航控制和城市交通管理等。通过优化交通流，能够有效减少拥堵，提高燃油效率，具有显著的社会和经济价值。未来，该技术可扩展至更复杂的交通场景，进一步提升自主车辆的智能化水平。
📄 摘要（原文）
Designing traffic-smoothing cruise controllers that can be deployed onto autonomous vehicles is a key step towards improving traffic flow, reducing congestion, and enhancing fuel efficiency in mixed autonomy traffic. We bypass the common issue of having to carefully fine-tune a large traffic microsimulator by leveraging real-world trajectory data from the I-24 highway in Tennessee, replayed in a one-lane simulation. Using standard deep reinforcement learning methods, we train energy-reducing wave-smoothing policies. As an input to the agent, we observe the speed and distance of only the vehicle in front, which are local states readily available on most recent vehicles, as well as non-local observations about the downstream state of the traffic. We show that at a low 4% autonomous vehicle penetration rate, we achieve significant fuel savings of over 15% on trajectories exhibiting many stop-and-go waves. Finally, we analyze the smoothing effect of the controllers and demonstrate robustness to adding lane-changing into the simulation as well as the removal of downstream information.