CARL: Congestion-Aware Reinforcement Learning for Imitation-based Perturbations in Mixed Traffic Control

📄 arXiv: 2404.00796v2 📥 PDF

作者: Bibek Poudel, Weizi Li, Shuai Li

分类: cs.RO

发布日期: 2024-03-31 (更新: 2024-07-09)

备注: Accepted to IEEE CYBER 2024

💡 一句话要点

提出CARL以解决混合交通控制中的人类驾驶行为建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 混合交通控制 模仿学习 强化学习 人类驾驶行为 机器人车辆 交通管理 安全性 效率

📋 核心要点

  1. 现有方法如参数化模型和数据驱动技术难以全面捕捉人类驾驶车辆的复杂行为。
  2. 本文提出CARL，通过模仿学习和概率采样相结合，针对不同车距的驾驶行为进行建模。
  3. 实验结果显示，安全RV提高了碰撞时间并显著降低了减速率，而效率RV在通行能力上有显著提升。

📝 摘要（中文）

人类驾驶车辆（HVs）表现出复杂多样的行为，准确建模这些行为对于验证机器人车辆（RVs）在仿真中的表现至关重要。然而，现有的参数化模型和数据驱动技术难以捕捉这种复杂性。为此，本文提出了CARL，一种混合方法，结合了模仿学习和概率采样。我们还提出了两类基于强化学习的RVs：安全RV和效率RV。实验结果表明，安全RV将碰撞时间提高到4秒以上，并将避免碰撞的减速率降低了80%；效率RV在通行能力上提高了49%。这些结果展示了CARL在提升混合交通安全性和效率方面的有效性。

🔬 方法详解

问题定义：本文旨在解决人类驾驶行为建模的复杂性问题，现有方法无法有效捕捉这种复杂性，导致机器人车辆在混合交通环境中的表现不佳。

核心思路：CARL结合了模仿学习和概率采样，前者用于近距离跟车行为，后者用于较大车距的行为建模，以更全面地模拟人类驾驶行为。

技术框架：CARL的整体架构包括两个主要模块：模仿学习模块负责近距离车跟随行为的学习，概率采样模块则处理较大车距的行为。通过这两个模块的结合，CARL能够更准确地模拟人类驾驶行为。

关键创新：CARL的创新在于其混合方法的设计，利用模仿学习和概率采样的结合，克服了传统方法的局限性，能够更好地适应复杂的交通环境。

关键设计：在设计中，安全RV和效率RV分别关注安全性和效率，安全RV通过优化碰撞时间和减速率来提升安全性，而效率RV则通过优化通行能力来提升效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，安全RV将碰撞时间提高到4秒以上，减速率降低了80%；而效率RV在通行能力上提升了49%。这些结果表明，CARL在提升混合交通安全性和效率方面具有显著效果。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶车辆的行为模拟以及交通管理优化。通过提高混合交通环境中的安全性和效率，CARL有助于推动智能交通技术的发展，减少交通事故和提高道路使用效率。

📄 摘要（原文）

Human-driven vehicles (HVs) exhibit complex and diverse behaviors. Accurately modeling such behavior is crucial for validating Robot Vehicles (RVs) in simulation and realizing the potential of mixed traffic control. However, existing approaches like parameterized models and data-driven techniques struggle to capture the full complexity and diversity. To address this, in this work, we introduce CARL, a hybrid approach that combines imitation learning for close proximity car-following and probabilistic sampling for larger headways. We also propose two classes of RL-based RVs: a safety RV focused on maximizing safety and an efficiency RV focused on maximizing efficiency. Our experiments show that the safety RV increases Time-to-Collision above the critical 4-second threshold and reduces Deceleration Rate to Avoid a Crash by up to 80%, while the efficiency RV achieves improvements in throughput of up to 49%. These results demonstrate the effectiveness of CARL in enhancing both safety and efficiency in mixed traffic.