Learning Realistic Traffic Agents in Closed-loop
作者: Chris Zhang, James Tu, Lunjun Zhang, Kelvin Wong, Simon Suo, Raquel Urtasun
分类: cs.RO, cs.CV, cs.LG
发布日期: 2023-11-02
备注: CORL 2023
💡 一句话要点
提出RTR方法以解决交通代理不合规问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 交通模拟 模仿学习 强化学习 自动驾驶 交通合规 长尾场景 闭环学习
📋 核心要点
- 现有的模仿学习方法在没有明确交通规则的情况下，导致交通代理行为不现实，尤其在长尾场景中表现更差。
- 本文提出的RTR方法通过在交通合规约束下结合模仿学习与强化学习，旨在提高交通代理的现实性与合规性。
- 实验结果显示，RTR方法在多个场景下的表现优于基线代理，尤其在交通合规和人性化驾驶之间取得了更好的平衡。
📝 摘要（中文）
现实交通模拟对于安全且可扩展的自动驾驶软件开发至关重要。现有的模仿学习方法在没有明确交通规则的情况下，常导致代理行为不现实，如碰撞和偏离道路。强化学习虽然能训练代理避免违规，但其行为往往不够人性化。本文提出了强化交通规则（RTR），一种在交通合规约束下匹配专家示范的闭环学习目标，结合了模仿学习与强化学习的优点。实验表明，RTR在现实和长尾场景下学习到的交通策略更为真实且具有更好的通用性，显著提升了人性化驾驶与交通合规之间的平衡。
🔬 方法详解
问题定义：本文旨在解决现有交通代理在模拟中表现不合规的问题，尤其是模仿学习在缺乏交通规则指导时导致的碰撞和不合理行为。
核心思路：提出的RTR方法通过在交通合规约束下结合模仿学习与强化学习，旨在同时实现人性化驾驶和遵守交通规则的目标。
技术框架：RTR方法的整体架构包括两个主要模块：模仿学习模块用于从真实世界数据中学习人类驾驶行为，强化学习模块则在合规约束下优化代理的决策过程。
关键创新：RTR方法的创新在于其闭环学习机制，能够在遵循交通规则的同时，学习到更真实的驾驶策略，这与传统的单一模仿学习或强化学习方法有本质区别。
关键设计：在RTR中，设计了特定的损失函数以平衡模仿学习与强化学习的目标，并采用了适应性网络结构来处理不同场景下的交通行为。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RTR方法在交通合规性和人性化驾驶之间取得了显著的平衡。在多个场景下，RTR学习到的交通策略在预测模型训练中表现出更好的性能，相较于基线代理，预测指标显著提升，具体提升幅度未知。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶系统的开发与测试、交通流量模拟以及智能交通管理系统。通过提高交通代理的现实性和合规性，RTR方法能够为自动驾驶技术的安全部署提供重要支持，推动智能交通的进步。
📄 摘要（原文）
Realistic traffic simulation is crucial for developing self-driving software in a safe and scalable manner prior to real-world deployment. Typically, imitation learning (IL) is used to learn human-like traffic agents directly from real-world observations collected offline, but without explicit specification of traffic rules, agents trained from IL alone frequently display unrealistic infractions like collisions and driving off the road. This problem is exacerbated in out-of-distribution and long-tail scenarios. On the other hand, reinforcement learning (RL) can train traffic agents to avoid infractions, but using RL alone results in unhuman-like driving behaviors. We propose Reinforcing Traffic Rules (RTR), a holistic closed-loop learning objective to match expert demonstrations under a traffic compliance constraint, which naturally gives rise to a joint IL + RL approach, obtaining the best of both worlds. Our method learns in closed-loop simulations of both nominal scenarios from real-world datasets as well as procedurally generated long-tail scenarios. Our experiments show that RTR learns more realistic and generalizable traffic simulation policies, achieving significantly better tradeoffs between human-like driving and traffic compliance in both nominal and long-tail scenarios. Moreover, when used as a data generation tool for training prediction models, our learned traffic policy leads to considerably improved downstream prediction metrics compared to baseline traffic agents. For more information, visit the project website: https://waabi.ai/rtr