Think2Drive: Efficient Reinforcement Learning by Thinking in Latent World Model for Quasi-Realistic Autonomous Driving (in CARLA-v2)
作者: Qifeng Li, Xiaosong Jia, Shaobo Wang, Junchi Yan
分类: cs.RO
发布日期: 2024-02-26 (更新: 2024-07-20)
备注: Accepted by ECCV 2024
💡 一句话要点
提出Think2Drive以解决城市驾驶中的复杂场景问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自动驾驶 强化学习 世界模型 城市驾驶 CARLA模拟器 边缘案例 性能评估
📋 核心要点
- 现有方法在应对CARLA v2中的复杂驾驶场景时，往往依赖于特定规则，无法灵活处理边缘案例。
- 本文提出的Think2Drive方法通过构建世界模型，学习环境转移，并作为神经模拟器来训练规划器。
- 实验结果表明，Think2Drive在3天内实现了100%的路线完成率，显著提升了训练效率。
📝 摘要（中文）
现实世界中的自动驾驶，尤其是城市驾驶，涉及许多复杂的边缘案例。新发布的自动驾驶模拟器CARLA v2增加了39种常见事件，提供了比CARLA v1更为真实的测试环境。现有文献尚未在V2的新场景中取得成功，大多数方法依赖于特定规则进行规划，无法应对CARLA v2中的复杂情况。本文提出了首个基于模型的强化学习方法Think2Drive，通过学习环境的转移来训练规划器，从而灵活有效地处理边缘案例。该方法显著提高了训练效率，能够在单个A6000 GPU上在3天内达到专家级的驾驶能力，并且在CARLA v2中实现了100%的路线完成率。我们还提出了CornerCase-Repository基准，支持通过场景评估驾驶模型的性能。
🔬 方法详解
问题定义：本文旨在解决现有自动驾驶方法在CARLA v2中无法灵活应对复杂场景的问题。现有方法多依赖于特定规则，难以处理多变的驾驶环境。
核心思路：Think2Drive通过构建一个世界模型，学习环境的动态转移，并利用该模型作为神经模拟器来训练规划器，从而提高了应对复杂驾驶场景的能力。
技术框架：整体架构包括环境建模、规划器训练和评估三个主要模块。首先，构建世界模型以捕捉环境动态；其次，利用该模型进行规划器的训练；最后，通过CornerCase-Repository进行性能评估。
关键创新：最重要的创新在于首次将模型驱动的强化学习方法应用于自动驾驶，显著提升了训练效率和灵活性，与传统依赖规则的方法形成鲜明对比。
关键设计：在模型设计中，采用低维状态空间和张量并行计算以提升训练效率，损失函数设计考虑了多种驾驶场景的复杂性，确保模型在多样化环境中的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Think2Drive在CARLA v2中实现了100%的路线完成率，且在单个A6000 GPU上仅需3天训练时间，显著优于现有方法，展示了其在复杂场景下的卓越性能。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在城市自动驾驶系统的开发中。通过提高对复杂驾驶场景的适应能力，Think2Drive能够为未来的自动驾驶技术提供更为灵活和高效的解决方案，推动智能交通的发展。
📄 摘要（原文）
Real-world autonomous driving (AD) especially urban driving involves many corner cases. The lately released AD simulator CARLA v2 adds 39 common events in the driving scene, and provide more quasi-realistic testbed compared to CARLA v1. It poses new challenge to the community and so far no literature has reported any success on the new scenarios in V2 as existing works mostly have to rely on specific rules for planning yet they cannot cover the more complex cases in CARLA v2. In this work, we take the initiative of directly training a planner and the hope is to handle the corner cases flexibly and effectively, which we believe is also the future of AD. To our best knowledge, we develop the first model-based RL method named Think2Drive for AD, with a world model to learn the transitions of the environment, and then it acts as a neural simulator to train the planner. This paradigm significantly boosts the training efficiency due to the low dimensional state space and parallel computing of tensors in the world model. As a result, Think2Drive is able to run in an expert-level proficiency in CARLA v2 within 3 days of training on a single A6000 GPU, and to our best knowledge, so far there is no reported success (100\% route completion)on CARLA v2. We also propose CornerCase-Repository, a benchmark that supports the evaluation of driving models by scenarios. Additionally, we propose a new and balanced metric to evaluate the performance by route completion, infraction number, and scenario density, so that the driving score could give more information about the actual driving performance.