SLEDGE: Synthesizing Driving Environments with Generative Models and Rule-Based Traffic
作者: Kashyap Chitta, Daniel Dauner, Andreas Geiger
分类: cs.RO, cs.AI, cs.CV, cs.LG
发布日期: 2024-03-26 (更新: 2024-07-11)
备注: ECCV 2024
💡 一句话要点
提出SLEDGE以合成驾驶环境解决车辆运动规划问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 生成模型 车辆运动规划 交通模拟 光栅到矢量自编码器 自动驾驶 数据驱动模拟器 复杂场景生成
📋 核心要点
- 现有的数据驱动模拟器在生成复杂驾驶环境时面临存储和灵活性不足的问题。
- 论文提出了一种新颖的光栅到矢量自编码器，能够有效生成车道图和代理，提升了生成的灵活性和控制能力。
- 实验结果显示，SLEDGE在存储需求上比nuPlan减少了500倍，并在复杂场景中对规划算法的挑战性显著提高。
📝 摘要（中文）
SLEDGE是首个基于真实驾驶日志训练的车辆运动规划生成模拟器。其核心组件是一个学习模型，能够生成代理边界框和车道图，作为基于规则的交通模拟的初始状态。由于生成实体的独特属性，如连接性和每个场景的可变数量，使得大多数现代生成模型在此任务上的简单应用变得复杂。因此，结合对现有车道图表示的系统研究，本文引入了一种新颖的光栅到矢量自编码器，将代理和车道图编码到光栅化潜在图中的不同通道。这一方法促进了基于车道的代理生成以及使用扩散变换器的车道和代理的联合生成。SLEDGE支持500米长的路线，显著提高了对模拟的控制能力，并在密集交通和困难路线的测试中对规划算法提出了新挑战。
🔬 方法详解
问题定义：本论文旨在解决现有数据驱动模拟器在生成复杂驾驶环境时的存储和灵活性不足的问题。现有方法在处理连接性和可变数量的生成实体时表现不佳，导致生成的场景不够真实和多样。
核心思路：论文的核心解决思路是引入一种新颖的光栅到矢量自编码器，该模型能够将代理和车道图编码到光栅化潜在图中的不同通道，从而实现更灵活的生成。通过这种设计，能够有效地进行基于车道的代理生成和联合生成。
技术框架：整体架构包括数据输入、光栅到矢量自编码器、生成模块和基于规则的交通模拟。首先，真实驾驶日志作为输入数据，通过自编码器生成代理和车道图，然后将这些生成的实体用于交通模拟。
关键创新：最重要的技术创新点在于光栅到矢量自编码器的设计，它解决了生成实体的连接性和数量变化问题，与现有方法相比，能够更好地适应复杂场景的生成需求。
关键设计：在设计中，采用了多通道编码策略，确保代理和车道图的独立性和可控性。此外，损失函数的设置也经过精心设计，以优化生成质量和多样性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SLEDGE在生成复杂驾驶场景时的存储需求仅为nuPlan的1/500，且在密集交通和困难路线的测试中，规划算法的失败率超过40%，显示出SLEDGE在挑战性场景下的有效性和实用性。
🎯 应用场景
SLEDGE的潜在应用领域包括自动驾驶系统的测试与验证、交通流模拟以及智能交通管理。通过提供灵活且高效的驾驶环境生成，SLEDGE能够帮助研究人员和工程师在不同场景下测试算法的鲁棒性，推动自动驾驶技术的发展与应用。
📄 摘要（原文）
SLEDGE is the first generative simulator for vehicle motion planning trained on real-world driving logs. Its core component is a learned model that is able to generate agent bounding boxes and lane graphs. The model's outputs serve as an initial state for rule-based traffic simulation. The unique properties of the entities to be generated for SLEDGE, such as their connectivity and variable count per scene, render the naive application of most modern generative models to this task non-trivial. Therefore, together with a systematic study of existing lane graph representations, we introduce a novel raster-to-vector autoencoder. It encodes agents and the lane graph into distinct channels in a rasterized latent map. This facilitates both lane-conditioned agent generation and combined generation of lanes and agents with a Diffusion Transformer. Using generated entities in SLEDGE enables greater control over the simulation, e.g. upsampling turns or increasing traffic density. Further, SLEDGE can support 500m long routes, a capability not found in existing data-driven simulators like nuPlan. It presents new challenges for planning algorithms, evidenced by failure rates of over 40% for PDM, the winner of the 2023 nuPlan challenge, when tested on hard routes and dense traffic generated by our model. Compared to nuPlan, SLEDGE requires 500$\times$ less storage to set up (<4 GB), making it a more accessible option and helping with democratizing future research in this field.