DriveDreamer-2: LLM-Enhanced World Models for Diverse Driving Video Generation

📄 arXiv: 2403.06845v2 📥 PDF

作者: Guosheng Zhao, Xiaofeng Wang, Zheng Zhu, Xinze Chen, Guan Huang, Xiaoyi Bao, Xingang Wang

分类: cs.CV

发布日期: 2024-03-11 (更新: 2024-04-11)

备注: Project Page: https://drivedreamer2.github.io

💡 一句话要点

提出DriveDreamer-2以解决定制化驾驶视频生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界模型 大型语言模型 自动驾驶 视频生成 个性化生成 多视角模型 交通法规 3D检测

📋 核心要点

  1. 现有的世界模型在生成定制化驾驶视频方面存在显著挑战，难以满足用户的个性化需求。
  2. DriveDreamer-2通过结合大型语言模型，将用户查询转化为代理轨迹，并生成符合交通规则的高清地图，进而生成多视角驾驶视频。
  3. 实验结果显示，DriveDreamer-2在视频生成质量上优于其他方法，FID和FVD得分分别为11.2和55.7，提升幅度显著。

📝 摘要（中文）

世界模型在自动驾驶领域表现出色，尤其是在多视角驾驶视频生成方面。然而，生成定制化驾驶视频仍面临重大挑战。本文提出DriveDreamer-2，基于DriveDreamer框架，结合大型语言模型（LLM）生成用户定义的驾驶视频。具体而言，首先通过LLM接口将用户查询转换为代理轨迹，然后根据轨迹生成遵循交通法规的高清地图（HDMap）。最后，我们提出统一多视角模型，以增强生成视频的时间和空间一致性。DriveDreamer-2是首个能够生成定制化驾驶视频的世界模型，能够以用户友好的方式生成不常见的驾驶场景（如车辆突然切入）。实验结果表明，生成的视频提升了驾驶感知方法的训练效果（如3D检测和跟踪），且DriveDreamer-2的视频生成质量超越其他最先进的方法，FID和FVD得分分别为11.2和55.7，提升幅度达30%和50%。

🔬 方法详解

问题定义：本文旨在解决现有世界模型在生成定制化驾驶视频时的不足，特别是如何根据用户需求生成个性化的驾驶场景。现有方法难以灵活应对用户的多样化请求，限制了应用的广泛性。

核心思路：DriveDreamer-2的核心思路是结合大型语言模型（LLM）与世界模型，通过将用户的自然语言查询转化为代理轨迹，从而生成符合用户需求的驾驶视频。这样的设计使得用户可以更直观地表达需求，提升了生成视频的个性化程度。

技术框架：DriveDreamer-2的整体架构包括三个主要模块：首先是LLM接口，用于解析用户查询并生成代理轨迹；其次是HDMap生成模块，根据轨迹生成符合交通法规的高清地图；最后是统一多视角模型，用于增强生成视频的时间和空间一致性。

关键创新：DriveDreamer-2的最大创新在于首次将大型语言模型应用于世界模型中，实现了用户定义的驾驶视频生成。这一方法与传统的生成方法相比，能够更灵活地适应用户的个性化需求，生成不常见的驾驶场景。

关键设计：在关键设计方面，DriveDreamer-2采用了特定的损失函数以优化生成视频的质量，并在网络结构上进行了调整，以确保生成视频在时间和空间上的一致性。此外，模型的训练过程中引入了多样化的驾驶场景，以提升生成能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DriveDreamer-2在视频生成质量上表现出色，FID和FVD得分分别为11.2和55.7，相较于其他最先进的方法提升幅度达30%和50%。实验结果表明，该模型不仅能够生成用户定义的驾驶视频，还能有效提升驾驶感知方法的训练效果。

🎯 应用场景

DriveDreamer-2的研究成果在自动驾驶、虚拟现实和游戏开发等领域具有广泛的应用潜力。通过生成个性化的驾驶视频，该模型能够帮助提升自动驾驶系统的训练效率，增强用户体验，并为未来的智能交通系统提供支持。

📄 摘要（原文）

World models have demonstrated superiority in autonomous driving, particularly in the generation of multi-view driving videos. However, significant challenges still exist in generating customized driving videos. In this paper, we propose DriveDreamer-2, which builds upon the framework of DriveDreamer and incorporates a Large Language Model (LLM) to generate user-defined driving videos. Specifically, an LLM interface is initially incorporated to convert a user's query into agent trajectories. Subsequently, a HDMap, adhering to traffic regulations, is generated based on the trajectories. Ultimately, we propose the Unified Multi-View Model to enhance temporal and spatial coherence in the generated driving videos. DriveDreamer-2 is the first world model to generate customized driving videos, it can generate uncommon driving videos (e.g., vehicles abruptly cut in) in a user-friendly manner. Besides, experimental results demonstrate that the generated videos enhance the training of driving perception methods (e.g., 3D detection and tracking). Furthermore, video generation quality of DriveDreamer-2 surpasses other state-of-the-art methods, showcasing FID and FVD scores of 11.2 and 55.7, representing relative improvements of 30% and 50%.