Copilot4D: Learning Unsupervised World Models for Autonomous Driving via Discrete Diffusion

📄 arXiv: 2311.01017v4 📥 PDF

作者: Lunjun Zhang, Yuwen Xiong, Ze Yang, Sergio Casas, Rui Hu, Raquel Urtasun

分类: cs.CV, cs.AI, cs.LG, cs.RO

发布日期: 2023-11-02 (更新: 2024-04-01)

备注: ICLR 2024

💡 一句话要点

提出Copilot4D以解决自主驾驶中的世界模型学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 世界模型 自主驾驶 无监督学习 离散扩散 VQVAE 生成模型 机器人技术 数据集

📋 核心要点

  1. 现有方法在处理复杂和非结构化的观察空间时存在瓶颈，导致自主驾驶中的世界模型学习进展缓慢。
  2. Copilot4D通过VQVAE对传感器观察进行标记，并利用离散扩散预测未来，从而有效解决了上述问题。
  3. 在多个数据集上，Copilot4D显著降低了Chamfer距离，1秒和3秒预测的性能分别提升超过65%和50%。

📝 摘要（中文）

学习世界模型可以以无监督的方式教会智能体如何理解世界。尽管这可以视为序列建模的特殊情况，但在自主驾驶等机器人应用中，世界模型的进展相较于生成预训练变换器（GPT）在语言模型上的扩展速度较慢。我们识别出两个主要瓶颈：处理复杂和非结构化的观察空间，以及缺乏可扩展的生成模型。因此，我们提出了Copilot4D，这是一种新颖的世界建模方法，首先使用VQVAE对传感器观察进行标记，然后通过离散扩散预测未来。通过将Masked Generative Image Transformer重新构建为离散扩散并进行简单增强，我们在并行解码和去噪标记方面取得了显著改进。在对点云观察学习世界模型时，Copilot4D在NuScenes、KITTI Odometry和Argoverse2数据集上将先前的SOTA Chamfer距离减少了超过65%（1秒预测）和超过50%（3秒预测）。我们的结果表明，基于标记的智能体经验的离散扩散可以释放类似GPT的无监督学习在机器人领域的潜力。

🔬 方法详解

问题定义：本论文旨在解决自主驾驶中世界模型学习的挑战，尤其是如何处理复杂和非结构化的观察空间，以及缺乏可扩展的生成模型的问题。

核心思路：Copilot4D的核心思路是首先使用VQVAE对传感器观察进行标记，然后通过离散扩散模型来预测未来状态。这种设计旨在提高模型的可扩展性和预测精度。

技术框架：整体架构包括两个主要阶段：第一阶段是对传感器数据进行标记，第二阶段是利用离散扩散模型进行未来状态的预测。Masked Generative Image Transformer被重新构建为离散扩散，以实现并行解码和去噪。

关键创新：最重要的技术创新在于将Masked Generative Image Transformer转化为离散扩散模型，并通过简单的增强措施显著提升了模型的性能。这一创新与现有方法的本质区别在于其处理方式的高效性和可扩展性。

关键设计：在关键设计方面，采用了VQVAE进行数据标记，损失函数设计上注重于去噪和解码的效率，网络结构则优化了并行处理能力，以适应大规模数据的需求。

📊 实验亮点

Copilot4D在多个数据集上表现出色，1秒预测的Chamfer距离减少超过65%，3秒预测减少超过50%，显著优于先前的SOTA。这一结果表明，离散扩散模型在处理标记的智能体经验方面具有强大的潜力，能够推动无监督学习在机器人领域的应用。

🎯 应用场景

该研究的潜在应用领域包括自主驾驶、机器人导航和智能交通系统等。通过提升世界模型的学习能力，Copilot4D能够帮助智能体更好地理解和预测环境，从而提高自主决策的准确性和安全性。未来，该技术可能在智能城市和自动驾驶汽车的广泛应用中发挥重要作用。

📄 摘要（原文）

Learning world models can teach an agent how the world works in an unsupervised manner. Even though it can be viewed as a special case of sequence modeling, progress for scaling world models on robotic applications such as autonomous driving has been somewhat less rapid than scaling language models with Generative Pre-trained Transformers (GPT). We identify two reasons as major bottlenecks: dealing with complex and unstructured observation space, and having a scalable generative model. Consequently, we propose Copilot4D, a novel world modeling approach that first tokenizes sensor observations with VQVAE, then predicts the future via discrete diffusion. To efficiently decode and denoise tokens in parallel, we recast Masked Generative Image Transformer as discrete diffusion and enhance it with a few simple changes, resulting in notable improvement. When applied to learning world models on point cloud observations, Copilot4D reduces prior SOTA Chamfer distance by more than 65% for 1s prediction, and more than 50% for 3s prediction, across NuScenes, KITTI Odometry, and Argoverse2 datasets. Our results demonstrate that discrete diffusion on tokenized agent experience can unlock the power of GPT-like unsupervised learning for robotics.