MIM4D: Masked Modeling with Multi-View Video for Autonomous Driving Representation Learning

📄 arXiv: 2403.08760v1 📥 PDF

作者: Jialv Zou, Bencheng Liao, Qian Zhang, Wenyu Liu, Xinggang Wang

分类: cs.CV

发布日期: 2024-03-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出MIM4D以解决多视角视频的视觉表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多视角视频 视觉表示学习 自动驾驶 掩码建模 3D重建 深度学习 几何表示 场景流

📋 核心要点

  1. 现有的预训练方法依赖昂贵的3D注释或单帧输入，无法有效利用多视角视频的时间信息。
  2. MIM4D通过双重掩码图像建模，结合空间和时间关系，构建伪3D特征以进行视觉表示学习。
  3. 在nuScenes数据集上，MIM4D在BEV分割、3D物体检测和高清地图构建等任务上均显著提升了性能。

📝 摘要（中文）

从海量多视角视频数据中学习稳健且可扩展的视觉表示仍然是计算机视觉和自动驾驶领域的挑战。现有的预训练方法要么依赖昂贵的有监督学习和3D注释，限制了可扩展性，要么专注于单帧或单目输入，忽视了时间信息。我们提出了MIM4D，这是一种基于双重掩码图像建模的新型预训练范式。MIM4D通过对掩码多视角视频输入进行训练，利用空间和时间关系，构建伪3D特征并将其投影到2D平面进行监督。为了解决缺乏密集3D监督的问题，MIM4D通过采用3D体积可微渲染来重建像素，从而学习几何表示。我们证明MIM4D在nuScenes数据集上实现了自动驾驶视觉表示学习的最先进性能，并在多个下游任务上显著提升了现有方法的表现。

🔬 方法详解

问题定义：本论文旨在解决从多视角视频中学习稳健视觉表示的挑战。现有方法往往依赖昂贵的3D注释或单帧输入，无法充分利用时间信息，限制了其可扩展性。

核心思路：MIM4D提出了一种新颖的预训练范式，利用双重掩码图像建模，结合空间和时间关系，通过掩码多视角视频输入进行训练，从而构建伪3D特征。

技术框架：MIM4D的整体架构包括多个模块：首先，通过掩码多视角视频输入进行训练；其次，利用连续场景流构建伪3D特征；最后，采用3D体积可微渲染重建像素以学习几何表示。

关键创新：MIM4D的核心创新在于结合了空间和时间信息，通过伪3D特征的构建和3D体积可微渲染的应用，显著提升了视觉表示学习的效果，与现有方法形成了本质区别。

关键设计：在参数设置上，MIM4D采用了特定的损失函数以优化掩码重建过程，并设计了适合多视角输入的网络结构，以确保模型能够有效学习到丰富的几何信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MIM4D在nuScenes数据集上取得了显著的实验结果，包括BEV分割任务提升8.7%的IoU，3D物体检测任务提升3.5%的mAP，以及高清地图构建任务提升1.4%的mAP，展现了其在视觉表示学习中的优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提供更稳健的视觉表示，MIM4D能够提升自动驾驶系统在复杂环境中的决策能力，未来可能对智能交通的安全性和效率产生积极影响。

📄 摘要（原文）

Learning robust and scalable visual representations from massive multi-view video data remains a challenge in computer vision and autonomous driving. Existing pre-training methods either rely on expensive supervised learning with 3D annotations, limiting the scalability, or focus on single-frame or monocular inputs, neglecting the temporal information. We propose MIM4D, a novel pre-training paradigm based on dual masked image modeling (MIM). MIM4D leverages both spatial and temporal relations by training on masked multi-view video inputs. It constructs pseudo-3D features using continuous scene flow and projects them onto 2D plane for supervision. To address the lack of dense 3D supervision, MIM4D reconstruct pixels by employing 3D volumetric differentiable rendering to learn geometric representations. We demonstrate that MIM4D achieves state-of-the-art performance on the nuScenes dataset for visual representation learning in autonomous driving. It significantly improves existing methods on multiple downstream tasks, including BEV segmentation (8.7% IoU), 3D object detection (3.5% mAP), and HD map construction (1.4% mAP). Our work offers a new choice for learning representation at scale in autonomous driving. Code and models are released at https://github.com/hustvl/MIM4D