EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision

📄 arXiv: 2311.02077v1 📥 PDF

作者: Jiawei Yang, Boris Ivanovic, Or Litany, Xinshuo Weng, Seung Wook Kim, Boyi Li, Tong Che, Danfei Xu, Sanja Fidler, Marco Pavone, Yue Wang

分类: cs.CV

发布日期: 2023-11-03

备注: See the project page for code, data, and request pre-trained models: https://emernerf.github.io

💡 一句话要点

提出EmerNeRF以解决动态驾驶场景的时空表示学习问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态场景表示 自我监督学习 神经场 流场参数化 时空建模 自动驾驶 3D感知

📋 核心要点

  1. 现有方法在动态场景的表示学习中面临挑战，尤其是对动态对象的分割和运动估计依赖于真实标注或预训练模型。
  2. EmerNeRF通过自我监督将场景分为静态和动态场，并引入流场参数化来增强动态对象的渲染精度。
  3. 该方法在传感器模拟中取得了最先进的性能，静态和动态场景的重建PSNR分别提升了2.93和3.70。

📝 摘要（中文）

我们提出了EmerNeRF，一种简单而强大的方法，用于学习动态驾驶场景的时空表示。EmerNeRF基于神经场，同时捕捉场景的几何、外观、运动和语义，通过自我引导实现。该方法将场景分为静态和动态场，并通过自我监督进行学习，避免依赖真实标注或预训练模型。实验结果表明，EmerNeRF在传感器模拟中表现出色，重建静态和动态场景的PSNR分别提升了2.93和3.70。此外，我们将2D视觉基础模型特征提升至4D时空，显著提高了3D感知性能。

🔬 方法详解

问题定义：本论文旨在解决动态驾驶场景的时空表示学习问题。现有方法通常依赖于真实标注或预训练模型，限制了其在实际应用中的灵活性和适应性。

核心思路：EmerNeRF的核心思路是通过自我监督将场景分解为静态和动态场，并利用流场参数化来增强动态对象的特征聚合，从而提高渲染精度。

技术框架：EmerNeRF的整体架构包括三个主要模块：静态场、动态场和流场。静态场捕捉场景的几何和外观，动态场负责运动信息的捕捉，而流场则用于多帧特征的聚合。

关键创新：EmerNeRF的关键创新在于其完全依赖自我监督进行场景分解，避免了对真实标注的依赖。此外，通过引入流场，模型能够更精确地处理动态对象的渲染。

关键设计：在网络结构上，EmerNeRF采用了特定的损失函数来优化静态和动态场的学习，同时在流场的参数化中引入了多帧特征聚合的机制，以提升动态场景的重建质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EmerNeRF在传感器模拟中表现优异，静态场景的PSNR提升了2.93，动态场景的PSNR提升了3.70。此外，通过将2D视觉特征提升至4D时空，3D感知性能平均提升了37.50%。

🎯 应用场景

EmerNeRF在自动驾驶、虚拟现实和增强现实等领域具有广泛的应用潜力。通过高效的时空场景表示，该方法能够支持更精确的动态对象识别与跟踪，为智能交通系统和沉浸式体验提供技术基础。未来，该技术还可能推动更复杂场景的理解与建模。

📄 摘要（原文）

We present EmerNeRF, a simple yet powerful approach for learning spatial-temporal representations of dynamic driving scenes. Grounded in neural fields, EmerNeRF simultaneously captures scene geometry, appearance, motion, and semantics via self-bootstrapping. EmerNeRF hinges upon two core components: First, it stratifies scenes into static and dynamic fields. This decomposition emerges purely from self-supervision, enabling our model to learn from general, in-the-wild data sources. Second, EmerNeRF parameterizes an induced flow field from the dynamic field and uses this flow field to further aggregate multi-frame features, amplifying the rendering precision of dynamic objects. Coupling these three fields (static, dynamic, and flow) enables EmerNeRF to represent highly-dynamic scenes self-sufficiently, without relying on ground truth object annotations or pre-trained models for dynamic object segmentation or optical flow estimation. Our method achieves state-of-the-art performance in sensor simulation, significantly outperforming previous methods when reconstructing static (+2.93 PSNR) and dynamic (+3.70 PSNR) scenes. In addition, to bolster EmerNeRF's semantic generalization, we lift 2D visual foundation model features into 4D space-time and address a general positional bias in modern Transformers, significantly boosting 3D perception performance (e.g., 37.50% relative improvement in occupancy prediction accuracy on average). Finally, we construct a diverse and challenging 120-sequence dataset to benchmark neural fields under extreme and highly-dynamic settings.