DaReNeRF: Direction-aware Representation for Dynamic Scenes

📄 arXiv: 2403.02265v1 📥 PDF

作者: Ange Lou, Benjamin Planche, Zhongpai Gao, Yamin Li, Tianyu Luan, Hao Ding, Terrence Chen, Jack Noble, Ziyan Wu

分类: cs.CV, cs.GR

发布日期: 2024-03-04

备注: Accepted at CVPR 2024. Paper + supplementary material

💡 一句话要点

提出方向感知表示以解决动态场景重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景重建 方向感知表示 小波变换 体积渲染 新视图合成 机器学习 计算机视觉

📋 核心要点

  1. 现有方法在动态场景重渲染中面临训练时间长和高保真度不足的挑战。
  2. 本文提出的方向感知表示（DaRe）通过六个方向捕捉动态信息，结合DTCWT恢复平面信息。
  3. DaReNeRF在新视图合成中实现了最先进的性能，并将训练时间减少了2倍。

📝 摘要（中文）

针对动态场景建模与重渲染的复杂挑战，现有方法多采用基于平面的显式表示，试图简化这些复杂性。然而，将四维动态场景简单分解为多个二维平面表示不足以重渲染高保真场景。为此，本文提出了一种新颖的方向感知表示（DaRe），从六个不同方向捕捉场景动态。该表示通过逆双树复数小波变换（DTCWT）恢复平面信息，并融合这些恢复平面中的向量计算每个时空点的特征。结合小型多层感知机进行颜色回归，并在训练中利用体积渲染，DaReNeRF在复杂动态场景的新视图合成中实现了最先进的性能。此外，针对由六个实数和六个虚数方向感知小波系数引入的冗余，提出了可训练的掩码方法，减轻存储问题而不显著影响性能。同时，DaReNeRF在训练时间上较之前的工作减少了2倍，同时提供了更优的性能。

🔬 方法详解

问题定义：本文旨在解决动态场景建模与重渲染中的复杂性问题。现有方法多依赖于平面表示，导致在处理复杂运动时无法实现高保真度的重渲染。

核心思路：提出方向感知表示（DaRe），通过六个不同方向捕捉场景动态信息，并利用逆双树复数小波变换（DTCWT）恢复平面信息，从而提高重渲染的质量。

技术框架：整体架构包括方向感知表示的学习、DTCWT的应用、特征融合以及小型多层感知机（MLP）进行颜色回归。通过体积渲染技术进行训练，确保高效的特征提取与重渲染。

关键创新：引入了方向感知表示，能够有效捕捉动态场景中的复杂运动信息，并通过可训练的掩码方法解决了冗余问题，显著提升了存储效率与性能。

关键设计：采用逆双树复数小波变换（DTCWT）来恢复平面信息，设计了小型多层感知机用于颜色回归，训练过程中结合体积渲染，确保了高效的训练与高质量的输出。通过可训练的掩码方法减少冗余系数的存储需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DaReNeRF在复杂动态场景的新视图合成中实现了最先进的性能，相较于基线方法，训练时间减少了2倍，同时保持了高质量的重渲染效果。这一成果展示了方向感知表示在动态场景处理中的有效性与优势。

🎯 应用场景

该研究在动态场景重建、虚拟现实、增强现实等领域具有广泛的应用潜力。通过提高动态场景的重渲染质量，能够为游戏、影视制作和模拟训练等提供更真实的视觉体验，推动相关技术的发展与应用。未来，该方法还可能扩展到其他需要高保真动态场景表示的领域。

📄 摘要（原文）

Addressing the intricate challenge of modeling and re-rendering dynamic scenes, most recent approaches have sought to simplify these complexities using plane-based explicit representations, overcoming the slow training time issues associated with methods like Neural Radiance Fields (NeRF) and implicit representations. However, the straightforward decomposition of 4D dynamic scenes into multiple 2D plane-based representations proves insufficient for re-rendering high-fidelity scenes with complex motions. In response, we present a novel direction-aware representation (DaRe) approach that captures scene dynamics from six different directions. This learned representation undergoes an inverse dual-tree complex wavelet transformation (DTCWT) to recover plane-based information. DaReNeRF computes features for each space-time point by fusing vectors from these recovered planes. Combining DaReNeRF with a tiny MLP for color regression and leveraging volume rendering in training yield state-of-the-art performance in novel view synthesis for complex dynamic scenes. Notably, to address redundancy introduced by the six real and six imaginary direction-aware wavelet coefficients, we introduce a trainable masking approach, mitigating storage issues without significant performance decline. Moreover, DaReNeRF maintains a 2x reduction in training time compared to prior art while delivering superior performance.