Probabilistic Directed Distance Fields for Ray-Based Shape Representations

📄 arXiv: 2404.09081v2 📥 PDF

作者: Tristan Aumentado-Armstrong, Stavros Tsogkas, Sven Dickinson, Allan Jepson

分类: cs.CV, cs.LG

发布日期: 2024-04-13 (更新: 2025-07-29)

备注: Extension of arXiv:2112.05300. Accepted to TPAMI

💡 一句话要点

提出概率导向距离场以解决3D形状表示的渲染效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D形状表示 导向距离场 可微渲染 概率模型 计算机视觉 生成建模 单图像重建

📋 核心要点

  1. 现有的显式和隐式形状表示方法在几何保真度和渲染效率之间存在权衡，导致应用受限。
  2. 本文提出导向距离场（DDF），通过将定向点映射到表面可见性和深度，实现高效的可微渲染。
  3. 实验结果表明，DDF在单形状拟合、生成建模和单图像3D重建等任务中表现出色，展示了其表示的灵活性。

📝 摘要（中文）

在现代计算机视觉中，3D形状的最佳表示依赖于具体任务。传统的显式形状表示（如体素、点云或网格）虽然易于渲染，但几何保真度有限。隐式表示（如占据场、距离场或辐射场）则能保持更高的保真度，但渲染过程复杂且效率低下。本文提出了一种新颖的神经形状表示——导向距离场（DDF），通过将定向点映射到表面可见性和深度，实现高效的可微渲染。利用概率导向距离场（PDDF），我们能够建模基础场中的固有不连续性，并在多个应用中展示了强大的性能。

🔬 方法详解

问题定义：本文旨在解决现有3D形状表示方法在渲染效率和几何保真度之间的矛盾。显式表示方法在保真度上受限，而隐式表示方法则在渲染效率上存在挑战。

核心思路：提出导向距离场（DDF），通过将定向点（位置和方向）映射到表面可见性和深度，来实现高效的可微渲染。这种设计使得每个像素只需一次前向传播即可获得深度信息，同时通过额外的反向传播提取微分几何量（如表面法线）。

技术框架：DDF的整体架构包括输入定向点、映射到表面可见性和深度的核心操作，以及后续的可微渲染过程。通过概率导向距离场（PDDF），模型能够处理基础场中的不连续性。

关键创新：DDF的主要创新在于其高效的可微渲染能力和对几何量提取的简化过程。与传统方法相比，DDF在渲染效率和几何保真度上实现了显著提升。

关键设计：在DDF中，关键参数包括定向点的表示方式和映射函数的设计。损失函数的选择也至关重要，以确保模型在训练过程中能够有效学习到形状的几何特征。

📊 实验亮点

实验结果显示，DDF在单形状拟合和单图像3D重建任务中表现优异，相较于传统方法，渲染效率提高了显著，且几何保真度得到了有效提升，展示了其强大的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的3D重建、虚拟现实和增强现实等场景。DDF的高效渲染能力和灵活性使其在生成建模和形状拟合等任务中具有实际价值，未来可能推动相关技术的发展。

📄 摘要（原文）

In modern computer vision, the optimal representation of 3D shape continues to be task-dependent. One fundamental operation applied to such representations is differentiable rendering, as it enables inverse graphics approaches in learning frameworks. Standard explicit shape representations (voxels, point clouds, or meshes) are often easily rendered, but can suffer from limited geometric fidelity, among other issues. On the other hand, implicit representations (occupancy, distance, or radiance fields) preserve greater fidelity, but suffer from complex or inefficient rendering processes, limiting scalability. In this work, we devise Directed Distance Fields (DDFs), a novel neural shape representation that builds upon classical distance fields. The fundamental operation in a DDF maps an oriented point (position and direction) to surface visibility and depth. This enables efficient differentiable rendering, obtaining depth with a single forward pass per pixel, as well as differential geometric quantity extraction (e.g., surface normals), with only additional backward passes. Using probabilistic DDFs (PDDFs), we show how to model inherent discontinuities in the underlying field. We then apply DDFs to several applications, including single-shape fitting, generative modelling, and single-image 3D reconstruction, showcasing strong performance with simple architectural components via the versatility of our representation. Finally, since the dimensionality of DDFs permits view-dependent geometric artifacts, we conduct a theoretical investigation of the constraints necessary for view consistency. We find a small set of field properties that are sufficient to guarantee a DDF is consistent, without knowing, for instance, which shape the field is expressing.