Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis
作者: Christian Reiser, Stephan Garbin, Pratul P. Srinivasan, Dor Verbin, Richard Szeliski, Ben Mildenhall, Jonathan T. Barron, Peter Hedman, Andreas Geiger
分类: cs.CV
发布日期: 2024-02-19
备注: Project page at https://binary-opacity-grid.github.io
💡 一句话要点
提出二进制不透明网格以解决细结构重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视图合成 几何重建 不透明网格 实时渲染 计算机视觉 增强现实 虚拟现实
📋 核心要点
- 现有的基于表面的视图合成方法在重建薄结构时存在困难，导致细节丢失。
- 本文提出了一种离散不透明网格表示，结合多光线投射和二进制熵最小化，改善了几何细节的重建。
- 实验表明，所提方法生成的网格在移动设备上可实时渲染，且视图合成质量显著高于现有方法。
📝 摘要（中文）
尽管基于表面的视图合成算法因其低计算需求而受到青睐，但在重建薄结构方面常常面临挑战。相比之下，建模场景几何的体积密度场（如NeRF）在重建细致几何细节方面表现优异。然而，密度场通常以“模糊”的方式表示几何形状，妨碍了表面的精确定位。本文通过修改密度场，鼓励其向表面收敛，同时不妨碍重建薄结构的能力。我们采用离散不透明网格表示，允许不透明值在表面处不连续地从零过渡到一。通过每个像素投射多条光线进行抗锯齿处理，能够在不使用半透明体素的情况下建模遮挡边界和亚像素结构。最后，我们开发了一种基于融合的网格策略，生成的紧凑网格可以在移动设备上实时渲染，并显著提高视图合成质量。
🔬 方法详解
问题定义：本文旨在解决现有基于表面的视图合成算法在重建细结构时的不足，尤其是薄结构的精确定位问题。现有的体积密度场方法虽然在细节重建上表现良好，但常常以模糊的方式表示几何形状，影响了表面的准确性。
核心思路：论文的核心思路是通过引入离散不透明网格表示，鼓励密度场向表面收敛，同时保持对薄结构的重建能力。通过这种方式，能够实现更清晰的几何细节表示。
技术框架：整体架构包括离散不透明网格的构建、每个像素多光线投射的抗锯齿处理、二进制熵最小化以及基于融合的网格生成策略。每个模块相互配合，提升了重建质量和效率。
关键创新：最重要的技术创新在于采用离散不透明网格表示，这一方法与传统的连续密度场方法本质上不同，能够更有效地捕捉几何细节并精确定位表面。
关键设计：在设计中，采用了多光线投射技术以减少锯齿现象，并通过最小化不透明值的二进制熵来促进表面几何的提取。此外，网格简化和外观模型拟合的策略也被引入，以提高渲染效率和质量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法生成的网格在视图合成质量上显著优于现有的基于网格的方法，尤其在细节重建方面表现突出。具体而言，所提方法在移动设备上实现了实时渲染，且在多个基准测试中提高了视图合成的清晰度和准确性。
🎯 应用场景
该研究在计算机视觉和图形学领域具有广泛的应用潜力，尤其是在实时渲染、虚拟现实和增强现实等场景中。通过提供高质量的视图合成，能够提升用户体验，并推动相关技术的发展。未来，该方法还可能应用于自动驾驶、机器人视觉等需要精确环境建模的领域。
📄 摘要（原文）
While surface-based view synthesis algorithms are appealing due to their low computational requirements, they often struggle to reproduce thin structures. In contrast, more expensive methods that model the scene's geometry as a volumetric density field (e.g. NeRF) excel at reconstructing fine geometric detail. However, density fields often represent geometry in a "fuzzy" manner, which hinders exact localization of the surface. In this work, we modify density fields to encourage them to converge towards surfaces, without compromising their ability to reconstruct thin structures. First, we employ a discrete opacity grid representation instead of a continuous density field, which allows opacity values to discontinuously transition from zero to one at the surface. Second, we anti-alias by casting multiple rays per pixel, which allows occlusion boundaries and subpixel structures to be modelled without using semi-transparent voxels. Third, we minimize the binary entropy of the opacity values, which facilitates the extraction of surface geometry by encouraging opacity values to binarize towards the end of training. Lastly, we develop a fusion-based meshing strategy followed by mesh simplification and appearance model fitting. The compact meshes produced by our model can be rendered in real-time on mobile devices and achieve significantly higher view synthesis quality compared to existing mesh-based approaches.