A Neural Height-Map Approach for the Binocular Photometric Stereo Problem

📄 arXiv: 2311.05958v1 📥 PDF

作者: Fotios Logothetis, Ignas Budvytis, Roberto Cipolla

分类: cs.CV

发布日期: 2023-11-10

备注: WACV 2024

💡 一句话要点

提出神经高度图方法以解决双目光度立体问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 双目光度立体 神经高度图 几何估计 BRDF 计算机视觉 深度学习

📋 核心要点

  1. 现有的多视图光度立体方法在几何估计质量上存在不足，尤其是在复杂光照条件下表现不佳。
  2. 本研究提出通过神经高度图表示表面，并使用学习的BRDF进行每点强度渲染，从而提高几何估计的准确性。
  3. 实验结果表明，所提方法在DiLiGenT-MV和LUCES-ST数据集上均实现了最先进的性能，显著优于现有基线方法。

📝 摘要（中文）

本研究提出了一种新颖且实用的双目光度立体框架，其采集速度与单视图光度立体相同，但显著提高了几何估计的质量。我们将形状估计任务表述为通过最小化多个光照变化图像的法线估计误差和渲染表面强度与观察图像之间的差异，来学习可微分的表面和纹理表示。与典型的多视图形状估计方法不同，我们的表面表示为神经高度图，由深度神经网络计算表面上点的高度。此外，我们使用学习的BRDF进行近场每点强度渲染，而不是预测平均强度或引入朗伯材质假设。我们的方法在适应双目立体设置的DiLiGenT-MV数据集和新的双目光度立体数据集LUCES-ST上实现了最先进的性能。

🔬 方法详解

问题定义：本研究旨在解决双目光度立体中几何估计质量不足的问题。现有方法在复杂光照条件下的表现较差，难以准确重建物体表面。

核心思路：我们提出了一种新的框架，通过神经高度图表示表面，并利用学习的BRDF进行近场强度渲染，旨在提高几何估计的准确性和质量。

技术框架：整体架构包括多个模块：首先，通过深度神经网络计算表面上点的高度，形成神经高度图；其次，利用多个光照变化图像估计法线，并最小化法线误差；最后，通过渲染生成的表面强度与观察图像进行对比，优化模型。

关键创新：本研究的核心创新在于将表面表示为神经高度图，而非传统的体积表示，同时使用学习的BRDF进行每点强度渲染，这与现有方法形成了本质区别。

关键设计：在技术细节上，我们设计了特定的损失函数以最小化法线误差，并优化了网络结构以适应神经高度图的计算需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在DiLiGenT-MV数据集上相较于基线方法提高了几何估计的准确性，且在新的LUCES-ST数据集上也取得了最先进的性能，充分验证了方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、机器人导航和增强现实等。通过提高几何估计的准确性，该方法可以在物体识别、三维重建和场景理解等任务中发挥重要作用，具有广泛的实际价值和未来影响。

📄 摘要（原文）

In this work we propose a novel, highly practical, binocular photometric stereo (PS) framework, which has same acquisition speed as single view PS, however significantly improves the quality of the estimated geometry. As in recent neural multi-view shape estimation frameworks such as NeRF, SIREN and inverse graphics approaches to multi-view photometric stereo (e.g. PS-NeRF) we formulate shape estimation task as learning of a differentiable surface and texture representation by minimising surface normal discrepancy for normals estimated from multiple varying light images for two views as well as discrepancy between rendered surface intensity and observed images. Our method differs from typical multi-view shape estimation approaches in two key ways. First, our surface is represented not as a volume but as a neural heightmap where heights of points on a surface are computed by a deep neural network. Second, instead of predicting an average intensity as PS-NeRF or introducing lambertian material assumptions as Guo et al., we use a learnt BRDF and perform near-field per point intensity rendering. Our method achieves the state-of-the-art performance on the DiLiGenT-MV dataset adapted to binocular stereo setup as well as a new binocular photometric stereo dataset - LUCES-ST.