Iterative Occlusion-Aware Light Field Depth Estimation using 4D Geometrical Cues

📄 arXiv: 2403.02043v2 📥 PDF

作者: Rui Lourenço, Lucas Thomaz, Eduardo A. B. Silva, Sergio M. M. Faria

分类: eess.IV, cs.CV

发布日期: 2024-03-04 (更新: 2025-05-14)

💡 一句话要点

提出基于4D几何线索的迭代遮挡感知光场深度估计方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光场深度估计 4D几何模型 遮挡感知 非学习优化 表面法线精度 计算机视觉 深度学习

📋 核心要点

  1. 现有的深度估计方法在处理遮挡区域和表面法线精度方面存在不足，影响了深度估计的准确性。
  2. 本文提出了一种基于4D几何模型的非学习优化方法，明确考虑了表面法线和遮挡区域，以提高深度估计的准确性。
  3. 实验结果显示，所提方法在表面法线角度精度上优于现有方法，且在均方误差和坏像素率方面表现出竞争力。

📝 摘要（中文）

光场相机和多摄像头阵列已成为通过被动捕捉光信息来准确估计深度的有前景的解决方案。这是因为场景的三维信息嵌入在四维光场几何中。现有的深度估计方法通常依赖于梯度信息、启发式优化模型或基于学习的方法。本文主要关注明确理解和利用4D几何线索进行光场深度估计，提出了一种基于非学习优化方法的新颖深度估计方法，该方法明确考虑了表面法线精度和遮挡区域，利用了完全可解释的4D光场几何模型。实验结果表明，所提方法在表面法线角度精度方面优于现有的学习和非学习方法，平均在平面表面上实现了比现有技术低26.3%的中位角误差，并在均方误差和坏像素率方面与现有方法具有竞争力。

🔬 方法详解

问题定义：本文旨在解决光场深度估计中对遮挡区域和表面法线精度的处理不足，现有方法往往依赖于梯度信息和启发式优化，导致深度估计不够准确。

核心思路：论文提出了一种基于4D几何线索的非学习优化方法，通过明确考虑表面法线和遮挡区域，利用4D光场几何模型来提高深度估计的准确性。

技术框架：整体架构包括四个主要模块：首先，通过4D几何模型提取光场信息；其次，分析关键2D平面的交点；然后，进行深度/视差估计；最后，优化表面法线和遮挡区域的处理。

关键创新：最重要的创新在于提出了一种完全可解释的4D几何模型，能够有效地处理遮挡和表面法线问题，与现有方法相比，提供了更高的深度估计精度。

关键设计：在参数设置上，采用了针对表面法线和遮挡区域的优化策略，损失函数设计上考虑了法线角度误差和深度估计的整体一致性，确保了模型的可解释性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在表面法线角度精度上比现有技术低26.3%的中位角误差，同时在均方误差和坏像素率方面与现有方法保持竞争力，展示了其优越的性能。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实以及机器人视觉等场景，能够为这些领域提供更为准确的深度信息，从而提升用户体验和系统性能。未来，该方法有望在自动驾驶、三维重建等领域发挥重要作用。

📄 摘要（原文）

Light field cameras and multi-camera arrays have emerged as promising solutions for accurately estimating depth by passively capturing light information. This is possible because the 3D information of a scene is embedded in the 4D light field geometry. Commonly, depth estimation methods extract this information relying on gradient information, heuristic-based optimisation models, or learning-based approaches. This paper focuses mainly on explicitly understanding and exploiting 4D geometrical cues for light field depth estimation. Thus, a novel method is proposed, based on a non-learning-based optimisation approach for depth estimation that explicitly considers surface normal accuracy and occlusion regions by utilising a fully explainable 4D geometric model of the light field. The 4D model performs depth/disparity estimation by determining the orientations and analysing the intersections of key 2D planes in 4D space, which are the images of 3D-space points in the 4D light field. Experimental results show that the proposed method outperforms both learning-based and non-learning-based state-of-the-art methods in terms of surface normal angle accuracy, achieving a Median Angle Error on planar surfaces, on average, 26.3$\%$ lower than the state-of-the-art, and still being competitive with state-of-the-art methods in terms of MSE ${\times}$ 100 and Badpix 0.07.