Digging Into Normal Incorporated Stereo Matching
作者: Zihua Liu, Songyan Zhang, Zhicheng Wang, Masatoshi Okutomi
分类: cs.CV
发布日期: 2024-02-28
期刊: Proceedings of the 30th ACM International Conference on Multimedia (ACMMM2022), pp.6050-6060, October 2022
💡 一句话要点
提出一种结合法线信息的立体匹配框架以解决低纹理区域问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 立体匹配 法线信息 几何引导 深度学习 视差估计 低纹理区域 残差学习
📋 核心要点
- 现有的立体匹配算法在低纹理、遮挡和边界区域的视差估计存在显著不足，影响整体性能。
- 本文提出了一种结合法线信息的联合学习框架，通过非局部视差传播和关注相似性的残差学习来解决上述问题。
- 在KITTI 2015数据集中，我们的方法在前景像素的立体匹配中排名第一，显示出显著的性能提升。
📝 摘要（中文）
尽管基于学习的立体匹配算法取得了显著进展，但在低纹理、遮挡和边界区域的视差估计仍然是限制性能的瓶颈。为了解决这些挑战，几何引导（如平面信息）是必要的，因为它提供了关于视差一致性和相似性的直观指导。本文提出了一种结合法线信息的联合学习框架，包括非局部视差传播（NDP）和关注相似性的残差学习（ARL）两个模块。首先利用估计的法线图计算非局部相似度矩阵和非局部偏移量，在视差层面进行空间传播。为了增强几何一致性，特别是在低纹理区域，估计的法线图被用来计算局部相似度矩阵，为残差学习提供了关于修正方向的信息，从而提高了残差学习的效率。对多个公共数据集的广泛实验验证了我们提出方法的有效性。完成此项工作时，我们的方法在KITTI 2015数据集中在前景像素的立体匹配中排名第一，在Scene Flow数据集中排名第三。
🔬 方法详解
问题定义：本文旨在解决低纹理、遮挡和边界区域的视差估计问题，现有方法在这些区域的性能较差，导致整体立体匹配效果不佳。
核心思路：提出结合法线信息的联合学习框架，利用法线图提供几何引导，以增强视差一致性和相似性，从而提高低纹理区域的匹配效果。
技术框架：整体框架包括两个主要模块：非局部视差传播（NDP）和关注相似性的残差学习（ARL）。NDP模块通过法线图计算非局部相似度矩阵和偏移量，ARL模块则利用局部相似度矩阵进行残差学习。
关键创新：最重要的创新在于将法线信息引入立体匹配过程，通过几何引导提升低纹理区域的匹配精度，这是与现有方法的本质区别。
关键设计：在网络设计中，采用了特定的损失函数来优化视差估计，同时在模块间设计了有效的信息传递机制，以确保法线图的有效利用。整体架构经过多次实验验证，确保了高效性和准确性。
🖼️ 关键图片
📊 实验亮点
在多个公共数据集上的实验结果显示，提出的方法在KITTI 2015数据集中前景像素的立体匹配中排名第一，且在Scene Flow数据集中排名第三，表明该方法在视差估计方面具有显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人视觉和三维重建等场景。通过提高低纹理区域的立体匹配精度，能够显著提升这些应用的可靠性和准确性，未来可能对相关技术的发展产生深远影响。
📄 摘要（原文）
Despite the remarkable progress facilitated by learning-based stereo-matching algorithms, disparity estimation in low-texture, occluded, and bordered regions still remains a bottleneck that limits the performance. To tackle these challenges, geometric guidance like plane information is necessary as it provides intuitive guidance about disparity consistency and affinity similarity. In this paper, we propose a normal incorporated joint learning framework consisting of two specific modules named non-local disparity propagation(NDP) and affinity-aware residual learning(ARL). The estimated normal map is first utilized for calculating a non-local affinity matrix and a non-local offset to perform spatial propagation at the disparity level. To enhance geometric consistency, especially in low-texture regions, the estimated normal map is then leveraged to calculate a local affinity matrix, providing the residual learning with information about where the correction should refer and thus improving the residual learning efficiency. Extensive experiments on several public datasets including Scene Flow, KITTI 2015, and Middlebury 2014 validate the effectiveness of our proposed method. By the time we finished this work, our approach ranked 1st for stereo matching across foreground pixels on the KITTI 2015 dataset and 3rd on the Scene Flow dataset among all the published works.