An evaluation of Deep Learning based stereo dense matching dataset shift from aerial images and a large scale stereo dataset

📄 arXiv: 2402.12522v1 📥 PDF

作者: Teng Wu, Bruno Vallet, Marc Pierrot-Deseilligny, Ewelina Rupnik

分类: cs.CV

发布日期: 2024-02-19

期刊: International Journal of Applied Earth Observation and Geoinformation, 128(2024)

DOI: 10.1016/j.jag.2024.103715

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于LiDAR生成真实场景的稠密匹配数据集以解决数据集偏移问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 稠密匹配 深度学习 激光雷达 数据集偏移 3D重建 计算机视觉 图像处理

📋 核心要点

  1. 现有的深度学习方法在稠密匹配中依赖于高质量的训练数据集，而生成真实场景的视差图仍然面临挑战。
  2. 本文提出了一种从激光雷达和图像生成真实视差图的方法，构建了一个大型多样化的数据集，并引入了精细化的共同注册技术。
  3. 实验表明，GANet在相同训练和测试数据上表现最佳，而PSMNet在不同数据集上表现出良好的鲁棒性。

📝 摘要（中文）

稠密匹配对于3D场景重建至关重要，因为它能够从图像获取中恢复场景的3D几何形状。深度学习方法在计算机视觉领域的极线立体视差估计中表现出色，但生成真实场景的真实视差图仍然是一个挑战。为此，本文提出了一种直接从激光雷达和图像生成真实视差图的方法，构建了一个大型多样化的数据集，涵盖六个航空数据集和不同分辨率的区域。我们还引入了LiDAR与图像的共同注册精细化，特别关注遮挡问题，避免视差插值以减少精度损失。通过对11种稠密匹配方法的评估，发现GANet在相同训练和测试数据上表现最佳，而PSMNet在不同数据集上表现出鲁棒性。

🔬 方法详解

问题定义：本文旨在解决生成真实场景视差图的困难，现有方法在数据集偏移和真实场景的稠密匹配中存在不足。

核心思路：通过结合激光雷达数据和图像，直接生成真实视差图，构建一个多样化的数据集，以提高深度学习模型的训练效果。

技术框架：整体框架包括数据采集、LiDAR与图像的共同注册、视差图生成及数据集构建等主要模块，确保数据的准确性和多样性。

关键创新：引入了LiDAR与图像的共同注册精细化技术，特别关注遮挡问题，避免了传统方法中的视差插值，从而提高了生成视差图的精度。

关键设计：在参数设置上，采用了针对不同场景的优化策略，损失函数设计上考虑了视差图的精度和一致性，网络结构上结合了深度学习的最新进展以提升性能。

📊 实验亮点

实验结果显示，GANet在相同训练和测试数据上达到了最佳性能，而PSMNet在不同数据集上表现出良好的鲁棒性。通过对11种稠密匹配方法的评估，本文提出的策略在数据集偏移问题上显著提升了模型的适应性和准确性。

🎯 应用场景

该研究的潜在应用领域包括城市建模、无人驾驶、环境监测等，能够为3D重建和场景理解提供高质量的数据支持。未来，该方法的推广将有助于提升相关领域的自动化和智能化水平。

📄 摘要（原文）

Dense matching is crucial for 3D scene reconstruction since it enables the recovery of scene 3D geometry from image acquisition. Deep Learning (DL)-based methods have shown effectiveness in the special case of epipolar stereo disparity estimation in the computer vision community. DL-based methods depend heavily on the quality and quantity of training datasets. However, generating ground-truth disparity maps for real scenes remains a challenging task in the photogrammetry community. To address this challenge, we propose a method for generating ground-truth disparity maps directly from Light Detection and Ranging (LiDAR) and images to produce a large and diverse dataset for six aerial datasets across four different areas and two areas with different resolution images. We also introduce a LiDAR-to-image co-registration refinement to the framework that takes special precautions regarding occlusions and refrains from disparity interpolation to avoid precision loss. Evaluating 11 dense matching methods across datasets with diverse scene types, image resolutions, and geometric configurations, which are deeply investigated in dataset shift, GANet performs best with identical training and testing data, and PSMNet shows robustness across different datasets, and we proposed the best strategy for training with a limit dataset. We will also provide the dataset and training models; more information can be found at https://github.com/whuwuteng/Aerial_Stereo_Dataset.