S3Net: Innovating Stereo Matching and Semantic Segmentation with a Single-Branch Semantic Stereo Network in Satellite Epipolar Imagery

📄 arXiv: 2401.01643v3 📥 PDF

作者: Qingyuan Yang, Guanzhou Chen, Xiaoliang Tan, Tong Wang, Jiaqi Wang, Xiaodong Zhang

分类: cs.CV

发布日期: 2024-01-03 (更新: 2024-10-01)

备注: Published in: IGARSS 2024 - 2024 IEEE International Geoscience and Remote Sensing Symposium

期刊: IGARSS 2024 - 2024 IEEE International Geoscience and Remote Sensing Symposium, Athens, Greece, 2024, pp. 8737-8740

DOI: 10.1109/IGARSS53475.2024.10640492

🔗 代码/项目: GITHUB

💡 一句话要点

提出S3Net以解决卫星立体影像中的立体匹配与语义分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 立体匹配 语义分割 多任务学习 深度学习 卫星影像 三维重建

📋 核心要点

  1. 现有方法将立体匹配与语义分割视为独立任务，缺乏有效的多任务学习框架，导致信息利用不充分。
  2. 本文提出的S3Net通过自融合和互融合模块，将语义分割与立体匹配有效结合，充分挖掘两者之间的内在联系。
  3. 在US3D数据集上，S3Net的mIoU从61.38提升至67.39，D1-Error和EPE也显著降低，验证了其优越性。

📝 摘要（中文）

立体匹配和语义分割是双目卫星三维重建中的重要任务。然而，现有研究主要将这两者视为独立的平行任务，缺乏集成的多任务学习框架。本文提出了单分支语义立体网络（S3Net），创新性地结合了语义分割和立体匹配，利用自融合和互融合模块，识别并利用这两项任务之间的内在联系，从而提高语义信息理解和视差估计的准确性。在US3D数据集上的比较测试证明了S3Net的有效性，语义分割的mIoU从61.38提升至67.39，视差估计中的D1-Error和平均端点误差（EPE）分别从10.051降低至9.579和1.439降低至1.403，超越了现有的竞争方法。

🔬 方法详解

问题定义：本文旨在解决卫星立体影像中立体匹配与语义分割任务的独立性问题。现有方法未能有效整合这两项任务，导致信息利用不充分，影响了三维重建的准确性。

核心思路：S3Net通过设计自融合和互融合模块，创新性地将语义分割与立体匹配结合，识别并利用两者之间的内在联系，从而提升模型的整体性能。

技术框架：S3Net的整体架构包括输入层、特征提取层、自融合模块和互融合模块，最后通过输出层进行语义分割和视差估计。自融合模块用于增强特征表示，互融合模块则用于在两个任务之间共享信息。

关键创新：S3Net的核心创新在于其单分支结构，通过自融合和互融合模块实现了语义分割与立体匹配的有效结合。这一设计与传统方法的独立处理方式形成鲜明对比，显著提升了任务间的信息共享。

关键设计：在网络结构设计上，S3Net采用了深度卷积神经网络，结合了多尺度特征提取技术。损失函数方面，采用了联合损失函数以平衡语义分割和视差估计的训练目标，确保两者的协同优化。具体参数设置和网络层数在实验中进行了详细调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

S3Net在US3D数据集上的实验结果显示，语义分割的mIoU从61.38提升至67.39，D1-Error从10.051降低至9.579，平均端点误差（EPE）从1.439降低至1.403，显著超越了现有竞争方法，验证了其有效性。

🎯 应用场景

该研究在卫星遥感、城市规划、环境监测等领域具有广泛的应用潜力。通过提高立体匹配和语义分割的准确性，S3Net能够为三维重建提供更为精确的基础数据，进而推动相关领域的研究与应用发展。

📄 摘要（原文）

Stereo matching and semantic segmentation are significant tasks in binocular satellite 3D reconstruction. However, previous studies primarily view these as independent parallel tasks, lacking an integrated multitask learning framework. This work introduces a solution, the Single-branch Semantic Stereo Network (S3Net), which innovatively combines semantic segmentation and stereo matching using Self-Fuse and Mutual-Fuse modules. Unlike preceding methods that utilize semantic or disparity information independently, our method dentifies and leverages the intrinsic link between these two tasks, leading to a more accurate understanding of semantic information and disparity estimation. Comparative testing on the US3D dataset proves the effectiveness of our S3Net. Our model improves the mIoU in semantic segmentation from 61.38 to 67.39, and reduces the D1-Error and average endpoint error (EPE) in disparity estimation from 10.051 to 9.579 and 1.439 to 1.403 respectively, surpassing existing competitive methods. Our codes are available at:https://github.com/CVEO/S3Net.