Rethinking Iterative Stereo Matching from Diffusion Bridge Model Perspective

📄 arXiv: 2404.09051v1 📥 PDF

作者: Yuguang Shi

分类: cs.CV, cs.AI

发布日期: 2024-04-13

备注: tip. arXiv admin note: text overlap with arXiv:2303.06615 by other authors

💡 一句话要点

提出扩散桥模型视角下的迭代立体匹配方法以解决信息损失问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 立体匹配 扩散模型 迭代优化 深度学习 计算机视觉

📋 核心要点

  1. 现有的迭代立体匹配方法在优化视差图时存在信息损失，限制了细节表达能力。
  2. 本文提出将扩散模型引入迭代优化过程，并设计了T-GRU和注意力上下文网络以增强特征表达。
  3. 实验结果显示，模型在Scene Flow数据集上取得了超过7%的性能提升，且迭代次数显著减少。

📝 摘要（中文）

近年来，基于迭代的立体匹配方法展现了巨大的潜力。然而，这些模型通过RNN变体优化视差图，离散优化过程导致信息损失，限制了生成视差图的细节表达。为了解决这些问题，本文提出了一种新颖的训练方法，将扩散模型融入迭代优化过程中。我们设计了基于时间的门控循环单元（T-GRU）以关联时间和视差输出，并采用代理注意力生成更具表现力的特征。此外，我们还设计了一个基于注意力的上下文网络，以捕获大量上下文信息。实验结果表明，我们在多个公共基准上实现了竞争力的立体匹配性能，在Scene Flow数据集中排名第一，相较于竞争方法提升超过7%，且仅需8次迭代即可达到最先进的结果。

🔬 方法详解

问题定义：本文旨在解决现有迭代立体匹配方法中因离散优化导致的信息损失问题，这限制了生成视差图的细节表现。

核心思路：通过将扩散模型引入迭代优化过程，结合时间信息和视差输出，提升特征表达能力，从而改善视差图的生成质量。

技术框架：整体架构包括时间门控循环单元（T-GRU）和基于注意力的上下文网络。T-GRU用于关联时间序列数据与视差输出，而上下文网络则用于捕获丰富的上下文信息。

关键创新：最重要的创新在于引入了扩散模型和代理注意力机制，使得模型能够生成更具表现力的特征，与传统的RNN变体相比，显著提升了视差图的质量。

关键设计：在网络结构上，T-GRU设计为时间序列处理的核心模块，代理注意力机制用于特征生成，损失函数则针对视差图的细节表现进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的模型在Scene Flow数据集上取得了超过7%的性能提升，且仅需8次迭代便达到了最先进的结果，展现了显著的效率与效果优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和三维重建等。通过提高立体匹配的精度和效率，该方法能够在复杂环境中实现更高质量的深度感知，为相关领域的技术进步提供支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recently, iteration-based stereo matching has shown great potential. However, these models optimize the disparity map using RNN variants. The discrete optimization process poses a challenge of information loss, which restricts the level of detail that can be expressed in the generated disparity map. In order to address these issues, we propose a novel training approach that incorporates diffusion models into the iterative optimization process. We designed a Time-based Gated Recurrent Unit (T-GRU) to correlate temporal and disparity outputs. Unlike standard recurrent units, we employ Agent Attention to generate more expressive features. We also designed an attention-based context network to capture a large amount of contextual information. Experiments on several public benchmarks show that we have achieved competitive stereo matching performance. Our model ranks first in the Scene Flow dataset, achieving over a 7% improvement compared to competing methods, and requires only 8 iterations to achieve state-of-the-art results.