RomniStereo: Recurrent Omnidirectional Stereo Matching

📄 arXiv: 2401.04345v2 📥 PDF

作者: Hualie Jiang, Rui Xu, Minglang Tan, Wenjie Jiang

分类: cs.CV

发布日期: 2024-01-09 (更新: 2024-01-26)

备注: accepted by IEEE RA-L, https://github.com/HalleyJiang/RomniStereo

🔗 代码/项目: GITHUB

💡 一句话要点

提出RomniStereo以解决全景立体匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 全景立体匹配 深度感知 递归更新 自适应加权 计算机视觉

📋 核心要点

  1. 现有的全景立体匹配方法依赖复杂的3D编码器-解码器结构，导致系统复杂且效果不理想。
  2. 本文提出了一种递归自适应加权方案，将全景OSM的输出无缝转换为递归更新所需的输入，从而构建RomniStereo算法。
  3. 实验结果显示，RomniStereo在五个数据集上的平均MAE指标比之前的SOTA基线提高了40.7%，在合成和真实示例中均表现出明显优势。

📝 摘要（中文）

全景立体匹配（OSM）是实现360度深度感知的重要手段。然而，现有的最先进方法依赖于复杂的3D编码器-解码器结构，导致系统复杂且效果不佳。本文提出了一种基于递归全对场变换（RAFT）的方法，通过对全景OSM输出进行自适应加权，构建了递归全景立体匹配算法RomniStereo。此外，论文还引入了网格嵌入和自适应上下文特征生成两项技术，进一步提升了RomniStereo的性能。实验结果表明，最佳模型在五个数据集上平均MAE指标比之前的SOTA基线提高了40.7%。

🔬 方法详解

问题定义：本文旨在解决全景立体匹配（OSM）中的复杂性和效果不佳的问题。现有方法通常依赖于3D编码器-解码器结构，导致系统复杂且难以优化。

核心思路：论文提出了一种递归自适应加权方案，旨在将全景OSM的输出有效转换为递归更新所需的输入。这种设计能够简化系统结构并提高匹配精度。

技术框架：RomniStereo的整体架构包括三个主要模块：首先是全景图像的球面扫描，其次是自适应加权模块，最后是递归更新模块。每个模块之间通过特征传递进行连接，确保信息的有效流动。

关键创新：论文的主要创新在于提出了自适应加权方案和网格嵌入技术，这些创新使得RomniStereo在处理全景立体匹配时能够更好地利用上下文信息，从而显著提升性能。

关键设计：在网络结构方面，RomniStereo采用了递归更新机制，并结合了自适应上下文特征生成技术。损失函数设计上，重点关注MAE指标，以确保模型在深度估计任务中的准确性。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RomniStereo在五个数据集上的平均MAE指标比之前的SOTA基线提高了40.7%。在合成和真实示例中，模型的表现均显著优于现有方法，展示了其在全景立体匹配任务中的有效性和优势。

🎯 应用场景

RomniStereo的研究成果在多个领域具有广泛的应用潜力，尤其是在自动驾驶、虚拟现实和机器人导航等需要360度深度感知的场景中。通过提高全景立体匹配的精度和效率，该技术能够为相关应用提供更为可靠的深度信息，推动智能系统的发展。

📄 摘要（原文）

Omnidirectional stereo matching (OSM) is an essential and reliable means for $360^{\circ}$ depth sensing. However, following earlier works on conventional stereo matching, prior state-of-the-art (SOTA) methods rely on a 3D encoder-decoder block to regularize the cost volume, causing the whole system complicated and sub-optimal results. Recently, the Recurrent All-pairs Field Transforms (RAFT) based approach employs the recurrent update in 2D and has efficiently improved image-matching tasks, ie, optical flow, and stereo matching. To bridge the gap between OSM and RAFT, we mainly propose an opposite adaptive weighting scheme to seamlessly transform the outputs of spherical sweeping of OSM into the required inputs for the recurrent update, thus creating a recurrent omnidirectional stereo matching (RomniStereo) algorithm. Furthermore, we introduce two techniques, ie, grid embedding and adaptive context feature generation, which also contribute to RomniStereo's performance. Our best model improves the average MAE metric by 40.7\% over the previous SOTA baseline across five datasets. When visualizing the results, our models demonstrate clear advantages on both synthetic and realistic examples. The code is available at \url{https://github.com/HalleyJiang/RomniStereo}.