Playing to Vision Foundation Model's Strengths in Stereo Matching

📄 arXiv: 2404.06261v1 📥 PDF

作者: Chuang-Wei Liu, Qijun Chen, Rui Fan

分类: cs.CV, cs.AI, cs.RO

发布日期: 2024-04-09

💡 一句话要点

提出ViTAS以解决立体匹配中的几何视觉挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 立体匹配 视觉基础模型 卷积神经网络 视觉Transformer 自监督学习 多尺度特征 几何视觉 智能车辆

📋 核心要点

  1. 现有的立体匹配方法主要依赖于卷积神经网络，但在几何视觉任务中表现不足，亟需新的解决方案。
  2. 本文提出的ViTAS通过三种模块有效地聚合了立体和多尺度上下文信息，适应视觉基础模型于立体匹配任务。
  3. ViTAStereo在KITTI Stereo 2012数据集上表现优异，错误像素比例较第二名提升约7.9%，展示了其卓越的泛化能力。

📝 摘要（中文）

立体匹配已成为智能车辆3D环境感知的关键技术。尽管卷积神经网络（CNN）在特征提取中占据主导地位，但现有方法在几何视觉任务中的表现仍显不足。本文首次探讨了将视觉基础模型（VFM）适应于立体匹配的可行方法。提出的ViT适配器ViTAS通过空间差异化、补丁注意力融合和交叉注意力三种模块构建，成功将立体和多尺度上下文信息聚合为细粒度特征。结合成本体积的ViTAStereo在KITTI Stereo 2012数据集上取得了最佳排名，错误像素比例比第二名的StereoBase提高了约7.9%。

🔬 方法详解

问题定义：本文旨在解决立体匹配中几何视觉任务的不足，现有的卷积神经网络在特征提取方面存在局限性，无法充分利用视觉基础模型的优势。

核心思路：通过设计ViT适配器ViTAS，利用空间差异化、补丁注意力融合和交叉注意力模块，聚合多尺度上下文信息，从而提升立体匹配的精度和效果。

技术框架：ViTAS的整体架构包括三个主要模块：空间差异化模块初始化特征金字塔，补丁注意力融合模块聚合立体信息，交叉注意力模块整合多尺度上下文信息，最终与基于成本体积的立体匹配后端结合。

关键创新：ViTAS的设计创新在于有效结合了视觉基础模型的特征提取能力与立体匹配的几何要求，显著提升了模型在复杂场景下的表现。

关键设计：在网络结构上，ViTAS采用了特定的参数设置以优化特征聚合过程，损失函数设计上则考虑了立体匹配的特定需求，确保了模型的高效训练与准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ViTAStereo在KITTI Stereo 2012数据集上取得了最佳表现，错误像素比例比第二名的StereoBase提升了约7.9%。此外，ViTAS在多种场景下的实验结果显示出其优越的泛化能力，超越了所有现有的最先进方法。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等，能够显著提升这些领域中3D环境感知的精度与可靠性。未来，ViTAS的设计理念可能会推动更多基于视觉基础模型的立体匹配技术的发展，促进智能系统的智能化与自主化。

📄 摘要（原文）

Stereo matching has become a key technique for 3D environment perception in intelligent vehicles. For a considerable time, convolutional neural networks (CNNs) have remained the mainstream choice for feature extraction in this domain. Nonetheless, there is a growing consensus that the existing paradigm should evolve towards vision foundation models (VFM), particularly those developed based on vision Transformers (ViTs) and pre-trained through self-supervision on extensive, unlabeled datasets. While VFMs are adept at extracting informative, general-purpose visual features, specifically for dense prediction tasks, their performance often lacks in geometric vision tasks. This study serves as the first exploration of a viable approach for adapting VFMs to stereo matching. Our ViT adapter, referred to as ViTAS, is constructed upon three types of modules: spatial differentiation, patch attention fusion, and cross-attention. The first module initializes feature pyramids, while the latter two aggregate stereo and multi-scale contextual information into fine-grained features, respectively. ViTAStereo, which combines ViTAS with cost volume-based stereo matching back-end processes, achieves the top rank on the KITTI Stereo 2012 dataset and outperforms the second-best network StereoBase by approximately 7.9% in terms of the percentage of error pixels, with a tolerance of 3 pixels. Additional experiments across diverse scenarios further demonstrate its superior generalizability compared to all other state-of-the-art approaches. We believe this new paradigm will pave the way for the next generation of stereo matching networks.