LiteMatch: Lightweight Zero-Shot Stereo Matching via Cost Volume Stabilization
作者: Md Raqib Khan, Santosh Kumar Vipparthi, Subrahmanyam Murala
分类: cs.CV
发布日期: 2026-06-30
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出LiteMatch以解决轻量级零-shot立体匹配问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 立体匹配 零-shot学习 轻量级网络 成本体积 深度学习
📋 核心要点
- 现有的立体匹配方法通常依赖重型网络和复杂的3D处理，导致高内存和计算开销，限制了其实际应用。
- LiteMatch通过引入跨视图对应编码器和高频编码器，结合成本体积一致性损失，实现了轻量级且高效的零-shot立体匹配。
- 在Scene Flow、KITTI、Middlebury等多个数据集上，LiteMatch展现出竞争力的EPE和D1性能，证明了其优秀的泛化能力。
📝 摘要（中文）
尽管基于学习的立体匹配技术取得了快速进展，但高精度往往伴随着重型骨干网络和计算密集型的3D成本体积处理，导致显著的内存和运行时开销。此外，这些方法在跨领域的泛化能力上常常面临挑战，限制了它们的实际应用。本文提出了LiteMatch，一个轻量级的立体匹配框架，通过成本体积稳定化实现强大的零-shot泛化能力，而无需昂贵的3D卷积。LiteMatch采用了两个互补的编码器：跨视图对应编码器（CVCE）用于捕捉全局跨视图交互，高频编码器（HFE）通过基于FFT的频率线索增强细微结构细节。我们引入了成本体积一致性损失（CVC-Loss），通过鼓励清晰和单峰的视差概率，促进稳定的成本分布并实现快速收敛。LiteMatch在多个数据集上表现出色，证明轻量级架构能够在不牺牲精度的情况下实现跨领域泛化。
🔬 方法详解
问题定义：本文旨在解决现有立体匹配方法在跨领域泛化能力不足和高计算开销的问题。现有方法通常依赖重型网络和复杂的3D卷积，导致内存和运行时开销显著。
核心思路：LiteMatch的核心思路是通过成本体积稳定化来实现轻量级的零-shot立体匹配，避免了昂贵的3D卷积操作。通过引入跨视图对应编码器和高频编码器，LiteMatch能够有效捕捉全局交互和细微结构。
技术框架：LiteMatch的整体架构包括两个主要编码器：跨视图对应编码器（CVCE）和高频编码器（HFE），以及一个轻量级的精细化模块。CVCE用于捕捉全局视图间的对应关系，HFE则通过FFT增强细节。成本体积一致性损失（CVC-Loss）用于稳定成本分布。
关键创新：LiteMatch的关键创新在于引入了CVC-Loss，通过鼓励单峰的视差概率，促进了成本分布的稳定性，从而实现了快速收敛。这一方法与传统的重型网络设计形成鲜明对比。
关键设计：LiteMatch的参数设置灵活，范围从3.36M到9.58M，采用了二元交叉熵作为CVC-Loss的损失函数，确保了成本分布的清晰和稳定。轻量级的精细化模块通过低迭代更新生成高分辨率的视差，避免了重型的递归精细化过程。
🖼️ 关键图片
📊 实验亮点
LiteMatch在多个数据集上表现出色，达到了竞争力的EPE和D1性能，证明了其在零-shot泛化能力上的优势。与传统方法相比，LiteMatch在保持高精度的同时，显著降低了模型参数和计算开销，展示了轻量级架构的有效性。
🎯 应用场景
LiteMatch的研究成果在自动驾驶、机器人视觉和增强现实等领域具有广泛的应用潜力。其轻量级设计使得在资源受限的设备上也能实现高效的立体匹配，推动了相关技术的实际部署和应用。
📄 摘要（原文）
Despite rapid progress in learning-based stereo matching, high accuracy is often achieved at the cost of heavy backbones and computationally intensive 3D cost volume processing, resulting in substantial memory and runtime overhead. More critically, these methods frequently struggle to generalize across domains, limiting their practical deployment. We present \textit{LiteMatch}, a lightweight stereo matching framework that achieves strong zero-shot generalization through cost volume stabilization-without expensive 3D convolutions. LiteMatch employs two complementary encoders: a Cross-View Correspondence Encoder (CVCE) to capture global cross-view interactions, and a High-Frequency Encoder (HFE) that enhances fine structural details via FFT-based frequency cues. To stabilize the cost volume, we introduce the \textit{Cost Volume Consistency Loss (CVC-Loss)}, a voxel-wise binary cross-entropy objective applied to softmax-normalized cost distributions. By encouraging sharp and unimodal disparity probabilities, CVC-Loss promotes stable cost distributions and enables rapid convergence. A lightweight refinement module further produces sharp full-resolution disparities with low-iteration updates, avoiding heavy recurrent refinement. With a flexible design ranging from 3.36M to 9.58M parameters, LiteMatch achieves exceptional zero-shot generalization, delivering competitive EPE and D1 performance across Scene Flow, KITTI, Middlebury, ETH3D, and DrivingStereo. Our results establish that lightweight architectures can indeed generalize across domains without sacrificing accuracy. \href{https://mdraqibkhan.github.io/Litematch}{\textcolor{blue}{Code}}