Lite Any Stereo V2: Faster and Stronger Efficient Zero-Shot Stereo Matching

📄 arXiv: 2606.24457v1 📥 PDF

作者: Junpeng Jing, Ronglai Zuo, Zhelun Shen, Shangchen Zhou, Rolandos Alexandros Potamias, Stefanos Zafeiriou, Krystian Mikolajczyk, Jiankang Deng

分类: cs.CV

发布日期: 2026-06-23

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Lite Any Stereo V2以解决高效零-shot立体匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 立体匹配 零-shot学习 高效模型 合成监督 知识蒸馏 计算机视觉 深度学习

📋 核心要点

  1. 现有立体匹配方法通常依赖于大型模型和重计算，难以在资源受限的平台上有效部署。
  2. 本文提出Lite Any Stereo V2（LAS2），采用2D成本聚合框架和三阶段训练策略，提升了零-shot匹配的效率和准确性。
  3. LAS2在H200和Orin平台上分别实现了1.8倍和2.7倍的推理速度提升，同时在零-shot性能上超越了现有的Fast-FoundationStereo方法。

📝 摘要（中文）

近年来，立体匹配技术取得了显著的准确性，但通常依赖于大型模型和重计算，难以在资源受限的平台上部署。相对而言，高效立体模型虽然推理速度更快，但在零-shot泛化能力上常被认为较弱。本文提出Lite Any Stereo V2（LAS2），一个为高效零-shot立体匹配设计的超快速模型系列。LAS2从架构和训练两个方面进行开发，提出了一种仅基于2D的成本聚合框架，优化了实际推理延迟。通过三阶段策略结合合成监督、自我蒸馏和真实世界知识蒸馏，提升了模型的可靠性。实验表明，LAS2在高效立体方法中实现了最先进的准确性，同时保持显著较低的延迟。

🔬 方法详解

问题定义：本文旨在解决高效零-shot立体匹配中的性能与推理速度之间的矛盾。现有方法通常需要大型模型和复杂计算，导致在资源受限环境中的应用受限。

核心思路：LAS2通过重新设计立体匹配的架构，采用仅基于2D的成本聚合框架，专注于优化实际推理延迟，而非理论上的计算量（MACs）。

技术框架：LAS2的整体架构包括三个主要阶段：合成监督、自我蒸馏和真实世界知识蒸馏。通过这些阶段，模型能够更好地适应真实世界的应用场景。

关键创新：最重要的创新在于引入了伪标签过滤和误差钳制操作，提升了合成到真实的迁移效果，使得模型在实际应用中更为可靠。

关键设计：在训练过程中，采用了三阶段策略，结合合成数据与真实数据的知识蒸馏，确保模型在不同效率预算下的表现。同时，设计了适应不同需求的前馈变体和迭代变体，以实现更高的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LAS2在高效立体匹配方法中达到了最先进的准确性，特别是LAS2-H在H200和Orin平台上分别实现了1.8倍和2.7倍的推理速度提升，且在零-shot性能上超越了Fast-FoundationStereo方法，展现了其优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和增强现实等场景，能够在资源受限的设备上实现高效的立体匹配。这将推动相关技术在实际应用中的普及与发展，提升智能设备的环境感知能力。

📄 摘要（原文）

Recent advances in stereo matching have achieved remarkable accuracy, but often rely on large models, heavy computation, or additional foundation-model priors, making them difficult to deploy on resource-constrained platforms. In contrast, efficient stereo models offer faster inference but are commonly considered less capable of strong zero-shot generalization. In this paper, we challenge this assumption by introducing Lite Any Stereo V2 (LAS2), an ultra-fast model series designed for efficient zero-shot stereo matching. LAS2 is developed from both architecture and training perspectives. Architecturally, we revisit efficient stereo design under practical deployment settings and propose a 2D-only cost aggregation framework, optimized for real inference latency rather than theoretical MACs alone. For training, we develop a three-stage strategy that combines synthetic supervision, self-distillation, and real-world knowledge distillation. To improve the reliability of real-world pseudo supervision, we further introduce pseudo-label filtering and an error-clamping operation, enabling smoother synthetic-to-real transfer. We instantiate LAS2 as a family of models, including feed-forward variants for different efficiency budgets and an iterative variant for higher accuracy. Extensive experiments show that LAS2 achieves state-of-the-art accuracy among efficient stereo methods while maintaining significantly lower latency. Specifically, LAS2-H achieves stronger overall zero-shot performance than the iterative method Fast-FoundationStereo, with 1.8x and 2.7x faster inference on H200 and Orin, respectively. The project page, demos, and code are available at https://tomtomtommi.github.io/LiteAnyStereoV2/.