LiteMVS: Efficient Multi-View Stereo with Foundation Distillation and Expert Aggregation

📄 arXiv: 2608.03851v1 📥 PDF

作者: Tianbao Zhang, Zeyu Liu, Shuyu Wu, Fanxing Li, Zhaoxin Fan, Wenjun Wu, Danping Zou

分类: cs.CV

发布日期: 2026-08-04

备注: CVPR 2026 Workshop accepted

💡 一句话要点

提出LiteMVS以解决多视角立体视觉中的深度估计问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多视角立体视觉 深度估计 几何推理 单目语义 专家混合 3D重建 机器人应用 增强现实

📋 核心要点

  1. 现有多视角立体视觉方法在无纹理或重复区域的深度估计上存在显著不足，导致重建质量下降。
  2. LiteMVS通过将单目语义和结构先验有效整合进多视角框架，提升了深度估计的准确性和鲁棒性。
  3. 在ScanNetv2和7-Scenes数据集上，LiteMVS实现了高质量的深度预测，且效率与现有方法相当，表现出显著的性能提升。

📝 摘要（中文）

实时3D感知对于机器人、增强现实和具身智能应用至关重要。现有的多视角立体视觉方法主要依赖几何对应关系，但在无纹理或重复区域常常失效，而单目深度模型虽然利用了强大的图像级先验，但缺乏稳健的多视角几何约束。为此，本文提出LiteMVS，一个轻量级的多视角深度估计模型，结合了平面扫描几何推理与强大的单目语义和结构先验。LiteMVS通过将从轻量级分割模型和大规模视觉基础模型中获得的单目知识高效注入多视角立体框架，增强了成本体积的语义描述符，并采用专家混合（MoE）形式实现深度假设的自适应几何聚合。实验结果表明，LiteMVS在ScanNetv2和7-Scenes数据集上实现了高质量的深度预测和3D重建，同时保持了竞争力的效率。

🔬 方法详解

问题定义：本文旨在解决现有多视角立体视觉方法在无纹理和重复区域的深度估计不足的问题。这些方法通常依赖几何对应关系，导致在特定场景下重建质量下降。

核心思路：LiteMVS的核心思路是将高层次的单目知识有效注入到多视角立体框架中，以增强深度估计的准确性。通过结合平面扫描几何推理与单目语义先验，LiteMVS能够更好地处理复杂场景。

技术框架：LiteMVS的整体架构包括三个主要模块：首先是从轻量级分割模型中提取的语义描述符，其次是构建的成本体积，最后是通过专家混合（MoE）实现的自适应几何聚合。这些模块协同工作，提升了深度估计的质量。

关键创新：LiteMVS的主要创新在于将单目语义和结构先验与几何推理相结合，并通过专家混合机制实现深度假设的自适应聚合。这一设计显著提高了模型在复杂场景中的表现。

关键设计：在模型设计中，LiteMVS采用了轻量级的网络结构，确保了高效的推理速度。同时，损失函数的设计也考虑了深度估计的准确性与鲁棒性，确保了模型在多种场景下的适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ScanNetv2和7-Scenes数据集上的实验结果显示，LiteMVS在深度预测和3D重建方面表现出色，深度估计的准确性显著高于传统方法，同时在效率上保持竞争力，展示了其在实际应用中的潜力。

🎯 应用场景

LiteMVS的研究成果在机器人、增强现实和具身智能等领域具有广泛的应用潜力。高质量的3D重建不仅可以用于静态场景的建模，还为动态场景的时序建模和4D表示学习提供了可靠的几何基础，推动了智能系统的进一步发展。

📄 摘要（原文）

Real-time 3D perception is crucial for robotics, augmented reality, and embodied intelligence applications. Existing multi-view stereo (MVS) methods primarily rely on geometric correspondences, which often fail in textureless or repetitive regions, while monocular depth models leverage strong image-level priors but lack robust multi-view geometric constraints. More importantly, in robotics and embodied manipulation scenarios, high-quality 3D geometry is not only essential for static reconstruction, but also serves as a critical foundation for learning temporally consistent 4D representations. To obtain visual representations with stronger structural awareness and greater potential for spatiotemporal extension, we present LiteMVS, a lightweight multi-view depth estimation model that integrates plane-sweep geometric reasoning with strong monocular semantic and structural priors. The central idea of LiteMVS is to efficiently inject high-level monocular knowledge, obtained from lightweight segmentation models and large-scale vision foundation models, into a multi-view stereo framework. In particular, LiteMVS enriches the cost volume with semantic descriptors and employs a Mixture-of-Experts (MoE) formulation to enable adaptive geometric aggregation across depth hypotheses. Moreover, geometric priors distilled from vision foundation models further strengthen monocular guidance without increasing inference cost. Through this design, LiteMVS not only improves depth estimation and 3D reconstruction quality in static scenes, but also provides a more reliable geometric foundation for subsequent temporal modeling and 4D representation learning. Experiments on ScanNetv2 and 7-Scenes demonstrate that LiteMVS achieves high-quality depth prediction and 3D reconstruction while maintaining competitive efficiency.