StereoGS: Sparse-View 3D Gaussian Splatting via Stereo Priors
作者: Wenhao Yuan, Yiyuan Ge, Deli Cai
分类: cs.CV
发布日期: 2026-06-29
备注: 15 pages, 6 figures, accepted to ECCV 2026, project page: https://stringerywh00.github.io/StereoGS_project_page/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出StereoGS以解决稀疏视图下3D高斯点云过拟合问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 高斯点云 立体视觉 深度估计 稀疏视图合成 计算机视觉 实时渲染
📋 核心要点
- 现有的3D高斯点云方法在稀疏视图下容易出现过拟合，缺乏有效的几何约束。
- 本文提出StereoGS框架，通过引入立体先验和虚拟立体对，增强了几何一致性。
- 在LLFF、DTU、Mip-NeRF360和Blender数据集上的实验表明，StereoGS在稀疏视图设置下实现了最先进的性能。
📝 摘要（中文）
3D高斯点云（3DGS）在实时新视图合成中取得了显著成功，但在稀疏视图设置下，由于几何约束不足，严重过拟合。虽然近期方法引入了单目深度先验以缓解这一问题，但它们在尺度模糊和视图间不一致性方面仍存在困难，导致几何缺陷。本文提出了StereoGS，一个新颖的稀疏视图3DGS框架，通过整合立体先验建立可靠的双目一致性。与尺度无关的单目约束不同，StereoGS通过在优化过程中构建虚拟立体对，并利用基础立体模型来强制执行绝对尺度和双目一致结构，从而引入了立体深度正则化。结合零样本多视图深度估计的稠密初始化，StereoGS有效地将原始点锚定到准确的场景表面。
🔬 方法详解
问题定义：本文旨在解决在稀疏视图条件下3D高斯点云合成中的过拟合问题。现有方法通常依赖单目深度先验，导致尺度模糊和视图间不一致，影响几何质量。
核心思路：StereoGS通过引入立体先验，构建虚拟立体对来增强几何约束，从而实现双目一致性。这种设计有效地解决了单目方法的局限性，确保了生成的3D结构的准确性。
技术框架：StereoGS的整体架构包括立体深度正则化模块和基于梯度的透明度衰减策略。首先，通过优化生成虚拟立体对，利用基础立体模型进行深度约束。其次，动态调整高斯的透明度，以减少冗余原始点。
关键创新：StereoGS的主要创新在于引入立体深度正则化和梯度感知透明度衰减策略。这与传统的单目深度先验方法有本质区别，后者无法有效处理尺度和一致性问题。
关键设计：在设计中，StereoGS采用了动态透明度衰减机制，根据高斯的相对透明度梯度进行惩罚。此外，结合零样本多视图深度估计的稠密初始化，确保了原始点的准确定位。整体损失函数综合考虑了几何一致性和透明度衰减。
🖼️ 关键图片
📊 实验亮点
在LLFF、DTU、Mip-NeRF360和Blender数据集上的实验结果显示，StereoGS在稀疏视图设置下的性能超越了现有最先进的方法，且没有增加推理开销。具体而言，StereoGS在多个基准测试中实现了显著的性能提升，验证了其有效性和实用性。
🎯 应用场景
该研究在计算机视觉和图形学领域具有广泛的应用潜力，尤其是在虚拟现实、增强现实和游戏开发中。通过提高稀疏视图条件下的3D重建质量，StereoGS能够为实时场景合成提供更为可靠的解决方案，推动相关技术的进步与应用。未来，随着数据集和算法的进一步发展，StereoGS有望在更多实际场景中得到应用。
📄 摘要（原文）
3D Gaussian Splatting (3DGS) has achieved remarkable success in real-time novel view synthesis, yet it suffers from severe overfitting under sparse-view settings due to insufficient geometric constraints. While recent methods introduce monocular depth priors to mitigate this, they inherently struggle with scale ambiguity and cross-view inconsistency, leading to defective geometry. In this paper, we propose StereoGS, a novel sparse-view 3DGS framework that integrates stereo priors to establish reliable binocular consistency. Unlike scale-agnostic monocular constraints, StereoGS introduces a Stereo Depth Regularization by constructing virtual stereo pairs during optimization and leveraging a foundation stereo model to enforce absolute scale and binocular-consistent structures. To further suppress overfitting and eliminate redundant primitives, we design a Gradient-Aware Opacity Decay strategy that dynamically penalizes Gaussians based on their relative opacity gradient magnitudes. Combined with a Consistency-Aware Dense Initialization using zero-shot multi-view depth estimation, StereoGS effectively anchors primitives to accurate scene surfaces. Extensive experiments on LLFF, DTU, Mip-NeRF360, and Blender datasets demonstrate that StereoGS achieves state-of-the-art performance in sparse-view settings without incurring any additional inference overhead. Project Page: https://stringerywh00.github.io/StereoGS_project_page/