AugSplat: Radiance Field-Informed Gaussian Splatting for Sparse-View Settings
作者: Lorenzo Lazzaroni, Riccardo Bollati, Daniel Barath, Michael Niemeyer, Keisuke Tateno
分类: cs.CV
发布日期: 2026-06-30
备注: 9 pages, 5 figures
💡 一句话要点
提出AugSplat以解决稀疏视图下的高质量3D重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 稀疏视图重建 高斯喷溅 神经辐射场 实时渲染 3D视觉 计算机图形学
📋 核心要点
- 现有方法在稀疏视图场景中面临高计算成本和重建质量不佳的挑战。
- 论文提出AugSplat，通过辐射场合成额外视图，增强高斯喷溅的优化过程。
- 实验结果显示，AugSplat在稀疏视图场景中显著提升了重建质量，尤其是Staged AugSplat表现最佳。
📝 摘要（中文）
在3D视觉中，以实时帧率生成高质量的新视图仍然是一个核心挑战，尤其是在稀疏视图场景中。神经辐射场已在有限观测下展示了强大的重建能力，但其依赖体积渲染导致高计算成本和慢推理速度。相比之下，高斯喷溅方法通过光栅化实现实时渲染，但其优化对初始几何体的质量高度敏感。本文提出AugSplat框架，通过基于辐射场的视图增强来改善稀疏视图下的高斯喷溅。我们首先在稀疏输入视图上训练辐射场，并利用其合成来自附近新视点的额外图像，从而增加可用于监督的有效视图空间覆盖。合成视图作为辅助监督用于高斯喷溅优化。实验表明，AugSplat在稀疏视图场景中显著提高了重建质量。
🔬 方法详解
问题定义：本文旨在解决在稀疏视图下生成高质量3D重建的问题。现有的神经辐射场方法虽然能从有限观测中重建，但其高计算成本和慢推理速度限制了实际应用。高斯喷溅方法虽然能实现实时渲染，但对初始几何体质量的敏感性在稀疏视图情况下导致重建效果不佳。
核心思路：AugSplat的核心思路是通过训练辐射场来合成额外的视图，从而增加有效的视图空间覆盖。这些合成视图作为辅助监督，帮助优化高斯喷溅过程，提高重建质量。
技术框架：AugSplat框架包括两个主要阶段：首先在稀疏输入视图上训练辐射场，然后利用该辐射场合成新视图，并在高斯喷溅优化中使用这些合成视图作为辅助监督。框架有两个变体：Staged AugSplat和Dual AugSplat，分别在不同阶段使用合成视图和真实视图。
关键创新：AugSplat的主要创新在于将辐射场与高斯喷溅结合，通过合成视图增强优化过程。这种方法有效地解决了稀疏视图下重建质量差的问题，与传统的高斯喷溅方法相比，显著提高了重建效果。
关键设计：在设计中，AugSplat采用了逐步优化策略，Staged AugSplat在初始阶段使用合成视图进行优化，而Dual AugSplat则在整个训练过程中保持真实图像的监督。损失函数中合成损失的权重逐渐衰减，以平衡合成与真实视图的影响。整体架构确保了实时渲染的能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AugSplat在稀疏视图场景中显著提高了重建质量，Staged AugSplat在平均性能上表现最佳，而Dual AugSplat则在保持实时渲染的同时，提供了接近的性能。具体实验显示，AugSplat相比标准高斯喷溅方法在重建质量上有明显提升。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实以及计算机图形学等领域，能够为稀疏视图下的3D重建提供高效的解决方案。未来，AugSplat可能推动实时3D重建技术的发展，提升用户体验和应用场景的丰富性。
📄 摘要（原文）
Generating high-quality novel views at real-time frame rates remains a central challenge in 3D vision, particularly in sparse-view scenarios. Neural radiance fields have demonstrated robust reconstruction from limited observations, but their reliance on volumetric rendering leads to high computational cost and slow inference. In contrast, Gaussian Splatting methods achieve real-time rendering through rasterization, but their optimization is highly sensitive to the quality of the initial geometry. This sensitivity becomes especially problematic in sparse-view settings, where limited observations often lead to incomplete or noisy point-cloud reconstructions. In this work, we present AugSplat, a simple framework for improving Gaussian Splatting in sparse-view regimes using radiance-field-based view augmentation. We first train a radiance field on the sparse input views and use it to synthesize additional images from nearby novel viewpoints, increasing the effective view-space coverage available for supervision. These synthetic views are then used as auxiliary supervision during Gaussian Splatting optimization. We study two variants: Staged AugSplat, which uses synthetic views for an initial optimization phase before switching to real images, and Dual AugSplat, which jointly trains on real and synthetic views with a decaying synthetic loss weight. Experiments on sparse-view mip-NeRF 360 scenes show that AugSplat improves reconstruction quality over standard Gaussian Splatting. Staged AugSplat achieves the strongest average performance, while Dual AugSplat provides a closely performing formulation that keeps real-image supervision active throughout training, and both variants preserve real-time rendering at inference.