Extreme Views: 3DGS Filter for Novel View Synthesis from Out-of-Distribution Camera Poses
作者: Damian Bowness, Charalambos Poullis
分类: cs.CV, cs.GR
发布日期: 2025-10-22
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于梯度的3DGS滤波方法，解决极端视角下新视角合成的伪影问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 新视角合成 3D高斯溅射 梯度滤波 实时渲染 极端视角 神经渲染
📋 核心要点
- 现有3DGS在新视角合成中，当相机位姿超出训练分布时，会产生显著的视觉伪影，源于外推区域训练数据不足。
- 提出一种实时渲染感知滤波方法，利用中间梯度导出的敏感度分数，针对各向异性方向引起的不稳定性进行滤波。
- 实验表明，该方法显著提高了视觉质量、真实性和一致性，且能无缝集成到现有3DGS渲染管道中，实现实时渲染。
📝 摘要（中文）
当从训练数据分布之外的相机位置观察3D高斯溅射(3DGS)模型时，通常会出现大量的视觉噪声。这些伪影是由于在这些外推区域缺乏训练数据，导致模型对密度、颜色和几何形状的预测不确定。为了解决这个问题，我们提出了一种新的实时渲染感知滤波方法。我们的方法利用从中间梯度导出的敏感度分数，明确针对由各向异性方向引起的不稳定性，而不是各向同性方差。这种滤波方法直接解决了生成不确定性的核心问题，使得3D重建系统即使在用户自由地在原始训练视点之外导航时，也能保持高的视觉保真度。实验评估表明，与现有的基于神经辐射场(NeRF)的方法(如BayesRays)相比，我们的方法显著提高了视觉质量、真实性和一致性。关键的是，我们的滤波器可以无缝地集成到现有的3DGS渲染管道中，实现实时渲染，而不需要像其他方法那样进行大量的后验重新训练或微调。
🔬 方法详解
问题定义：论文旨在解决3D高斯溅射（3DGS）在新视角合成任务中，当相机位姿远离训练数据分布时产生的视觉伪影问题。现有方法在处理外推视角时，由于缺乏足够的训练数据，导致模型对密度、颜色和几何形状的预测变得不确定，从而产生噪声和不真实的渲染结果。这些伪影严重影响了用户体验和场景的真实感。
核心思路：论文的核心思路是利用渲染过程中的梯度信息来识别和过滤掉不稳定的高斯分量。具体来说，通过计算中间梯度导出的敏感度分数，来衡量每个高斯分量对最终渲染结果的影响。高斯分量如果对渲染结果产生较大的不稳定性，则会被过滤掉。这种方法直接针对生成不确定性的根源，从而提高新视角合成的质量。
技术框架：该方法主要包含以下几个阶段：1) 3DGS模型的渲染过程，包括高斯分量的投影、颜色和深度的计算等。2) 计算渲染过程中的中间梯度，用于评估每个高斯分量的敏感度。3) 基于敏感度分数进行滤波，移除不稳定的高斯分量。4) 使用滤波后的高斯分量重新渲染图像。整个流程可以无缝集成到现有的3DGS渲染管道中，实现实时渲染。
关键创新：该方法最重要的技术创新点在于利用中间梯度信息进行滤波。与传统的基于方差的滤波方法不同，该方法关注的是各向异性方向引起的不稳定性，能够更准确地识别和移除导致伪影的高斯分量。此外，该方法是渲染感知的，能够直接优化渲染结果，而不需要额外的训练或微调。
关键设计：关键设计包括：1) 敏感度分数的计算方式，论文采用了一种基于梯度的计算方法，能够有效地衡量高斯分量对渲染结果的影响。2) 滤波阈值的选择，需要根据具体的场景和模型进行调整，以达到最佳的滤波效果。3) 损失函数的设计，论文并没有引入新的损失函数，而是直接优化渲染结果。
📊 实验亮点
实验结果表明，该方法在视觉质量、真实性和一致性方面均优于现有的NeRF方法，如BayesRays。尤其是在极端视角下，该方法能够显著减少视觉伪影，提高渲染质量。此外，该方法能够无缝集成到现有的3DGS渲染管道中，实现实时渲染，具有很高的实用价值。
🎯 应用场景
该研究成果可广泛应用于虚拟现实、增强现实、游戏开发、机器人导航等领域。通过提高新视角合成的质量，可以为用户提供更真实、更沉浸式的体验。例如，在VR游戏中，用户可以自由地探索场景，而不会受到视角限制和伪影的影响。在机器人导航中，可以利用该方法生成高质量的场景图像，帮助机器人更好地理解周围环境。
📄 摘要（原文）
When viewing a 3D Gaussian Splatting (3DGS) model from camera positions significantly outside the training data distribution, substantial visual noise commonly occurs. These artifacts result from the lack of training data in these extrapolated regions, leading to uncertain density, color, and geometry predictions from the model. To address this issue, we propose a novel real-time render-aware filtering method. Our approach leverages sensitivity scores derived from intermediate gradients, explicitly targeting instabilities caused by anisotropic orientations rather than isotropic variance. This filtering method directly addresses the core issue of generative uncertainty, allowing 3D reconstruction systems to maintain high visual fidelity even when users freely navigate outside the original training viewpoints. Experimental evaluation demonstrates that our method substantially improves visual quality, realism, and consistency compared to existing Neural Radiance Field (NeRF)-based approaches such as BayesRays. Critically, our filter seamlessly integrates into existing 3DGS rendering pipelines in real-time, unlike methods that require extensive post-hoc retraining or fine-tuning. Code and results at https://damian-bowness.github.io/EV3DGS