Per-View Gaussian Predictions Enable Training-Free Distractor Filtering in Feed-Forward 3DGS
作者: Kangmin Seo, Jae-Pil Heo
分类: cs.CV, cs.AI
发布日期: 2026-08-27
备注: Preprint
💡 一句话要点
提出训练无关的过滤方法以解决3D重建中的干扰物问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 高斯表示 瞬态物体 训练无关 计算机视觉 虚拟现实 增强现实
📋 核心要点
- 现有的3D重建方法在处理瞬态物体时容易产生模糊和伪影，影响重建质量。
- 论文提出了一种训练无关的过滤程序，通过排除不一致的高斯来提升重建效果。
- 在多个重建模型和干扰基准测试中，该方法在新视图质量上表现出一致的提升。
📝 摘要（中文）
前馈3D高斯点云重建通过一次网络执行从多个输入图像中重建显式高斯表示，使得3D重建变得更加易于访问。然而，这种捕捉方式常常包含仅在部分视图中出现的瞬态物体。这些内容可能会被编码到与观察到它们的输入相关的每视图高斯中，尽管其他输入未观察到它们，仍会在组合表示中存在。这可能导致在新视图中产生模糊、重复或漂浮的伪影。本文提出了一种利用每视图预测结构的无训练过滤程序。该程序通过排除与每个输入相关的高斯并使用剩余表示进行渲染，揭示与其他输入不一致的内容。特征相似性形成候选区域，基于渲染的验证仅保留那些移除后能降低其他输入视图重建误差的候选。该过程在单个冻结预测上运行，无需重新训练或场景特定优化。
🔬 方法详解
问题定义：本文旨在解决在3D重建中由于瞬态物体导致的模糊和伪影问题。现有方法在处理仅在部分视图中出现的物体时，容易产生重建误差，影响最终效果。
核心思路：论文提出的核心思路是利用每视图高斯的预测结构，通过排除与特定输入相关的高斯，来识别和过滤干扰物，从而提升重建质量。该方法无需重新训练网络，简化了处理流程。
技术框架：整体架构包括三个主要阶段：首先，排除与当前输入相关的高斯；其次，使用剩余高斯进行渲染以识别不一致内容；最后，基于特征相似性和渲染验证保留有效候选区域。
关键创新：最重要的技术创新在于提出了一种训练无关的过滤机制，能够在不需要场景特定优化的情况下，自动识别并去除干扰物。这一方法与传统需要大量训练数据的技术形成鲜明对比。
关键设计：在设计中，采用了特征相似性度量来形成候选区域，并通过渲染验证来确保仅保留那些能有效降低重建误差的候选。此外，整个过程在单个冻结预测上运行，避免了复杂的训练过程。
🖼️ 关键图片
📊 实验亮点
在实验中，论文展示了该方法在三个重建模型和两个干扰基准测试上的一致性提升。在干净场景下，评估显示原始重建在四个模型中基本得以保留，同时新视图的质量显著提高，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实以及计算机视觉中的3D重建任务。通过提高重建质量，能够为用户提供更真实的视觉体验，尤其是在动态场景捕捉中。此外，该方法的训练无关特性使其在资源有限的环境中也能有效应用，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Feed-forward 3D Gaussian Splatting reconstructs an explicit Gaussian representation from multiple input images in one network execution, making 3D reconstruction increasingly accessible for casual captures. However, such captures frequently contain transient objects that appear in only a subset of the views. Such content can be encoded into the per-view Gaussians associated with the inputs that observe it and remain in the combined representation despite being observed by no other input. As a result, it may produce blurred, duplicated, or floating artifacts in novel views. We introduce a training-free filtering procedure that exploits this per-view prediction structure. For each input, we exclude its associated Gaussians and render the same camera using the remaining representation, revealing content that is inconsistent with the other inputs. Feature similarity forms candidate regions, and rendering-based verification retains only candidates whose removal reduces reconstruction error in the other input views. The procedure operates on a single frozen prediction without retraining or scene-specific optimization. Across three reconstruction models and two distractor benchmarks, it consistently improves novel-view quality with varying numbers of input views. On clean scenes, evaluations across four models show that the original reconstructions are largely preserved.