Compact Feed-Forward 3D Gaussians via Saliency-Guided Primitive Merging
作者: Tim-Felix Fassch, Jochen Kall, Cyrill Stachniss
分类: cs.CV
发布日期: 2026-08-11
💡 一句话要点
提出结构感知合并管道以优化3D高斯表示
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D场景重建 高斯点云 显著性图 自适应超像素 视觉质量 渲染效率 机器学习
📋 核心要点
- 现有的3D高斯点云方法在处理稀疏输入视图时，常常生成冗余的每像素原语，导致效率低下。
- 本文提出了一种结构感知的合并管道，通过自适应超像素分割和学习的编码器，将每像素原语整合为紧凑的高斯集。
- 实验结果表明，该方法在高斯数量减少至每像素方法的$ rac{1}{20}$的同时，保持了更好的视觉质量和渲染效率。
📝 摘要（中文）
3D场景重建、建模和渲染在众多任务中具有重要意义，而3D高斯点云已成为这一领域的标准选择。本文提出了一种结构感知的合并管道，能够将来自任何前馈方法的每像素原语整合为紧凑的、高度适应内容的高斯集，同时在仅使用每像素方法的$ rac{1}{20}$的高斯数量的情况下，基本保持视觉质量。该方法通过基于显著性图的自适应超像素分割，将外观相似的空间一致高斯分组为可变大小的聚类，并通过学习的编码器压缩每个聚类为紧凑的潜在表示。最后，通过几何重叠和特征相似性匹配和整合不同视图的表示，最终生成可控分辨率的高斯，提供灵活的质量与效率权衡。
🔬 方法详解
问题定义：本文旨在解决现有3D高斯点云方法在处理稀疏输入时生成冗余每像素原语的问题，这导致了表示的低效和视觉质量的下降。
核心思路：论文提出的核心思路是通过结构感知的合并管道，将每像素原语整合为紧凑的高斯集，利用显著性图进行自适应超像素分割，从而优化表示的效率和质量。
技术框架：整体架构包括三个主要模块：自适应超像素分割模块、学习的编码器模块和合并模块。首先，通过显著性图对高斯进行分组，然后利用编码器压缩聚类，最后通过几何重叠和特征相似性进行视图间的表示整合。
关键创新：最重要的技术创新在于提出了一种基于显著性图的自适应超像素分割方法，能够有效地将外观相似的高斯聚类，从而显著减少高斯数量，同时保持视觉质量。
关键设计：在设计中，采用了学习的编码器来压缩聚类表示，并通过学习的合并策略来整合不同视图的表示，确保了高效的渲染和灵活的质量控制。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在高斯数量上减少至每像素方法的$ rac{1}{20}$，同时在视觉质量上优于以往针对原语数量减少的技术，展现出更强的鲁棒性和效率。
🎯 应用场景
该研究在3D场景重建、虚拟现实、增强现实等领域具有广泛的应用潜力。通过提供高效且紧凑的3D表示，能够显著提升渲染速度和视觉质量，满足实时应用的需求，未来可能推动相关技术的进一步发展。
📄 摘要（原文）
3D scene reconstruction, modeling, and rendering are highly relevant for numerous tasks, and 3D Gaussian splatting has become a standard choice in this context. Its feed-forward variants provide fast reconstruction from sparse input views but often produce per-pixel primitives, leading to highly redundant and thus inefficient representations. We present a structure-aware merging pipeline that takes per-pixel primitives from any feed-forward method and consolidates them into a compact, content-adaptive Gaussian set while largely retaining visual quality at just $\frac{1}{20}^\text{th}$ of the Gaussians of a per-pixel method. We group spatially coherent Gaussians of similar appearance into variable-size clusters via adaptive superpixel segmentation guided by a saliency map, which allocates fine segments to textured regions and coarse segments to homogeneous areas. We compress each cluster into a compact latent representation through a learned encoder, then match and consolidate representations across views based on geometric overlap and feature similarity via a learned merger. A level-of-detail decoder then produces the final Gaussians at a controllable resolution, enabling a flexible quality-efficiency trade-off at inference. As a post-processing module, the pipeline is backbone-agnostic, leveraging the strengths of existing feed-forward methods. This leads to better and more robust quality than achieved by previous approaches that target a reduction in primitive count, while providing a highly compact representation, that can be rendered efficiently.