Learning Segmented 3D Gaussians via Efficient Feature Unprojection for Zero-shot Neural Scene Segmentation

📄 arXiv: 2401.05925v4 📥 PDF

作者: Bin Dou, Tianyu Zhang, Zhaohui Wang, Yongjia Ma, Zejian Yuan

分类: cs.CV, cs.AI

发布日期: 2024-01-11 (更新: 2024-07-28)

备注: 16 pages, 9 figures, correct writing details

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出紧凑分段3D高斯模型以解决零样本神经场景分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 零样本分割 3D高斯 神经网络 场景理解 特征反投影 模型鲁棒性 语义分割

📋 核心要点

  1. 现有的3D高斯方法在零样本神经场景分割中难以生成紧凑的分割结果，主要由于冗余的可学习属性导致鲁棒性不足。
  2. 本研究提出了特征反投影和融合模块，利用高层特征和空间信息生成更为紧凑的分割结果，增强了模型的泛化能力。
  3. 实验结果显示，提出的模型在零样本语义分割任务中，mIoU相较于最佳基线提升了约10%，验证了方法的有效性。

📝 摘要（中文）

零样本神经场景分割通过重建3D神经分割场来实现场景理解，而无需人工标注。然而，现有的高效3D高斯方法在生成紧凑的分割结果方面存在困难，主要由于分配给单个高斯的冗余可学习属性，导致对零样本生成的原始标签中的3D不一致性缺乏鲁棒性。为了解决这一问题，我们提出了紧凑分段3D高斯（CoSegGaussians），引入特征反投影和融合模块，利用基于高层特征的浅层解码器对所有高斯进行泛化。具体而言，通过我们的反投影技术，将学习到的高斯几何参数与语义感知的图像特征结合，生成所有高斯的分割身份。此外，我们设计了CoSeg损失，以增强模型对3D不一致噪声的鲁棒性。实验结果表明，我们的模型在零样本语义分割任务上超越了基线，mIoU提升约10%。

🔬 方法详解

问题定义：本论文旨在解决零样本神经场景分割中，现有3D高斯方法生成的分割结果不够紧凑的问题。现有方法由于冗余的可学习属性，缺乏对3D不一致性的鲁棒性，导致分割效果不理想。

核心思路：我们提出的CoSegGaussians模型通过特征反投影和融合模块，利用高层特征来增强对所有高斯的泛化能力，从而生成更为紧凑的分割结果。该设计旨在减少冗余信息，提高模型的鲁棒性。

技术框架：整体架构包括特征反投影模块、空间信息融合和多尺度聚合解码器。特征反投影模块将学习到的高斯几何参数与图像特征结合，随后通过多尺度聚合解码器生成分割身份。

关键创新：最重要的创新在于引入特征反投影技术，使得语义感知的图像特征能够有效地与高斯几何参数结合，从而提高了分割的紧凑性和鲁棒性。

关键设计：我们设计了CoSeg损失函数，以增强模型对3D不一致噪声的鲁棒性。此外，网络结构采用了浅层解码器，确保了对所有高斯的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的CoSegGaussians模型在零样本语义分割任务中，mIoU提升约10%，显著超越了现有最佳基线，验证了方法的有效性和鲁棒性。

🎯 应用场景

该研究在自动驾驶、机器人视觉和虚拟现实等领域具有广泛的应用潜力。通过实现无标注的3D场景分割，能够大幅降低人工成本，并提高场景理解的效率和准确性，推动智能系统的进一步发展。

📄 摘要（原文）

Zero-shot neural scene segmentation, which reconstructs 3D neural segmentation field without manual annotations, serves as an effective way for scene understanding. However, existing models, especially the efficient 3D Gaussian-based methods, struggle to produce compact segmentation results. This issue stems primarily from their redundant learnable attributes assigned on individual Gaussians, leading to a lack of robustness against the 3D-inconsistencies in zero-shot generated raw labels. To address this problem, our work, named Compact Segmented 3D Gaussians (CoSegGaussians), proposes the Feature Unprojection and Fusion module as the segmentation field, which utilizes a shallow decoder generalizable for all Gaussians based on high-level features. Specifically, leveraging the learned Gaussian geometric parameters, semantic-aware image-based features are introduced into the scene via our unprojection technique. The lifted features, together with spatial information, are fed into the multi-scale aggregation decoder to generate segmentation identities for all Gaussians. Furthermore, we design CoSeg Loss to boost model robustness against 3D-inconsistent noises. Experimental results show that our model surpasses baselines on zero-shot semantic segmentation task, improving by ~10% mIoU over the best baseline. Code and more results will be available at https://David-Dou.github.io/CoSegGaussians.