CLIP-GS: CLIP-Informed Gaussian Splatting for View-Consistent 3D Indoor Semantic Understanding

📄 arXiv: 2404.14249v2 📥 PDF

作者: Guibiao Liao, Jiankun Li, Zhenyu Bao, Xiaoqing Ye, Qing Li, Kanglin Liu

分类: cs.CV

发布日期: 2024-04-22 (更新: 2025-06-23)

备注: ACM TOMM 2025

💡 一句话要点

提出CLIP-GS以解决3D室内语义理解中的一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D语义理解 高斯点云 CLIP模型 语义一致性 实时渲染 室内场景 深度学习

📋 核心要点

  1. 现有方法在将高维CLIP语义嵌入与3D高斯结合时，存在效率瓶颈和3D语义一致性不足的问题。
  2. CLIP-GS通过语义属性紧凑性（SAC）和3D一致性正则化（3DCR）来实现高效且一致的3D室内场景语义理解。
  3. 实验结果显示，CLIP-GS在ScanNet和Replica数据集上分别提升了21.20%和13.05%的mIoU，同时保持实时渲染速度。

📝 摘要（中文）

利用3D高斯点云与对比语言-图像预训练模型（CLIP）相结合，CLIP-GS在开放词汇的3D室内场景语义理解中展现出良好的效果。现有方法通常将高维CLIP语义嵌入附加到3D高斯上，并利用视图不一致的2D CLIP语义作为高斯监督，导致效率瓶颈和3D语义一致性不足。为了解决这些挑战，CLIP-GS提出了语义属性紧凑性（SAC）和3D一致性正则化（3DCR），实现了高效且一致的3D室内场景语义理解。实验结果表明，该方法在ScanNet和Replica数据集上分别提升了21.20%和13.05%的mIoU，同时保持实时渲染速度，且在稀疏输入数据下表现出色，证明了其鲁棒性。

🔬 方法详解

问题定义：本论文旨在解决现有方法在3D室内场景语义理解中存在的效率瓶颈和语义一致性不足的问题。现有方法通常依赖于视图不一致的2D CLIP语义作为高斯监督，导致3D语义表示不够准确。

核心思路：CLIP-GS通过引入语义属性紧凑性（SAC）和3D一致性正则化（3DCR）来提升3D语义理解的效率和一致性。SAC利用对象内部的统一语义来学习紧凑的语义高斯表示，而3DCR则在2D和3D域中强制语义一致性。

技术框架：CLIP-GS的整体架构包括两个主要模块：首先是SAC模块，通过学习对象的紧凑语义表示来提高渲染效率；其次是3DCR模块，通过建立跨视图一致性约束和鼓励相同对象的3D高斯特征相似性来增强语义一致性。

关键创新：CLIP-GS的核心创新在于引入了SAC和3DCR两个机制，前者通过紧凑语义表示提升了渲染速度，后者则确保了2D和3D语义的一致性。这与现有方法的依赖于视图不一致的2D语义的做法形成了鲜明对比。

关键设计：在参数设置上，SAC模块通过优化语义高斯表示的紧凑性来提高效率，而3DCR模块则通过设计特定的损失函数来强化2D和3D之间的语义一致性。网络结构方面，CLIP-GS结合了CLIP模型的语义嵌入与3D高斯点云的表示，形成了一个高效的语义理解框架。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CLIP-GS在ScanNet和Replica数据集上分别实现了21.20%和13.05%的mIoU提升，显著超越了现有的最先进方法，同时保持了超过100 FPS的实时渲染速度。这一成果展示了其在稀疏输入数据下的鲁棒性和优越性能。

🎯 应用场景

该研究在室内场景的3D语义理解中具有广泛的应用潜力，能够用于智能家居、虚拟现实和增强现实等领域。通过提高语义理解的效率和一致性，CLIP-GS能够为这些应用提供更为精准的环境感知和交互体验，推动相关技术的发展。

📄 摘要（原文）

Exploiting 3D Gaussian Splatting (3DGS) with Contrastive Language-Image Pre-Training (CLIP) models for open-vocabulary 3D semantic understanding of indoor scenes has emerged as an attractive research focus. Existing methods typically attach high-dimensional CLIP semantic embeddings to 3D Gaussians and leverage view-inconsistent 2D CLIP semantics as Gaussian supervision, resulting in efficiency bottlenecks and deficient 3D semantic consistency. To address these challenges, we present CLIP-GS, efficiently achieving a coherent semantic understanding of 3D indoor scenes via the proposed Semantic Attribute Compactness (SAC) and 3D Coherent Regularization (3DCR). SAC approach exploits the naturally unified semantics within objects to learn compact, yet effective, semantic Gaussian representations, enabling highly efficient rendering (>100 FPS). 3DCR enforces semantic consistency in 2D and 3D domains: In 2D, 3DCR utilizes refined view-consistent semantic outcomes derived from 3DGS to establish cross-view coherence constraints; in 3D, 3DCR encourages features similar among 3D Gaussian primitives associated with the same object, leading to more precise and coherent segmentation results. Extensive experimental results demonstrate that our method remarkably suppresses existing state-of-the-art approaches, achieving mIoU improvements of 21.20% and 13.05% on ScanNet and Replica datasets, respectively, while maintaining real-time rendering speed. Furthermore, our approach exhibits superior performance even with sparse input data, substantiating its robustness.