Open-Vocabulary and Referring Segmentation for 3D Gaussians Using 2D Detectors

📄 arXiv: 2606.30638v1 📥 PDF

作者: Jameel Hassan, Yasiru Ranasinghe, Vishal Patel

分类: cs.CV

发布日期: 2026-06-29

💡 一句话要点

提出GaussDet以解决3D高斯分割中的语言驱动问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D高斯分割 开放词汇理解 指称表达 多视角聚合 实例特征学习 具身人工智能 语义标签分布

📋 核心要点

  1. 现有方法在实例分组时需要预定义实例数量，且在自下而上的分组策略中容易受到噪声影响。
  2. GaussDet通过利用开放词汇的2D物体检测器，学习个体高斯的实例特征，从而将场景分解为3D实例组，避免了对CLIP特征的依赖。
  3. 在开放词汇分割和指称表达基础上，GaussDet在严格零样本设置下实现了16.7%的mIoU提升，表现出显著的改进。

📝 摘要（中文）

3D高斯点云（3DGS）在3D场景重建中处于前沿地位。通过语言驱动的开放词汇理解扩展3DGS引起了广泛关注，尤其在具身人工智能等实际应用中。现有方法通过学习实例特征属性并将高维对比语言-图像预训练（CLIP）特征直接引入场景表示来实现。然而，这些方法的实例分组机制要么需要预定义的实例数量，要么在自下而上的分组策略中受到噪声影响。此外，依赖CLIP限制了语义理解，仅限于简单名词短语，无法进行复杂的空间推理和指称表达的基础。我们提出了GaussDet，一种通过利用具有指称表达能力的离散开放词汇2D物体检测器来规避密集CLIP特征需求的方法。我们为每个高斯学习实例特征，将场景分解为3D实例组。通过渲染这些组并从多视角2D检测中聚合语义投票，我们为每个3D实例生成了稳健的视图聚合语义标签分布（VASD）。这种视图聚合策略作为强正则化器，减弱了低质量实例分组造成的虚假标签。我们的研究在开放词汇分割和指称表达基础上进行了广泛评估，结果显示GaussDet在现有方法上取得了一致的改进，尤其在严格的零样本设置下，指称基础上实现了16.7%的mIoU提升。

🔬 方法详解

问题定义：本论文旨在解决3D高斯分割中的语言驱动问题，现有方法在实例分组上存在预定义数量和噪声影响的痛点。

核心思路：GaussDet的核心思路是利用开放词汇的2D物体检测器，学习个体高斯的实例特征，从而实现对场景的有效分解，避免了对密集CLIP特征的依赖。

技术框架：该方法的整体架构包括多个模块：首先，通过2D检测器获取物体的多视角信息；其次，学习每个高斯的实例特征；最后，通过视图聚合生成稳健的语义标签分布（VASD）。

关键创新：GaussDet的最大创新在于使用离散的开放词汇2D检测器进行实例特征学习，打破了对CLIP的依赖，支持更复杂的语义理解和空间推理。

关键设计：在技术细节上，GaussDet采用了多视角聚合策略，设计了适应性的损失函数以增强语义投票的稳定性，并优化了网络结构以提高实例分组的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GaussDet在开放词汇分割和指称表达任务中表现出色，尤其在严格的零样本设置下，指称基础上实现了16.7%的mIoU提升，显著超越了现有方法，展示了其强大的实用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、增强现实和自动驾驶等，能够提升这些领域中对复杂场景的理解和交互能力。未来，GaussDet可能推动更高级的具身人工智能系统的发展，使其能够更好地理解和处理自然语言指令。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged at the forefront of 3D scene reconstruction. Extending 3DGS with language-driven, open-vocabulary understanding has gained significant attention for real-world applications such as embodied AI. Recent methods achieve this by learning an instance feature attribute and assigning semantics by distilling high-dimensional Contrastive Language-Image Pretraining (CLIP) features directly into the scene representation. However, the instance grouping mechanisms of these methods either require a predefined number of instances or suffer from noise in their bottom-up grouping strategies. Furthermore, the reliance on CLIP restricts semantic understanding to simple noun phrases, preventing complex spatial reasoning and referential expression grounding. We present GaussDet, a method that circumvents the need for dense CLIP features by leveraging discrete, open-vocabulary 2D object detectors with referring expression capabilities. We learn instance features for individual Gaussians to decompose the scene into 3D instance groups. By rendering these groups and aggregating semantic votes from multi-view 2D detections, we generate a robust View-Aggregated Semantic Label Distribution (VASD) for each 3D instance. This view-aggregation strategy acts as a strong regularizer, attenuating spurious labels caused by low-quality instance grouping. Our approach enables a straightforward, zero-shot extension from simple language queries to complex referential grounding. Extensive evaluations across two key tasks -- open-vocabulary segmentation (LeRF-OVS, ScanNet) and referring expression grounding (Ref-LeRF) -- demonstrate that GaussDet achieves consistent improvements over existing methods. Most notably, we achieve a substantial 16.7% mIoU improvement in referential grounding within a strict zero-shot setting.