ClusterSplat: Semantic Cluster Selection for 3D Visual Grounding in Gaussian Splatting

📄 arXiv: 2610.36462v1 📥 PDF

作者: Jaesung Lee, Hyeontaek Hwang, Gabriel Manalu, Daeyoung Kim

分类: cs.CV

发布日期: 2026-10-27

备注: Accepted at NeurIPS 2026 as a Spotlight paper. Project page: https://jaesung8.github.io/clustersplat/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ClusterSplat以解决3D视觉定位中的目标选择问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D视觉定位 高斯点云 聚类选择 实例感知 深度学习

📋 核心要点

  1. 现有方法在3D视觉定位中依赖启发式阈值，导致在不同场景和提示下的目标选择不稳定。
  2. ClusterSplat通过聚类选择方法，学习实例感知的高斯特征并生成场景特定的聚类候选集。
  3. 在ScanRefer数据集上，ClusterSplat在2D分割和3D目标识别上均表现出最佳性能，且在细粒度指代描述下也表现良好。

📝 摘要（中文）

本文研究了在3D高斯点云渲染中进行3D视觉定位的问题，要求通过指代表达识别目标对象。现有方法通常依赖启发式阈值或过滤策略来提取3D目标，但这些方法在不同场景和提示下表现不稳定。ClusterSplat通过将3D目标选择重新构建为基于聚类的选择，提出了一种新的解决方案。该方法首先学习实例感知的高斯特征，形成特征感知的种子体素，并在描述长度标准下降时合并相邻种子体素，从而生成场景特定的聚类候选集。通过查询条件的聚类评分器对候选聚类进行排序，最终选择的聚类直接定义了明确的3D目标，并为2D掩膜渲染其聚类分数。

🔬 方法详解

问题定义：本文旨在解决3D视觉定位中的目标选择问题，现有方法通过启发式阈值或过滤策略提取3D目标，导致在不同场景和提示下表现不稳定。

核心思路：ClusterSplat将3D目标选择重新构建为基于聚类的选择，利用场景自适应的候选集来提高选择的稳定性和准确性。

技术框架：该方法包括几个主要模块：首先学习实例感知的高斯特征，然后形成特征感知的种子体素，接着根据描述长度标准合并相邻种子体素，最后通过查询条件的聚类评分器对候选聚类进行排序。

关键创新：ClusterSplat的创新在于将目标选择视为聚类选择，而非传统的阈值或过滤方法，这使得其在不同场景下表现更为稳定。

关键设计：该方法在特征学习中采用了实例感知的高斯特征，使用轻量级的多层感知机（MLP）进行聚类评分，确保了计算效率和准确性。具体的参数设置和损失函数设计在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ScanRefer数据集上，ClusterSplat在渲染的2D分割和明确的3D目标识别指标上均取得了最佳成绩，且在细粒度指代描述下的Ref-LERF得分也表现优异。在ScanNet v2类名查询中，ClusterSplat实现了最强的2D渲染结果和最高的3D匹配准确率，同时保持了竞争力的3D IoU。

🎯 应用场景

该研究在3D视觉定位领域具有广泛的应用潜力，尤其是在机器人导航、增强现实和自动驾驶等场景中。通过提高目标选择的准确性和稳定性，ClusterSplat可以为这些领域提供更可靠的技术支持，推动相关应用的发展。

📄 摘要（原文）

We study 3D visual grounding in 3D Gaussian Splatting (3DGS), where a referring expression should identify a target object as both a rendered 2D mask and a set of explicit 3D Gaussians. Prior methods typically extract 3D targets by applying heuristic thresholding or top-ratio filtering to dense primitive-level relevance scores. However, these scores often vary substantially across scenes and prompts, making such heuristics sensitive and leading to unstable targeting. ClusterSplat addresses this by reframing 3D target selection as cluster-level selection over scene-adaptive candidates. The method first learns instance-aware Gaussian features, forms feature-aware seed voxels, and merges neighboring seed voxels when a description-length criterion decreases, producing a scene-specific set of cluster candidates. Given a referring expression, a query-conditioned cluster scorer ranks the cluster candidates with a lightweight MLP, and the selected cluster directly defines the explicit 3D target while its cluster score is rendered for the 2D mask. On ScanRefer, ClusterSplat achieves the best rendered 2D segmentation and explicit 3D target metrics among the compared 3DGS baselines. It also obtains the best average Ref-LERF scores, supporting the same trend under fine-grained referring descriptions. On ScanNet v2 class name queries, ClusterSplat achieves the strongest rendered 2D results and the highest 3D matching accuracy, while maintaining competitive 3D IoU. Our project page is available at https://jaesung8.github.io/clustersplat/ .