QueryGaussian: Scalable and Training-Free Open-Vocabulary 3D Instance Retrieval

📄 arXiv: 2606.19733v1 📥 PDF

作者: Xiuyuan Zhu, Ke Lu, Zijie Yang, Chao Yue, Jian Xue, Dongming Zhang

分类: cs.CV, cs.AI

发布日期: 2026-06-18

备注: 8 pages, 4 figures, 6 tables. Accepted to the 2026 IEEE International Conference on Systems, Man, and Cybernetics (SMC 2026)

💡 一句话要点

提出QueryGaussian以解决大规模场景中的3D实例检索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D实例检索 开放词汇 无训练框架 语义理解 几何表示 多阶段聚类 自然语言处理 计算机视觉

📋 核心要点

  1. 现有方法在大规模场景中进行3D实例检索时，面临内存和计算成本线性增长的问题，导致OOM失败。
  2. QueryGaussian通过实例级查询机制解耦语义理解与几何表示，采用无训练框架实现高效检索。
  3. 实验结果显示，QueryGaussian在准确性上与最先进方法相当，同时GPU内存使用减少70%以上，推理速度提升180倍。

📝 摘要（中文）

在多媒体分析中，通过自然语言提示高效检索特定3D实例仍然是一个巨大的挑战。现有方法主要遵循“场景级嵌入”范式，需要将高维语义特征提炼到每个3D原件中，这种策略在城市规模环境中面临内存和计算成本线性增长的瓶颈。为了解决这一障碍，本文提出了QueryGaussian，一个无训练的框架，用于快速且可扩展的开放词汇3D实例检索。与整体语义提炼不同，QueryGaussian采用实例级查询机制，将语义理解与几何表示解耦。通过利用预训练的2D视觉模型来解释用户提示，并通过并发最大权重关联策略将分割掩码提升到3D，确保语义与视觉的一致性。实验结果表明，QueryGaussian不仅在准确性上与最先进的方法相匹配，还在效率上实现了显著提升，GPU内存使用减少超过70%，推理速度加快180倍。

🔬 方法详解

问题定义：本文旨在解决在大规模场景中通过自然语言提示进行3D实例检索的效率和准确性问题。现有方法的痛点在于其依赖于场景级嵌入，导致内存和计算成本随场景复杂度线性增长，容易出现内存溢出（OOM）情况。

核心思路：QueryGaussian的核心思路是采用实例级查询机制，将语义理解与几何表示解耦，从而避免了传统方法的架构瓶颈。通过这种方式，系统能够更高效地处理大规模场景中的3D实例检索任务。

技术框架：QueryGaussian的整体架构包括多个主要模块：首先，利用预训练的2D视觉模型解析用户的自然语言提示；其次，通过并发最大权重关联策略将分割掩码提升到3D；最后，采用时间融合模块和多阶段自适应密度聚类来减轻投影模糊。

关键创新：本文的关键创新在于引入了实例级查询机制和时间融合模块，这与现有方法的整体语义提炼方式形成了本质区别。通过这种创新，QueryGaussian能够在保持高准确性的同时显著提高检索效率。

关键设计：在设计上，QueryGaussian采用了多阶段自适应密度聚类来处理投影模糊问题，并通过并发最大权重关联策略确保语义与视觉的一致性。具体的参数设置和损失函数设计在实验中经过优化，以实现最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QueryGaussian在准确性上与最先进的方法相当，同时在效率上实现了显著提升，GPU内存使用减少超过70%，推理速度提升180倍。这些结果表明该方法在处理大规模3D场景时具有极高的实用性。

🎯 应用场景

该研究的潜在应用领域包括城市规划、虚拟现实、增强现实等场景，能够帮助用户快速检索和识别大规模3D场景中的特定实例。其高效的检索能力和低内存占用使其适用于消费级硬件，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Efficiently retrieving specific 3D instances from large-scale scenes via natural language prompts remains a formidable challenge in multimedia analysis. Existing approaches predominantly follow a "scene-level embedding" paradigm, which requires distilling high-dimensional semantic features into every 3D primitive. This strategy suffers from a fundamental architectural bottleneck: memory and computational costs scale linearly with scene complexity, inevitably triggering out-of-memory (OOM) failures in city-scale environments. To address this barrier, we propose QueryGaussian, a training-free framework for expeditious and scalable open-vocabulary 3D instance retrieval. Unlike holistic semantic distillation, QueryGaussian employs an instance-level query mechanism that decouples semantic understanding from geometric representation. Specifically, we leverage pre-trained 2D vision models to interpret user prompts and lift segmentation masks into 3D via a concurrent maximum-weight association strategy, ensuring semantic-visual consistency. To mitigate projection ambiguity, we introduce a temporal fusion module with multi-stage adaptive density clustering. Experimental results demonstrate that QueryGaussian not only matches the accuracy of state-of-the-art methods but also delivers a decisive efficiency leap, reducing GPU memory usage by over 70% and accelerating inference by 180x. Crucially, QueryGaussian enables expeditious instance retrieval on city-scale scenes containing tens of millions of Gaussians using consumer-grade hardware.