PruneGround: Plug-and-play Spatial Pruning for 3D Visual Grounding

📄 arXiv: 2606.31148v1 📥 PDF

作者: Duc Cao Dinh, Khai Le-Duc, Florent Draye, Chris Ngo, Terry Jingchen Zhang, Bernhard Schölkopf, Zhijing Jin

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-06-30

备注: Preprint

🔗 代码/项目: GITHUB

💡 一句话要点

提出PruneGround以解决3D视觉定位中的计算复杂性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D视觉定位 空间修剪 自然语言处理 多视角推理 点云处理 智能交互 机器人导航

📋 核心要点

  1. 现有3D视觉定位方法在处理复杂场景时，往往需要对整个场景进行推理，导致计算成本高和预测模糊。
  2. 本文提出PruneGround框架，通过语言引导的空间修剪等技术，聚焦于局部空间区域，从而提高定位效率和准确性。
  3. 在多个点云基准测试中，PruneGround在所有ScanRefer设置中达到最先进的结果，并在9个Nr3D/Sr3D设置中表现优异。

📝 摘要（中文）

3D视觉定位（3DVG）旨在根据自然语言描述在3D场景中定位目标对象。现有方法通常需要对整个场景进行推理，导致模糊的预测和高计算成本，尤其是在杂乱环境中。为此，本文提出了PruneGround，一个有效的即插即用框架，包含三个关键组件：语言引导的空间修剪（LGSP）、多视角条件描述重构（MCDR）和LLM-Grounder。通过这些组件，PruneGround能够减少空间计算，提高定位精度。实验表明，该方法在多个基准测试中均取得了最先进的结果。

🔬 方法详解

问题定义：本文解决的是3D视觉定位中由于对整个场景推理导致的计算复杂性和模糊预测问题。现有方法在杂乱环境中表现不佳，难以准确定位目标对象。

核心思路：PruneGround的核心思路是通过语言引导的空间修剪，聚焦于与自然语言描述相关的局部区域，从而减少计算量并提高定位精度。

技术框架：PruneGround框架包含三个主要模块：语言引导的空间修剪（LGSP）、多视角条件描述重构（MCDR）和LLM-Grounder。LGSP利用冻结的视觉语言模型识别相关区域，MCDR通过多视角推理简化复杂表达，LLM-Grounder则将空间LLM与语言表示对齐。

关键创新：最重要的创新在于引入了语言引导的空间修剪技术，使得模型能够在更小的搜索空间内进行高效推理，与传统方法相比显著降低了计算复杂度。

关键设计：在设计中，LGSP模块使用冻结的视觉语言模型，MCDR模块通过多视角信息增强空间线索，LLM-Grounder则重用检测预训练的空间LLM，确保了模型在修剪区域内的语言条件对齐。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，PruneGround在所有ScanRefer设置中均取得了最先进的结果，并在9个Nr3D/Sr3D设置中表现优异，展示了其在复杂场景下的强大性能。具体而言，相较于基线方法，PruneGround在定位精度和计算效率上均有显著提升。

🎯 应用场景

该研究的潜在应用领域包括智能家居、增强现实和机器人导航等。通过提高3D视觉定位的效率和准确性，PruneGround能够在复杂环境中实现更智能的交互和决策，推动相关技术的发展与应用。

📄 摘要（原文）

3D Visual Grounding (3DVG) aims to localize target objects in 3D scenes given natural language descriptions. Existing approaches typically perform reasoning over the entire scene, leading to ambiguous predictions and high computational cost, especially in cluttered environments. We observe that many referential expressions rely on local spatial context and often correspond to restricted spatial regions rather than the full scene. Motivated by this insight, we propose PruneGround, an effective plug-and-play framework for 3DVG built upon three key components. First, we introduce Language-Guided Spatial Pruning (LGSP), which leverages a frozen Vision Language Model (VLM) to identify language-relevant regions, thereby reducing spatial computation and grounding candidates in the narrower search space. Second, we propose MultiView-Conditioned Description Reformulation (MCDR), which decomposes complex expressions into simplified target-anchor relations and augments missing spatial cues through multi-view reasoning. Finally, we propose LLM-Grounder, which repurposes a detection-pretrained spatial LLM into a language-conditioned grounding model by aligning point cloud and linguistic representations within the pruned region. Extensive experiments on the three most popular point cloud benchmarks demonstrate that our method achieves state-of-the-art results on all three ScanRefer settings and on 9 out of 10 Nr3D/Sr3D settings. Code and models are publicly available: https://github.com/leduckhai/PruneGround