3D-SceneQ: Empowering 3D LLM With Query-Guided Adaptive Pruning and Multi-Modal Feature Enhancement

📄 arXiv: 2610.37202v1 📥 PDF

作者: Yongqi Shan, Lu Zhang, Jiazuo Yu, Yunzhi Zhuge, Huchuan Lu

分类: cs.CV

发布日期: 2026-10-27

备注: 13 pages, 8 figures, 8 tables. Published in IEEE Transactions on Multimedia

期刊: IEEE Transactions on Multimedia, vol. 28, pp. 5972-5983, 2026

DOI: 10.1109/TMM.2026.3668502

💡 一句话要点

提出3D-SceneQ以解决3D场景理解中的噪声与信息缺失问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景理解 多模态融合 自适应修剪 特征增强 大型语言模型

📋 核心要点

  1. 现有的3D-LLM在场景理解中存在噪声干扰和信息缺失的问题，影响推理准确性。
  2. 论文提出了基于查询引导的自适应修剪模块和多模态对象特征增强模块，以提升3D场景理解能力。
  3. 实验结果表明，3D-SceneQ在多个基准测试中超越了当前最先进的方法，显著提升了性能。

📝 摘要（中文）

当前的3D场景理解流程通常将大量3D对象令牌与文本令牌连接，并将结果序列输入大型语言模型（LLM）。然而，现有的3D-LLM在场景理解中面临两个主要限制：一是任务无关对象数据的过度包含引入噪声，降低推理准确性并增加幻觉；二是仅依赖点云数据，缺乏2D模态中丰富的语义信息，如颜色、材质属性、纹理和高层次的上下文关系。为了解决这些挑战，我们提出了3D-SceneQ，这是一种将自适应令牌修剪与多模态语义增强相结合的3D LLM，显著提升了场景理解、推理和定位能力。

🔬 方法详解

问题定义：论文旨在解决现有3D-LLM在场景理解中存在的噪声干扰和信息缺失问题。现有方法过度依赖点云数据，缺乏丰富的语义信息，导致推理准确性下降。

核心思路：论文的核心思路是通过查询引导的自适应修剪（QGAP）模块选择与任务相关的对象，并结合多模态特征增强（MOFE）模块，整合2D特征以丰富3D表示。这样设计旨在提高推理的准确性和有效性。

技术框架：整体架构包括两个主要模块：QGAP模块用于根据用户指令选择相关对象，MOFE模块则将预训练模型的2D特征嵌入整合到3D表示中。

关键创新：最重要的技术创新点在于引入了查询引导的自适应修剪机制，能够有效抑制无关噪声，同时保留关键的信息。这一方法与传统的3D-LLM方法在处理信息的方式上有本质区别。

关键设计：在QGAP模块中，使用可学习的潜在查询来指导对象选择；在MOFE模块中，整合了来自预训练模型的2D特征嵌入，增强了对象级的语义信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，3D-SceneQ在多个基准测试中表现优异，例如在Scan2Cap上提升了5.7的CIDEr分数，在SQA3D上提升了17.0的EM@1分数，显著超越了当前最先进的方法，展示了其在3D语言推理任务中的卓越能力。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟现实和增强现实等场景理解任务。通过提升3D场景的理解能力，3D-SceneQ能够为这些领域提供更准确的环境感知和决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Current 3D scene understanding pipelines typically concatenate vast numbers of 3D object tokens with text tokens and feed the resulting sequence to a Large Language Model (LLM). However, existing 3D-LLMs for scene understanding encounter two major limitations: (i) excessive inclusion of task-irrelevant object data, introducing noise that reduces reasoning accuracy and increases hallucinations; and (ii) reliance solely on point cloud data, which inherently lacks the rich semantic information available in complementary 2D modalities, such as color, material properties, texture, and high-level contextual relationships. To address these challenges, we introduce 3D-SceneQ, a 3D LLM that unifies adaptive token pruning with multimodal semantic enrichment, markedly advancing scene understanding, reasoning, and grounding. Specifically, we propose a Query-Guided Adaptive Pruning (QGAP) module that adaptively selects task-relevant objects based on the intended meaning of user instructions, leveraging a learnable latent query to retain critical information while effectively suppressing irrelevant noise. In addition, we introduce a Multi-modal Object-level Feature Enhancement (MOFE) module, which integrates 2D feature embeddings from pre-trained models into 3D representation to enrich object-level semantic information. Evaluations show that 3D-SceneQ outperforms current state-of-the-art methods across multiple benchmarks (e.g., +5.7 CIDEr on Scan2Cap and +17.0 EM@1 on SQA3D), demonstrating its remarkable capabilities in various 3D language reasoning tasks.