3D-PLOT-LLM: Part-Level Object Tokens for 3D Large Language Models

📄 arXiv: 2606.19828v1 📥 PDF

作者: Jintang Xue, Xinyu Wang, Yixing Wu, Jingwen Chen, C. -C. Jay Kuo

分类: cs.CV

发布日期: 2026-06-18

💡 一句话要点

提出3D-PLOT-LLM以解决3D对象部分识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D多模态模型 部分感知 大语言模型 标记空间细化 机器人视觉 增强现实 虚拟现实

📋 核心要点

  1. 现有的3D多模态大语言模型无法有效识别和推理3D对象的各个部分，限制了其应用。
  2. 3D-PLOT-LLM通过将输入令牌流重新组织，使得模型可以直接引用对象的部分，提升了部分感知能力。
  3. 在多个基准测试中，3D-PLOT-LLM在文本输出指标上超越了现有的3D MLLMs，且新增参数少于1M。

📝 摘要（中文）

3D多模态大语言模型（3D MLLMs）通常将3D对象视为整体，无法有效识别和推理其各个部分。以往的部分感知方法增加了分割解码器或更重的3D编码器，导致参数成本显著增加。本文提出的3D-PLOT-LLM通过重新组织输入令牌流，使得模型可以直接通过自身词汇来引用对象的各个部分。该模型在多个基准测试中表现优异，展示了其在部分识别和描述方面的能力。

🔬 方法详解

问题定义：本文旨在解决现有3D多模态大语言模型在部分识别和推理方面的不足，尤其是无法有效引用和描述3D对象的各个部分。现有方法通常依赖于重型编码器或分割解码器，导致参数成本高昂。

核心思路：3D-PLOT-LLM通过将输入令牌流重新组织，使得每个部分可以通过模型自身的词汇直接引用。具体而言，模型在每个局部区域的补丁前插入可学习的区域标记和保留的词汇令牌，从而实现对部分的引用。

技术框架：该模型的整体架构包括一个冻结的点编码器和一个标记空间细化（MSR）模块。MSR模块根据区域的空间统计和邻接关系来调整每个标记，从而增强模型对部分的理解和引用能力。

关键创新：3D-PLOT-LLM的主要创新在于其通过重新组织输入令牌流，使得模型能够直接引用对象的部分，而不是将其视为整体。这一设计显著降低了参数成本，并提高了模型的灵活性和表达能力。

关键设计：模型在设计上使用了可学习的区域标记和保留的词汇令牌，且在训练过程中新增的可训练参数少于1M，远低于以往的部分感知3D MLLMs，同时没有使用分割解码器或边界框头。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PartVerse-QA基准测试中，3D-PLOT-LLM达到了0.459的Jaccard指数和13.78%的精确匹配率，超越了PointLLM、Kestrel等模型。在3DCoMPaT-GrIn基准测试中，3D-PLOT-LLM在所有文本输出指标上均优于竞争对手，显示出其在部分感知任务中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、增强现实和虚拟现实等场景，能够提升3D对象的理解和交互能力。通过更好地识别和描述对象的各个部分，3D-PLOT-LLM可以为智能系统提供更丰富的上下文信息，增强其决策能力和用户体验。

📄 摘要（原文）

3D multimodal large language models (3D MLLMs) describe a 3D object as a whole but cannot address, name, or reason about its parts. Prior part-aware attempts add segmentation decoders, heavier 3D encoders, or bounding-box grammars at substantial parameter cost. We take a fundamentally different path: we reorganize the input token stream so that parts become directly addressable through the LLM's own vocabulary. Our model, 3D-PLOT-LLM, partitions the frozen point encoder's patches into K locally coherent regions and inserts, before each region's patch tokens, a learnable per-region marker and a reserved vocabulary token ; a Marker-Space Refinement (MSR) module then conditions each marker on its region's spatial statistics and adjacency neighbors. The model thus cites parts in its output and follows prompts that refer to parts by token, a capability absent from prior object-level 3D MLLMs. To probe this interface, we construct PartVerse-QA, a vocabulary-level part-QA benchmark adapted from PartVerse mesh annotations (77K training pairs and 588 held-out queries on disjoint object splits), on which 3D-PLOT-LLM reaches caption-to-slots Jaccard 0.459 and Exact-match 13.78%, with a slot-to-caption GPT-4o judge of 44.68. On the 3DCoMPaT-GrIn part-aware grounded description benchmark, 3D-PLOT-LLM outperforms PointLLM, Kestrel, PARIS3D, and SegPoint on every text-output metric, and ShapeLLM on 3 of 4, with up to +3.03 GPT-4o judge over PointLLM. On Objaverse whole-object captioning, adding PartVerse-QA at Stage 2 yields +0.65 SBERT and +1.85 GPT-4o over PointLLM, and tops PointLLM-PiSA on 4 of 5 traditional metrics (SBERT, SimCSE, BLEU-1, METEOR) despite targeting a different (part-grounded) objective. All with under 1M new trainable parameters on a frozen point encoder, an order of magnitude below prior part-aware 3D MLLMs, and no segmentation decoder or bounding-box head.