PointSeg: A Training-Free Paradigm for 3D Scene Segmentation via Foundation Models

📄 arXiv: 2403.06403v5 📥 PDF

作者: Qingdong He, Jinlong Peng, Zhengkai Jiang, Xiaobin Hu, Jiangning Zhang

分类: cs.CV

发布日期: 2024-03-11 (更新: 2025-07-16)

备注: Accepted by ICCV 2025 E2E3D Workshop

💡 一句话要点

提出PointSeg以解决3D场景分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景分割 视觉基础模型 无训练范式 双分支学习 点框提示 后期细化 自动驾驶 增强现实

📋 核心要点

  1. 现有的3D场景分割方法在数据集限制下难以训练，且基础模型在3D空间的应用尚未充分探索。
  2. 提出PointSeg，通过无训练的方式利用现成的视觉基础模型，进行3D场景的物体分割。
  3. PointSeg在ScanNet、ScanNet++和KITTI-360数据集上，分别超越了现有无训练模型14.1%、12.3%和12.6%的mAP，且在多个数据集上优于基于训练的专家方法3.4%-5.4%的mAP。

📝 摘要（中文）

近年来，视觉基础模型在2D感知任务中取得了显著成功。然而，由于数据集的限制，直接训练3D基础网络面临困难，现有基础模型在3D空间的应用尚未得到充分探索。本文提出了PointSeg，一种新颖的无训练范式，利用现成的视觉基础模型来解决3D场景感知任务。PointSeg通过获取准确的3D提示，能够在3D场景中进行任意物体的分割。具体而言，我们设计了一个双分支提示学习结构，构建3D点框提示对，并结合双向匹配策略生成准确的点和提议提示。通过与不同的视觉基础模型合作，我们进行迭代后期细化。此外，我们设计了一种关注相似性的合并算法，以改善最终的集成掩膜。PointSeg在多个数据集上展示了令人印象深刻的分割性能，且无需训练。

🔬 方法详解

问题定义：本文旨在解决3D场景分割中的数据集限制和训练困难问题。现有方法在3D空间的应用尚未得到充分探索，导致性能不足。

核心思路：PointSeg通过无训练的方式，利用现成的视觉基础模型，设计双分支提示学习结构，生成3D点框提示对，以实现高效的3D场景分割。

技术框架：整体架构包括两个主要模块：提示学习模块和后期细化模块。提示学习模块负责生成3D点框提示对，后期细化模块则通过迭代优化提升分割精度。

关键创新：最重要的创新在于提出了双向匹配策略和关注相似性的合并算法，使得PointSeg能够在无训练的情况下，显著提升3D场景分割的准确性。

关键设计：在参数设置上，采用了适应性迭代后期细化，结合不同视觉基础模型进行优化，确保生成的提示对和最终掩膜的高质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PointSeg在多个数据集上表现出色，分别在ScanNet、ScanNet++和KITTI-360数据集上超越了现有无训练模型14.1%、12.3%和12.6%的mAP，并且在多个数据集上超越了基于训练的专家方法3.4%-5.4%的mAP，显示出其作为通用模型的有效性。

🎯 应用场景

PointSeg的研究成果在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。通过高效的3D场景分割，能够提升机器对环境的理解能力，从而推动智能系统的进一步发展。

📄 摘要（原文）

Recent success of vision foundation models have shown promising performance for the 2D perception tasks. However, it is difficult to train a 3D foundation network directly due to the limited dataset and it remains under explored whether existing foundation models can be lifted to 3D space seamlessly. In this paper, we present PointSeg, a novel training-free paradigm that leverages off-the-shelf vision foundation models to address 3D scene perception tasks. PointSeg can segment anything in 3D scene by acquiring accurate 3D prompts to align their corresponding pixels across frames. Concretely, we design a two-branch prompts learning structure to construct the 3D point-box prompts pairs, combining with the bidirectional matching strategy for accurate point and proposal prompts generation. Then, we perform the iterative post-refinement adaptively when cooperated with different vision foundation models. Moreover, we design a affinity-aware merging algorithm to improve the final ensemble masks. PointSeg demonstrates impressive segmentation performance across various datasets, all without training. Specifically, our approach significantly surpasses the state-of-the-art specialist training-free model by 14.1$\%$, 12.3$\%$, and 12.6$\%$ mAP on ScanNet, ScanNet++, and KITTI-360 datasets, respectively. On top of that, PointSeg can incorporate with various foundation models and even surpasses the specialist training-based methods by 3.4$\%$-5.4$\%$ mAP across various datasets, serving as an effective generalist model.