Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without Manual Labels

📄 arXiv: 2312.17232v1 📥 PDF

作者: Rui Huang, Songyou Peng, Ayca Takmaz, Federico Tombari, Marc Pollefeys, Shiji Song, Gao Huang, Francis Engelmann

分类: cs.CV

发布日期: 2023-12-28

备注: Project Page: http://segment3d.github.io

💡 一句话要点

提出Segment3D，无需人工标注即可学习细粒度、类别无关的3D分割

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D分割 无监督学习 伪标签 2D基础模型 场景理解

📋 核心要点

  1. 现有3D分割方法依赖人工标注，成本高且泛化性差，难以识别未见类别。
  2. Segment3D利用2D图像分割基础模型自动生成3D分割标签，无需人工干预。
  3. 实验表明，Segment3D在细粒度分割上优于现有方法，且易于扩展训练数据。

📝 摘要（中文）

现有的3D场景分割方法严重依赖于手动标注的3D训练数据集。这种手动标注既费时费力，又常常缺乏细粒度的细节。重要的是，在此数据上训练的模型通常难以识别超出标注类别的对象类别，即它们不能很好地泛化到未见领域，并且需要额外的特定于领域的注释。相比之下，2D基础模型表现出强大的泛化能力和令人印象深刻的零样本能力，这启发我们将2D模型的这些特性融入到3D模型中。因此，我们探索使用图像分割基础模型来自动生成3D分割的训练标签。我们提出了一种类别无关的3D场景分割方法Segment3D，该方法可以生成高质量的3D分割掩码。它优于现有的3D分割模型（尤其是在细粒度掩码上），并且可以轻松添加新的训练数据以进一步提高分割性能——所有这些都无需手动训练标签。

🔬 方法详解

问题定义：现有的3D场景分割方法依赖于大量人工标注的3D数据，标注过程耗时费力，且标注质量难以保证细粒度。此外，基于这些数据训练的模型泛化能力有限，难以处理未见过的物体类别，需要针对特定领域进行额外标注。

核心思路：论文的核心思路是利用预训练的2D图像分割基础模型，例如Segment Anything Model (SAM)，来自动生成3D场景的分割标签。通过将2D图像分割的结果反投影到3D空间，从而为3D点云或体素数据生成伪标签，避免了人工标注的需要。

技术框架：Segment3D的整体框架主要包含以下几个步骤：1) 使用多个视角的相机拍摄3D场景的图像；2) 利用预训练的2D图像分割模型（如SAM）对每个视角的图像进行分割，得到2D分割掩码；3) 将2D分割掩码反投影到3D空间，生成3D点云或体素的伪标签；4) 使用生成的伪标签训练3D分割模型。

关键创新：Segment3D的关键创新在于利用2D图像分割基础模型的强大泛化能力，实现了无需人工标注的3D场景分割。与传统的3D分割方法相比，Segment3D避免了人工标注的成本，并且能够更好地处理未见过的物体类别。此外，该方法可以方便地扩展到新的场景和数据集，只需要拍摄新的图像即可。

关键设计：在反投影过程中，需要考虑相机内外参数的准确性，以保证伪标签的质量。论文可能采用了某种策略来过滤掉质量较差的伪标签，例如基于视点一致性的过滤。此外，损失函数的设计也至关重要，可能采用了某种鲁棒的损失函数来处理伪标签中的噪声。

📊 实验亮点

Segment3D在多个3D分割数据集上取得了显著的性能提升，尤其是在细粒度分割任务上。实验结果表明，该方法能够生成高质量的3D分割掩码，并且优于现有的3D分割模型。此外，通过添加新的未标注数据，可以进一步提高分割性能，验证了该方法的可扩展性。

🎯 应用场景

Segment3D可应用于机器人导航、自动驾驶、三维重建、虚拟现实等领域。它降低了3D场景理解的标注成本，使得模型能够更好地泛化到新的环境和物体类别。未来，该方法有望推动3D视觉技术在更广泛领域的应用，例如智能家居、工业自动化等。

📄 摘要（原文）

Current 3D scene segmentation methods are heavily dependent on manually annotated 3D training datasets. Such manual annotations are labor-intensive, and often lack fine-grained details. Importantly, models trained on this data typically struggle to recognize object classes beyond the annotated classes, i.e., they do not generalize well to unseen domains and require additional domain-specific annotations. In contrast, 2D foundation models demonstrate strong generalization and impressive zero-shot abilities, inspiring us to incorporate these characteristics from 2D models into 3D models. Therefore, we explore the use of image segmentation foundation models to automatically generate training labels for 3D segmentation. We propose Segment3D, a method for class-agnostic 3D scene segmentation that produces high-quality 3D segmentation masks. It improves over existing 3D segmentation models (especially on fine-grained masks), and enables easily adding new training data to further boost the segmentation performance -- all without the need for manual training labels.