Better Call SAL: Towards Learning to Segment Anything in Lidar

📄 arXiv: 2403.13129v2 📥 PDF

作者: Aljoša Ošep, Tim Meinhardt, Francesco Ferroni, Neehar Peri, Deva Ramanan, Laura Leal-Taixé

分类: cs.CV, cs.RO

发布日期: 2024-03-19 (更新: 2024-07-25)

备注: Accepted to ECCV 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出SAL方法以解决激光雷达目标分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 激光雷达 目标分割 无监督学习 伪标签 多模态数据 零-shot学习 计算机视觉

📋 核心要点

  1. 现有的激光雷达全景分割方法依赖于手动标注，且仅限于少量预定义的对象类别，限制了其应用范围。
  2. SAL方法通过结合2D视觉基础模型和伪标签引擎，实现了在激光雷达数据中对任意对象的分割与分类，且无需人工监督。
  3. 实验结果表明，SAL在类无关分割上达到了91%的准确率，且在零-shot激光雷达全景分割中表现优于多种基线方法，显示出良好的扩展性。

📝 摘要（中文）

我们提出了SAL（Segment Anything in Lidar）方法，该方法包含一个可通过文本提示进行零-shot学习的模型，用于在激光雷达数据中分割和分类任意对象，以及一个伪标签引擎，能够在没有人工监督的情况下促进模型训练。与现有的激光雷达全景分割（LPS）方法依赖于手动监督的少量预定义对象类别不同，我们利用2D视觉基础模型生成3D监督数据。我们的伪标签包括实例掩码和相应的CLIP标记，通过校准的多模态数据将其提升到激光雷达空间。通过在这些标签上训练模型，我们将2D基础模型的知识提炼到我们的激光雷达SAL模型中。即使没有手动标签，我们的模型在类无关分割上达到了91%的准确率，在零-shot激光雷达全景分割上达到了54%的表现，超越了多种基线方法。更重要的是，SAL支持任意类别提示，易于扩展到新数据集，并显示出随着自标记数据量增加而显著提升的潜力。

🔬 方法详解

问题定义：本论文旨在解决激光雷达数据中目标分割的挑战，现有方法通常依赖于手动标注，且仅限于少量预定义的对象类别，这限制了其灵活性和应用范围。

核心思路：我们提出的SAL方法利用2D视觉基础模型生成3D监督数据，通过伪标签引擎实现无监督训练，从而能够对任意对象进行分割和分类。

技术框架：SAL方法的整体架构包括两个主要模块：一个是文本提示的零-shot模型，用于分割和分类；另一个是伪标签引擎，负责生成实例掩码和CLIP标记，并将其提升到激光雷达数据中。

关键创新：SAL的核心创新在于利用2D视觉模型生成3D伪标签，这一方法与传统的依赖手动标注的方式本质上不同，极大地提高了模型的灵活性和适应性。

关键设计：在模型设计中，我们使用了校准的多模态数据来提升伪标签，并通过特定的损失函数和网络结构来优化模型性能，确保在没有手动标签的情况下仍能达到较高的分割准确率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAL方法在类无关分割上达到了91%的准确率，在零-shot激光雷达全景分割中表现为54%，超越了多种基线方法，显示出其在无监督学习中的强大能力和潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航以及城市环境的三维重建等。通过实现对任意对象的分割与分类，SAL方法能够显著提升激光雷达数据的利用效率，推动相关领域的技术进步与应用落地。

📄 摘要（原文）

We propose the SAL (Segment Anything in Lidar) method consisting of a text-promptable zero-shot model for segmenting and classifying any object in Lidar, and a pseudo-labeling engine that facilitates model training without manual supervision. While the established paradigm for Lidar Panoptic Segmentation (LPS) relies on manual supervision for a handful of object classes defined a priori, we utilize 2D vision foundation models to generate 3D supervision ``for free''. Our pseudo-labels consist of instance masks and corresponding CLIP tokens, which we lift to Lidar using calibrated multi-modal data. By training our model on these labels, we distill the 2D foundation models into our Lidar SAL model. Even without manual labels, our model achieves $91\%$ in terms of class-agnostic segmentation and $54\%$ in terms of zero-shot Lidar Panoptic Segmentation of the fully supervised state-of-the-art. Furthermore, we outperform several baselines that do not distill but only lift image features to 3D. More importantly, we demonstrate that SAL supports arbitrary class prompts, can be easily extended to new datasets, and shows significant potential to improve with increasing amounts of self-labeled data. Code and models are available at this $\href{https://github.com/nv-dvl/segment-anything-lidar}{URL}$.