3D Open-Vocabulary Panoptic Segmentation with 2D-3D Vision-Language Distillation

📄 arXiv: 2401.02402v3 📥 PDF

作者: Zihao Xiao, Longlong Jing, Shangxuan Wu, Alex Zihao Zhu, Jingwei Ji, Chiyu Max Jiang, Wei-Chih Hung, Thomas Funkhouser, Weicheng Kuo, Anelia Angelova, Yin Zhou, Shiwei Sheng

分类: cs.CV

发布日期: 2024-01-04 (更新: 2024-04-03)

💡 一句话要点

提出一种新方法解决3D开放词汇全景分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D全景分割 开放词汇 视觉-语言蒸馏 LiDAR特征 CLIP模型 自动驾驶 深度学习

📋 核心要点

  1. 现有的3D全景分割方法在处理未见物体和材料类别时表现不佳，尤其是对于新类别的分类质量较低。
  2. 本文提出的方法通过融合LiDAR特征和冻结的视觉CLIP特征，使用单一分类头进行基础类和新类的预测。
  3. 在nuScenes和SemanticKITTI数据集上的实验结果显示，该方法在性能上大幅超越了现有强基线。

📝 摘要（中文）

3D全景分割是一项具有挑战性的感知任务，尤其在自动驾驶领域。该任务旨在为场景中的3D点预测语义和实例注释。尽管现有的3D全景分割方法在封闭集基准上取得了良好表现，但如何将这些方法推广到未见物体和未见材料类别仍然是一个未解决的问题。本文提出了一种新方法，结合可学习的LiDAR特征和密集的冻结视觉CLIP特征，通过单一分类头对基础类和新类进行预测，并引入了对象级蒸馏损失和体素级蒸馏损失，以提高新类的分类性能。实验结果表明，该方法在nuScenes和SemanticKITTI数据集上显著超越了强基线。

🔬 方法详解

问题定义：本文旨在解决3D开放词汇全景分割问题，现有方法在处理未见物体和材料类别时的分类质量较差，尤其是新类别的表现不理想。

核心思路：提出的方法通过结合可学习的LiDAR特征与冻结的视觉CLIP特征，利用单一分类头进行基础类和新类的预测，从而提高分类性能。

技术框架：整体架构包括特征提取模块（LiDAR与CLIP特征融合）、分类模块（单一分类头）和损失计算模块（对象级与体素级蒸馏损失）。

关键创新：本研究的主要创新在于引入对象级蒸馏损失和体素级蒸馏损失，以增强新类别的分类能力，这在现有方法中尚未得到充分利用。

关键设计：在网络结构上，采用了单一分类头设计，并通过特定的损失函数来优化新类别的分类性能，确保了模型在未见类别上的泛化能力。

📊 实验亮点

实验结果表明，提出的方法在nuScenes和SemanticKITTI数据集上显著优于强基线，具体性能提升幅度达到XX%（具体数据需根据实验结果填写），验证了新方法在处理未见类别时的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人感知和增强现实等场景。通过提高3D全景分割的准确性，能够显著提升自动驾驶系统的环境理解能力，从而增强安全性和可靠性。未来，该方法有望在更多复杂场景中得到应用，推动智能交通和智能城市的发展。

📄 摘要（原文）

3D panoptic segmentation is a challenging perception task, especially in autonomous driving. It aims to predict both semantic and instance annotations for 3D points in a scene. Although prior 3D panoptic segmentation approaches have achieved great performance on closed-set benchmarks, generalizing these approaches to unseen things and unseen stuff categories remains an open problem. For unseen object categories, 2D open-vocabulary segmentation has achieved promising results that solely rely on frozen CLIP backbones and ensembling multiple classification outputs. However, we find that simply extending these 2D models to 3D does not guarantee good performance due to poor per-mask classification quality, especially for novel stuff categories. In this paper, we propose the first method to tackle 3D open-vocabulary panoptic segmentation. Our model takes advantage of the fusion between learnable LiDAR features and dense frozen vision CLIP features, using a single classification head to make predictions for both base and novel classes. To further improve the classification performance on novel classes and leverage the CLIP model, we propose two novel loss functions: object-level distillation loss and voxel-level distillation loss. Our experiments on the nuScenes and SemanticKITTI datasets show that our method outperforms the strong baseline by a large margin.