Visual Foundation Models Boost Cross-Modal Unsupervised Domain Adaptation for 3D Semantic Segmentation

📄 arXiv: 2403.10001v1 📥 PDF

作者: Jingyi Xu, Weidong Yang, Lingdong Kong, Youquan Liu, Rui Zhang, Qingyuan Zhou, Ben Fei

分类: cs.CV

发布日期: 2024-03-15

备注: 8 pages, 6 figures

💡 一句话要点

提出VFMSeg以提升3D语义分割的跨模态无监督领域适应能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无监督领域适应 3D语义分割 视觉基础模型 跨模态融合 自动驾驶

📋 核心要点

  1. 现有方法在3D语义分割中，伪标签的噪声问题限制了模型的准确性，尤其是在无标签目标域时。
  2. 本文提出VFMSeg，通过利用预训练的视觉基础模型生成更准确的标签，并增强神经网络的性能。
  3. 在多个自动驾驶数据集上的实验结果显示，VFMSeg显著提高了3D分割的准确性，验证了其有效性。

📝 摘要（中文）

无监督领域适应（UDA）对于减轻3D点云数据标注的工作量至关重要，尤其是在面对新定义领域时。尽管已有多种方法利用图像增强跨域3D分割的性能，但源域训练模型生成的伪标签由于噪声问题，限制了神经网络的准确性。本文提出了一种新颖的管道VFMSeg，通过利用2D视觉基础模型（VFM）来生成更准确的标签，从而提高无标签目标域的性能。我们首先使用多模态VFM为目标域的图像和点云提供监督标签，然后采用另一个经过细粒度2D掩膜训练的VFM来指导生成语义增强的图像和点云，最后合并跨模态的类别预测以生成更准确的注释。实验结果表明，该方法在多个自动驾驶数据集上显著提升了3D分割任务的性能。

🔬 方法详解

问题定义：本文旨在解决无监督领域适应中伪标签噪声对3D语义分割准确性的影响。现有方法依赖于源域训练模型生成的伪标签，但这些标签的噪声性限制了模型在新领域的表现。

核心思路：通过引入2D视觉基础模型（VFM），利用其丰富的知识先验来生成更准确的标签，从而提升无标签目标域的分割性能。该方法的设计旨在充分利用VFM在图像和点云数据上的表现。

技术框架：整体架构包括三个主要模块：首先，使用多模态VFM为目标域的图像和点云生成监督标签；其次，采用经过细粒度2D掩膜训练的VFM生成语义增强的图像和点云；最后，合并跨模态的类别预测以生成更准确的注释。

关键创新：最重要的技术创新在于利用VFM生成更高质量的伪标签，并通过语义增强的方式提升模型的性能。这与传统方法依赖于源域伪标签的方式有本质区别。

关键设计：在参数设置上，采用了多模态VFM的预训练模型，并设计了FrustumMixing策略来混合源域和目标域的数据，以增强模型的泛化能力。损失函数的设计也考虑了跨模态信息的融合，以提高最终的分割精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VFMSeg在多个自动驾驶数据集上显著提高了3D分割的性能，具体提升幅度达到XX%，相较于基线方法表现出更强的鲁棒性和准确性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在自动驾驶、机器人导航和增强现实等领域。通过提升3D语义分割的准确性，VFMSeg能够有效支持这些领域中的实时决策和环境理解，推动相关技术的发展和应用。

📄 摘要（原文）

Unsupervised domain adaptation (UDA) is vital for alleviating the workload of labeling 3D point cloud data and mitigating the absence of labels when facing a newly defined domain. Various methods of utilizing images to enhance the performance of cross-domain 3D segmentation have recently emerged. However, the pseudo labels, which are generated from models trained on the source domain and provide additional supervised signals for the unseen domain, are inadequate when utilized for 3D segmentation due to their inherent noisiness and consequently restrict the accuracy of neural networks. With the advent of 2D visual foundation models (VFMs) and their abundant knowledge prior, we propose a novel pipeline VFMSeg to further enhance the cross-modal unsupervised domain adaptation framework by leveraging these models. In this work, we study how to harness the knowledge priors learned by VFMs to produce more accurate labels for unlabeled target domains and improve overall performance. We first utilize a multi-modal VFM, which is pre-trained on large scale image-text pairs, to provide supervised labels (VFM-PL) for images and point clouds from the target domain. Then, another VFM trained on fine-grained 2D masks is adopted to guide the generation of semantically augmented images and point clouds to enhance the performance of neural networks, which mix the data from source and target domains like view frustums (FrustumMixing). Finally, we merge class-wise prediction across modalities to produce more accurate annotations for unlabeled target domains. Our method is evaluated on various autonomous driving datasets and the results demonstrate a significant improvement for 3D segmentation task.