DatUS^2: Data-driven Unsupervised Semantic Segmentation with Pre-trained Self-supervised Vision Transformer

📄 arXiv: 2401.12820v1 📥 PDF

作者: Sonal Kumar, Arijit Sur, Rashmi Dutta Baruah

分类: cs.CV, cs.LG

发布日期: 2024-01-23

备注: The manuscript contains 13 pages, 9 figures and 7 tables

期刊: IEEE Trans. Cogn. Dev. Syst. 16 (2024) 1775-1788

DOI: 10.1109/TCDS.2024.3383952

💡 一句话要点

提出DatUS^2以解决无监督语义分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无监督学习 语义分割 自监督训练 视觉特征 深度学习

📋 核心要点

  1. 现有的自监督训练方法在无监督密集语义分割任务上尚未得到充分探索，限制了对视觉特征质量的全面评估。
  2. 本文提出的DatUS^2方法通过生成伪标注分割掩码，利用自监督训练中学习到的语义信息，解决了无监督语义分割的挑战。
  3. 实验结果显示，DatUS^2在SUIM数据集上相较于最先进方法提升了15.02%的MiOU和21.47%的像素准确率，展现了其有效性。

📝 摘要（中文）

随着多个自监督训练方案的提出，逐步接近开发通用基础模型的目标。在这一过程中，无监督下游任务被认为是验证自监督训练方案所学习视觉特征质量的重要方法。然而，现有研究尚未探索无监督密集语义分割作为下游任务。本文提出了一种新颖的数据驱动方法DatUS^2，用于无监督语义分割，能够为未标记的图像数据集生成语义一致的密集伪标注分割掩码，而无需使用任何视觉先验或同步数据。通过与真实标注掩码的比较，评估了现有自监督训练方案在补丁级别和分段级别学习共享和区分语义属性的能力。实验结果表明，DatUS^2在SUIM数据集上相较于现有最先进方法提升了15.02%的MiOU和21.47%的像素准确率，并在复杂的大规模数据集COCO上也表现出竞争力。

🔬 方法详解

问题定义：本文旨在解决无监督密集语义分割任务，现有方法在这一领域的探索不足，导致无法有效评估自监督训练所学习的视觉特征质量。

核心思路：DatUS^2通过生成语义一致的伪标注分割掩码，利用自监督训练中获得的补丁级别特征，来实现无监督语义分割。该方法不依赖于任何视觉先验或同步数据，具有较强的通用性。

技术框架：整体架构包括数据输入、特征提取、伪标注生成和评估模块。首先，输入未标记的图像数据集，通过自监督训练获取特征，然后生成伪标注分割掩码，最后与真实掩码进行比较评估。

关键创新：DatUS^2的主要创新在于其数据驱动的伪标注生成方法，能够在无监督条件下有效利用自监督学习中获得的语义信息，与现有方法相比，显著提升了分割效果。

关键设计：在关键设计方面，DatUS^2采用了特定的损失函数来优化伪标注的生成过程，并在网络结构上进行了调整，以增强对语义特征的捕捉能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，DatUS^2在SUIM数据集上达到了15.02%的MiOU和21.47%的像素准确率，超越了现有最先进的方法，显示出其在无监督密集语义分割任务中的显著优势。此外，在复杂的大规模COCO数据集上也表现出良好的准确性，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和视频监控等场景，能够在没有标注数据的情况下，实现高效的语义分割，具有重要的实际价值和广泛的应用前景。未来，DatUS^2有望推动无监督学习在更多领域的应用与发展。

📄 摘要（原文）

Successive proposals of several self-supervised training schemes continue to emerge, taking one step closer to developing a universal foundation model. In this process, the unsupervised downstream tasks are recognized as one of the evaluation methods to validate the quality of visual features learned with a self-supervised training scheme. However, unsupervised dense semantic segmentation has not been explored as a downstream task, which can utilize and evaluate the quality of semantic information introduced in patch-level feature representations during self-supervised training of a vision transformer. Therefore, this paper proposes a novel data-driven approach for unsupervised semantic segmentation (DatUS^2) as a downstream task. DatUS^2 generates semantically consistent and dense pseudo annotate segmentation masks for the unlabeled image dataset without using any visual-prior or synchronized data. We compare these pseudo-annotated segmentation masks with ground truth masks for evaluating recent self-supervised training schemes to learn shared semantic properties at the patch level and discriminative semantic properties at the segment level. Finally, we evaluate existing state-of-the-art self-supervised training schemes with our proposed downstream task, i.e., DatUS^2. Also, the best version of DatUS^2 outperforms the existing state-of-the-art method for the unsupervised dense semantic segmentation task with 15.02% MiOU and 21.47% Pixel accuracy on the SUIM dataset. It also achieves a competitive level of accuracy for a large-scale and complex dataset, i.e., the COCO dataset.