P2Seg: Pointly-supervised Segmentation via Mutual Distillation

📄 arXiv: 2401.09709v1 📥 PDF

作者: Zipeng Wang, Xuehui Yu, Xumeng Han, Wenwen Yu, Zhixun Huang, Jianbin Jiao, Zhenjun Han

分类: cs.CV

发布日期: 2024-01-18

备注: 14 pages, 12 figures, published to ICLR2024

💡 一句话要点

提出P2Seg以解决点级监督实例分割中的边界预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)

关键词: 点级监督 实例分割 互蒸馏 语义信息 边界预测 计算机视觉 深度学习

📋 核心要点

  1. 现有的点级监督实例分割方法在边界预测上存在困难，主要依赖位置而非轮廓信息，导致准确性不足。
  2. 本文提出的互蒸馏模块（MDM）结合了语义信息和实例位置信息，通过S2I和I2S模块实现更精确的实例分割。
  3. 在PASCAL VOC和MS COCO数据集上，本文方法分别达到了55.7 mAP$_{50}$和17.6 mAP，显著优于现有PSIS方法和一些基于框的实例分割竞争者。

📝 摘要（中文）

点级监督实例分割（PSIS）旨在通过低成本且信息丰富的实例注释来增强实例分割的适用性和可扩展性。现有的PSIS方法通常依赖位置信息来区分对象，但由于缺乏轮廓注释，预测精确边界仍然具有挑战性。本文设计了一种互蒸馏模块（MDM），利用实例位置和语义信息的互补优势，实现准确的实例级对象感知。MDM包括语义到实例（S2I）和实例到语义（I2S）两个部分，S2I通过语义区域的精确边界学习注释点与实例轮廓之间的关联，而I2S则利用实例之间的判别关系促进语义图中不同对象的区分。大量实验验证了MDM在促进实例与语义信息之间的协同作用，从而提高实例级对象表示的质量。

🔬 方法详解

问题定义：本文旨在解决点级监督实例分割中由于缺乏轮廓注释而导致的边界预测困难。现有方法主要依赖位置标注，无法有效捕捉实例的精确边界。

核心思路：论文提出的互蒸馏模块（MDM）通过结合语义信息和实例位置信息，利用S2I和I2S模块的互补优势，实现更准确的实例级对象感知。

技术框架：MDM由两个主要模块组成：语义到实例（S2I）模块通过语义区域的边界信息学习注释点与实例轮廓的关系；实例到语义（I2S）模块则利用实例之间的关系来区分不同对象。

关键创新：MDM的设计是本文的核心创新点，通过互蒸馏的方式有效融合了语义和实例信息，与传统方法相比，显著提升了实例分割的准确性。

关键设计：在技术细节上，MDM的损失函数设计考虑了语义和实例信息的互补性，网络结构则采用了适应性强的卷积神经网络，以提高特征提取的效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，P2Seg在PASCAL VOC和MS COCO数据集上的表现优异，分别达到了55.7 mAP$_{50}$和17.6 mAP，显著超过了现有的PSIS方法和一些基于框的实例分割方法，提升幅度明显，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和医学图像分析等。通过提高实例分割的准确性，P2Seg能够在复杂场景中更好地识别和分割目标，为相关领域的智能化发展提供支持。未来，该方法有望在更多实际应用中推广，提升计算机视觉技术的普适性和可靠性。

📄 摘要（原文）

Point-level Supervised Instance Segmentation (PSIS) aims to enhance the applicability and scalability of instance segmentation by utilizing low-cost yet instance-informative annotations. Existing PSIS methods usually rely on positional information to distinguish objects, but predicting precise boundaries remains challenging due to the lack of contour annotations. Nevertheless, weakly supervised semantic segmentation methods are proficient in utilizing intra-class feature consistency to capture the boundary contours of the same semantic regions. In this paper, we design a Mutual Distillation Module (MDM) to leverage the complementary strengths of both instance position and semantic information and achieve accurate instance-level object perception. The MDM consists of Semantic to Instance (S2I) and Instance to Semantic (I2S). S2I is guided by the precise boundaries of semantic regions to learn the association between annotated points and instance contours. I2S leverages discriminative relationships between instances to facilitate the differentiation of various objects within the semantic map. Extensive experiments substantiate the efficacy of MDM in fostering the synergy between instance and semantic information, consequently improving the quality of instance-level object representations. Our method achieves 55.7 mAP$_{50}$ and 17.6 mAP on the PASCAL VOC and MS COCO datasets, significantly outperforming recent PSIS methods and several box-supervised instance segmentation competitors.