Better (pseudo-)labels for semi-supervised instance segmentation

📄 arXiv: 2403.11675v1 📥 PDF

作者: François Porcher, Camille Couprie, Marc Szafraniec, Jakob Verbeek

分类: cs.CV

发布日期: 2024-03-18

备注: Appeared at the Practical ML for Low Resource Settings workshop at ICLR 2024

💡 一句话要点

提出双重策略以改善半监督实例分割中的标签质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 半监督学习 实例分割 教师-学生蒸馏 模型校准 稀有类识别

📋 核心要点

  1. 现有的半监督学习方法在实例分割任务中面临标签稀缺和类分布不均的问题，导致模型在学习时出现过度自信和低自信现象。
  2. 本文提出双重策略来改善教师模型的训练过程，并设计了一种校准修正机制，以提高学生模型的性能。
  3. 在LVIS数据集上，所提方法相比于最先进的监督基线，平均精度提高了2.8%，稀有类的AP提升达10.3%。

📝 摘要（中文）

尽管在图像分类和图像-文本对齐等任务中有大量数据集，但对于更复杂的识别任务，如检测和分割，标注数据依然稀缺。实例分割的标注尤其耗时，且类间实例分布往往高度不均。现有的半监督教师-学生蒸馏方法在利用大量未标注数据方面表现出色，但存在过度自信和低自信的问题。本文提出了一种双重策略来增强教师模型的训练过程，并引入了校准修正机制，使学生模型能够纠正教师的校准错误。实验结果显示，该方法在LVIS数据集上相比于最先进的监督基线性能有显著提升，平均精度提高了2.8%，稀有类的AP提升达10.3%。

🔬 方法详解

问题定义：本文旨在解决半监督实例分割中的标签质量问题，现有方法在处理稀有类时表现不佳，导致模型学习不充分。

核心思路：提出双重策略以增强教师模型的训练，并通过校准修正机制提升学生模型的性能，旨在减少模型的过度自信和低自信现象。

技术框架：整体架构包括教师模型和学生模型的协同训练，教师模型通过双重策略进行优化，学生模型则利用校准修正机制来纠正教师模型的输出。

关键创新：最重要的创新在于引入了校准修正机制，使学生模型能够有效纠正教师模型的输出偏差，这在现有方法中尚未得到充分探讨。

关键设计：在参数设置上，采用了针对稀有类的特定损失函数，并在网络结构中引入了适应性调整机制，以提高模型对不同类的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在LVIS数据集上相比于最先进的监督基线，平均精度提高了2.8%，稀有类的AP提升达10.3%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医疗影像分析和视频监控等场景，能够有效提升模型在稀有类实例分割任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Despite the availability of large datasets for tasks like image classification and image-text alignment, labeled data for more complex recognition tasks, such as detection and segmentation, is less abundant. In particular, for instance segmentation annotations are time-consuming to produce, and the distribution of instances is often highly skewed across classes. While semi-supervised teacher-student distillation methods show promise in leveraging vast amounts of unlabeled data, they suffer from miscalibration, resulting in overconfidence in frequently represented classes and underconfidence in rarer ones. Additionally, these methods encounter difficulties in efficiently learning from a limited set of examples. We introduce a dual-strategy to enhance the teacher model's training process, substantially improving the performance on few-shot learning. Secondly, we propose a calibration correction mechanism that that enables the student model to correct the teacher's calibration errors. Using our approach, we observed marked improvements over a state-of-the-art supervised baseline performance on the LVIS dataset, with an increase of 2.8% in average precision (AP) and 10.3% gain in AP for rare classes.