Active Label Correction for Semantic Segmentation with Foundation Models

📄 arXiv: 2403.10820v2 📥 PDF

作者: Hoyoung Kim, Sehyun Hwang, Suha Kwak, Jungseul Ok

分类: cs.CV

发布日期: 2024-03-16 (更新: 2024-06-04)

💡 一句话要点

提出主动标签修正框架以优化语义分割数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义分割 主动学习 标签修正 基础模型 超像素 数据集优化

📋 核心要点

  1. 现有的语义分割模型训练依赖于劳动密集的像素级标注，且现有数据集常存在错误。
  2. 本文提出的主动标签修正框架通过设计友好的修正查询，利用基础模型的零样本预测来优化伪标签。
  3. 实验结果显示，ALC框架在多个数据集上超越了以往的主动语义分割和标签修正方法，提升了标注质量。

📝 摘要（中文）

训练和验证语义分割模型需要像素级标注的数据集，这一过程通常劳动密集且容易出错。本文提出了一种有效的主动标签修正（ALC）框架，通过设计修正查询来纠正像素的伪标签，显著提高了标注的友好性。该方法利用基础模型提供的零样本预测和超像素，包含两个关键技术：一是基于伪标签的友好修正查询设计，二是基于超像素的标签扩展获取函数。实验结果表明，ALC框架在PASCAL、Cityscapes和Kvasir-SEG数据集上表现优越，成功修正了PASCAL数据集中260万像素的错误。

🔬 方法详解

问题定义：本文旨在解决语义分割模型训练中对劳动密集型像素级标注的依赖，以及现有数据集中的标注错误问题。现有方法往往直接要求标注者对每个像素进行分类，导致效率低下和错误率高。

核心思路：论文提出的主动标签修正框架（ALC）通过设计友好的修正查询，旨在提高标注者的参与度和准确性。通过利用基础模型的零样本预测，ALC能够更有效地识别和修正伪标签。

技术框架：ALC框架主要包括两个模块：一是基于伪标签的修正查询设计，二是基于超像素的标签扩展获取函数。该框架通过迭代过程不断优化伪标签，最终提高数据集的整体质量。

关键创新：ALC的主要创新在于其友好的修正查询设计，相较于传统方法，ALC更关注标注者的体验，减少了直接分类的复杂性，从而提高了标注的准确性和效率。

关键设计：在设计中，ALC使用了基础模型的零样本预测来生成伪标签，并通过超像素的结构来优化标签扩展的获取函数。具体的参数设置和损失函数设计尚未详细披露，需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ALC框架在PASCAL、Cityscapes和Kvasir-SEG数据集上均表现优越，特别是在PASCAL数据集中成功修正了260万像素的错误，显著提高了标注的准确性和效率。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和城市环境监测等需要高质量语义分割的场景。通过提高数据集的标注质量，ALC框架能够显著提升模型的性能，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Training and validating models for semantic segmentation require datasets with pixel-wise annotations, which are notoriously labor-intensive. Although useful priors such as foundation models or crowdsourced datasets are available, they are error-prone. We hence propose an effective framework of active label correction (ALC) based on a design of correction query to rectify pseudo labels of pixels, which in turn is more annotator-friendly than the standard one inquiring to classify a pixel directly according to our theoretical analysis and user study. Specifically, leveraging foundation models providing useful zero-shot predictions on pseudo labels and superpixels, our method comprises two key techniques: (i) an annotator-friendly design of correction query with the pseudo labels, and (ii) an acquisition function looking ahead label expansions based on the superpixels. Experimental results on PASCAL, Cityscapes, and Kvasir-SEG datasets demonstrate the effectiveness of our ALC framework, outperforming prior methods for active semantic segmentation and label correction. Notably, utilizing our method, we obtained a revised dataset of PASCAL by rectifying errors in 2.6 million pixels in PASCAL dataset.