WeakSAM: Segment Anything Meets Weakly-supervised Instance-level Recognition

📄 arXiv: 2402.14812v2 📥 PDF

作者: Lianghui Zhu, Junwei Zhou, Yan Liu, Xin Hao, Wenyu Liu, Xinggang Wang

分类: cs.CV, cs.AI

发布日期: 2024-02-22 (更新: 2024-08-17)

备注: Accepted by ACM MM 2024. Code is available at https://github.com/hustvl/WeakSAM

🔗 代码/项目: GITHUB

💡 一句话要点

提出WeakSAM以解决弱监督实例级识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弱监督学习 目标检测 图像分割 伪标注 深度学习 计算机视觉 自动化识别

📋 核心要点

  1. 现有的弱监督目标检测方法面临伪地面真相不完整和噪声问题，影响了检测精度。
  2. WeakSAM通过自适应生成伪地面真相和RoI丢弃正则化，提升了弱监督学习的效果。
  3. 实验结果显示，WeakSAM在WSOD和WSIS基准上分别提升了7.4%和8.5%，显著优于现有方法。

📝 摘要（中文）

弱监督视觉识别利用不精确的监督信息，是一个重要但具有挑战性的学习问题。它显著降低了人工标注成本，传统上依赖于多实例学习和伪标注。本文提出WeakSAM，通过利用预先学习的世界知识（即Segment Anything Model，SAM），解决弱监督目标检测（WSOD）和分割问题。WeakSAM通过自适应伪地面真相生成和感兴趣区域（RoI）丢弃正则化，解决了传统WSOD再训练中的伪地面真相不完整性和噪声问题。此外，它还解决了SAM在自动目标检测和分割中对提示的需求和类别无感知的问题。实验结果表明，WeakSAM在WSOD和WSIS基准测试中显著超越了之前的最先进方法，平均提升分别为7.4%和8.5%。

🔬 方法详解

问题定义：本文旨在解决弱监督目标检测（WSOD）和分割中的伪地面真相不完整性和噪声问题。现有方法依赖于不精确的标注，导致模型性能受限。

核心思路：WeakSAM通过结合Segment Anything Model（SAM）中的世界知识，采用自适应伪地面真相生成和RoI丢弃正则化来改进WSOD和分割的效果。这样的设计旨在减少对人工标注的依赖，同时提高模型的自动化能力。

技术框架：WeakSAM的整体架构包括伪地面真相生成模块、RoI丢弃正则化模块和基于SAM的目标检测与分割模块。该框架通过多阶段的训练过程，逐步优化模型性能。

关键创新：WeakSAM的主要创新在于自适应伪地面真相生成和RoI丢弃正则化，这两者有效地解决了传统WSOD方法中的伪地面真相问题，提升了模型的鲁棒性和准确性。

关键设计：在参数设置上，WeakSAM采用了动态调整的伪地面真相生成策略，并引入了新的损失函数以平衡伪标注与真实标注的影响。此外，网络结构上结合了SAM的特性，使得模型在目标检测和分割中表现更佳。

📊 实验亮点

WeakSAM在WSOD和WSIS基准测试中分别实现了7.4%和8.5%的平均性能提升，显著超越了现有最先进的方法。这一结果表明WeakSAM在弱监督学习中的有效性和优越性，具有重要的研究和应用价值。

🎯 应用场景

WeakSAM在弱监督视觉识别领域具有广泛的应用潜力，尤其是在需要大量标注数据的场景中，如自动驾驶、安防监控和医疗影像分析等。通过降低人工标注成本，该方法能够加速模型训练和部署，推动相关领域的技术进步。

📄 摘要（原文）

Weakly supervised visual recognition using inexact supervision is a critical yet challenging learning problem. It significantly reduces human labeling costs and traditionally relies on multi-instance learning and pseudo-labeling. This paper introduces WeakSAM and solves the weakly-supervised object detection (WSOD) and segmentation by utilizing the pre-learned world knowledge contained in a vision foundation model, i.e., the Segment Anything Model (SAM). WeakSAM addresses two critical limitations in traditional WSOD retraining, i.e., pseudo ground truth (PGT) incompleteness and noisy PGT instances, through adaptive PGT generation and Region of Interest (RoI) drop regularization. It also addresses the SAM's problems of requiring prompts and category unawareness for automatic object detection and segmentation. Our results indicate that WeakSAM significantly surpasses previous state-of-the-art methods in WSOD and WSIS benchmarks with large margins, i.e. average improvements of 7.4% and 8.5%, respectively. The code is available at \url{https://github.com/hustvl/WeakSAM}.