Curriculum Point Prompting for Weakly-Supervised Referring Image Segmentation
作者: Qiyuan Dai, Sibei Yang
分类: cs.CV
发布日期: 2024-04-18
备注: Accepted to CVPR 2024
💡 一句话要点
提出课程点提示以解决弱监督图像分割问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 弱监督学习 图像分割 自然语言处理 多模态学习 课程学习 点提示 计算机视觉
📋 核心要点
- 现有方法在弱监督图像分割中面临噪声问题和对物体部分的过度关注，导致性能提升有限。
- 本文提出的点提示（PPT）框架通过生成负点提示和课程学习策略，逐步提高分割精度。
- 实验结果显示，PPT在多个数据集上显著超越了以往的弱监督技术，提升幅度达到11.34%到14.14%。
📝 摘要（中文）
引用图像分割（RIS）旨在通过自然语言表达精确分割图像中的指代物，但依赖成本高昂的掩码注释。弱监督RIS因此从图像-文本对学习到像素级语义，这对细粒度掩码分割构成挑战。为提升分割精度，本文提出了一种创新框架——点提示（PPT），结合多源课程学习策略，以应对噪声问题和对物体部分的过度关注。PPT的核心是点生成器，利用CLIP的文本-图像对齐能力和SAM的掩码生成能力，同时生成负点提示以有效解决固有问题。实验表明，PPT在RefCOCO、RefCOCO+和G-Ref上分别提升mIoU达11.34%、14.14%和6.97%。
🔬 方法详解
问题定义：本文旨在解决弱监督图像分割中的噪声问题和对物体部分的过度关注，这些问题导致现有方法在细粒度掩码分割上的性能不足。
核心思路：论文提出的点提示（PPT）框架通过结合CLIP的文本-图像对齐能力和SAM的掩码生成能力，生成负点提示以有效应对噪声和过度关注的问题。
技术框架：PPT的整体架构包括点生成器和课程学习策略。点生成器负责生成正负点提示，而课程学习策略则通过从简单到复杂的对象中心图像逐步提升学习难度。
关键创新：PPT的核心创新在于引入负点提示生成机制，这一设计有效缓解了噪声问题，并改善了对物体部分的关注，显著提升了分割精度。
关键设计：在技术细节上，PPT使用了特定的损失函数来平衡正负点提示的影响，并优化了网络结构以增强对复杂场景的适应能力。通过课程学习策略，PPT能够逐步适应更复杂的语义对齐任务。
📊 实验亮点
实验结果表明，PPT在RefCOCO、RefCOCO+和G-Ref数据集上的mIoU分别提升了11.34%、14.14%和6.97%，显著超越了以往的弱监督技术，验证了其有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能监控和人机交互等场景，能够提升计算机视觉系统在复杂环境中的理解能力。未来，该方法可能推动弱监督学习在更多视觉任务中的应用，具有重要的实际价值和影响。
📄 摘要（原文）
Referring image segmentation (RIS) aims to precisely segment referents in images through corresponding natural language expressions, yet relying on cost-intensive mask annotations. Weakly supervised RIS thus learns from image-text pairs to pixel-level semantics, which is challenging for segmenting fine-grained masks. A natural approach to enhancing segmentation precision is to empower weakly supervised RIS with the image segmentation foundation model SAM. Nevertheless, we observe that simply integrating SAM yields limited benefits and can even lead to performance regression due to the inevitable noise issues and challenges in excessive focus on object parts. In this paper, we present an innovative framework, Point PrompTing (PPT), incorporated with the proposed multi-source curriculum learning strategy to address these challenges. Specifically, the core of PPT is a point generator that not only harnesses CLIP's text-image alignment capability and SAM's powerful mask generation ability but also generates negative point prompts to address the noisy and excessive focus issues inherently and effectively. In addition, we introduce a curriculum learning strategy with object-centric images to help PPT gradually learn from simpler yet precise semantic alignment to more complex RIS. Experiments demonstrate that our PPT significantly and consistently outperforms prior weakly supervised techniques on mIoU by 11.34%, 14.14%, and 6.97% across RefCOCO, RefCOCO+, and G-Ref, respectively.