Question-Answer Cross Language Image Matching for Weakly Supervised Semantic Segmentation

📄 arXiv: 2401.09883v1 📥 PDF

作者: Songhe Deng, Wei Zhuo, Jinheng Xie, Linlin Shen

分类: cs.CV

发布日期: 2024-01-18

备注: ACM MM 2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出QA-CLIMS框架以解决弱监督语义分割中的激活不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弱监督学习 语义分割 类激活图 视觉问答 对比学习 多模态学习 计算机视觉

📋 核心要点

  1. 现有的类激活图方法在目标区域激活不足和背景区域错误激活方面存在挑战，限制了模型对图像整体的理解。
  2. 本文提出的QA-CLIMS框架通过视觉问答模型生成适应性语料库，并利用对比学习增强激活图的质量。
  3. 实验结果显示，QA-CLIMS在PASCAL VOC 2012和MS COCO数据集上达到了最先进的性能，显著提升了激活图的质量。

📝 摘要（中文）

类激活图（CAM）已成为弱监督语义分割（WSSS）的热门工具，能够仅使用图像级标签定位图像中的目标区域。然而，现有CAM方法由于缺乏详细监督，导致目标区域激活不足和背景区域错误激活。本文提出了一种新颖的问答跨语言图像匹配框架（QA-CLIMS），利用视觉-语言基础模型最大化文本对图像的理解，并指导激活图的生成。通过对视觉问答（VQA）模型进行问题-答案提示工程（QAPE），生成适应查询图像的前景目标和背景语料库，并在区域图像文本对比网络（RITC）中采用对比学习，比较获得的前景和背景区域与生成的语料库。实验表明，该方法在PASCAL VOC 2012和MS COCO数据集上表现出色。

🔬 方法详解

问题定义：本文旨在解决弱监督语义分割中类激活图（CAM）方法的不足，特别是目标区域激活不足和背景区域错误激活的问题。现有方法由于缺乏详细的监督信息，导致模型难以全面理解图像内容。

核心思路：论文提出的QA-CLIMS框架通过视觉问答（VQA）模型生成适应性的问题-答案对，利用丰富的文本信息作为额外监督，指导激活图的生成，从而提高目标区域的激活质量并减少背景区域的错误激活。

技术框架：QA-CLIMS框架主要包括两个模块：首先，通过问题-答案提示工程（QAPE）向VQA模型提出一系列问题，生成前景目标和背景的语料库；其次，在区域图像文本对比网络（RITC）中，采用对比学习比较获得的前景和背景区域与生成的语料库。

关键创新：该研究的核心创新在于将视觉问答模型与对比学习相结合，利用开放词汇的丰富文本信息作为额外监督，从而显著提高了激活图的质量，尤其是在目标区域的完整性和背景区域的错误激活方面。

关键设计：在模型设计中，采用了特定的损失函数以优化对比学习过程，同时在网络结构上进行了调整，以适应生成的语料库和对比学习的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QA-CLIMS在PASCAL VOC 2012和MS COCO数据集上达到了最先进的性能，相较于现有方法，激活图的质量显著提升，目标区域的完整性增强，背景区域的错误激活减少，展示了该方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和医疗影像分析等场景，能够在仅有图像级标签的情况下，实现高质量的语义分割，提升计算机视觉系统的理解能力和应用效果。未来，该方法有望在更多实际应用中推广，推动弱监督学习的进一步发展。

📄 摘要（原文）

Class Activation Map (CAM) has emerged as a popular tool for weakly supervised semantic segmentation (WSSS), allowing the localization of object regions in an image using only image-level labels. However, existing CAM methods suffer from under-activation of target object regions and false-activation of background regions due to the fact that a lack of detailed supervision can hinder the model's ability to understand the image as a whole. In this paper, we propose a novel Question-Answer Cross-Language-Image Matching framework for WSSS (QA-CLIMS), leveraging the vision-language foundation model to maximize the text-based understanding of images and guide the generation of activation maps. First, a series of carefully designed questions are posed to the VQA (Visual Question Answering) model with Question-Answer Prompt Engineering (QAPE) to generate a corpus of both foreground target objects and backgrounds that are adaptive to query images. We then employ contrastive learning in a Region Image Text Contrastive (RITC) network to compare the obtained foreground and background regions with the generated corpus. Our approach exploits the rich textual information from the open vocabulary as additional supervision, enabling the model to generate high-quality CAMs with a more complete object region and reduce false-activation of background regions. We conduct extensive analysis to validate the proposed method and show that our approach performs state-of-the-art on both PASCAL VOC 2012 and MS COCO datasets. Code is available at: https://github.com/CVI-SZU/QA-CLIMS