Multi-Grained Cross-modal Alignment for Learning Open-vocabulary Semantic Segmentation from Text Supervision

📄 arXiv: 2403.03707v1 📥 PDF

作者: Yajie Liu, Pu Ge, Qingjie Liu, Di Huang

分类: cs.CV

发布日期: 2024-03-06

备注: 17 pages, 8 figures

💡 一句话要点

提出多粒度跨模态对齐框架以解决开放词汇语义分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 语义分割 跨模态对齐 对比学习 深度学习

📋 核心要点

  1. 现有方法在开放词汇语义分割中存在对齐粒度差距，导致学习效率低下和零-shot分割性能不佳。
  2. 提出多粒度跨模态对齐框架，通过学习像素级、对象级和区域级对齐来解决对齐粒度问题。
  3. 在CC3M数据集上训练，方法在性能上显著优于现有最先进的技术，验证了其有效性和效率。

📝 摘要（中文）

近年来，从文本监督学习开放词汇语义分割取得了良好的下游性能。然而，现有方法由于缺乏密集注释，导致在训练过程中学习到的粗略图像/区域-文本对齐与推理时的组/像素级预测之间存在对齐粒度差距。这种差距导致学习效率低下和零-shot分割结果不佳。本文提出了一种多粒度跨模态对齐（MGCA）框架，明确学习像素级对齐以及对象和区域级对齐，以弥补这一粒度差距。MGCA通过图像-文本对构建伪多粒度语义对应，并结合硬采样策略促进细粒度跨模态对比学习。通过仅在CC3M上训练，我们的方法在性能上显著超越了现有最先进的方法，展示了其有效性和效率。

🔬 方法详解

问题定义：本文旨在解决开放词汇语义分割中由于缺乏密集注释而导致的对齐粒度差距问题。现有方法在训练时学习到的粗略对齐与推理时的细粒度预测之间存在显著差异，影响了分割性能。

核心思路：提出多粒度跨模态对齐（MGCA）框架，明确学习像素级对齐，同时结合对象级和区域级对齐，旨在弥补对齐粒度的不足。通过构建伪多粒度语义对应，利用硬采样策略促进细粒度的跨模态对比学习。

技术框架：MGCA框架包括三个主要模块：1) 伪多粒度语义对应构建；2) 跨模态对比学习；3) 自适应语义单元设计。通过这些模块，框架能够有效地进行细粒度对齐和预测。

关键创新：最重要的创新点在于引入了多粒度对齐机制，能够在没有密集注释的情况下实现像素级对齐，克服了现有方法在组和像素预测单元中的缺陷。

关键设计：在设计中，采用了硬采样策略来增强对比学习的效果，并开发了自适应语义单元，以有效缓解现有方法中的欠分割和过分割问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CC3M数据集上进行的实验表明，MGCA框架在开放词汇语义分割任务中显著超越了现有最先进的方法，具体性能提升幅度达到XX%（具体数据未知），验证了其在零-shot分割场景中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和机器人视觉等，能够在缺乏密集标注的情况下实现高效的语义分割。其方法的有效性和效率将推动相关领域的技术进步，提升智能系统的理解能力和决策水平。

📄 摘要（原文）

Recently, learning open-vocabulary semantic segmentation from text supervision has achieved promising downstream performance. Nevertheless, current approaches encounter an alignment granularity gap owing to the absence of dense annotations, wherein they learn coarse image/region-text alignment during training yet perform group/pixel-level predictions at inference. Such discrepancy leads to suboptimal learning efficiency and inferior zero-shot segmentation results. In this paper, we introduce a Multi-Grained Cross-modal Alignment (MGCA) framework, which explicitly learns pixel-level alignment along with object- and region-level alignment to bridge the granularity gap without any dense annotations. Specifically, MGCA ingeniously constructs pseudo multi-granular semantic correspondences upon image-text pairs and collaborates with hard sampling strategies to facilitate fine-grained cross-modal contrastive learning. Further, we point out the defects of existing group and pixel prediction units in downstream segmentation and develop an adaptive semantic unit which effectively mitigates their dilemmas including under- and over-segmentation. Training solely on CC3M, our method achieves significant advancements over state-of-the-art methods, demonstrating its effectiveness and efficiency.