OTSeg: Multi-prompt Sinkhorn Attention for Zero-Shot Semantic Segmentation

📄 arXiv: 2403.14183v2 📥 PDF

作者: Kwanyoung Kim, Yujin Oh, Jong Chul Ye

分类: cs.CV, cs.AI, cs.LG, stat.ML

发布日期: 2024-03-21 (更新: 2024-07-11)

备注: ECCV 2024; 23 pages, 8 tables, 8 figures; Project Page: https://cubeyoung.github.io/OTSeg_project/

💡 一句话要点

提出OTSeg以解决零-shot语义分割中的多模态知识对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot学习 语义分割 多模态注意力 最优传输 Transformer CLIP 图像处理

📋 核心要点

  1. 现有方法在将CLIP知识与像素嵌入对齐时存在局限，导致零-shot语义分割效果不佳。
  2. OTSeg通过引入多提示Sinkhorn机制，增强了多个文本提示对图像像素语义特征的关注能力。
  3. 实验结果表明，OTSeg在三个基准数据集上实现了最先进的性能，显著提升了零-shot语义分割的效果。

📝 摘要（中文）

最近CLIP的成功展示了在零-shot语义分割中通过将多模态知识转移到像素级分类的潜力。然而，现有方法在将预训练的CLIP知识与像素嵌入紧密对齐方面仍存在局限性。为了解决这一问题，我们提出了OTSeg，这是一种新颖的多模态注意力机制，旨在增强多个文本提示与相关像素嵌入的匹配能力。我们首先提出了基于最优传输（OT）算法的多提示Sinkhorn（MPS），使多个文本提示能够选择性地关注图像像素中的各种语义特征。此外，受到Sinkformers在单模态设置中成功的启发，我们引入了MPS的扩展，称为多提示Sinkhorn注意力（MPSA），它有效地替代了多模态设置中的Transformer框架中的交叉注意力机制。通过广泛的实验，我们证明OTSeg在三个基准数据集上的零-shot语义分割任务中实现了最先进的性能，显著提升了结果。

🔬 方法详解

问题定义：论文要解决的具体问题是如何有效地将预训练的CLIP知识与图像像素嵌入对齐，以提高零-shot语义分割的性能。现有方法在这一过程中存在对齐不精确和特征提取不足的问题。

核心思路：论文的核心解决思路是提出OTSeg，通过多提示Sinkhorn机制，使多个文本提示能够选择性地关注不同的语义特征，从而提高对图像像素的匹配能力。这样的设计旨在充分利用多模态信息，增强模型的表达能力。

技术框架：OTSeg的整体架构包括两个主要模块：多提示Sinkhorn（MPS）和多提示Sinkhorn注意力（MPSA）。MPS模块基于最优传输算法，负责引导文本提示关注不同的语义特征；而MPSA则在Transformer框架中替代了传统的交叉注意力机制，以实现更高效的多模态信息融合。

关键创新：OTSeg的最重要技术创新在于引入了多提示Sinkhorn机制和多提示Sinkhorn注意力，这两者有效地提升了文本提示与像素嵌入的对齐能力，克服了现有方法在多模态设置中的不足。

关键设计：在关键设计方面，论文详细描述了多提示的选择策略、损失函数的设计以及Transformer网络结构的调整，以确保模型在多模态环境下的高效性和准确性。具体的参数设置和训练策略也在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OTSeg在三个基准数据集上的零-shot语义分割任务中实现了最先进的性能，相较于现有方法，性能提升幅度达到显著的X%（具体数据待补充），展示了其在多模态信息融合方面的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和智能监控等场景，能够帮助系统在没有标注数据的情况下进行有效的语义分割。未来，OTSeg的多模态对齐机制有望推动更多零-shot学习任务的发展，提升人工智能在复杂环境中的适应能力。

📄 摘要（原文）

The recent success of CLIP has demonstrated promising results in zero-shot semantic segmentation by transferring muiltimodal knowledge to pixel-level classification. However, leveraging pre-trained CLIP knowledge to closely align text embeddings with pixel embeddings still has limitations in existing approaches. To address this issue, we propose OTSeg, a novel multimodal attention mechanism aimed at enhancing the potential of multiple text prompts for matching associated pixel embeddings. We first propose Multi-Prompts Sinkhorn (MPS) based on the Optimal Transport (OT) algorithm, which leads multiple text prompts to selectively focus on various semantic features within image pixels. Moreover, inspired by the success of Sinkformers in unimodal settings, we introduce the extension of MPS, called Multi-Prompts Sinkhorn Attention (MPSA) , which effectively replaces cross-attention mechanisms within Transformer framework in multimodal settings. Through extensive experiments, we demonstrate that OTSeg achieves state-of-the-art (SOTA) performance with significant gains on Zero-Shot Semantic Segmentation (ZS3) tasks across three benchmark datasets.