SED: A Simple Encoder-Decoder for Open-Vocabulary Semantic Segmentation

📄 arXiv: 2311.15537v2 📥 PDF

作者: Bin Xie, Jiale Cao, Jin Xie, Fahad Shahbaz Khan, Yanwei Pang

分类: cs.CV

发布日期: 2023-11-27 (更新: 2024-02-27)

备注: Accepted by CVPR2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出SED以解决开放词汇语义分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 语义分割 编码器-解码器 计算机视觉 深度学习 图像处理 实时推理

📋 核心要点

  1. 现有的开放词汇语义分割方法多依赖于预训练模型，难以有效处理像素级别的分类任务。
  2. 本文提出SED模型，通过分层编码器生成成本图，并采用逐步融合解码器和分类早期拒绝机制。
  3. 在ADE20K数据集上，SED在150个类别下实现了31.6%的mIoU，推理速度达到每张图像82毫秒，表现优异。

📝 摘要（中文）

开放词汇语义分割旨在从开放类别集中将像素区分为不同的语义组。现有方法多依赖于预训练的视觉-语言模型，关键在于将图像级模型应用于像素级分割任务。本文提出了一种简单的编码器-解码器模型SED，采用分层编码器生成成本图，并通过逐步融合解码器进行分类早期拒绝。分层编码器利用分层骨干网络预测像素级图像-文本成本图，较普通变换器更好地捕捉局部空间信息，并在输入大小上具有线性计算复杂度。实验结果表明，SED在多个开放词汇语义分割数据集上表现出色。

🔬 方法详解

问题定义：本文解决开放词汇语义分割问题，现有方法在像素级分类上存在局限，尤其是在处理开放类别时的准确性和效率不足。

核心思路：SED模型通过分层编码器生成像素级图像-文本成本图，结合逐步融合解码器和分类早期拒绝机制，旨在提高分割精度和推理速度。

技术框架：SED的整体架构包括分层编码器、成本图生成模块和逐步融合解码器。分层编码器负责提取特征并生成成本图，逐步融合解码器则结合不同层次的特征进行最终分割。

关键创新：SED的主要创新在于采用分层骨干网络替代普通变换器，以更好地捕捉局部空间信息，并在计算复杂度上保持线性。此外，分类早期拒绝机制显著提高了推理速度。

关键设计：模型设计中，分层编码器的骨干网络结构经过优化，以确保在保持准确性的同时降低计算负担。损失函数采用标准的交叉熵损失，确保模型在训练过程中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SED模型在ADE20K数据集上取得了31.6%的mIoU，且推理速度达到每张图像82毫秒，相较于传统方法加速了最多4.7倍，且未出现准确性下降，展示了其在开放词汇语义分割领域的优越性能。

🎯 应用场景

SED模型在开放词汇语义分割任务中具有广泛的应用潜力，尤其适用于自动驾驶、智能监控和医疗影像分析等领域。其高效的推理速度和准确性使其在实际应用中能够满足实时处理的需求，推动相关技术的进步与发展。

📄 摘要（原文）

Open-vocabulary semantic segmentation strives to distinguish pixels into different semantic groups from an open set of categories. Most existing methods explore utilizing pre-trained vision-language models, in which the key is to adopt the image-level model for pixel-level segmentation task. In this paper, we propose a simple encoder-decoder, named SED, for open-vocabulary semantic segmentation, which comprises a hierarchical encoder-based cost map generation and a gradual fusion decoder with category early rejection. The hierarchical encoder-based cost map generation employs hierarchical backbone, instead of plain transformer, to predict pixel-level image-text cost map. Compared to plain transformer, hierarchical backbone better captures local spatial information and has linear computational complexity with respect to input size. Our gradual fusion decoder employs a top-down structure to combine cost map and the feature maps of different backbone levels for segmentation. To accelerate inference speed, we introduce a category early rejection scheme in the decoder that rejects many no-existing categories at the early layer of decoder, resulting in at most 4.7 times acceleration without accuracy degradation. Experiments are performed on multiple open-vocabulary semantic segmentation datasets, which demonstrates the efficacy of our SED method. When using ConvNeXt-B, our SED method achieves mIoU score of 31.6\% on ADE20K with 150 categories at 82 millisecond ($ms$) per image on a single A6000. We will release it at \url{https://github.com/xb534/SED.git}.