OMG-Seg: Is One Model Good Enough For All Segmentation?

📄 arXiv: 2401.10229v2 📥 PDF

作者: Xiangtai Li, Haobo Yuan, Wei Li, Henghui Ding, Size Wu, Wenwei Zhang, Yining Li, Kai Chen, Chen Change Loy

分类: cs.CV

发布日期: 2024-01-18 (更新: 2024-10-01)

备注: CVPR-2024. Project Page: https://lxtgh.github.io/project/omg_seg/

🔗 代码/项目: GITHUB

💡 一句话要点

提出OMG-Seg以解决多种分割任务的统一建模问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多任务学习 分割模型 变换器架构 计算效率 图像处理 实例分割 全景分割 视频分割

📋 核心要点

  1. 现有的分割任务通常需要不同或部分统一的模型来处理，导致模型复杂性和计算开销增加。
  2. OMG-Seg模型通过变换器架构，采用任务特定的查询和输出，旨在统一处理多种分割任务。
  3. 实验表明，OMG-Seg在多个数据集上支持超过十种分割任务，并显著降低了计算和参数开销。

📝 摘要（中文）

本研究提出了OMG-Seg模型，旨在高效且有效地处理多种分割任务，包括图像语义分割、实例分割、全景分割及其视频对应任务。OMG-Seg是首个能够在单一模型中处理所有这些任务并取得满意性能的模型。该模型基于变换器的编码-解码架构，配备任务特定的查询和输出，支持超过十种不同的分割任务，同时显著减少了计算和参数开销。我们还对任务间的相互影响和相关性进行了严格评估。

🔬 方法详解

问题定义：本论文旨在解决传统上需要多个模型来处理的不同分割任务，现有方法在模型复杂性和计算效率上存在不足。

核心思路：OMG-Seg模型通过设计一个变换器基础的编码-解码架构，结合任务特定的查询和输出，实现了对多种分割任务的统一处理，旨在提高效率和效果。

技术框架：OMG-Seg的整体架构包括一个编码器和解码器，编码器负责特征提取，解码器则生成任务特定的输出。模型通过任务特定的查询来适应不同的分割任务。

关键创新：OMG-Seg是首个能够在单一模型中处理多种分割任务的模型，显著减少了计算和参数开销，与现有方法相比，提供了更高的灵活性和效率。

关键设计：模型采用了变换器架构，设计了任务特定的查询和输出，优化了损失函数以适应多任务学习，确保在不同任务间的有效协同训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上的实验结果表明，OMG-Seg在处理图像语义分割、实例分割和全景分割等任务时，性能均超过了现有的基线模型，且在计算效率上有显著提升，展示了其在多任务学习中的优势。

🎯 应用场景

OMG-Seg模型在计算机视觉领域具有广泛的应用潜力，能够用于自动驾驶、医学影像分析、视频监控等场景。其统一的分割能力将大幅提升相关任务的效率，降低模型部署和维护的复杂性，未来可能推动更多智能应用的发展。

📄 摘要（原文）

In this work, we address various segmentation tasks, each traditionally tackled by distinct or partially unified models. We propose OMG-Seg, One Model that is Good enough to efficiently and effectively handle all the segmentation tasks, including image semantic, instance, and panoptic segmentation, as well as their video counterparts, open vocabulary settings, prompt-driven, interactive segmentation like SAM, and video object segmentation. To our knowledge, this is the first model to handle all these tasks in one model and achieve satisfactory performance. We show that OMG-Seg, a transformer-based encoder-decoder architecture with task-specific queries and outputs, can support over ten distinct segmentation tasks and yet significantly reduce computational and parameter overhead across various tasks and datasets. We rigorously evaluate the inter-task influences and correlations during co-training. Code and models are available at https://github.com/lxtGH/OMG-Seg.