Rethinking Interactive Image Segmentation with Low Latency, High Quality, and Diverse Prompts

📄 arXiv: 2404.00741v1 📥 PDF

作者: Qin Liu, Jaemin Cho, Mohit Bansal, Marc Niethammer

分类: cs.CV

发布日期: 2024-03-31

备注: CVPR 2024 https://github.com/uncbiag/SegNext

💡 一句话要点

提出SegNext以解决低延迟、高质量的交互式图像分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 交互式图像分割 低延迟 高质量 多样化提示 深度学习 视觉提示 密集表示 SegNext

📋 核心要点

  1. 现有的交互式图像分割方法在低延迟和高质量分割方面存在显著不足，尤其是在多样化提示的支持上。
  2. 本文提出了一种新的方法SegNext，通过引入密集表示和融合视觉提示的设计，提升了通用模型的分割质量。
  3. 实验结果显示，SegNext在HQSeg-44K和DAVIS数据集上均超越了当前最先进的方法，表现出更高的定量和定性效果。

📝 摘要（中文）

交互式图像分割的目标是通过视觉或语言提示来划定图像中的特定区域。然而，现有的专业模型和通用模型在低延迟和高质量的交互分割以及多样化提示方面仍面临挑战。专业模型由于提示有限和任务特定设计，更新提示时需要重新计算图像，导致高延迟。尽管通用模型如Segment Anything Model（SAM）在提示多样性和效率上表现出色，但在高质量分割上仍落后于最先进的专业模型。本文深入探讨了两种模型之间的架构差异，并提出了一种新的交互分割方法SegNext，旨在实现低延迟、高质量和多样化提示支持，实验结果表明该方法在HQSeg-44K和DAVIS数据集上均优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决现有交互式图像分割方法在低延迟和高质量分割方面的不足，尤其是专业模型在更新提示时的高延迟问题。

核心思路：通过将密集表示的设计引入通用模型，本文希望提升其在高质量分割上的表现，特别是在多样化提示的支持上。

技术框架：SegNext的整体架构包括输入的多种提示类型（点击、框、轮廓、涂鸦和掩码），通过密集图进行表示，并结合深度学习网络进行分割任务。

关键创新：最重要的技术创新在于将密集表示和视觉提示的融合设计引入通用模型，使其在高质量分割上接近专业模型的水平。

关键设计：在网络结构上，SegNext采用了多层次的特征提取和融合机制，使用特定的损失函数来优化分割精度，同时确保低延迟响应。具体参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

SegNext在HQSeg-44K和DAVIS数据集上表现优异，定量结果显示其在分割精度上比现有最先进的方法提高了显著的性能，具体提升幅度未在摘要中说明，但实验结果表明其在定性效果上也有明显改善。

🎯 应用场景

该研究的潜在应用领域包括医学图像处理、自动驾驶、视频监控等需要高效图像分割的场景。SegNext的低延迟和高质量特性使其在实时应用中具有重要价值，未来可能推动更多智能视觉系统的发展。

📄 摘要（原文）

The goal of interactive image segmentation is to delineate specific regions within an image via visual or language prompts. Low-latency and high-quality interactive segmentation with diverse prompts remain challenging for existing specialist and generalist models. Specialist models, with their limited prompts and task-specific designs, experience high latency because the image must be recomputed every time the prompt is updated, due to the joint encoding of image and visual prompts. Generalist models, exemplified by the Segment Anything Model (SAM), have recently excelled in prompt diversity and efficiency, lifting image segmentation to the foundation model era. However, for high-quality segmentations, SAM still lags behind state-of-the-art specialist models despite SAM being trained with x100 more segmentation masks. In this work, we delve deep into the architectural differences between the two types of models. We observe that dense representation and fusion of visual prompts are the key design choices contributing to the high segmentation quality of specialist models. In light of this, we reintroduce this dense design into the generalist models, to facilitate the development of generalist models with high segmentation quality. To densely represent diverse visual prompts, we propose to use a dense map to capture five types: clicks, boxes, polygons, scribbles, and masks. Thus, we propose SegNext, a next-generation interactive segmentation approach offering low latency, high quality, and diverse prompt support. Our method outperforms current state-of-the-art methods on HQSeg-44K and DAVIS, both quantitatively and qualitatively.