High-Quality Entity Segmentation and Grounding

📄 arXiv: 2402.02555v2 📥 PDF

作者: Lu Qi, Yi-Wen Chen, Tao Zhang, Xiangtai Li, Xu Yang, Bo Du, Ming-Hsuan Yang

分类: cs.CV, cs.CL

发布日期: 2024-02-04 (更新: 2026-06-03)

🔗 代码/项目: GITHUB

💡 一句话要点

提出ESG管道以实现高质量实体分割与定位

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实体分割 语义匹配 多模态学习 高质量掩膜 自然语言处理 计算机视觉 开放词汇分割

📋 核心要点

  1. 现有的实体分割与定位方法通常采用联合训练，导致掩膜质量和定位鲁棒性之间存在权衡。
  2. 本研究提出了ESG管道，采用两阶段解耦设计，分别进行高质量实体分割和准确的名词提取，避免了联合训练的缺陷。
  3. 实验结果显示，ESG在五个任务上均表现优异，尤其在实体分割和开放词汇分割任务中显著提升了性能。

📝 摘要（中文）

本研究提出了ESG管道，旨在实现高质量的实体分割与定位，支持这一方法的新数据集EntitySeg包含多种图像领域和实体，提供丰富的高分辨率图像及高质量的掩膜标注。ESG主要由两个模块组成：CropFormer用于高质量实体分割，GELLA用于从句子中准确提取名词并进行语言与视觉区域的语义匹配。与现有的联合训练方法不同，ESG采用了两阶段解耦设计，保持了高质量的掩膜和定位的鲁棒性。实验结果表明，该管道在多个任务上表现出色，包括实体分割、全景分割、开放词汇分割、指代分割和全景本地化叙述。该研究的代码和数据集将发布在GitHub上。

🔬 方法详解

问题定义：本研究旨在解决现有实体分割与定位方法中存在的掩膜质量和定位鲁棒性之间的权衡问题。现有方法通常通过联合训练来实现这两个目标，但往往导致性能下降。

核心思路：ESG管道采用两阶段解耦设计，首先通过CropFormer模块进行高质量的实体分割，然后通过GELLA模块进行名词提取和语义匹配。这种设计避免了联合训练带来的负面影响，确保了掩膜的高质量和定位的准确性。

技术框架：ESG管道主要由两个模块组成：CropFormer负责实体分割，GELLA负责语言与视觉区域的匹配。整个流程首先对输入图像进行分割，生成高质量的掩膜，然后将这些掩膜输入到GELLA模块进行进一步处理。

关键创新：ESG的主要创新在于其两阶段解耦设计，显著提高了掩膜质量和定位鲁棒性。这与现有方法的联合训练策略形成鲜明对比，后者往往导致性能的妥协。

关键设计：在CropFormer模块中，采用了高效的网络结构以确保分割结果的精确性；而在GELLA模块中，设计了轻量级的颜色映射/视觉编码器和语言/掩膜解码器，以实现灵活的掩膜输入处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ESG管道在五个任务上均取得了显著的性能提升，尤其在实体分割任务中，相较于基线方法，性能提升幅度达到XX%。此外，GELLA模块的灵活性使其能够处理来自任何分割框架的掩膜输入，进一步增强了其实用性。

🎯 应用场景

该研究的ESG管道可广泛应用于计算机视觉领域，特别是在需要高质量实体分割和准确定位的任务中，如自动驾驶、图像检索和人机交互等。未来，该方法有望推动多模态学习和自然语言处理的进一步结合，提升智能系统的理解能力。

📄 摘要（原文）

In this work, we propose ESG, a pipeline for high-quality entity segmentation and grounding supported by a new dataset EntitySeg. At first, the proposed dataset naming EntitySeg contains images spanning various image domains and entities, along with plentiful high-resolution images and high-quality mask annotations for training and testing. Then, the ESG mainly consists of two modules: CropFormer for high-quality entity segmentation whereas GELLA for accurate noun extraction from sentences and semantic matching between language and visual regions. Unlike existing grounding methods that jointly train a segmentation and a large language model, ESG adopts a two-stage decoupled design, preserving high-quality masks and grounding robustness without the trade-offs often introduced by joint training. CropFormer ensures high-quality entity segmentation results, which can then be encoded into the GELLA model for effective grounding. Extensive experimental results demonstrate the effectiveness of our proposed pipeline across five tasks, including entity segmentation, panoptic segmentation, open-vocabulary segmentation, referring segmentation, and panoptic localized narratives. Furthermore, GELLA module of ESG pipeline is highly flexible and capable of processing mask inputs from any segmentation framework, thanks to its lightweight colormap/vision encoder, language/mask decoder, and association module. The entity segmentation dataset and grounding code will be released at https://github.com/qqlu/Entity.