Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks

📄 arXiv: 2401.14159v1 📥 PDF

作者: Tianhe Ren, Shilong Liu, Ailing Zeng, Jing Lin, Kunchang Li, He Cao, Jiayu Chen, Xinyu Huang, Yukang Chen, Feng Yan, Zhaoyang Zeng, Hao Zhang, Feng Li, Jie Yang, Hongyang Li, Qing Jiang, Lei Zhang

分类: cs.CV

发布日期: 2024-01-25

💡 一句话要点

提出Grounded SAM以解决开放世界视觉任务的检测与分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 开放世界视觉 物体检测 图像分割 多模态融合 深度学习 自动标注 可控图像编辑

📋 核心要点

  1. 现有方法在开放世界视觉任务中面临检测与分割的局限性，难以处理任意文本输入。
  2. 论文提出的Grounded SAM通过结合Grounding DINO和SAM，实现了基于文本的灵活检测与分割。
  3. 实验结果显示，Grounded SAM在SegInW零-shot基准上达到了48.7的平均AP，显著提升了开放词汇任务的性能。

📝 摘要（中文）

我们介绍了Grounded SAM，它结合了Grounding DINO作为开放集物体检测器与分割任意模型（SAM）。这种集成使得基于任意文本输入的区域检测和分割成为可能，连接了多种视觉模型。通过Grounded SAM管道，可以实现多种视觉任务，例如基于输入图像的自动标注、可控图像编辑以及3D人类动作分析。Grounded SAM在开放词汇基准测试中表现优异，结合Grounding DINO-Base和SAM-Huge模型在SegInW零-shot基准上达到了48.7的平均AP。

🔬 方法详解

问题定义：本论文旨在解决开放世界视觉任务中的检测与分割问题，现有方法在处理任意文本输入时存在局限性，无法灵活应对多样化的视觉任务。

核心思路：论文通过将Grounding DINO与分割任意模型（SAM）相结合，提出了Grounded SAM。这一设计使得模型能够根据任意文本输入进行区域的检测与分割，从而增强了模型的适应性和灵活性。

技术框架：Grounded SAM的整体架构包括多个模块，首先利用Grounding DINO进行开放集物体检测，然后将检测结果传递给SAM进行精确分割。此外，系统还集成了其他模型如BLIP和Recognize Anything，以实现自动标注和图像编辑等功能。

关键创新：Grounded SAM的最大创新在于其开放集检测与分割的结合能力，能够处理任意文本输入，显著提升了视觉模型的互联性和适应性。这一特性与传统的固定类别检测方法形成了鲜明对比。

关键设计：在模型设计中，Grounded SAM采用了特定的损失函数以优化检测和分割的精度，同时在网络结构上进行了调整，以适应多模态输入的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Grounded SAM在SegInW零-shot基准上达到了48.7的平均AP，表现优于现有的开放词汇模型。这一结果展示了其在多样化视觉任务中的强大能力，尤其是在处理复杂场景和文本输入时的灵活性。

🎯 应用场景

Grounded SAM在多个视觉任务中具有广泛的应用潜力，包括自动图像标注、可控图像编辑以及3D人类动作分析等。这些应用不仅提升了视觉处理的效率，还为开放世界场景下的智能系统提供了更强的支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

We introduce Grounded SAM, which uses Grounding DINO as an open-set object detector to combine with the segment anything model (SAM). This integration enables the detection and segmentation of any regions based on arbitrary text inputs and opens a door to connecting various vision models. As shown in Fig.1, a wide range of vision tasks can be achieved by using the versatile Grounded SAM pipeline. For example, an automatic annotation pipeline based solely on input images can be realized by incorporating models such as BLIP and Recognize Anything. Additionally, incorporating Stable-Diffusion allows for controllable image editing, while the integration of OSX facilitates promptable 3D human motion analysis. Grounded SAM also shows superior performance on open-vocabulary benchmarks, achieving 48.7 mean AP on SegInW (Segmentation in the wild) zero-shot benchmark with the combination of Grounding DINO-Base and SAM-Huge models.