Zero-shot Referring Expression Comprehension via Structural Similarity Between Images and Captions

📄 arXiv: 2311.17048v3 📥 PDF

作者: Zeyu Han, Fangrui Zhu, Qianru Lao, Huaizu Jiang

分类: cs.CV

发布日期: 2023-11-28 (更新: 2024-04-09)

备注: CVPR 2024, Code available at https://github.com/Show-han/Zeroshot_REC

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于结构相似性的零-shot指代表达理解方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot学习 指代表达理解 视觉-语言对齐 多模态学习 结构相似性 三元组匹配 深度学习

📋 核心要点

  1. 现有的视觉-语言对齐模型在复杂场景和文本上下文的解耦及关系理解方面存在不足，无法有效进行零-shot指代表达理解。
  2. 本文提出利用大型基础模型将图像和文本解耦为三元组，并通过结构相似性矩阵实现视觉定位，增强模型的关系理解能力。
  3. 实验结果显示，本文方法在RefCOCO/+/g数据集上性能提升19.5%，在Who's Waldo数据集上与完全监督模型的准确性相当。

📝 摘要（中文）

零-shot指代表达理解旨在根据提供的文本提示在图像中定位边界框，这需要对复杂视觉场景和文本上下文进行细致的解耦，以及理解解耦实体之间的关系。现有的大型视觉-语言对齐模型（如CLIP）在这两个方面均存在困难，无法直接应用于此任务。为此，本文利用大型基础模型将图像和文本解耦为(subject, predicate, object)格式的三元组。接着，通过计算视觉和文本三元组之间的结构相似性矩阵来实现定位，并将其传播到实例级相似性矩阵。此外，为了增强VLA模型的关系理解能力，设计了三元组匹配目标，以在包含丰富实体关系的精心策划的数据集上微调VLA模型。实验表明，本文的视觉定位性能在RefCOCO/+/g数据集上比现有的零-shot模型提高了19.5%。在更具挑战性的Who's Waldo数据集上，本文的零-shot方法达到了与完全监督模型相当的准确性。

🔬 方法详解

问题定义：本文旨在解决零-shot指代表达理解中的视觉和文本信息解耦及关系理解不足的问题。现有方法如CLIP在处理复杂场景时表现不佳，无法直接应用于该任务。

核心思路：通过将图像和文本解耦为三元组格式，利用结构相似性矩阵进行定位，并通过三元组匹配目标微调VLA模型，以增强其关系理解能力。

技术框架：整体流程包括两个主要阶段：首先将图像和文本解耦为(subject, predicate, object)三元组；其次计算视觉和文本三元组之间的结构相似性矩阵，并将其传播至实例级相似性矩阵。

关键创新：本文的创新在于提出了一种新的三元组匹配目标，能够有效提升VLA模型的关系理解能力，与现有方法相比，提供了更细致的实体关系建模。

关键设计：在模型训练中，采用了精心策划的数据集，包含丰富的实体关系，以便于微调VLA模型。损失函数设计上，重点关注三元组匹配的准确性，以提升模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文提出的方法在RefCOCO/+/g数据集上相比于现有的最先进零-shot模型提升了19.5%的视觉定位性能。在Who's Waldo数据集上，本文的零-shot方法达到了与完全监督模型相当的准确性，显示出良好的实用性和有效性。

🎯 应用场景

该研究在计算机视觉和自然语言处理交叉领域具有广泛的应用潜力，尤其是在智能助手、图像检索和自动标注等任务中。通过提高模型在复杂场景下的理解能力，能够为用户提供更准确的视觉信息检索和交互体验，未来可能推动多模态学习的发展。

📄 摘要（原文）

Zero-shot referring expression comprehension aims at localizing bounding boxes in an image corresponding to provided textual prompts, which requires: (i) a fine-grained disentanglement of complex visual scene and textual context, and (ii) a capacity to understand relationships among disentangled entities. Unfortunately, existing large vision-language alignment (VLA) models, e.g., CLIP, struggle with both aspects so cannot be directly used for this task. To mitigate this gap, we leverage large foundation models to disentangle both images and texts into triplets in the format of (subject, predicate, object). After that, grounding is accomplished by calculating the structural similarity matrix between visual and textual triplets with a VLA model, and subsequently propagate it to an instance-level similarity matrix. Furthermore, to equip VLA models with the ability of relationship understanding, we design a triplet-matching objective to fine-tune the VLA models on a collection of curated dataset containing abundant entity relationships. Experiments demonstrate that our visual grounding performance increase of up to 19.5% over the SOTA zero-shot model on RefCOCO/+/g. On the more challenging Who's Waldo dataset, our zero-shot approach achieves comparable accuracy to the fully supervised model. Code is available at https://github.com/Show-han/Zeroshot_REC.