Do Vision-Language Models Understand Compound Nouns?

📄 arXiv: 2404.00419v1 📥 PDF

作者: Sonal Kumar, Sreyan Ghosh, S Sakshi, Utkarsh Tyagi, Dinesh Manocha

分类: cs.CV, cs.CL

发布日期: 2024-03-30

备注: Accepted to NAACL 2024 Main Conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出Compun基准以评估视觉语言模型对复合名词的理解能力

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 复合名词理解 文本到图像检索 大型语言模型 多模态学习 Compun基准 对比损失 图像检索

📋 核心要点

  1. 现有的视觉语言模型在理解复合名词方面存在局限，尤其是在文本到图像检索任务中。
  2. 论文提出了Compun基准，通过生成多样化的文本提示，利用大型语言模型改善复合名词的理解能力。
  3. 实验结果显示，所提方法使CLIP在Compun基准上的表现提升了8.25%，验证了其有效性。

📝 摘要（中文）

开放词汇视觉语言模型（VLMs）如CLIP，利用对比损失进行训练，已成为文本到图像检索的新范式。然而，VLMs是否能像理解单一名词（如lab）一样理解复合名词（如lab coat）？为此，我们构建了Compun，一个包含400个独特且常用复合名词的新基准，以评估VLMs对复合名词的理解能力。Compun基准挑战VLMs在文本到图像检索中，给定包含复合名词的文本提示，任务是从一对包含构成名词的干扰图像中选择正确的图像。我们深入分析了CLIP对某些类型复合名词理解的局限性，并提出了一种替代框架，利用大型语言模型生成多样化的描述性标题，从而提高CLIP对复合名词的理解能力，提升幅度达到8.25%。代码和基准可在：https://github.com/sonalkum/Compun获取。

🔬 方法详解

问题定义：本论文旨在解决视觉语言模型（VLMs）在理解复合名词（CNs）时的不足，尤其是在文本到图像检索任务中，现有方法对复合名词的理解能力较弱。

核心思路：论文的核心思路是构建一个新的基准Compun，并利用大型语言模型生成多样化的文本提示，以增强VLMs对复合名词的理解能力。通过这种方式，模型能够更好地捕捉复合名词的语义。

技术框架：整体架构包括三个主要模块：首先，构建Compun基准，包含400个复合名词；其次，利用大型语言模型生成多样化的描述性标题；最后，评估VLMs在文本到图像检索任务中的表现。

关键创新：最重要的技术创新在于提出了Compun基准和利用大型语言模型生成文本提示的框架，这与传统的手工编写模板方法有本质区别，能够提供更丰富的上下文信息。

关键设计：在参数设置上，使用对比损失函数来训练模型，并通过多样化的文本提示来增强模型对复合名词的理解，确保生成的标题能够准确反映复合名词的语义特征。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提出的方法在Compun基准上使CLIP的复合名词理解能力提升了8.25%。这一显著提升验证了大型语言模型在生成多样化文本提示方面的有效性，并展示了其在视觉语言模型中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括图像检索、智能搜索引擎和多模态学习等。通过提高视觉语言模型对复合名词的理解能力，可以在实际应用中提升用户体验，尤其是在需要精确图像检索的场景中。未来，该方法可能推动更复杂的多模态交互系统的发展。

📄 摘要（原文）

Open-vocabulary vision-language models (VLMs) like CLIP, trained using contrastive loss, have emerged as a promising new paradigm for text-to-image retrieval. However, do VLMs understand compound nouns (CNs) (e.g., lab coat) as well as they understand nouns (e.g., lab)? We curate Compun, a novel benchmark with 400 unique and commonly used CNs, to evaluate the effectiveness of VLMs in interpreting CNs. The Compun benchmark challenges a VLM for text-to-image retrieval where, given a text prompt with a CN, the task is to select the correct image that shows the CN among a pair of distractor images that show the constituent nouns that make up the CN. Next, we perform an in-depth analysis to highlight CLIPs' limited understanding of certain types of CNs. Finally, we present an alternative framework that moves beyond hand-written templates for text prompts widely used by CLIP-like models. We employ a Large Language Model to generate multiple diverse captions that include the CN as an object in the scene described by the caption. Our proposed method improves CN understanding of CLIP by 8.25% on Compun. Code and benchmark are available at: https://github.com/sonalkum/Compun