CoVLM: Composing Visual Entities and Relationships in Large Language Models Via Communicative Decoding

📄 arXiv: 2311.03354v1 📥 PDF

作者: Junyan Li, Delin Chen, Yining Hong, Zhenfang Chen, Peihao Chen, Yikang Shen, Chuang Gan

分类: cs.CV

发布日期: 2023-11-06

💡 一句话要点

提出CoVLM以解决视觉语言模型的组合推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 组合推理 多模态交互 通信标记 视觉检测 语言生成 深度学习

📋 核心要点

  1. 当前大型视觉语言模型在组合推理能力上存在不足，无法有效构建视觉实体及其关系的表达。
  2. 本文提出CoVLM，通过引入通信标记，促进视觉检测系统与语言模型之间的动态交互，从而提升组合推理能力。
  3. 实验结果显示，CoVLM在组合推理基准测试中提升了约20%的HICO-DET mAP和14%的Cola top-1准确率，表现优于现有模型。

📝 摘要（中文）

人类的组合推理能力使其能够以有限的手段进行无限的表达。然而，当前的大型视觉语言基础模型（VLMs）在组合能力上存在不足，主要表现为“词袋”行为，无法有效构建正确表示视觉实体及其关系的词汇。为此，本文提出了CoVLM，通过动态与视觉编码器和检测网络的沟通，指导大型语言模型（LLM）明确组合视觉实体和关系。我们设计了一组新颖的通信标记，用于在视觉检测系统和语言系统之间进行动态通信，从而提升语言生成的相关性。实验结果表明，CoVLM在组合推理基准测试中显著超越了之前的VLMs，并在传统视觉语言任务中也取得了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决当前视觉语言模型在组合推理方面的不足，尤其是其“词袋”行为导致的视觉实体和关系表达能力弱。

核心思路：CoVLM通过引入通信标记，允许语言模型与视觉检测系统动态交互，从而更好地组合视觉信息与语言生成。

技术框架：CoVLM的整体架构包括视觉编码器、语言模型和通信标记生成模块。通过迭代的视觉-语言交互，生成与视觉相关的语言描述。

关键创新：最重要的创新在于通信标记的设计，使得视觉信息能够直接影响语言生成过程，打破了传统模型的局限。

关键设计：在模型中，通信标记在生成每个视觉实体或关系后被动态生成，并反馈给视觉检测网络，以提出相关的兴趣区域（ROIs），从而提升语言生成的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CoVLM在组合推理基准测试中表现优异，HICO-DET mAP提升约20%，Cola top-1准确率提升约14%，ARO top-1准确率提升约3%。此外，在传统视觉语言任务如指称表达理解和视觉问答中也达到了最先进的性能，显示出其广泛的适用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动图像描述生成和视觉问答系统等。通过提升视觉与语言的结合能力，CoVLM能够在多模态交互中提供更自然和准确的用户体验，未来可能在教育、娱乐和医疗等领域产生深远影响。

📄 摘要（原文）

A remarkable ability of human beings resides in compositional reasoning, i.e., the capacity to make "infinite use of finite means". However, current large vision-language foundation models (VLMs) fall short of such compositional abilities due to their "bag-of-words" behaviors and inability to construct words that correctly represent visual entities and the relations among the entities. To this end, we propose CoVLM, which can guide the LLM to explicitly compose visual entities and relationships among the text and dynamically communicate with the vision encoder and detection network to achieve vision-language communicative decoding. Specifically, we first devise a set of novel communication tokens for the LLM, for dynamic communication between the visual detection system and the language system. A communication token is generated by the LLM following a visual entity or a relation, to inform the detection network to propose regions that are relevant to the sentence generated so far. The proposed regions-of-interests (ROIs) are then fed back into the LLM for better language generation contingent on the relevant regions. The LLM is thus able to compose the visual entities and relationships through the communication tokens. The vision-to-language and language-to-vision communication are iteratively performed until the entire sentence is generated. Our framework seamlessly bridges the gap between visual perception and LLMs and outperforms previous VLMs by a large margin on compositional reasoning benchmarks (e.g., ~20% in HICO-DET mAP, ~14% in Cola top-1 accuracy, and ~3% on ARO top-1 accuracy). We also achieve state-of-the-art performances on traditional vision-language tasks such as referring expression comprehension and visual question answering.