Compositional Chain-of-Thought Prompting for Large Multimodal Models

📄 arXiv: 2311.17076v3 📥 PDF

作者: Chancharik Mitra, Brandon Huang, Trevor Darrell, Roei Herzig

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2023-11-27 (更新: 2024-04-01)

🔗 代码/项目: GITHUB

💡 一句话要点

提出组合链式思维提示以解决多模态模型的视觉推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 视觉推理 场景图 链式思维 组合知识 零-shot学习 人工智能

📋 核心要点

  1. 现有大型多模态模型在组合视觉推理方面表现不佳，难以有效捕捉对象属性和关系。
  2. 本文提出组合链式思维（CCoT），通过生成场景图并将其用于提示，提取LMM的组合知识。
  3. 实验结果表明，CCoT显著提高了LMM在多个视觉与语言任务上的性能，且无需微调或标注数据。

📝 摘要（中文）

强大的视觉骨干网络与大型语言模型（LLM）推理的结合，使得大型多模态模型（LMM）成为当前视觉与语言（VL）任务的标准。然而，最新研究表明，即使是最先进的LMM在捕捉组合视觉推理方面仍存在困难，例如对象之间的属性和关系。为了解决这一问题，本文提出了一种新的零-shot链式思维提示方法——组合链式思维（CCoT），该方法利用场景图（SG）表示来提取LMM的组合知识。通过大量实验，CCoT不仅提升了LMM在多个VL组合基准上的表现，还在无需微调或标注真实SG的情况下，改善了多个流行LMM在一般多模态基准上的性能。

🔬 方法详解

问题定义：本文旨在解决大型多模态模型在组合视觉推理中的不足，尤其是在捕捉对象属性和关系方面的挑战。现有方法依赖于昂贵的场景图注释，难以扩展，并且微调可能导致灾难性遗忘。

核心思路：提出的组合链式思维（CCoT）方法通过生成场景图并将其作为提示，利用LMM的推理能力提取组合知识，避免了对标注数据的依赖。

技术框架：CCoT的整体架构包括两个主要阶段：首先，使用LMM生成场景图；其次，将生成的场景图用于提示，以引导模型生成响应。

关键创新：CCoT的核心创新在于其零-shot提示方法，利用场景图表示而非传统的微调方式，从而有效避免了灾难性遗忘，并提升了模型的推理能力。

关键设计：在设计中，CCoT强调了场景图的生成质量和提示的有效性，确保生成的场景图能够准确反映对象之间的关系和属性，同时保持LMM的预训练目标不被遗忘。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CCoT方法在多个视觉与语言组合基准上显著提升了LMM的性能，具体表现为在某些任务上相较于基线模型提高了10%以上的准确率，证明了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能视觉问答、图像描述生成和多模态检索等。通过提升多模态模型的推理能力，CCoT可以在实际应用中提供更准确的视觉理解和语言生成，推动人机交互的智能化进程。

📄 摘要（原文）

The combination of strong visual backbones and Large Language Model (LLM) reasoning has led to Large Multimodal Models (LMMs) becoming the current standard for a wide range of vision and language (VL) tasks. However, recent research has shown that even the most advanced LMMs still struggle to capture aspects of compositional visual reasoning, such as attributes and relationships between objects. One solution is to utilize scene graphs (SGs)--a formalization of objects and their relations and attributes that has been extensively used as a bridge between the visual and textual domains. Yet, scene graph data requires scene graph annotations, which are expensive to collect and thus not easily scalable. Moreover, finetuning an LMM based on SG data can lead to catastrophic forgetting of the pretraining objective. To overcome this, inspired by chain-of-thought methods, we propose Compositional Chain-of-Thought (CCoT), a novel zero-shot Chain-of-Thought prompting method that utilizes SG representations in order to extract compositional knowledge from an LMM. Specifically, we first generate an SG using the LMM, and then use that SG in the prompt to produce a response. Through extensive experiments, we find that the proposed CCoT approach not only improves LMM performance on several vision and language VL compositional benchmarks but also improves the performance of several popular LMMs on general multimodal benchmarks, without the need for fine-tuning or annotated ground-truth SGs. Code: https://github.com/chancharikmitra/CCoT