List Items One by One: A New Data Source and Learning Paradigm for Multimodal LLMs

📄 arXiv: 2404.16375v2 📥 PDF

作者: An Yan, Zhengyuan Yang, Junda Wu, Wanrong Zhu, Jianwei Yang, Linjie Li, Kevin Lin, Jianfeng Wang, Julian McAuley, Jianfeng Gao, Lijuan Wang

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-04-25 (更新: 2025-01-20)

备注: published at COLM-2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出逐项列举方法以提升多模态大语言模型的视觉推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉推理 大语言模型 数据集构建 对象文本对齐

📋 核心要点

  1. 现有多模态大语言模型在理解视觉标签方面存在困难，限制了其视觉推理能力的发挥。
  2. 本文提出逐项列举的学习范式，要求模型按顺序列举图像中的视觉标签，增强对象与文本的对齐。
  3. 实验结果显示，使用新数据集的模型在多个基准测试中表现优异，视觉推理能力显著提升。

📝 摘要（中文）

Set-of-Mark (SoM) 提示方法释放了 GPT-4V 的视觉基础能力，使模型能够将视觉对象与图像上的标签关联。尽管 GPT-4V 表现出色，其他多模态大语言模型（MLLMs）在理解这些视觉标签时却面临困难。为此，本文提出了一种新的学习范式：逐项列举，要求模型按标签的字母数字顺序枚举并描述图像上的所有视觉标签。通过将我们精心策划的数据集与其他视觉指令调优数据集结合，现有 MLLMs 能够具备 SoM 提示能力。实验表明，即使在推理过程中省略视觉标签，这种新数据集也显著提升了视觉推理能力并减少了幻觉现象。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在理解和利用视觉标签方面的不足，尤其是它们在视觉推理任务中的表现不佳。现有方法未能有效利用图像中的标签信息，导致模型的推理能力受到限制。

核心思路：提出的逐项列举方法要求模型按标签的字母数字顺序逐一列举和描述图像中的视觉标签。这种设计旨在通过明确的结构化提示，增强模型对视觉信息的理解和处理能力。

技术框架：整体架构包括数据集的构建、模型的训练和评估三个主要阶段。首先，构建包含视觉标签的图像数据集；其次，利用该数据集对现有 MLLMs 进行微调；最后，在多个基准测试上评估模型的性能。

关键创新：最重要的创新在于引入了逐项列举的学习范式，显著提升了模型的视觉推理能力，并且这种提升在推理时即使省略视觉标签也能保持。与现有方法相比，该方法通过结构化的标签提示增强了对象与文本的对齐。

关键设计：在训练过程中，采用了特定的损失函数来优化模型对标签的理解能力，并设计了适应性参数设置以提高模型的泛化能力。网络结构上，结合了视觉和文本信息的多模态融合技术，以实现更好的信息整合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用新数据集的微调模型在五个多模态大语言模型基准测试中表现优异，视觉推理能力显著提升，减少了幻觉现象。即使在推理过程中省略视觉标签，模型的性能依然保持稳定，展示了逐项列举方法的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括智能图像检索、视觉问答系统和增强现实等。通过提升多模态大语言模型的视觉推理能力，能够在实际场景中实现更准确的信息提取和理解，进而推动人机交互的智能化发展。未来，该方法还可能为其他多模态学习任务提供新的思路和方法论支持。

📄 摘要（原文）

Set-of-Mark (SoM) Prompting unleashes the visual grounding capability of GPT-4V, by enabling the model to associate visual objects with tags inserted on the image. These tags, marked with alphanumerics, can be indexed via text tokens for easy reference. Despite the extraordinary performance from GPT-4V, we observe that other Multimodal Large Language Models (MLLMs) struggle to understand these visual tags. To promote the learning of SoM prompting for open-source models, we propose a new learning paradigm: "list items one by one," which asks the model to enumerate and describe all visual tags placed on the image following the alphanumeric orders of tags. By integrating our curated dataset with other visual instruction tuning datasets, we are able to equip existing MLLMs with the SoM prompting ability. Furthermore, we evaluate our finetuned SoM models on five MLLM benchmarks. We find that this new dataset, even in a relatively small size (10k-30k images with tags), significantly enhances visual reasoning capabilities and reduces hallucinations for MLLMs. Perhaps surprisingly, these improvements persist even when the visual tags are omitted from input images during inference. This suggests the potential of "list items one by one" as a new paradigm for training MLLMs, which strengthens the object-text alignment through the use of visual tags in the training stage. Finally, we conduct analyses by probing trained models to understand the working mechanism of SoM. Our code and data are available at \url{https://github.com/zzxslp/SoM-LLaVA}.