LION : Empowering Multimodal Large Language Model with Dual-Level Visual Knowledge

📄 arXiv: 2311.11860v2 📥 PDF

作者: Gongwei Chen, Leyang Shen, Rui Shao, Xiang Deng, Liqiang Nie

分类: cs.CV

发布日期: 2023-11-20 (更新: 2023-11-26)

备注: Technical Report. Project page: https://rshaojimmy.github.io/Projects/JiuTian-LION Code: https://github.com/rshaojimmy/JiuTian

💡 一句话要点

提出LION以解决多模态大语言模型视觉知识提取不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉知识增强 细粒度视觉理解 高层语义证据 软提示机制 视觉-语言任务 深度学习

📋 核心要点

  1. 现有的多模态大语言模型在视觉知识提取和推理上存在不足，主要依赖粗略对齐的图像-文本对进行预训练。
  2. 本文提出LION模型，通过双层次的视觉知识注入，逐步引入细粒度空间感知知识和高层语义视觉证据，提升模型性能。
  3. 在多个多模态基准测试中，LION模型在VSR和TextCaps上分别提升了5%和3%的准确率，显示出显著的效果提升。

📝 摘要（中文）

多模态大语言模型（MLLMs）赋予了大语言模型感知和理解多模态信号的能力。然而，现有的MLLMs主要采用在粗略对齐的图像-文本对上预训练的视觉编码器，导致视觉知识的提取和推理不足。为了解决这一问题，本文提出了一种双层视觉知识增强的多模态大语言模型LION，通过两个层次注入视觉知识：一是通过设计视觉聚合器与区域级视觉-语言任务合作，逐步引入细粒度空间感知的视觉知识；二是利用多样的图像标签，通过软提示方法引入高层语义视觉证据。实验结果表明，LION在多个多模态基准上表现优越，准确率提升显著。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在视觉知识提取和推理方面的不足，尤其是依赖粗略对齐的视觉编码器导致的知识提取不充分的问题。

核心思路：LION模型通过双层次的视觉知识注入，分别从细粒度空间感知和高层语义两个层面增强模型的视觉理解能力，促进视觉-语言任务的相互促进。

技术框架：LION的整体架构包括两个主要模块：一是视觉聚合器，与区域级视觉-语言任务协作，逐步引入细粒度视觉知识；二是软提示机制，通过可学习的标记嵌入到文本指令中，引入高层语义视觉证据。

关键创新：最重要的创新在于提出了阶段性指令调优策略与混合适配器，解决了图像级和区域级视觉-语言任务之间的冲突，促进了两者的协同工作。

关键设计：在模型设计中，采用了可学习的软提示标记，结合多样的图像标签，确保高层语义视觉证据的有效引入，同时优化了损失函数以适应不同任务的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LION模型在多个多模态基准测试中表现出色，VSR准确率提升5%，TextCaps的CIDEr提升3%，在RefCOCOg上也比Kosmos-2提高了5%的准确率，显示出其在视觉知识处理上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、图像描述生成、视觉内容检索等，能够显著提升多模态交互系统的理解能力和响应准确性。未来，LION模型有望在更广泛的多模态应用中发挥重要作用，推动人机交互的智能化进程。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have endowed LLMs with the ability to perceive and understand multi-modal signals. However, most of the existing MLLMs mainly adopt vision encoders pretrained on coarsely aligned image-text pairs, leading to insufficient extraction and reasoning of visual knowledge. To address this issue, we devise a dual-Level vIsual knOwledge eNhanced Multimodal Large Language Model (LION), which empowers the MLLM by injecting visual knowledge in two levels. 1) Progressive incorporation of fine-grained spatial-aware visual knowledge. We design a vision aggregator cooperated with region-level vision-language (VL) tasks to incorporate fine-grained spatial-aware visual knowledge into the MLLM. To alleviate the conflict between image-level and region-level VL tasks during incorporation, we devise a dedicated stage-wise instruction-tuning strategy with mixture-of-adapters. This progressive incorporation scheme contributes to the mutual promotion between these two kinds of VL tasks. 2) Soft prompting of high-level semantic visual evidence. We facilitate the MLLM with high-level semantic visual evidence by leveraging diverse image tags. To mitigate the potential influence caused by imperfect predicted tags, we propose a soft prompting method by embedding a learnable token into the tailored text instruction. Comprehensive experiments on several multi-modal benchmarks demonstrate the superiority of our model (e.g., improvement of 5% accuracy on VSR and 3% CIDEr on TextCaps over InstructBLIP, 5% accuracy on RefCOCOg over Kosmos-2).