CogVLM: Visual Expert for Pretrained Language Models

📄 arXiv: 2311.03079v2 📥 PDF

作者: Weihan Wang, Qingsong Lv, Wenmeng Yu, Wenyi Hong, Ji Qi, Yan Wang, Junhui Ji, Zhuoyi Yang, Lei Zhao, Xixuan Song, Jiazheng Xu, Bin Xu, Juanzi Li, Yuxiao Dong, Ming Ding, Jie Tang

分类: cs.CV

发布日期: 2023-11-06 (更新: 2024-02-04)

🔗 代码/项目: GITHUB

💡 一句话要点

提出CogVLM以解决视觉与语言模型融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态融合 深度学习 跨模态任务 图像描述生成 视觉问答 开源模型

📋 核心要点

  1. 现有方法主要依赖于浅层对齐，难以实现视觉与语言特征的深度融合，限制了跨模态任务的性能。
  2. CogVLM通过引入可训练的视觉专家模块，优化了预训练语言模型与图像编码器之间的交互，提升了特征融合的深度。
  3. CogVLM-17B在多个跨模态基准测试中表现优异，特别是在NoCaps和Flicker30k等任务上达到了最先进的性能。

📝 摘要（中文）

我们介绍了CogVLM，一个强大的开源视觉语言基础模型。与流行的浅层对齐方法不同，CogVLM通过在注意力和前馈神经网络层中引入可训练的视觉专家模块，弥合了冻结的预训练语言模型与图像编码器之间的差距。CogVLM实现了视觉语言特征的深度融合，同时在自然语言处理任务上没有牺牲性能。CogVLM-17B在10个经典跨模态基准测试中取得了最先进的性能，并在多个任务中超越或匹配了PaLI-X 55B。代码和检查点可在https://github.com/THUDM/CogVLM获取。

🔬 方法详解

问题定义：本论文旨在解决现有视觉与语言模型融合不足的问题，现有方法多采用浅层对齐，无法有效利用深层特征。

核心思路：CogVLM的核心思路是通过引入可训练的视觉专家模块，增强预训练语言模型与图像编码器之间的深度交互，从而实现更有效的特征融合。

技术框架：CogVLM的整体架构包括一个冻结的预训练语言模型和一个图像编码器，二者之间通过视觉专家模块连接。该模块在注意力层和前馈神经网络层中进行训练，以优化特征融合。

关键创新：CogVLM的主要创新在于引入了可训练的视觉专家模块，这一设计使得模型能够在不牺牲自然语言处理性能的情况下，实现视觉与语言特征的深度融合。

关键设计：在模型设计中，视觉专家模块的参数设置和损失函数的选择至关重要，确保了视觉特征与语言特征的有效对齐和融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CogVLM-17B在10个经典跨模态基准测试中取得了最先进的性能，尤其在NoCaps和Flicker30k等任务中表现突出，超越或匹配了PaLI-X 55B，显示出其在视觉语言融合领域的强大能力。

🎯 应用场景

CogVLM在多个跨模态任务中表现出色，具有广泛的应用潜力，包括图像描述生成、视觉问答和多模态检索等领域。其强大的特征融合能力可以推动智能助手、自动驾驶和增强现实等技术的发展，提升用户体验和系统智能化水平。

📄 摘要（原文）

We introduce CogVLM, a powerful open-source visual language foundation model. Different from the popular shallow alignment method which maps image features into the input space of language model, CogVLM bridges the gap between the frozen pretrained language model and image encoder by a trainable visual expert module in the attention and FFN layers. As a result, CogVLM enables deep fusion of vision language features without sacrificing any performance on NLP tasks. CogVLM-17B achieves state-of-the-art performance on 10 classic cross-modal benchmarks, including NoCaps, Flicker30k captioning, RefCOCO, RefCOCO+, RefCOCOg, Visual7W, GQA, ScienceQA, VizWiz VQA and TDIUC, and ranks the 2nd on VQAv2, OKVQA, TextVQA, COCO captioning, etc., surpassing or matching PaLI-X 55B. Codes and checkpoints are available at https://github.com/THUDM/CogVLM.