InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Model

📄 arXiv: 2401.16420v1 📥 PDF

作者: Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Bin Wang, Linke Ouyang, Xilin Wei, Songyang Zhang, Haodong Duan, Maosong Cao, Wenwei Zhang, Yining Li, Hang Yan, Yang Gao, Xinyue Zhang, Wei Li, Jingwen Li, Kai Chen, Conghui He, Xingcheng Zhang, Yu Qiao, Dahua Lin, Jiaqi Wang

分类: cs.CV, cs.CL

发布日期: 2024-01-29

备注: Code and models are available at https://github.com/InternLM/InternLM-XComposer

🔗 代码/项目: GITHUB

💡 一句话要点

提出InternLM-XComposer2以解决多模态文本-图像创作与理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 视觉-语言模型 部分LoRA 文本-图像理解 内容创作

📋 核心要点

  1. 现有的视觉-语言模型在自由形式的文本-图像创作和理解方面存在局限，难以满足高度定制化的需求。
  2. 论文提出的InternLM-XComposer2模型通过部分LoRA方法，专注于图像标记的额外参数应用，保持语言知识的完整性。
  3. 实验结果显示，InternLM-XComposer2在生成高质量多模态内容和视觉-语言理解性能上显著优于现有模型，尤其在长文本生成方面表现突出。

📝 摘要（中文）

我们介绍了InternLM-XComposer2，这是一种先进的视觉-语言模型，擅长自由形式的文本-图像创作与理解。该模型超越了传统的视觉-语言理解，能够从轮廓、详细文本说明和参考图像等多种输入中巧妙地构建交错的文本-图像内容，实现高度可定制的内容创作。InternLM-XComposer2提出了一种部分LoRA（PLoRA）方法，仅将额外的LoRA参数应用于图像标记，以保持预训练语言知识的完整性，平衡精确的视觉理解与文学才能的文本创作。实验结果表明，基于InternLM2-7B的InternLM-XComposer2在生成高质量的长文本多模态内容方面表现优越，并在多个基准测试中展现出卓越的视觉-语言理解能力，显著超越现有的多模态模型，并在某些评估中与GPT-4V和Gemini Pro相匹敌或超越。这突显了其在多模态理解领域的卓越能力。

🔬 方法详解

问题定义：论文旨在解决现有视觉-语言模型在自由形式文本-图像创作与理解中的不足，尤其是在多样化输入下的内容生成能力不足的问题。

核心思路：InternLM-XComposer2通过引入部分LoRA（PLoRA）方法，专注于图像标记的额外参数应用，从而在保持语言知识完整性的同时，增强视觉理解与文本创作的结合。

技术框架：该模型的整体架构包括输入处理模块、文本生成模块和图像生成模块，能够处理多种输入形式并生成相应的多模态内容。

关键创新：最重要的技术创新在于部分LoRA方法的提出，使得模型能够在不损失预训练语言知识的情况下，提升图像理解能力，与现有方法相比具有显著的优势。

关键设计：模型在参数设置上采用了7B参数的设计，损失函数结合了文本和图像的生成损失，网络结构则通过优化图像标记的LoRA参数来实现更好的视觉-语言融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，InternLM-XComposer2在长文本多模态内容生成方面的质量显著提升，尤其在多个基准测试中，其性能超越现有的多模态模型，并在某些评估中与GPT-4V和Gemini Pro相当或更优，展示了其卓越的多模态理解能力。

🎯 应用场景

InternLM-XComposer2在内容创作、广告设计、教育和娱乐等多个领域具有广泛的应用潜力。其能够根据用户需求生成定制化的文本和图像内容，提升创作效率和质量，未来可能在多模态交互和智能创作工具中发挥重要作用。

📄 摘要（原文）

We introduce InternLM-XComposer2, a cutting-edge vision-language model excelling in free-form text-image composition and comprehension. This model goes beyond conventional vision-language understanding, adeptly crafting interleaved text-image content from diverse inputs like outlines, detailed textual specifications, and reference images, enabling highly customizable content creation. InternLM-XComposer2 proposes a Partial LoRA (PLoRA) approach that applies additional LoRA parameters exclusively to image tokens to preserve the integrity of pre-trained language knowledge, striking a balance between precise vision understanding and text composition with literary talent. Experimental results demonstrate the superiority of InternLM-XComposer2 based on InternLM2-7B in producing high-quality long-text multi-modal content and its exceptional vision-language understanding performance across various benchmarks, where it not only significantly outperforms existing multimodal models but also matches or even surpasses GPT-4V and Gemini Pro in certain assessments. This highlights its remarkable proficiency in the realm of multimodal understanding. The InternLM-XComposer2 model series with 7B parameters are publicly available at https://github.com/InternLM/InternLM-XComposer.