How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites

📄 arXiv: 2404.16821v2 📥 PDF

作者: Zhe Chen, Weiyun Wang, Hao Tian, Shenglong Ye, Zhangwei Gao, Erfei Cui, Wenwen Tong, Kongzhi Hu, Jiapeng Luo, Zheng Ma, Ji Ma, Jiaqi Wang, Xiaoyi Dong, Hang Yan, Hewei Guo, Conghui He, Botian Shi, Zhenjiang Jin, Chao Xu, Bin Wang, Xingjian Wei, Wei Li, Wenjian Zhang, Bo Zhang, Pinlong Cai, Licheng Wen, Xiangchao Yan, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

分类: cs.CV

发布日期: 2024-04-25 (更新: 2024-04-29)

备注: Technical report

🔗 代码/项目: GITHUB

💡 一句话要点

提出InternVL 1.5以缩小开源与商业多模态模型的能力差距

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 开源技术 视觉编码器 动态高分辨率 双语数据集 OCR任务 语言理解 机器学习

📋 核心要点

  1. 现有的多模态模型在视觉理解和语言生成方面存在能力差距，尤其是在开源与商业模型之间。
  2. 论文提出的InternVL 1.5通过改进视觉编码器、动态高分辨率处理和高质量双语数据集，提升了多模态理解能力。
  3. 实验结果表明，InternVL 1.5在18个基准测试中有8个达到了最先进的性能，显示出其竞争力。

📝 摘要（中文）

在本报告中，我们介绍了InternVL 1.5，这是一个开源的多模态大语言模型（MLLM），旨在弥补开源模型与商业模型在多模态理解能力上的差距。我们提出了三项简单的改进：首先，采用强大的视觉编码器，通过持续学习策略提升了大规模视觉基础模型InternViT-6B的视觉理解能力，使其能够在不同的LLM中转移和重用；其次，动态高分辨率处理，将图像根据输入的宽高比和分辨率划分为1到40个448×448像素的图块，支持高达4K的输入分辨率；最后，收集了高质量的双语数据集，涵盖常见场景和文档图像，并用中英文问答对进行了标注，显著提升了OCR和中文相关任务的性能。我们通过一系列基准测试和比较研究评估了InternVL 1.5的表现，结果显示其在18个基准中有8个达到了最先进的水平。

🔬 方法详解

问题定义：本论文旨在解决开源多模态模型在视觉理解和语言生成能力上的不足，尤其是与商业模型相比的能力差距。现有方法在处理高分辨率图像和多语言任务时表现不佳，限制了其应用范围。

核心思路：论文的核心解决思路是通过引入强大的视觉编码器和动态处理机制，提升多模态模型的整体性能。通过持续学习策略，增强视觉模型的迁移能力，使其能够适应不同的语言模型。

技术框架：InternVL 1.5的整体架构包括三个主要模块：强视觉编码器InternViT-6B、动态高分辨率图像处理模块和高质量双语数据集。视觉编码器负责图像特征提取，动态处理模块支持高分辨率输入，而双语数据集则用于训练和评估模型的语言理解能力。

关键创新：最重要的技术创新点在于引入了动态高分辨率处理和高质量双语数据集，这使得模型在处理复杂场景和多语言任务时表现出色。与现有方法相比，InternVL 1.5在视觉理解和语言生成的结合上具有更高的灵活性和适应性。

关键设计：在设计中，采用了持续学习策略以优化视觉编码器的性能，图像处理模块支持将输入图像划分为多个小块，最大限度地保留细节信息。此外，双语数据集的构建确保了模型在OCR和中文任务上的高效性，提升了整体的任务适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InternVL 1.5在18个基准测试中取得了8个最先进的结果，显示出其在多模态理解任务中的竞争力。与现有开源和商业模型相比，InternVL 1.5在性能上有显著提升，尤其是在OCR和中文相关任务中表现突出。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动翻译、图像识别和文档处理等。通过提升多模态理解能力，InternVL 1.5能够在更广泛的场景中提供高效的解决方案，推动相关技术的发展与应用。未来，随着模型的不断优化，其在实际应用中的价值将进一步显现。

📄 摘要（原文）

In this report, we introduce InternVL 1.5, an open-source multimodal large language model (MLLM) to bridge the capability gap between open-source and proprietary commercial models in multimodal understanding. We introduce three simple improvements: (1) Strong Vision Encoder: we explored a continuous learning strategy for the large-scale vision foundation model -- InternViT-6B, boosting its visual understanding capabilities, and making it can be transferred and reused in different LLMs. (2) Dynamic High-Resolution: we divide images into tiles ranging from 1 to 40 of 448$\times$448 pixels according to the aspect ratio and resolution of the input images, which supports up to 4K resolution input. (3) High-Quality Bilingual Dataset: we carefully collected a high-quality bilingual dataset that covers common scenes, document images, and annotated them with English and Chinese question-answer pairs, significantly enhancing performance in OCR- and Chinese-related tasks. We evaluate InternVL 1.5 through a series of benchmarks and comparative studies. Compared to both open-source and proprietary models, InternVL 1.5 shows competitive performance, achieving state-of-the-art results in 8 of 18 benchmarks. Code has been released at https://github.com/OpenGVLab/InternVL.