LLaVA-UHD: an LMM Perceiving Any Aspect Ratio and High-Resolution Images

📄 arXiv: 2403.11703v1 📥 PDF

作者: Ruyi Xu, Yuan Yao, Zonghao Guo, Junbo Cui, Zanlin Ni, Chunjiang Ge, Tat-Seng Chua, Zhiyuan Liu, Maosong Sun, Gao Huang

分类: cs.CV, cs.AI

发布日期: 2024-03-18

备注: Preprint

🔗 代码/项目: GITHUB

💡 一句话要点

提出LLaVA-UHD以解决多模态模型在高分辨率图像处理中的不足

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 高分辨率图像 视觉编码 图像模块化 压缩算法 空间架构 深度学习 计算机视觉

📋 核心要点

  1. 现有多模态模型在处理高分辨率和任意长宽比图像时，存在适应性和效率不足的问题。
  2. LLaVA-UHD通过图像模块化、压缩和空间架构等策略，提升了对高分辨率图像的处理能力。
  3. 实验结果显示，LLaVA-UHD在多个基准测试中表现优异，准确率提升显著，且训练效率更高。

📝 摘要（中文）

视觉编码是大型多模态模型（LMMs）理解视觉世界的基础。传统的LMMs在固定大小和有限分辨率下处理图像，近期的探索在适应性、效率和正确性方面存在局限。本文以GPT-4V和LLaVA-1.5为例，揭示其视觉编码策略中的系统性缺陷。为应对这些挑战，提出LLaVA-UHD，一个能够高效感知任意长宽比和高分辨率图像的大型多模态模型。LLaVA-UHD包含三个关键组件：图像模块化策略、压缩模块和空间架构。实验表明，LLaVA-UHD在9个基准测试中超越了训练数据量多2-3个数量级的现有LMMs。

🔬 方法详解

问题定义：本文旨在解决传统多模态模型在处理高分辨率和任意长宽比图像时的局限性，尤其是在适应性和效率方面的不足。现有方法通常在固定尺寸和分辨率下进行图像处理，导致信息损失和性能下降。

核心思路：LLaVA-UHD的核心思路是通过图像模块化策略将原始图像分割为可变大小的小片段，从而实现高效且可扩展的编码。这种设计使得模型能够灵活处理不同分辨率的图像，同时保持较高的编码效率。

技术框架：LLaVA-UHD的整体架构包括三个主要模块：1) 图像模块化策略，将图像分割为小片段；2) 压缩模块，进一步压缩来自视觉编码器的图像令牌；3) 空间架构，用于组织片段令牌以便于大语言模型（LLMs）处理。

关键创新：LLaVA-UHD的主要创新在于其图像模块化和压缩策略，使其能够在处理高分辨率图像时，显著提高效率和准确性。这与传统方法的固定处理方式形成鲜明对比。

关键设计：在设计中，LLaVA-UHD采用了可变大小的图像片段和高效的压缩算法，确保在处理672x1088分辨率图像时，仅需94%的推理计算量。同时，模型的训练时间也显著缩短，仅需23小时，较LLaVA-1.5减少了3小时。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LLaVA-UHD在9个基准测试中表现优异，尤其在TextVQA任务上实现了6.4的准确率提升。此外，该模型在处理672x1088分辨率图像时，仅使用94%的推理计算量，训练效率也较LLaVA-1.5提升了约12%。

🎯 应用场景

LLaVA-UHD的研究成果在多个领域具有广泛的应用潜力，包括自动驾驶、医疗影像分析和智能监控等。其高效的图像处理能力能够支持更复杂的视觉任务，提升多模态系统的整体性能。未来，该模型的设计理念也可能推动其他领域的技术进步，促进更智能的视觉理解系统的开发。

📄 摘要（原文）

Visual encoding constitutes the basis of large multimodal models (LMMs) in understanding the visual world. Conventional LMMs process images in fixed sizes and limited resolutions, while recent explorations in this direction are limited in adaptivity, efficiency, and even correctness. In this work, we first take GPT-4V and LLaVA-1.5 as representative examples and expose systematic flaws rooted in their visual encoding strategy. To address the challenges, we present LLaVA-UHD, a large multimodal model that can efficiently perceive images in any aspect ratio and high resolution. LLaVA-UHD includes three key components: (1) An image modularization strategy that divides native-resolution images into smaller variable-sized slices for efficient and extensible encoding, (2) a compression module that further condenses image tokens from visual encoders, and (3) a spatial schema to organize slice tokens for LLMs. Comprehensive experiments show that LLaVA-UHD outperforms established LMMs trained with 2-3 orders of magnitude more data on 9 benchmarks. Notably, our model built on LLaVA-1.5 336x336 supports 6 times larger (i.e., 672x1088) resolution images using only 94% inference computation, and achieves 6.4 accuracy improvement on TextVQA. Moreover, the model can be efficiently trained in academic settings, within 23 hours on 8 A100 GPUs (vs. 26 hours of LLaVA-1.5). We make the data and code publicly available at https://github.com/thunlp/LLaVA-UHD.