Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large Language Models

📄 arXiv: 2403.03003v1 📥 PDF

作者: Gen Luo, Yiyi Zhou, Yuxin Zhang, Xiawu Zheng, Xiaoshuai Sun, Rongrong Ji

分类: cs.CV

发布日期: 2024-03-05

🔗 代码/项目: GITHUB

💡 一句话要点

提出混合分辨率适应方法以提升多模态大语言模型的视觉识别能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉识别 混合分辨率适应 图像处理 深度学习

📋 核心要点

  1. 现有多模态大语言模型在细粒度视觉识别方面表现不足，尤其是在处理不同分辨率图像时的能力有限。
  2. 提出混合分辨率适应（MRA）方法，通过低分辨率和高分辨率视觉特征的结合，提升模型的视觉识别能力。
  3. 在11个视觉语言任务上进行实验，LLaVA-HR在8个任务上表现优于现有模型，训练和推理效率显著提升。

📝 摘要（中文）

尽管多模态大语言模型（MLLMs）取得了显著进展，但在细粒度视觉识别方面仍显不足。本文从图像分辨率的角度研究该问题，发现低分辨率和高分辨率视觉特征的结合能够有效缓解这一短板。基于此观察，提出了一种新颖高效的MLLM方法，称为混合分辨率适应（MRA）。MRA采用两条视觉通路处理不同分辨率的图像，通过新颖的混合分辨率适配器（MR-Adapters）将高分辨率视觉信息嵌入低分辨率通路，从而显著减少MLLM的输入序列长度。通过在LLaVA模型上应用MRA，得到的新模型LLaVA-HR在11个视觉语言任务上进行了广泛实验，结果显示LLaVA-HR在8个任务上超越了现有的MLLM，训练和推理效率也得到了保持。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在细粒度视觉识别中的不足，特别是在处理不同分辨率图像时的能力限制。现有方法往往无法有效利用低分辨率和高分辨率特征的互补性。

核心思路：提出混合分辨率适应（MRA）方法，利用两条视觉通路分别处理不同分辨率的图像，通过混合分辨率适配器（MR-Adapters）将高分辨率信息嵌入低分辨率通路，从而提升模型的视觉识别能力。

技术框架：MRA的整体架构包括两个主要模块：低分辨率通路和高分辨率通路。低分辨率通路负责处理低分辨率图像，而高分辨率通路则提取高分辨率特征。通过MR-Adapters，二者的信息得以有效融合，从而减少输入序列长度。

关键创新：最重要的技术创新在于引入了混合分辨率适配器（MR-Adapters），这一设计使得高分辨率信息能够有效嵌入低分辨率通路，显著提升了模型的视觉识别能力，与传统方法相比具有本质区别。

关键设计：在模型设计中，MR-Adapters的参数设置经过精心调整，以确保高分辨率信息的有效嵌入。此外，损失函数的设计也考虑了多模态特征的融合，确保训练过程中的信息传递效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLaVA-HR在11个视觉语言任务中表现优异，尤其在TextVQA任务上提升了9.4%。此外，LLaVA-HR的训练时间为20小时，推理速度是LLaVA-1.5的3倍，显示出良好的效率。

🎯 应用场景

该研究的潜在应用领域包括智能视觉系统、自动驾驶、机器人视觉等多个领域。通过提升多模态大语言模型的视觉识别能力，能够在更复杂的场景中实现更高效的理解与交互，具有重要的实际价值和未来影响。

📄 摘要（原文）

Despite remarkable progress, existing multimodal large language models (MLLMs) are still inferior in granular visual recognition. Contrary to previous works, we study this problem from the perspective of image resolution, and reveal that a combination of low- and high-resolution visual features can effectively mitigate this shortcoming. Based on this observation, we propose a novel and efficient method for MLLMs, termed Mixture-of-Resolution Adaptation (MRA). In particular, MRA adopts two visual pathways for images with different resolutions, where high-resolution visual information is embedded into the low-resolution pathway via the novel mixture-of-resolution adapters (MR-Adapters). This design also greatly reduces the input sequence length of MLLMs. To validate MRA, we apply it to a recent MLLM called LLaVA, and term the new model LLaVA-HR. We conduct extensive experiments on 11 vision-language (VL) tasks, which show that LLaVA-HR outperforms existing MLLMs on 8 VL tasks, e.g., +9.4% on TextVQA. More importantly, both training and inference of LLaVA-HR remain efficient with MRA, e.g., 20 training hours and 3$\times$ inference speed than LLaVA-1.5. Source codes are released at: https://github.com/luogen1996/LLaVA-HR.