MS-Resampler: Multi-Scope Visual Resampling for Efficient Multimodal LLMs

📄 arXiv: 2606.31383v1 📥 PDF

作者: Zhongyang Li, Yaqian Li, Faming Fang, Rinyoichi Takezoe, Zi-Hao Bo, Cheng Qian, Mo Guang, Guixu Zhang, Kaiwen Long

分类: cs.CV

发布日期: 2026-06-30

💡 一句话要点

提出MS-Resampler以解决多模态大语言模型的视觉重采样问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉重采样 局部与全局信息 聚合范围 计算机视觉 自然语言处理 智能助手

📋 核心要点

  1. 现有的重采样器通常采用单一固定的聚合范围，导致无法有效捕捉局部细节与全局上下文。
  2. MS-Resampler通过引入多范围重采样器，允许在不同粒度上聚合视觉信息，从而提升模型的表现。
  3. 在多个多模态基准测试中，MS-Resampler在视觉理解和推理能力上显著优于传统方法，且计算开销极小。

📝 摘要（中文）

多模态大语言模型（MLLMs）通常采用基于重采样的投影器将密集的视觉特征转化为紧凑的令牌序列用于语言建模。现有的重采样器大多采用单一固定的聚合范围，通过全局交叉注意力，这可能模糊细粒度的局部证据，并限制在固定令牌预算内捕捉局部细节和全局上下文的能力。本文提出了MS-Resampler，一个多范围视觉重采样框架，能够通过将显式的空间范围先验注入重采样注意力中，实例化多个范围特定的重采样器，使每个分支能够在从局部到全局的特定粒度上聚合视觉信息。这些范围特定重采样器的输出随后被自适应融合，以生成用于语言建模的最终视觉表示。在十个公共多模态基准上的广泛实验表明，MS-Resampler在视觉理解和多模态推理方面始终优于传统的单范围重采样器，同时仅引入了最小的计算开销。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在视觉重采样过程中，因采用单一固定聚合范围而导致的局部细节与全局上下文捕捉不足的问题。

核心思路：MS-Resampler的核心思想是通过引入多个范围特定的重采样器，使得模型能够在不同的粒度上聚合视觉信息，从而更好地捕捉细节与上下文。

技术框架：MS-Resampler的整体架构包括多个范围特定的重采样器，每个重采样器负责在特定的空间范围内聚合视觉信息，最终将这些信息自适应融合以生成用于语言建模的视觉表示。

关键创新：该方法的主要创新在于引入了显式的空间范围先验，使得每个重采样器能够根据不同的聚合范围进行优化，这与现有方法的单一聚合范围设计形成了本质区别。

关键设计：在设计中，重采样器的参数设置和网络结构经过精心调整，以确保在不同粒度下的有效信息聚合，同时损失函数也经过优化，以提升模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在十个公共多模态基准测试中，MS-Resampler在视觉理解和多模态推理方面的表现显著优于传统的单范围重采样器，具体提升幅度达到X%（具体数据未知），同时计算开销仅增加了Y%（具体数据未知），显示出其高效性与实用性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和人机交互等。通过提升多模态大语言模型的视觉理解能力，MS-Resampler可以在智能助手、自动驾驶、医疗影像分析等实际场景中发挥重要作用，未来可能推动更智能的多模态系统的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) typically employ resampling-based projectors to transform dense visual features into a compact token sequence for language modeling. Most existing resamplers adopt a single, fixed aggregation scope via global cross-attention, which can blur fine-grained local evidence and limit the ability to capture both local details and global context within a fixed token budget. In this work, we propose MS-Resampler, a multi-scope visual resampling framework for MLLMs. MS-Resampler instantiates multiple scope-specific resamplers by injecting explicit spatial scope priors into the resampling attention, enabling each branch to aggregate visual information at a particular granularity from local to global. The outputs of these scope-specific resamplers are then adaptively fused to produce the final visual representations for language modeling. Extensive experiments on ten public multimodal benchmarks show that MS-Resampler consistently improves visual understanding and multimodal reasoning over conventional single-scope resamplers, while introducing only minimal computational overhead.