ActiveScope: Actively Seeking and Correcting Perception for MLLMs

📄 arXiv: 2606.24292v1 📥 PDF

作者: Yajing Wang, Chao Bi, Junshu Sun, Shufan Shen, Zhaobo Qi, Shuhui Wang, Qingming Huang

分类: cs.CV

发布日期: 2026-06-23

备注: ICML 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出ActiveScope以解决多模态大语言模型的感知问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉理解 主动感知 语义锚定 干扰抑制 高分辨率图像 自我纠正 目标定位

📋 核心要点

  1. 现有方法在高分辨率图像的细粒度感知上存在局限，容易受到干扰物的影响，导致多目标定位不准确。
  2. 本文提出的ActiveScope框架通过主动寻求和纠正感知，利用语义锚定和干扰抑制模块来改善定位效果。
  3. 实验结果显示，ActiveScope在V* Bench上达到了96.34%的准确率，显著优于现有的无训练方法，验证了其有效性。

📝 摘要（中文）

多模态大语言模型（MLLMs）在视觉语言理解方面表现出色，但在高分辨率图像的细粒度感知上仍存在困难。现有的无训练方法通常依赖于基于注意力的定位或粗到细的搜索，但容易受到干扰物的误导，无法准确定位多个目标。本文提出ActiveScope，一个无训练框架，通过主动寻求和纠正感知来增强MLLMs。ActiveScope包含两个模块：语义锚定定位（SAL）和干扰抑制精炼（ISR），前者利用细粒度的语义锚点独立定位关键目标，后者通过抑制对显著干扰的注意力来改善定位。实验结果表明，ActiveScope在高分辨率图像理解基准上超越了现有方法，验证了主动搜索和自我纠正范式的优越性。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在高分辨率图像中细粒度感知的不足，现有方法常因干扰物和语义偏差导致定位不准确。

核心思路：ActiveScope通过引入主动寻求和自我纠正的机制，利用语义锚点和干扰抑制来改善感知效果，减少对干扰物的依赖。

技术框架：ActiveScope的整体架构包括两个主要模块：语义锚定定位（SAL）和干扰抑制精炼（ISR）。SAL模块负责独立定位关键目标，而ISR模块则通过抑制对显著干扰的注意力来精炼定位结果。

关键创新：ActiveScope的主要创新在于其主动搜索和自我纠正的范式，区别于传统的被动定位方法，能够有效应对多目标场景中的干扰问题。

关键设计：SAL模块使用细粒度的语义锚点进行目标定位，ISR模块则设计了特定的注意力抑制机制，以减少对干扰物的关注，确保定位的准确性。具体的参数设置和损失函数设计在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在高分辨率图像理解基准V* Bench上，ActiveScope达到了96.34%的准确率，显著超越了现有的无训练方法，验证了其在多目标定位中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和机器人视觉等，能够提升多模态系统在复杂环境中的感知能力。未来，ActiveScope可能推动更高效的视觉理解技术的发展，促进人机交互的智能化。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have demonstrated impressive vision-language understanding, yet still struggle with fine-grained perception in high-resolution images. While existing training-free methods typically rely on attention-based localization or coarse-to-fine search, they are often misled by distractors and fail to locate multiple targets. Our investigation attributes these failures to Contextual Dominance, where salient distractors overwhelm target attention and cause inaccurate localization, and Semantic Bias, where global semantics cause the model to fixate on the most salient concept, resulting in incomplete localization in multi-object scenarios. Built on these insights, we propose ActiveScope, a training-free framework that enhances MLLMs by actively seeking and correcting perception. ActiveScope features two modules. The Semantic Anchor Localization (SAL) utilizes fine-grained semantic anchors to independently localize key targets, thereby mitigating semantic bias. The Interference-Suppressed Refinement (ISR) refines localization by suppressing attention on salient distractions to overcome contextual dominance. Extensive experiments on high-resolution image understanding benchmarks demonstrate that ActiveScope outperforms existing training-free methods (e.g., 96.34 percent accuracy on $V^{*}$ Bench), validating the superiority of the active search and self-correction paradigm. Our code is available at https://github.com/jasmine-ww/ActiveScope.