Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding
作者: Yifan Wang, Peiming Li, Shiyu Li, Zhiyuan Hu, Xiaochen Yang, Wenming Yang, Yang Tang, Zheng Wei
分类: cs.CV, cs.CL
发布日期: 2026-06-15
🔗 代码/项目: GITHUB
💡 一句话要点
提出LazyMCoT以解决高分辨率图像细节感知不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大型语言模型 视觉定位 自适应路由 协作定位 图像理解
📋 核心要点
- 现有的多模态大型语言模型在处理复杂高分辨率图像时，难以感知细微细节，导致推理准确性下降。
- LazyMCoT框架通过自适应路由机制和协作定位模块，动态分配视觉定位努力，提升困难样本的处理能力。
- 实验结果显示，LazyMCoT在多个基准测试中表现优异，推理准确性和平均推理延迟均有显著提升。
📝 摘要（中文）
尽管多模态大型语言模型（MLLMs）在跨模态推理方面表现出色，但在复杂高分辨率图像中感知细微细节时常常遇到困难。最近的无训练方法通过图像缩放和局部裁剪来解决这一问题。然而，这些操作的无差别应用会导致简单查询的计算冗余，并可能通过截断重要的全局上下文或引入无关的背景噪声来降低准确性。为此，我们提出LazyMCoT，这是一个动态且无训练的框架，能够根据样本难度自适应地分配视觉定位的努力。该框架具有自适应路由机制，通过单次前向传播的首个令牌统计来评估预测不确定性，从而高效地绕过自信的案例，同时确保通过符合校准回忆困难样本。对于这些具有挑战性的案例，协作定位模块通过两阶段的精炼过程将模型固有的跨模态注意力与外部视觉专家相结合，生成精确的局部显示以恢复小型或被遮挡的目标。广泛的实验表明，LazyMCoT在推理准确性和平均推理延迟方面与基于训练的方法相媲美。
🔬 方法详解
问题定义：本论文旨在解决多模态大型语言模型在高分辨率图像中细节感知不足的问题。现有方法如图像缩放和局部裁剪的无差别应用，导致计算冗余和准确性下降。
核心思路：LazyMCoT框架的核心思路是根据样本的难度自适应地分配视觉定位的努力，通过自适应路由机制和协作定位模块来提升困难样本的处理能力。
技术框架：LazyMCoT的整体架构包括自适应路由机制和协作定位模块。自适应路由机制通过评估预测不确定性来决定是否处理样本，而协作定位模块则通过与外部视觉专家的结合来精炼难处理的样本。
关键创新：LazyMCoT的主要创新在于其自适应路由机制和协作定位模块的结合，能够高效处理自信样本并确保困难样本的回忆，这与现有方法的静态处理方式形成了鲜明对比。
关键设计：在设计上，LazyMCoT使用单次前向传播的首个令牌统计来评估不确定性，并通过符合校准来确保困难样本的回忆。协作定位模块则采用两阶段的精炼过程，以生成精确的局部显示。
🖼️ 关键图片
📊 实验亮点
LazyMCoT在多个基准测试中表现出色，推理准确性与训练方法相当，同时平均推理延迟显著降低，展示了在处理复杂图像时的高效性和准确性。
🎯 应用场景
LazyMCoT框架在图像理解、机器人视觉和人机交互等领域具有广泛的应用潜力。通过提高对复杂场景中细节的感知能力，该研究能够提升自动驾驶、智能监控等实际应用的准确性和效率，推动相关技术的发展。
📄 摘要（原文）
While Multimodal Large Language Models (MLLMs) excel in cross-modal reasoning, they often struggle to perceive fine-grained details in complex high-resolution images. Recent training-free methods address this through image scaling and localized cropping. However, applying these manipulations indiscriminately introduces computational redundancy for simple queries and can degrade accuracy by truncating essential global context or introducing irrelevant background noise. To this end, we propose LazyMCoT, a dynamic and training-free framework that adaptively allocates visual grounding efforts based on sample difficulty. The framework features an Adaptive Routing mechanism that evaluates predictive uncertainty using first-token statistics from a single forward pass. This efficiently bypasses confident cases while ensuring the recall of difficult samples via conformal calibration. For these challenging cases, a Collaborative Grounding module integrates the inherent cross-modal attention of the model with an external visual expert through a two-stage refinement process. This refinement process generates a precise localized display to recover small or occluded targets. Extensive experiments across diverse benchmarks demonstrate that LazyMCoT rivals training-based approaches by simultaneously improving reasoning accuracy and reducing average inference latency. Our code is availble at https://github.com/TencentBAC/LazyMCoT.