VisLens: Single-Pass Interpretable Visual Search for Multimodal LLMs

📄 arXiv: 2608.30705v1 📥 PDF

作者: Jingyi He, Sanghwan Kim, Zeynep Akata

分类: cs.CV

发布日期: 2026-08-31

💡 一句话要点

提出VisLens以解决多模态大语言模型的细粒度视觉搜索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉搜索 Logit Lens 强化学习 图像检索 深度学习

📋 核心要点

  1. 现有的多模态大语言模型在高分辨率图像中进行细粒度视觉搜索时，面临速度慢和结果不透明的问题。
  2. 本文提出的VisLens方法通过Logit Lens解码隐藏状态的语义，利用轻量级调优透镜实现快速且可解释的视觉搜索。
  3. 实验结果表明，VisLens在速度上显著优于现有方法，运行速度比Thyme快8.5到9.9倍，且比多次搜索方法快22.2倍。

📝 摘要（中文）

多模态大语言模型（MLLMs）在细粒度视觉搜索任务中面临挑战，尤其是在高分辨率图像中定位小物体或稀有物体。现有方法主要分为两类：基于注意力或置信度的训练无关方法准确但速度较慢，强化学习训练的工具使用模型推理速度快但不透明。为此，本文提出了VisLens（通过Logit Lens实现视觉聚焦），该方法通过将隐藏状态的语义投影到LLM头部来解码信息。VisLens使用轻量级调优的透镜，将早期隐藏状态映射到最终隐藏状态空间，从而可以从早期层读取视觉标记。这些标记与查询中的目标词匹配，生成相关区域的裁剪，并与原始图像一起输入以产生最终答案。整个过程在单次前向传递中完成，无需重复查询。VisLens在匹配或超越先前基线的同时，显著降低延迟，速度比Thyme快8.5到9.9倍，比训练无关的多次搜索方法快22.2倍。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在细粒度视觉搜索中的效率和可解释性问题。现有方法要么速度较慢，要么结果不透明，难以控制和解释。

核心思路：VisLens通过Logit Lens解码隐藏状态的语义，利用轻量级调优透镜将早期隐藏状态映射到最终隐藏状态空间，从而实现快速的视觉搜索。

技术框架：VisLens的整体架构包括三个主要模块：首先，通过Logit Lens解码隐藏状态；其次，使用调优透镜映射早期隐藏状态；最后，将生成的视觉标记与查询匹配，输出最终答案。

关键创新：VisLens的主要创新在于其单次前向传递的设计，避免了多次查询的需求，同时保持了结果的可解释性和准确性。这与现有的训练无关和强化学习方法形成了鲜明对比。

关键设计：在设计中，VisLens使用了轻量级的调优透镜，确保了从早期层读取视觉标记的能力。此外，模型的损失函数和网络结构经过精心设计，以优化解码过程和最终输出的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VisLens在速度上表现优异，运行速度比Thyme快8.5到9.9倍，比训练无关的多次搜索方法快22.2倍。同时，VisLens在准确性上与现有基线相匹配或超越，展示了其在细粒度视觉搜索中的有效性。

🎯 应用场景

VisLens的研究成果在多个领域具有潜在应用价值，包括智能搜索引擎、图像检索系统和增强现实等。其高效的视觉搜索能力可以提升用户体验，并在实际场景中提供更快速、准确的信息检索服务。未来，VisLens可能推动多模态大语言模型在更多复杂任务中的应用。

📄 摘要（原文）

Multimodal large language models (MLLMs) struggle with fine-grained Visual Search, the task of locating small or rare objects in high-resolution images. Existing remedies fall into two families: (1) Training-free methods based on attention or confidence scores are accurate but slow, since they require multiple MLLM queries per example. (2) Reinforcement Learning (RL) trained tool-use models are faster at inference but opaque, since their tool calls remain uncontrollable and hard to interpret. To overcome this, we propose \emph{VisLens} (Visual Focus via Logit Lens), a Visual Search method built on the logit lens, which decodes the semantics held in a hidden state by projecting it through the LLM head. VisLens further uses a lightweight tuned-lens that maps early hidden states into the final hidden state space, so visual tokens can be read out from early layers. These tokens are matched to target words in the query to generate a crop of the relevant region, which is fed back in alongside the original image to produce the final answer. The whole process, from decoding to the final answer, completes in a single forward pass without repeated queries. VisLens matches or exceeds prior baselines while delivering a substantial latency advantage, running $8.5$--$9.9\times$ faster than Thyme and up to $22.2\times$ faster than training-free multi-pass search methods.