Thinking Once Is Enough: Intermediate-Layer Evidence Routing for High-Resolution VQA
作者: Zhongkuan Mao, Xianjie Liu, Tianyu Meng, Yidong Wang, Wenzhuo Zhao, Ronghao Xian, Yao Jiang, Fei Shen, Junfeng Fang, Yong Dai, Yi Zhang, Keren Fu
分类: cs.CV
发布日期: 2026-07-30
💡 一句话要点
提出Thinking-Once以解决高分辨率视觉问答中的证据获取问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 高分辨率视觉问答 证据路由 多模态学习 注意力机制 模型优化
📋 核心要点
- 现有的HR-VQA方法在证据获取上存在不足，导致模型需要重复检查图像以获得足够的信息。
- 本文提出的Thinking-Once方法通过在中间层路由窗口中重建问题条件的注意力，避免了多次视觉编码。
- 实验结果显示，Thinking-Once在多个基准测试中均有显著提升，且在内存使用上表现优异。
📝 摘要（中文）
高分辨率视觉问答（HR-VQA）常被视为证据获取不足的问题，现有的多模态大语言模型需要通过裁剪、重新编码或多轮搜索来再次检查图像。本文指出，这种观点不够全面：在许多情况下，细粒度证据已经在视觉编码中存活并在中间层路由窗口中变得可识别且具有影响力，但在生成答案之前却被稀释。我们提出了Thinking-Once，这是一种训练无关的单次视觉通行证据路由方法，重建了该窗口中的基于问题的注意力，保留了核心实体标记和紧凑的背景上下文，并将这些证据路由到后续层，而无需额外的视觉编码。实验结果表明，Thinking-Once在多个基准测试中显著提升了性能，同时减少了内存消耗。
🔬 方法详解
问题定义：本文旨在解决高分辨率视觉问答中证据获取不足的问题。现有方法往往需要多次检查图像，导致效率低下和资源浪费。
核心思路：Thinking-Once方法的核心在于利用中间层的路由窗口，重建基于问题的注意力，从而保留重要的证据，而不是重复进行视觉编码。
技术框架：该方法的整体架构包括三个主要模块：首先是对图像进行初步的视觉编码，接着在中间层重建注意力，最后将提取的证据路由到后续层进行答案生成。
关键创新：Thinking-Once的主要创新在于其训练无关性和单次视觉通行的设计，显著减少了对新视觉输入的依赖，提升了效率。
关键设计：在参数设置上，方法通过优化注意力机制来保留核心实体标记，并通过紧凑的背景上下文来增强信息传递，确保在后续层中有效利用这些信息。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Thinking-Once在五个基础模型上均提高了V$^Bench、HRBench-4K和HRBench-8K的平均分数，分别提升了3.1、3.0和2.7分。同时，在Qwen2.5-VL-7B模型上，提升幅度更是达到9.9、4.6和5.5分，整体均值从72.5提高到79.1。此外，与DeepScan相比，V$^Bench的推理时间减少了97.2%。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、图像理解和多模态交互等。通过提高HR-VQA的效率和准确性，Thinking-Once可以在教育、医疗和客户服务等多个行业中发挥重要作用，推动智能系统的进一步发展。
📄 摘要（原文）
High-resolution visual question answering (HR-VQA) is often treated as a problem of insufficient evidence acquisition, where failing multimodal large language models must inspect images again through cropping, re-encoding, or multi-round search. We show that this view is incomplete: in many cases, fine-grained evidence has already survived visual encoding and become identifiable and influential within an intermediate-layer routing window, but is later diluted before answer generation. We propose Thinking-Once, a \textbf{training-free, single-visual-pass} evidence-routing method that reconstructs question-conditioned attention at this window, preserves core entity tokens and compact background context, and routes this evidence to later layers without extra visual encoding. Across five base models, Thinking-Once consistently improves or matches the corresponding base setting, increasing the average scores on V$^$Bench, HRBench-4K, and HRBench-8K by \textit{+3.1}, \textit{+3.0}, and \textit{+2.7} points while reducing the average peak memory by about 4,GB. On Qwen2.5-VL-7B, it improves the three benchmarks by \textit{+9.9}, \textit{+4.6}, and \textit{+5.5} points, raising the cross-benchmark mean from 72.5 to 79.1. With the ZwZ-8B base model, Thinking-Once reaches a mean score of 82.7. Against 11 open-source HR-VQA baselines, it obtains the best or tied-best score on all three benchmark averages and the best overall mean; for example, compared with DeepScan, it reduces V$^$Bench inference time by \textbf{97.2\%} while improving the cross-benchmark mean from 77.8 to 79.1. These results show that HR-VQA can be improved by routing already encoded evidence rather than repeatedly acquiring new visual inputs. Code is available in the appendix.