Question-Guided Evidence Acquisition for Multimodal Visual Question Answering
作者: Alin-Ionut Popa
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-08-20
💡 一句话要点
提出Q-Guide以解决文档视觉问答中的证据获取问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文档视觉问答 多模态学习 动态感知 信息获取 智能代理
📋 核心要点
- 现有的文档视觉问答系统在处理复杂文档时，往往无法有效提取所需信息，导致准确率低下。
- Q-Guide通过分析问题并识别缺失的证据，动态调整感知过程，以更有效地获取信息。
- 在DocVQA2026和Manga109数据集上，Q-Guide的准确率分别达到了65.0%和32.4%，显著优于其他方法。
📝 摘要（中文）
多模态大语言模型能够查看文档，但在可靠阅读方面仍存在困难。现有的文档视觉问答系统通常将感知视为固定的，导致在处理小文本、表格和视觉线索时出现问题。本文提出了Q-Guide，一个小型代理，能够根据问题识别缺失的证据，并调用目标工具进行补充，从而提高文档视觉问答的准确性。在DocVQA2026和Manga109数据集上，Q-Guide的表现显著优于直接提示和近期的多代理文档系统，显示出更高的准确率和有效的感知预算利用。
🔬 方法详解
问题定义：本文旨在解决文档视觉问答中，模型在直接视觉推理时对小文本、表格和视觉线索的处理不足的问题。现有方法通常将感知过程视为一次性固定，无法灵活应对复杂文档的需求。
核心思路：Q-Guide的核心思路是通过分析问题，识别出模型在回答时缺失的证据，并在推理过程中动态调整感知策略，而不是依赖于一次性编码。
技术框架：Q-Guide的整体架构包括问题解析模块、证据识别模块和目标工具调用模块。首先解析问题，识别缺失信息，然后调用相应工具进行信息补充，最后生成答案。
关键创新：Q-Guide的创新点在于其动态感知能力，通过多轮的感知过程来提高信息获取的准确性，而不是依赖复杂的控制逻辑或多个协作代理。
关键设计：在设计上，Q-Guide的参数设置和工具调用策略经过优化，以确保在有限的计算预算内实现最佳的感知效果。
🖼️ 关键图片
📊 实验亮点
Q-Guide在DocVQA2026和Manga109数据集上的实验结果显示，其准确率分别为65.0%和32.4%，显著高于直接提示的40.0%和24.4%。这一提升主要得益于动态感知过程的引入，而非复杂的控制逻辑。
🎯 应用场景
该研究的潜在应用领域包括智能文档处理、自动问答系统和信息检索等。通过提高文档视觉问答的准确性，Q-Guide能够在法律、医疗和教育等行业中提供更高效的信息获取服务，具有重要的实际价值和未来影响。
📄 摘要（原文）
Multimodal LLMs can see a document, but they often can't read it reliably. Small text, tables, visual cues, and topological elements still trip them up under direct visual inference, even when the page is already sitting in the model's context. Most document-VQA systems treat perception as fixed: they encode the page once, ask the question, and answer from whatever the model happened to extract in that single fast pass. We think document VQA needs slower, more deliberate perception: rather than answering from one fixed encoding, the model should spend a bit of extra compute at inference time working out what to look at next, and only then answer. We build this into \textbf{Q-Guide}, a small agent that reads a question, works out what evidence it is still missing, and calls targeted tool(s) to recover it---reading text where text is needed, zooming in where detail is needed, or grounding a region where position matters. On DocVQA2026 and Manga109, Q-Guide outperforms both direct prompting and recent multi-agent document systems ($65.0\%$ vs.\ $40.0\%$ on DocVQA2026, $32.4\%$ vs.\ $24.4\%$ on Manga109), and the improvement holds across three Claude backbones (Opus 4.6, Sonnet 4.6, and Opus 4.5). We find that accuracy scales with the perception budget---most of the gain appears within two to three deliberate rounds---and that the gain comes from directing perception to the right place, not from complex control logic: adding planners, routers, or multiple collaborating agents does not help.