ProMSA:Progressive Multimodal Search Agents for Knowledge-Based Visual Question Answering

📄 arXiv: 2606.27974v1 📥 PDF

作者: ZhengXian Wu, Hangrui Xu, Kai Shi, Zhuohong Chen, Yunyao Yu, Chuanrui Zhang, Zirui Liao, Jun Yang, Zhenyu Yang, Haonan Lu, Haoqian Wang

分类: cs.CV, cs.AI

发布日期: 2026-06-26

🔗 代码/项目: GITHUB

💡 一句话要点

提出ProMSA以解决知识驱动视觉问答中的检索适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识驱动视觉问答 多模态搜索 动态检索 强化学习 图像理解 文本检索 去重机制

📋 核心要点

  1. 现有的KB-VQA方法在推理过程中缺乏适应性，通常依赖固定的检索流程，导致效率低下。
  2. ProMSA通过迭代选择图像或文本搜索，结合动态预算管理，提升了检索的灵活性和有效性。
  3. 实验结果显示，ProMSA在E-VQA和InfoSeek数据集上，相较于强基线模型，检索和准确性均有显著提升。

📝 摘要（中文）

知识驱动视觉问答（KB-VQA）要求模型将图像理解与外部知识结合。大多数现有方法采用固定的检索-生成流程，使用预选的检索器和静态的top-k设置，这在推理过程中缺乏适应性。本文提出ProMSA，一种用于KB-VQA的渐进式多模态搜索代理。该代理在明确的工具调用预算下，迭代选择图像搜索、文本搜索或停止，并通过去重避免冗余检索。训练过程中，首先使用拒绝采样的SFT学习有效的工具使用格式，然后通过TN-GSPO优化代理，该序列级RL目标通过生成长度和工具交互深度进行归一化。实验结果表明，在E-VQA和InfoSeek数据集上，ProMSA在检索和端到端准确性上均优于强基线。

🔬 方法详解

问题定义：本文旨在解决知识驱动视觉问答中现有方法在推理过程中的适应性不足问题。现有方法通常依赖于固定的检索-生成流程，导致在处理复杂问题时效率低下。

核心思路：ProMSA的核心思路是通过渐进式的多模态搜索，允许代理在图像和文本之间动态选择检索方式，从而提高检索的灵活性和准确性。设计这种方法的原因在于，能够根据具体问题的需求灵活调整检索策略。

技术框架：ProMSA的整体架构包括三个主要模块：图像搜索、文本搜索和停止选择。代理在每一步根据当前的图像-问题对和预算情况，决定下一步的操作。

关键创新：ProMSA的最大创新在于其动态的检索策略和去重机制，能够有效避免冗余检索，与传统的固定检索方法形成鲜明对比。

关键设计：在训练过程中，使用拒绝采样的SFT来学习有效的工具使用格式，并通过TN-GSPO优化代理，确保更新过程考虑生成长度和工具交互深度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在E-VQA和InfoSeek数据集上的实验结果表明，ProMSA在检索和端到端准确性上均显著优于强基线模型RAG，具体提升幅度达到X%（具体数据需查阅原文），展示了其在多模态检索中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育辅助工具以及机器人视觉理解等。通过提升视觉问答的准确性和灵活性，ProMSA能够在实际场景中提供更为精准的信息检索和交互体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Knowledge-based Visual Question Answering (KB-VQA) requires models to combine image understanding with external knowledge. Most prior methods use a fixed retrieve-then-generate pipeline with a pre-selected retriever and a static top-k setting, which is not adaptive during reasoning. We propose ProMSA, a progressive multimodal search agent for KB-VQA. Given an image-question pair, the agent iteratively chooses image search, text search, or stop, under explicit tool-call budgets and with deduplication to avoid redundant retrieval. For training, we first use rejection-sampling SFT to learn valid tool-use formats, then optimize the agent with TN-GSPO, a sequence-level RL objective that normalizes updates by both generation length and tool-interaction depth. Experiments on E-VQA and InfoSeek show consistent gains over strong RAG and agent baselines, and improved retrieval and end-to-end accuracy. The code is available at https://github.com/DingWu1021/Promsa.