Multimodal Iterative RAG for Knowledge-Intensive Visual Question Answering

📄 arXiv: 2509.00798v4 📥 PDF

作者: Changin Choi, Wonseok Lee, Jungmin Ko, Wonjong Rhee

分类: cs.CV, cs.AI

发布日期: 2025-08-31 (更新: 2025-09-29)

💡 一句话要点

提出MI-RAG框架以解决知识密集型视觉问答中的知识获取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 知识密集型视觉问答 检索增强生成 推理机制 知识综合

📋 核心要点

  1. 现有的多模态大语言模型在处理知识密集型视觉问题时，往往无法有效获取外部知识，导致性能受限。
  2. 本文提出的MI-RAG框架通过迭代推理和知识综合，增强了知识检索的能力，提升了模型的理解深度。
  3. 实验结果表明，MI-RAG在多个基准测试中显著提高了检索召回率和答案准确性，展示了其有效性。

📝 摘要（中文）

近年来，多模态大语言模型（MLLMs）的进展显著提升了其在多模态理解和推理方面的能力。然而，对于需要超出图像视觉内容的外部知识的知识密集型视觉问题，MLLMs的表现仍然有限。检索增强生成（RAG）已成为提供外部知识的有前景的解决方案，但其传统的单次处理框架往往无法收集足够的知识。为克服这一局限，本文提出了MI-RAG，一个多模态迭代RAG框架，利用推理增强检索，并结合知识综合来提升理解。在每次迭代中，模型形成推理引导的多查询，以探索知识的多个方面。这些查询驱动跨异构知识库的联合搜索，检索多样的知识，进而综合这些知识以丰富推理记录，逐步加深模型的理解。在包括百科全书VQA、InfoSeek和OK-VQA等具有挑战性的基准测试中，MI-RAG显著提高了检索召回率和答案准确性，为知识密集型VQA中的组合推理建立了可扩展的方法。

🔬 方法详解

问题定义：本文旨在解决知识密集型视觉问答中，现有方法在获取外部知识时的不足，尤其是传统RAG框架的单次处理限制。

核心思路：MI-RAG框架通过迭代推理过程，形成多查询策略，探索知识的多维度，进而增强知识检索和理解能力。

技术框架：MI-RAG的整体架构包括多个模块：推理引导的多查询生成、跨异构知识库的联合搜索和知识综合。每个模块在迭代中相互作用，逐步提升模型的知识获取能力。

关键创新：MI-RAG的核心创新在于其迭代推理机制，通过多查询探索不同知识面，显著区别于传统RAG的单次检索方式。

关键设计：在设计中，MI-RAG采用了动态查询生成策略，结合多种知识库，确保检索的多样性和全面性，同时优化了损失函数以提升模型的学习效率。

📊 实验亮点

在多个基准测试中，MI-RAG显著提高了检索召回率和答案准确性。例如，在百科全书VQA任务中，模型的答案准确率提升了XX%，检索召回率提升了YY%，展示了其在知识密集型视觉问答中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育辅助工具和信息检索等。通过提升视觉问答的准确性，MI-RAG能够在实际场景中提供更为精准和丰富的信息支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent advances in Multimodal Large Language Models~(MLLMs) have significantly enhanced the ability of these models in multimodal understanding and reasoning. However, the performance of MLLMs for knowledge-intensive visual questions, which require external knowledge beyond the visual content of an image, still remains limited. While Retrieval-Augmented Generation (RAG) has become a promising solution to provide models with external knowledge, its conventional single-pass framework often fails to gather sufficient knowledge. To overcome this limitation, we propose MI-RAG, a Multimodal Iterative RAG framework that leverages reasoning to enhance retrieval and incorporates knowledge synthesis to refine its understanding. At each iteration, the model formulates a reasoning-guided multi-query to explore multiple facets of knowledge. Subsequently, these queries drive a joint search across heterogeneous knowledge bases, retrieving diverse knowledge. This retrieved knowledge is then synthesized to enrich the reasoning record, progressively deepening the model's understanding. Experiments on challenging benchmarks, including Encyclopedic VQA, InfoSeek, and OK-VQA, show that MI-RAG significantly improves both retrieval recall and answer accuracy, establishing a scalable approach for compositional reasoning in knowledge-intensive VQA.